CrewAI : guide et exemples de systèmes multi-agents IA

Les agents IA sont des assistants capables d’exécuter des tâches et d’interagir avec le monde. Contrairement aux systèmes traditionnels à règles figées, ils apprennent et s’adaptent à de nouvelles situations. Voyez-les comme des programmes capables de percevoir leur environnement et d’agir en conséquence.

Mais qu’est-ce qui distingue vraiment les agents IA d’autres entités d’IA, comme les modèles de langage dont tout le monde parle ?

Dans cet article, je réponds à cette question et je vous présente CrewAI, un framework Python libre et open source pensé pour simplifier le développement de systèmes d’IA multi-agents. Nous verrons la différence entre agents et modèles de langage, pourquoi les frameworks d’agents sont essentiels pour construire des applications IA, et comment CrewAI permet à des agents de collaborer pour obtenir d’excellents résultats.

Agents IA vs LLM

Démontons une idée reçue fréquente sur la différence entre agents et grands modèles de langage (LLM). Tous relèvent de l’intelligence artificielle, mais leurs capacités sont distinctes.

Les modèles de langage, comme ChatGPT et Gemini, excellent dans la manipulation du langage. Entraînés sur d’immenses volumes de textes et de code, ils comprennent et produisent une langue qui se rapproche étroitement de la communication humaine.

Les LLM sont les plumes de l’IA : traductions, résumés, récits créatifs, voire poésie. Leur champ d’action reste généralement limité aux tâches liées au langage.

Les agents, eux, se concentrent avant tout sur l’action. Ils savent se déplacer, interagir avec des objets et prendre des décisions selon leurs perceptions. 

En bref : les modèles de langage sont le cerveau, les agents sont les mains. Ensemble, ils forment un duo redoutable.

Puisque les agents jouent un rôle clé dans les applications d’IA, comment gérer la complexité lorsque plusieurs agents doivent travailler de concert ? C’est là que les frameworks d’agents entrent en jeu.

Pourquoi un framework d’agents

Le besoin de frameworks d’agents découle de la complexité croissante des applications d’IA, notamment lorsqu’elles mobilisent plusieurs agents qui coopèrent pour atteindre un objectif commun. Voyons pourquoi ces frameworks sont essentiels.   

Orchestration et coordination

Au fur et à mesure que les systèmes d’IA montent en charge, ils intègrent souvent de nombreux agents aux compétences variées. Gérer ces interactions et garantir une collaboration fluide devient de plus en plus difficile.

Les frameworks d’agents offrent un cadre structuré pour orchestrer les activités, définir rôles et responsabilités, et améliorer la communication.

Dans un système multi-agents, il est crucial d’allouer efficacement les tâches aux agents les plus pertinents et de gérer au mieux les ressources partagées. Les frameworks proposent des mécanismes dynamiques d’attribution des tâches, de négociation des ressources et de résolution des conflits.

Modularité et réutilisation

Les frameworks d’agents encouragent une approche modulaire : les agents sont conçus et implémentés comme des composants indépendants. Cette modularité améliore l’organisation du code et permet de réutiliser des modules d’agents d’un projet à l’autre, ce qui simplifie le développement et la maintenance de systèmes complexes. Avec cette structure par composants, les développeurs IA peuvent se concentrer sur chaque agent sans perturber l’ensemble.

De plus, ces frameworks adoptent souvent une architecture orientée rôles, où l’on assigne à chaque agent des rôles précis définissant ses capacités et ses droits. Cette conception rend le système plus clair et plus aisé à administrer : on peut ajouter, retirer ou modifier des agents avec un impact limité sur l’architecture globale. Cette flexibilité permet de faire évoluer les systèmes sans refonte lourde.

Adaptabilité et apprentissage

Les environnements réels sont dynamiques, imprévisibles et en constante évolution. Les frameworks d’agents dotent les agents de capacités de perception des changements et d’adaptation de leurs comportements. Cette adaptabilité leur permet de rester efficaces, même dans des contextes complexes et mouvants.

Par ailleurs, ils intègrent fréquemment des mécanismes d’apprentissage pour améliorer les performances au fil du temps. En tirant parti des retours et de l’expérience, les agents optimisent en continu leurs prises de décision et s’adaptent à de nouveaux défis. Cette amélioration permanente renforce leur efficacité et la performance globale à long terme.

Et puisqu’on parle de frameworks d’agents, voici celui qui fait parler de lui dans la communauté IA : CrewAI.

Qu’est-ce que CrewAI ?

CrewAI est un framework Python open source bâti autour de deux briques complémentaires :

• Crews — des équipes d’agents IA qui collaborent de manière autonome grâce à une prise de décision orientée rôles — et
• Flows — des workflows événementiels, prêts pour la production, qui vous donnent la maîtrise de vos automatisations.

Ensemble, vous pouvez aller d’un simple pipeline de recherche à un système multi-agents entièrement autonome.

Le framework regroupe un ensemble d’outils, dont des moteurs de recherche web et des modèles de langage, permettant aux agents d’interagir avec le monde extérieur, de collecter des informations et d’agir pour atteindre leurs objectifs.

Par sa conception et sa capacité à passer à l’échelle, CrewAI est idéal pour créer des applications multi-agents simples comme très avancées, en favorisant une approche collaborative de la résolution de problèmes et de la prise de décision.

Voici quelques fonctionnalités clés qui font de CrewAI un outil puissant pour construire des systèmes multi-agents.

• Orchestration des agents : CrewAI s’assure que chaque agent connaisse sa partition. Il fournit les moyens de définir et coordonner les comportements des agents pour jouer en parfaite synchronisation.
• Architecture orientée rôles : À l’image des instruments dans un orchestre, CrewAI vous permet d’assigner des rôles spécifiques aux agents, en définissant leurs capacités et autorisations. Le système reste modulaire et bien structuré, même dans la complexité.
• Communication flexible : CrewAI prend en charge plusieurs canaux de communication pour des échanges fluides entre agents. Comme si vous combiniez messagerie privée, discussion de groupe et porte-voix en un seul outil.
• Intégration d’outils : CrewAI permet aux agents d’interagir avec le monde via divers outils. Ils peuvent chercher sur le web, comprendre le langage, analyser des données et exécuter des tâches personnalisées.
• Passage à l’échelle : CrewAI est conçu pour évoluer sans friction et maintenir votre système multi-agents réactif et efficace à mesure qu’il grandit.

Qu’apporte concrètement CrewAI ? Voyons ses avantages.

CrewAI Flows et Crews

CrewAI repose sur deux briques complémentaires qui couvrent tout le spectre, des tâches d’agents simples aux pipelines de production complexes.

Crews désigne des équipes d’agents IA qui collaborent de façon autonome. Chaque agent d’une Crew a un rôle, un objectif et un contexte définis — ils s’organisent pour accomplir les tâches, se déléguer des actions et prendre des décisions sans que vous ayez à tout scénariser. Une Crew est la bonne option quand vous voulez que les agents trouvent comment s’y prendre.

Flows est la couche d’orchestration au-dessus des Crews. Un Flow permet d’enchaîner plusieurs Crews, d’ajouter de la logique conditionnelle entre les étapes, de gérer l’état tout au long du pipeline et de déclencher des actions selon des événements. Une Crew vous offre l’autonomie, un Flow vous donne le contrôle.

Pour la plupart des débutants, vous commencerez par les Crews. Vous ne passerez aux Flows que lorsque vous aurez besoin d’une fiabilité de niveau production. Les Flows sont la voie pour changer d’échelle.

Les bénéfices de CrewAI

CrewAI permet à plusieurs agents IA de collaborer, de partager leurs connaissances et de coordonner leurs actions vers un objectif commun.

En automatisant la distribution des tâches et la gestion des ressources, CrewAI laisse les agents se concentrer sur leurs rôles respectifs avec un minimum de surcharge.

Le framework favorise aussi l’adaptabilité, afin que les agents ajustent leur comportement selon l’évolution des conditions ou des objectifs.

En outre, CrewAI simplifie le développement avec une plateforme intuitive pour créer et administrer des systèmes multi-agents.

Autre point fort : l’intégration d’un large écosystème d’outils. Les agents élargissent ainsi leur champ d’action, interagissent avec l’extérieur et collectent des informations.

CrewAI prend en charge des outils comme les moteurs de recherche web, les modèles de langage, des outils d’analyse de données et des fonctionnalités sur mesure. Les agents peuvent ainsi aller au-delà de leurs compétences de base : récupérer des informations en ligne ou réaliser des analyses complexes, par exemple.

Pratique : créer un outil de recherche web avec CrewAI

Passons à la pratique : nous allons construire un workflow avec les outils CrewAI pour aspirer le contenu d’un site, puis effectuer du RAG dessus. 

Nous devons écrire le code qui fera fonctionner l’outil. Avant de commencer, installons les paquets crewai-tools et crewai avec pip :

# Install CrewAI with tools support
pip install 'crewai[tools]'

# Or using uv (recommended by CrewAI for dependency management)
uv add 'crewai[tools]'

Une fois les paquets installés, suivez les étapes ci-dessous. Dans cet exemple, nous utiliserons trois outils : ScrapeWebsiteTool pour aspirer le site, FileWriterTool pour écrire le fichier, et TXTSearchTool pour chercher dans le contexte en mode RAG. C’est parti.

Etape 1 : aspiration d’un site web

Nous importons d’abord les bibliothèques nécessaires et initialisons ScrapeWebsiteTool. Cet outil sert à extraire le contenu d’un site. Ici, il est configuré pour récupérer le contenu de la page Wikipedia « Artificial Intelligence » :

from crewai_tools import ScrapeWebsiteTool, FileWriterTool, TXTSearchTool
import requests

# Initialize the tool, potentially passing the session
tool = ScrapeWebsiteTool(website_url='https://en.wikipedia.org/wiki/Artificial_intelligence')  

# Extract the text
text = tool.run()
print(text)

Etape 2 : écrire le texte extrait dans un fichier

Nous utilisons maintenant FileWriterTool pour sauvegarder le texte extrait dans un fichier nommé ai.txt. 

# Initialize the tool
file_writer_tool = FileWriterTool()

# Write content to a file in a specified directory
result = file_writer_tool._run(filename='ai.txt', content = text, directory = '', overwrite=True)
print(result)

Etape 3 : configuration de l’outil de recherche textuelle

Nous configurons un autre outil pour rechercher dans le fichier ai.txt que nous venons d’enregistrer. Nous définissons aussi la variable d’environnement pour la clé API OpenAI.

import os
from crewai_tools import TXTSearchTool

os.environ['OPENAI_API_KEY'] = 'API-KEY'

# Initialize the tool with a specific text file, so the agent can search within the given text file's content
tool = TXTSearchTool(txt='ai.txt')

Etape 4 : créer un agent pour la tâche et l’exécuter

Nous créons un agent analyste de données avec un rôle d’éducateur. Sa tâche est de répondre à la question « Qu’est-ce que le traitement automatique du langage naturel ? » à partir du texte cherché dans le fichier.

from crewai import Agent, Task, Crew

context = tool.run('What is natural language processing?')

data_analyst = Agent(
    role='Educator',
    goal=f'Based on the context provided, answer the question - What is Natural Language Processing? Context - {context}',
    backstory='You are a data expert',
    verbose=True,
    allow_delegation=False,
    tools=[tool]
)

test_task = Task(
    description="Using the provided context, answer the question: What is Natural Language Processing?",
    tools=[tool],
    agent=data_analyst,
    expected_output='A clear, 2-3 paragraph explanation of Natural Language Processing, covering its definition, key techniques, and common applications.'
)

crew = Crew(
    agents=[data_analyst],
    tasks=[test_task]
)

output = crew.kickoff()

Comparaison de CrewAI avec LangGraph et AutoGen

Les principales alternatives à CrewAI sont LangGraph et AutoGen de Microsoft. Le grand atout de CrewAI est son paradigme d’agents orienté rôles. En définissant des agents avec rôles, objectifs et historiques, on obtient des comportements qui reflètent de près la façon dont des équipes humaines collaborent.

LangGraph offre un contrôle plus fin du flux d’exécution via une approche en graphe, mais requiert de maîtriser les graphes orientés et la gestion d’état. Pour la plupart des développeurs qui débutent avec les systèmes multi-agents, CrewAI est la voie la plus rapide vers un prototype fonctionnel.

Conclusion

CrewAI offre une plateforme pragmatique pour gérer des systèmes multi-agents. Qu’il s’agisse d’aspirer du contenu ou de déléguer des tâches, le framework favorise la collaboration, l’adaptation et la montée en performance des agents.

En intégrant des outils et une structure organisée, CrewAI facilite la gestion des interactions, la distribution des tâches et la recherche d’une performance optimale.