Cours
Building AI Agents with Google ADK
1 h
2.8K
La démonstration en direct de ChatGPT Agent était impressionnante : recherche de cadeaux sur le Web, réservation de voyages, création de présentations. L'annonce présentait des résultats de benchmark impressionnants, suggérant que l'agent était capable de gérer des tâches complexes dans le monde réel.
Cependant, les démonstrations en direct utilisent toujours des exemples soigneusement sélectionnés, et les benchmarks ne reflètent pas la réalité complexe des flux de travail quotidiens que l'Agent est censé résoudre selon OpenAI.
J'ai donc soumis l'agent à cinq tests exigeants qui reflètent des scénarios de travail réels, avec des tâches nécessitant de jongler entre plusieurs onglets de navigateur, de croiser des informations provenant de différents sites web et de fournir des résultats que j'utiliserais réellement. Cet article illustre ce qui se produit lorsque les promesses marketing se confrontent à la réalité pratique.
Nous tenons nos lecteurs informés des dernières actualités en matière d'IA grâce à The Median, notre newsletter hebdomadaire gratuite qui résume les articles les plus importants de la semaine. Abonnez-vous et restez informé en quelques minutes par semaine :
Qu'est-ce que l'agent ChatGPT ?
ChatGPT Agent est la dernière fonctionnalité premium d'OpenAI pour les utilisateurs Plus, Pro et Enterprise. Il rassemble trois outils qui fonctionnaient auparavant séparément : Recherche approfondie, opérateur et raisonnement du modèle linguistique de base. Quelle est la grande différence ? L'agent dispose de son propre ordinateur virtuel pour travailler.
Ceci est important car l'ancienne configuration présentait des problèmes. Le mode Recherche approfondie était très efficace pour l'analyse, mais il était impossible de cliquer sur quoi que ce soit. L'opérateur était capable de naviguer sur des sites Web, mais ne disposait pas des capacités de raisonnement nécessaires pour effectuer des recherches approfondies. L'Agent résout ce problème en combinant les deux capacités en une seule.
Qu'est-ce qui différencie ChatGPT Agent ?
Vous trouverez l'agent comme option supplémentaire dans la barre d'outils de votre chat. Cependant, contrairement au ChatGPT classique, il fonctionne sur un ordinateur virtuel avec un accès complet à :
- Navigateur pour la navigation et la recherche sur Internet
- Terminal pour exécuter des commandes et des scripts
- Environnement d'exécution de code pour le traitement de données
- Système de fichiers pour le téléchargement et l'organisation de contenu
La configuration de l'ordinateur virtuel permet à l'agent d'effectuer des tâches qui étaient auparavant impossibles.
Exemple 1 : Tâche de l'UNESCO relative aux données sur l'éducation
Lorsque je l'ai testé avec une tâche relative aux données éducatives de l'UNESCO, je l'ai observé fonctionner pendant 14 minutes d'affilée. Voici la suggestion (proposée par ChatGPT lui-même lors de ma première interaction avec l'agent) :
Pull the latest available data from the UNESCO Institute for Statistics on national student-teacher ratios and total teaching staff counts for primary and secondary education.
Create a spreadsheet with two tabs: one for primary education and one for secondary.
Each should include country name, student-teacher ratio, total number of teachers, gross enrollment, and year of reporting.
Add a summary tab highlighting the countries with the most strained and most favorable ratios, sorted accordingly.
Ensure consistent country naming across tabs.Voici ce qu'il a pu traiter lors de l'exécution de l'invite :
- Lisez les pages web en faisant défiler comme vous le feriez à l'œil nu (mais plus rapidement) au lieu d'analyser le code HTML brut.
- Cliquez sur les boutons, remplissez les formulaires et, je ne plaisante pas, fermez les fenêtres contextuelles et acceptez les cookies.
- Télécharger des fichiers et décompresser des archives automatiquement
- Passer du navigateur au terminal selon les besoins
- Analyser les fichiers téléchargés et revenir à la navigation
- Télécharger des fichiers PDF et extraire le contenu textuel
- Corrigez les erreurs en revenant aux pages précédentes.
- Contrôlez le curseur de manière fluide sur différentes interfaces.
Comparaison des performances réelles avec o3-pro
J'ai donné à l'agent et à o3-pro la même instruction complexe ci-dessus : extraire les données de l'UNESCO sur le ratio élèves-enseignant et créer un tableur formaté avec plusieurs onglets. Les résultats ont révélé des différences significatives.
L'agent a travaillé pendant 14 minutes et a fourni une feuille de calcul couvrant 222 pays. Il manquait une exigence (l'onglet « Résumé » avec les meilleurs/pires ratios) et la liste était classée par ordre alphabétique au lieu d'être classée par ratios. Il s'agit peut-être d'un une surcharge contextuelle , c'est-à-dire que le modèle oublie les détails originaux lorsqu'il traite une tâche longue.
D'autre part, o3-pro a pris 18 minutes pour réfléchir au problème. Il a ensuite rencontré des obstacles que l'agent avait précédemment résolus automatiquement. Étant donné qu'o3-pro ne peut pas télécharger de fichiers, il m'a demandé de télécharger manuellement deux ressources, de les décompresser et d'exécuter un script Python qu'il a écrit. Je n'ai pas testé le script, mais il était évident que cette méthode ajouterait au moins 10 minutes à mon flux de travail.
Fonctionnement de l'Agent dans la pratique
Lorsque l'agent est en cours d'exécution, vous pouvez observer tout ce qui se passe en temps réel. Vous pouvez reprendre le contrôle du navigateur à tout moment, mais pour les tâches qui ne nécessitent pas de données sensibles ou d'interactions, il fonctionne parfaitement de manière autonome.
Une fois que l'agent a terminé, vous disposez de deux options pour examiner ce qui s'est passé. Il existe un enregistrement vidéo complet que vous pouvez mettre en pause et rejouer (assez ennuyeux à regarder une fois l'effet de nouveauté passé). De plus, un historique détaillé sous forme de texte présente le raisonnement derrière chaque étape, les commandes réelles exécutées et les opérations effectuées sur les fichiers.
Le plus intéressant ? Une fois que l'agent a terminé une tâche, vous pouvez lui poser des questions complémentaires dans le mode de chat normal. Il mémorise tout ce qu'il a appris et peut se référer aux données qu'il a collectées.
Exemple 2 : Créer un collage d'images
La première tâche de recherche a démontré que l'agent était capable de gérer la collecte de données complexes. Cependant, j'avais besoin de tester quelque chose de différent : des tâches nécessitant une utilisation constante de la souris avec des éléments de pages Web. Sinon, je continuerais à utiliser mes raccourcis clavier et à effectuer les tâches moi-même.
La création de figures et de diagrammes m'est immédiatement venue à l'esprit. Je procède souvent ainsi pour les articles de blog, cela m'a donc semblé être un cas test naturel.
La tâche et la première tentative
Au cours de mes recherches pour cet article, j'ai lu l'article d'annonce d'OpenAI intitulé « Open l'annonce d'OpenAI sur ChatGPT Agent. Cet article contient 6 à 7 images présentant les résultats des tests de performance qui démontrent les performances impressionnantes de l'Agent. Au lieu d'énumérer chaque référence individuellement, j'ai demandé à l'agent de créer un collage visuel que je pourrais ajouter à cet article de blog.
I want you to open the following link, combine all benchmark results' images into a single collage and highlight the columns where ChatGPT's agent results are given.
<link>
https://openai.com/index/introducing-chatgpt-agent/
</link>Ce que je souhaitais était simple : récupérer tous les diagrammes de référence de la page Web, les organiser côte à côte en lignes et tracer des rectangles rouges autour des colonnes indiquant les performances de l'agent. Pour tout utilisateur occasionnel de Canva, cela ne prend que quelques minutes : sélectionner des images, les organiser, dessiner quelques rectangles.
Cependant, pour un programme d'IA, cela nécessite un raisonnement complexe et un travail intensif à l'aide de la souris. L'agent a mis 9 minutes et a fourni une réponse peu convaincante.
L'image était entièrement verticale au lieu d'être disposée correctement en grille. Les rectangles rouges n'étaient pas des contours nets, mais des formes remplies dispersées sur l'ensemble des images. Pire encore, il s'était égaré sur d'autres sites web, extrayant des résultats de benchmark de pages aléatoires au lieu de l'article que j'avais spécifié.
Il a également ignoré Canva, bien que je l'aie connecté à mon compte.
Deuxième étape : instructions plus détaillées
J'ai créé un nouveau fil de discussion avec des instructions plus précises :
I want you to open the following webpage where you will find a bunch of benchmark results given in the form of images on the performance of ChatGPT Agent. Your task is to combine all those images given in the webpage (ONLY IN THAT WEBPAGE, DON'T SEARCH FOR ADDITIONAL INFORMATION) into a single collage where you organize the images side-by-side in rows. Afterward, highlight the columns where ChatGPT Agent's performance is shown with a red rectangle. Use Canva to do this task
<link>
https://openai.com/index/introducing-chatgpt-agent/
</link>Tout d'abord, l'agent a rencontré un CAPTCHA en essayant de lire l'annonce. J'ai dû prendre les choses en main et sélectionner moi-même les images des passages piétons. Ensuite, cela a fonctionné pendant 18 minutes avant de s'arrêter pour me demander de me connecter à Canva.
La connexion n'a pas été fluide. L'ordinateur virtuel et le navigateur sont lents, ce qui est très différent de la réactivité que l'on attend lorsque l'on se connecte à des sites web. Les raccourcis clavier tels que Cmd + V pour coller des mots de passe prennent plus de temps à s'enregistrer.
Là où tout s'est effondré
Une fois Agent connecté à Canva, il a repris son travail sur l'interface.
Après l'avoir observé pendant huit minutes à tâtonner sans savoir quoi faire, j'ai dû intervenir. L'agent tentait de dessiner manuellement les images des résultats de référence une par une au lieu d'utiliser les images téléchargées.
J'ai clarifié avec une autre question :
No, you are going in the wrong direction on Canva.
What I meant was that after you grabbed the benchmark results' images, paste them into canva and organize them one-by-one into a 16:9 collage with ChatGPT Agent's performance highlighted with a red rectangleL'agent a compris cette fois-ci, mais il était évident qu'il ne savait pas vraiment comment exécuter la tâche.
Il m'a fallu un certain temps pour relire l'annonce et télécharger les images de référence. Le processus de téléchargement a été extrêmement lent : l'agent hésitait constamment entre les options « Copier le lien de l'image », « Enregistrer l'image » ou d'autres options du menu contextuel, et le bouton « Télécharger l'image » situé dans le coin supérieur droit.
Après avoir enfin téléchargé les images sur Canva, l'agent a commencé le travail de mise en page proprement dit. Cela a révélé à quel point son contrôle spatial était insuffisant. Le voir essayer de faire glisser des images à leur emplacement était comme observer un enfant utiliser un ordinateur. Les alignements et les positions naturelles des éléments étaient constamment incorrects.
Un autre problème est apparu lorsque l'agent a tenté de tracer des rectangles autour des barres de référence. Pour les humains, cela est trivial : un simple mouvement fluide de la souris permet de dessiner un rectangle. Pour l'agent, cela s'est avéré être une tâche difficile. En raison de son manque d'intelligence spatiale et visuelle, il a eu recours à des scripts Python et à la reconnaissance optique de caractères (OCR) pour détecter les barres représentant les performances de l'agent, puis a calculé les coordonnées exactes pour le placement des rectangles.
Le résultat final
L'opération a duré plus de 75 minutes, y compris tous les allers-retours. L'agent m'a laissé une « Page de conception sans titre 2 » dans mon compte Canva.
L'image semblait coupée car l'agent avait tenté d'ajouter un élément de texte de titre, ce qui avait masqué la partie supérieure. Après quelques ajustements manuels, j'ai obtenu un collage fonctionnel, mais encore assez rudimentaire par rapport à ce qu'un concepteur inexpérimenté pourrait réaliser en quelques minutes.
Le temps investi n'était absolument pas justifié par la qualité du résultat. Pour aggraver la situation, j'ai découvert par la suite que l'agent n'avait pas utilisé les outils rectangles de Canva. Il avait dessiné les rectangles dans Python, puis téléchargé l'image modifiée sur Canva. Cela signifiait que je ne pouvais pas ajuster ou déplacer manuellement ces rectangles irréguliers par la suite.
Introduction aux agents d'intelligence artificielle
Apprenez les principes fondamentaux des agents d'intelligence artificielle, leurs composants et leur utilisation dans le monde réel - aucun codage n'est nécessaire.
Exemple 3 : Concevoir une image de couverture simple
À ce stade, j'ai réalisé que j'avais demandé une tâche trop complexe à l'Agent. La création du collage impliquait de nombreuses étapes complexes : extraction de données sur le Web, raisonnement spatial, manipulation de plusieurs images et travail de conception précis, le tout simultanément.
J'ai donc essayé quelque chose de plus simple : créer des images de couverture pour les articles de blog. Il s'agit en réalité d'une tâche que je n'apprécie pas particulièrement, donc si l'agent pouvait s'en charger, cela serait vraiment utile.
J'ai conservé des exigences simples : Je rédige actuellement un tutoriel sur le nouveau mode Agent de ChatGPT. Votre tâche consiste à créer une image de couverture au format 16:9 en utilisant les couleurs de la marque DataCamp pour le tutoriel. Il doit inclure le mot-clé « ChatGPT Agent » et toute figure robotique que vous pouvez trouver à côté de ce mot-clé. Veuillez utiliser Canva pour accomplir cette tâche.
Un succès plus facile à gérer
Cette fois-ci, j'ai obtenu de bien meilleurs résultats. L'agent a correctement recherché les couleurs de la marque DataCamp et a ajouté les deux éléments côte à côte dans Canva. L'alignement des éléments n'était toujours pas correct (le texte et les images n'étaient pas parfaitement positionnés les uns par rapport aux autres), mais au moins, il s'agissait d'éléments Canva.
Cela signifie qu'au lieu de télécharger un modèle prédéfini, j'ai pu facilement les déplacer moi-même pour les positionner de manière plus appropriée. Quelques ajustements rapides et j'ai obtenu une image de couverture utilisable.
Détail intéressant : bien que je me sois connecté à Canva lors de la tâche complexe précédente dans un autre fil de discussion de l', l'agent ne m'a pas demandé de me reconnecter ici. L'ordinateur virtuel semble enregistrer l'historique du navigateur, les cookies et les informations de connexion d'une session à l'autre. Cela est pratique pour les flux de travail, mais il est important de le noter si vous ne souhaitez pas que ChatGPT stocke ces informations. Vous devrez alors les effacer manuellement.
Exemple 4 : Recherche de pièces Lego
Cette fois-ci, j'ai décidé de tester l'Agent sur un sujet qui m'avait posé problème par le passé. Je suis un AFOL (adulte fan de Lego) et il y a quelques mois, j'ai demandé à ChatGPT de générer un fichier CSV pour un pack de démarrage Lego Technic de 10 000 pièces utilisant le modèle o3.
La génération de fichiers CSV volumineux est difficile pour les LLM, car il y a trop de petits détails à suivre. Ainsi, lorsqu'il a généré un fichier CSV composé d'au moins 50 pièces différentes, avec leurs identifiants, leurs noms et leurs quantités, j'ai constaté qu'il avait généré de nombreuses erreurs sur certains identifiants de pièces, malgré l'accès à la recherche sur Internet.
Mes recherches se sont arrêtées là, car je n'avais pas la patience de vérifier chaque référence de pièce, de m'assurer qu'elles existaient réellement et qu'elles correspondaient bien aux pièces que je souhaitais acheter sur BrickLink, une plateforme officielle de vente de pièces et de sets Lego.
Configuration du test
Cependant, maintenant que j'avais accès à l'Agent, qui pouvait effectuer une double vérification pour moi, j'ai demandé à nouveau à o3 un fichier CSV, mais pour une collection plus petite de 3 000 éléments, par souci de simplicité :
I want you to generate me a 3000-piece bulk pack for getting started with Lego Technic.
I am interested in building cars and motorized mechanisms as a hobby.
The bulk pack you generate must be saved to a CSV file with the following columns:
- Part ID
- Part name
- Amount
Use the official part IDs and names so that when I upload the CSV to bricklink, I can place an order with a single clickLe modèle a réfléchi pendant 5 minutes et m'a remis le fichier CSV. Ensuite, j'ai changé de fil de discussion (car il s'avère que le mode Agent est désactivé lorsque la première invite d'un fil de discussion n'est pas destinée à l'Agent).
La tâche de vérification
J'ai téléchargé le fichier et saisi l'invite suivante :
I attached a 3,000-piece Lego Technic starter pack list. Your task is to double-check that each part listed in the list actually exists and that part IDs actually match part names. You must use BrickLink website (only BrickLink) as a single source of truth.
If certain part IDs or names are incorrect, correct them. Afterward, create a wishlist on BrickLink that will allow me to one-click order them later. When creating the wishlist, ask me to log in to BrickLink and I will do that for you.
L'agent partit. Après cinq minutes de travail sur le site web BrickLink, il a constaté que trois pièces étaient nommées différemment sur le site web et les a corrigées. C'était exactement le type de vérification fastidieuse que je souhaitais éviter de faire moi-même.
À quel moment le flux de travail a-t-il été interrompu ?
Ensuite, il m'a demandé de me connecter pour créer une liste de souhaits sous mon compte. Je me suis connecté avec mes identifiants, et l'agent a repris le contrôle pour créer une liste de souhaits.
Avant de cliquer sur le bouton final « Créer une liste de souhaits », le système m'a demandé confirmation, comme il est programmé pour le faire avant toute opération importante de ce type. J'ai répondu oui, et c'est à ce moment-là que le flux de travail s'est interrompu.
L'agent a indiqué avoir créé la liste de souhaits, mais lorsque j'ai consulté mon compte, je n'ai rien trouvé. En réalité, il était prévu que le bouton « Créer la liste de souhaits » soit activé, puis que le fichier CSV soit téléchargé pour terminer la tâche. Cependant, cette dernière partie a été omise.
Un succès partiel
Cependant, la partie la plus complexe, à savoir la recherche proprement dite, qui a nécessité de passer du format CSV à BrickLink, puis de nouveau au format CSV à plusieurs reprises, a été effectuée avec précision par l'agent. Il a vérifié avec succès des dizaines d'identifiants de pièces, détecté les incohérences dans les noms et les a corrigées. Cela m'a évité des heures de travail manuel de recoupement.
L'échec s'est produit à la toute fin, lors de la création de la liste de souhaits, probablement en raison d'une mauvaise compréhension par l'agent du processus de téléchargement en plusieurs étapes de BrickLink. Bien que cela soit frustrant, l'essentiel a été accompli : Je disposais désormais d'un fichier CSV vérifié contenant les identifiants corrects des pièces, que je pouvais télécharger manuellement sur BrickLink.
Exemple 5 : Génération de diaporamas
Enfin, j'ai souhaité tester les capacités PowerPoint de l'Agent, car l'annonce mentionnait la création de présentations parmi les utilisations concrètes de l'Agent. Je m'efforce d'éviter PowerPoint autant que possible et n'utilise Gamma si je dois faire une présentation.
Maintenant, je souhaitais déterminer si l'Agent était à la hauteur de Gamma. Voici ce qui m'a inspiré :
I want you to build me a presentation pitch deck for convincing existing Manus users to the newly released ChatGPT Agent.
Here is the announcement post that you can use for information: https://openai.com/index/introducing-chatgpt-agent/L'agent a immédiatement posé une question complémentaire :
Do you have any specific preferences for slide count, visual style, or key points you'd like emphasized?À quoi j'ai répondu :
Yes, keep it to 10 slides max, use a minimalistic white, black and red (gradients are allowed) for the style.
If possible, look for direct comparisons between Manus and ChatGPT AgentUne approche différente qui a fonctionné
L'agent a travaillé sur la présentation pendant 13 minutes. Il est intéressant de noter qu'il n'a pas utilisé Google Slides, mais plutôt le terminal pour exécuter une combinaison de code Python et JavaScript.