L'opérateur utilise un navigateur virtuel pour naviguer sur les sites web. Cet environnement virtuel lui permet d'interagir avec les interfaces utilisateur graphiques (IUG) comme le ferait un utilisateur humain. Au lieu d'exiger des sites web qu'ils disposent d'API spécialisées, Operator interprète la présentation visuelle d'une page web, clique sur des boutons, saisit des champs et fait défiler le contenu.
L'opérateur s'appuie sur des instructions en langage clair pour comprendre les besoins des utilisateurs. Une fois la tâche définie, il traite les instructions, les décompose en étapes exploitables et les exécute tout en fournissant un retour d'information à l'utilisateur. L'opérateur peut également demander des éclaircissements ou des confirmations pour des actions critiques, telles que l'envoi d'un formulaire ou l'exécution d'un paiement, ce qui lui permet de mieux contrôler ses résultats.
Qu'est-ce qu'un agent utilisateur d'ordinateur (AUE) ?
L'agent d'utilisation de l'ordinateur (AUE) est la technologie de base de l'opérateur. En combinant les capacités de vision de GPT-4o avec un raisonnement avancé par l'apprentissage par renforcementL'AUC est entraînée à interagir avec des interfaces utilisateur graphiques, c'est-à-dire des boutons, des menus et des champs de texte que l'on voit sur un écran.
Perception
L'AUC commence par traiter des données brutes de pixels provenant de captures d'écran. Il utilise ces informations visuelles pour identifier les éléments clés de l'interface tels que les boutons, les champs de saisie et les menus de navigation.
Raisonnement
Une fois les données visuelles analysées, l'AUC applique un raisonnement en chaîne pour planifier ses actions. En intégrant les captures d'écran actuelles et passées, il évalue ses observations, divise les tâches en petites étapes et s'adapte dynamiquement aux défis. Par exemple, si une fenêtre contextuelle apparaît au cours d'une tâche (comme la publicité que nous avons vue dans l'exemple ci-dessus), l'AUC peut ajuster son approche et trouver un moyen de continuer, comme le ferait un utilisateur humain.
Action
L'AUC utilise la souris et le clavier virtuels pour effectuer des actions telles que cliquer, taper, faire défiler et soumettre des formulaires. Cette fonctionnalité lui permet d'exécuter des tâches de manière autonome, qu'il s'agisse de sélectionner un élément dans un menu déroulant ou de naviguer dans un formulaire à plusieurs étapes.
Pour les actions critiques, telles que les paiements ou la connexion à des comptes, CUA demande la confirmation de l'utilisateur avant de procéder, ce qui garantit que les utilisateurs gardent le contrôle sur les opérations sensibles.
Critères de référence de l'AUC
L'AUC a atteint des performances de pointe (SOTA) sur plusieurs critères de référence:
FAQ
L'Opérateur OpenAI peut-il gérer plus d'une tâche en même temps ?
Oui, Operator est conçu pour gérer plusieurs tâches simultanément. Vous pouvez avoir des conversations séparées pour chaque tâche et l'opérateur s'exécute en parallèle. Par exemple, vous pouvez demander à l'opérateur de commander des courses sur Instacart tout en effectuant une réservation sur Booking.com.
L'Opérateur OpenAI est-il un agent d'IA ?
Oui, OpenAI Operator est un agent d'intelligence artificielle conçu pour effectuer des tâches pour vous de manière autonome. Il interagit avec les sites web en naviguant, en cliquant et en remplissant des formulaires, ce qui vous permet d'automatiser les activités. Pour en savoir plus sur les agents d'intelligence artificielle, consultez notre article de blog : Comprendre les agents d'intelligence artificielle : L'avenir des systèmes autonomes.
Comment fonctionne l'opérateur ?
Basé sur le modèle Computer-Using Agent (CUA), Operator interagit avec les pages web en visualisant des captures d'écran et en effectuant des actions à l'aide de la souris et du clavier. Il peut s'auto-corriger ou demander l'aide de l'utilisateur si nécessaire.
Qui peut utiliser l'Opérateur dès maintenant et comment commencer ?
L'opérateur est disponible pour les utilisateurs Pro aux États-Unis. Si vous disposez d'un abonnement Pro, vous pouvez vous rendre sur operator.chatgpt.com pour commencer. Essayez de décrire une tâche et l'opérateur s'en chargera.
Quelles sont les limites actuelles de l'opérateur ?
Operator étant encore à l'état d'avant-première de recherche, il peut s'avérer difficile d'exécuter des tâches complexes telles que la création de diaporamas ou la gestion de calendriers.
L'opérateur sera-t-il disponible sur les appareils mobiles ?
Il n'y a pas encore de confirmation concernant la prise en charge mobile d'Operator, mais sa capacité à interagir avec des interfaces web pourrait lui permettre de s'adapter aux plateformes mobiles à l'avenir, au fur et à mesure du développement de la technologie.
Comment Operator se compare-t-il aux assistants vocaux tels que Siri ou Google Assistant ?
Operator se concentre sur les tâches basées sur le web et l'interaction directe avec les sites web, alors que les assistants vocaux traditionnels s'appuient généralement sur des intégrations d'applications prédéfinies ou des API. La capacité d'Operator à imiter les actions humaines telles que le clic et le défilement le distingue en termes de polyvalence pour les tâches en ligne complexes.
L'opérateur peut-il gérer des sites web qui utilisent des CAPTCHA ou des fonctions de sécurité avancées ?
L'opérateur s'appuie actuellement sur la saisie de l'utilisateur pour les tâches impliquant des CAPTCHA ou des connexions sensibles. Il ne contourne pas automatiquement ces systèmes, mais peut naviguer dans les flux de travail une fois que ces obstacles sont levés.

Auteur
Josef Waples
Je suis rédacteur et éditeur dans le domaine de la science des données. Je suis particulièrement intéressé par l'algèbre linéaire, les statistiques, R, etc. Je joue également beaucoup aux échecs !





OpenAI a récemment annoncé Operator, un agent d'IA conçu pour effectuer seul des tâches sur le web. Il peut prendre en charge des tâches telles que la réservation d'un tableau ou les achats en ligne, simplifiant ainsi les interactions numériques pour les tâches quotidiennes.
Cependant, nous pensons que son potentiel va au-delà de la commodité : il pourrait permettre aux personnes qui n'ont pas de compétences informatiques d'accomplir des tâches telles que remplir des formulaires ou naviguer sur des sites web complexes en toute simplicité.
En outre, avec une intégration plus poussée des commandes vocales, il pourrait constituer une solution plus accessible pour les personnes handicapées, notamment celles souffrant de déficiences visuelles.
L'opérateur entre dans un domaine concurrentiel qui comprend Anthropic et le projet Mariner de Google. d'Anthropic et le projet Mariner de Google. L'une des différences est que les outils d'Anthropic nécessitent des connaissances en programmation (pour l'instant), alors qu'Operator permet aux utilisateurs de fournir des instructions en langage simple, ce qui le rend plus accessible.
Dans ce blog, nous expliquerons ce qu'est Operator, nous explorerons sa technologie de base (CUA), nous décrirons ses cas d'utilisation et ses limites, et nous discuterons de sa place dans le contexte plus large des agents d'intelligence artificielle.
Qu'est-ce qu'un opérateur ?
Operator est le premier agent d'IA d'OpenAI, conçu pour effectuer de manière autonome des tâches sur le web. Un agent d'intelligence artificielle est un système capable de recevoir des instructions, de les analyser et d'exécuter des actions sans surveillance humaine permanente.
Contrairement aux outils d'automatisation traditionnels qui s'appuient sur des API prédéfinies ou des flux de travail rigides, Operator interagit directement avec les sites web, imitant les actions humaines telles que le clic, la frappe et le défilement. Son objectif principal est de simplifier les tâches numériques qui pourraient autrement nécessiter un effort manuel ou une expertise technique.
Il est donc parfaitement adapté aux activités quotidiennes telles que la gestion des réservations ou le remplissage de formulaires, ainsi qu'aux flux de travail plus complexes à plusieurs étapes. Voici un exemple d'utilisation de l'opérateur :