Der Operator verwendet einen virtuellen Browser, um auf Websites zu navigieren. Diese virtuelle Umgebung ermöglicht es ihm, mit grafischen Benutzeroberflächen (GUIs) zu interagieren, wie es ein menschlicher Benutzer tun würde. Anstatt dass Webseiten spezielle APIs benötigen, interpretiert Operator das visuelle Layout einer Webseite, klickt auf Schaltflächen, tippt in Felder und scrollt durch Inhalte.
Operator verlässt sich auf Anweisungen in einfacher Sprache, um zu verstehen, was die Benutzer brauchen. Sobald die Aufgabe festgelegt ist, verarbeitet sie die Anweisungen, zerlegt sie in umsetzbare Schritte und führt sie aus, während sie dem/der Nutzer/in Feedback gibt. Der Betreiber kann auch um Klärung oder Bestätigungen für kritische Aktionen bitten, z. B. das Absenden eines Formulars oder das Abschließen einer Zahlung, und so eine bessere Kontrolle über seine Leistung gewährleisten.
Was ist ein Computer-User-Agent (CUA)?
Der Computer-Using Agent (CUA) ist die Kerntechnologie von Operator. Die Kombination von GPT-4o's Vision-Fähigkeiten mit fortgeschrittenem Reasoning durch VerstärkungslernenDie CUA ist darauf trainiert, mit grafischen Benutzeroberflächen zu interagieren - den Schaltflächen, Menüs und Textfeldern, die Menschen auf einem Bildschirm sehen.
Wahrnehmung
CUA beginnt mit der Verarbeitung von Pixel-Rohdaten aus Screenshots des Bildschirms. Es nutzt diese visuellen Informationen, um wichtige Oberflächenelemente wie Schaltflächen, Eingabefelder und Navigationsmenüs zu identifizieren.
Vernunft
Sobald die visuellen Daten analysiert sind, wendet die CUA das Chain-of-Thought-Prinzip an, um ihre Aktionen zu planen. Durch die Integration aktueller und vergangener Screenshots wertet er seine Beobachtungen aus, zerlegt Aufgaben in kleinere Schritte und passt sich dynamisch an Herausforderungen an. Wenn zum Beispiel während einer Aufgabe ein Pop-up erscheint (wie die Anzeige im obigen Beispiel), kann die CUA ihren Ansatz anpassen und einen Weg finden, um fortzufahren, ähnlich wie ein menschlicher Nutzer es tun würde.
Aktion
Die CUA verwendet virtuelle Maus- und Tastatureingaben, um Aktionen wie Klicken, Tippen, Scrollen und das Absenden von Formularen durchzuführen. Mit dieser Funktionalität kann es Aufgaben selbstständig ausführen, sei es die Auswahl eines Elements aus einem Dropdown-Menü oder das Navigieren durch ein mehrstufiges Formular.
Für kritische Aktionen - wie Zahlungen oder das Einloggen in Konten - holt die CUA die Bestätigung der Benutzer/innen ein, bevor sie fortfahren, um sicherzustellen, dass die Benutzer/innen die Kontrolle über sensible Vorgänge behalten.
CUA-Benchmarks
Die CUA hat bei mehreren Benchmarks die beste Leistung (SOTA) erzielt:
FAQs
Kann OpenAI Operator mehr als eine Aufgabe gleichzeitig erledigen?
Ja, Operator ist so konzipiert, dass er mehrere Aufgaben gleichzeitig erledigen kann. Du kannst für jede Aufgabe eine eigene Konversation führen, und Operator wird parallel ausgeführt. Du kannst z.B. den Betreiber beauftragen, Lebensmittel auf Instacart zu bestellen und gleichzeitig eine Buchung auf Booking.com vorzunehmen.
Ist OpenAI Operator ein KI-Agent?
Ja, OpenAI Operator ist ein KI-Agent, der selbstständig Aufgaben für dich erledigen kann. Es interagiert mit Websites, indem es navigiert, klickt und Formulare ausfüllt, und ermöglicht es dir, Aktivitäten zu automatisieren. Erfahre mehr über KI-Agenten in unserem Blogbeitrag: KI-Agenten verstehen: Die Zukunft der autonomen Systeme.
Wie funktioniert der Operator?
Auf der Grundlage des Computer-Using-Agent-Modells (CUA) interagiert Operator mit Webseiten, indem er Screenshots anzeigt und Maus- und Tastaturaktionen ausführt. Es kann sich selbst korrigieren oder bei Bedarf die Hilfe des Benutzers anfordern.
Wer kann Operator jetzt schon gebrauchen und wie kann er anfangen?
Operator ist für Pro-Benutzer in den USA verfügbar. Wenn du ein Pro-Abo hast, kannst du operator.chatgpt.com besuchen, um zu starten. Versuche, eine Aufgabe zu beschreiben, und Operator wird sie erledigen.
Was sind die aktuellen Grenzen von Operator?
Da es sich bei Operator noch um eine Forschungsvorschau handelt, kann es bei komplexen Aufgaben wie dem Erstellen von Diashows oder der Verwaltung von Kalendern Probleme geben.
Wird Operator auf mobilen Geräten verfügbar sein?
Es gibt noch keine Bestätigung für die mobile Unterstützung von Operator, aber seine Fähigkeit, mit Webschnittstellen zu interagieren, könnte ihn in Zukunft an mobile Plattformen anpassen, wenn sich die Technologie weiterentwickelt.
Wie ist Operator im Vergleich zu Sprachassistenten wie Siri oder Google Assistant?
Operator konzentriert sich auf webbasierte Aufgaben und die direkte Interaktion mit Websites, während traditionelle Sprachassistenten in der Regel auf vordefinierte App-Integrationen oder APIs angewiesen sind. Die Fähigkeit von Operator, menschliche Handlungen wie Klicken und Scrollen zu imitieren, macht ihn besonders vielseitig für komplexe Online-Aufgaben einsetzbar.
Kann Operator mit Websites umgehen, die CAPTCHA oder erweiterte Sicherheitsfunktionen verwenden?
Operator verlässt sich derzeit auf Benutzereingaben für Aufgaben, die CAPTCHAs oder sensible Logins beinhalten. Er umgeht diese Systeme nicht automatisch, kann aber durch die Arbeitsabläufe navigieren, sobald solche Hindernisse beseitigt sind.

Autor
Josef Waples



OpenAI hat kürzlich Operatorangekündigt , einen KI-Agent der webbasierte Aufgaben selbstständig erledigen kann. Es kann Aufgaben wie die Reservierung eines Tisches oder das Online-Shopping übernehmen und vereinfacht so die digitale Interaktion bei alltäglichen Aufgaben.
Wir glauben jedoch, dass sein Potenzial über die Bequemlichkeit hinausgeht - es könnte Menschen mit mangelnden Computerkenntnissen helfen, indem es ihnen ermöglicht, Aufgaben wie das Ausfüllen von Formularen oder das Navigieren auf komplexen Websites mit Leichtigkeit zu erledigen.
Durch die weitere Integration von Sprachbefehlen könnte es außerdem eine leichter zugängliche Lösung für Menschen mit Behinderungen, wie z.B. Sehbehinderungen, darstellen.
Operator betritt ein wettbewerbsfähiges Feld, zu dem auch Anthropic's Computer-Nutzungs Fähigkeiten und Googles Project Mariner. Ein Unterschied besteht darin, dass für die Werkzeuge von Anthropic (vorerst) Programmierkenntnisse erforderlich sind, während Operator es den Nutzern ermöglicht, Anweisungen in einfacher Sprache zu geben, was es leichter zugänglich macht.
In diesem Blog erklären wir, was Operator ist, erforschen seine Kerntechnologie (CUA), erläutern seine Anwendungsfälle und Grenzen und diskutieren, wo er in den breiteren Kontext der KI-Agenten passt.
Was ist Operator?
Operator ist der erste KI-Agent von OpenAI, der selbstständig Aufgaben im Internet erledigen soll. Ein KI-Agent ist ein System, das Anweisungen entgegennehmen, sie durchdenken und Aktionen ohne ständige menschliche Aufsicht ausführen kann.
Im Gegensatz zu herkömmlichen Automatisierungstools, die sich auf vordefinierte APIs oder starre Workflows verlassen, interagiert Operator direkt mit Websites und ahmt menschliche Aktionen wie Klicken, Tippen und Scrollen nach. Sein Hauptziel ist es, digitale Aufgaben zu vereinfachen, die sonst manuellen Aufwand oder technisches Fachwissen erfordern würden.
Damit eignet sie sich sowohl für alltägliche Tätigkeiten wie die Verwaltung von Reservierungen oder das Ausfüllen von Formularen als auch für komplexere, mehrstufige Arbeitsabläufe. Hier ist ein Beispiel für die Verwendung von Operator: