Googles Jarvis AI ist mit ziemlicher Sicherheit ein webbasierter KI-Agent

Am 6. November 2024 enthüllte Google scheinbar unbeabsichtigt Jarvis AI, indem es versehentlich eine frühe Version dieses KI-Agenten als Erweiterung im Google Chrome Web Store veröffentlichte. In diesem Artikel werde ich untersuchen, was Jarvis AI sein könnte und wie sie die Art und Weise, wie wir im Internet surfen, grundlegend verändern könnte.

Was ist Jarvis AI?

Das Einzige, was wir über Jarvis AI wissen, ist, dass Anfang November dieses Jahres eine Google Chrome-Erweiterung namens Jarvis für kurze Zeit veröffentlicht wurde. Trotz ihres kurzen Auftritts wird die Erweiterung in der Beschreibung auf der Store-Seite als "ein hilfreicher Begleiter, der für dich im Internet surft" bezeichnet. Diese Beschreibung deckt sich mit der beabsichtigten Funktionalität von Jarvis als KI-Agent der webbasierte Aufgaben automatisieren soll.

In ihrer Keynote Anfang des Jahresstellte Google unveröffentlichte KI-Agenten vor, die den Browser steuern können, um eine Vielzahl von Aufgaben auszuführen. Ich vermute, dass Jarvis AI das eigentliche Produkt hinter dieser Präsentation sein könnte.

In ihrer Präsentation geben sie ein Beispiel für die Rückgabe von Schuhen. Mit KI-Agenten müssten wir nur angeben, dass wir die Schuhe zurückgeben wollen, und der Agent würde alle Schritte selbstständig durchführen.

Integriert in den Browser und andere Google-Produkte wie Gmail, kann der Agent den Rückgabeprozess abschließen, indem er diese Schritte befolgt:

1. Suche im Posteingang nach der Quittung.
2. Finde die Bestellnummer in der E-Mail.
3. Fülle das Rücksendeformular aus.
4. Vereinbare einen Abholtermin.

Wie funktioniert Jarvis AI?

Jarvis AI kann alltägliche webbasierte Aufgaben für Nutzerinnen und Nutzer automatisieren, z. B. Recherchen, Online-Einkäufe und Flug- oder Reservierungsbuchungen.

Jarvis nutzt wahrscheinlich eine spezielle Version von Googles Gemini-Familie von großen Sprachmodelle. Das deutet darauf hin, dass Jarvis ein "denkendes" oder schlussfolgerndes Modell verwendet, das dazu beiträgt, dass es komplexe Aufgaben bewältigen und individuellere Antworten geben kann. Außerdem wird erwartet, dass es tief in die bestehenden Google-Dienste wie Gmail, Maps und Search integriert wird.

Diese Integration könnte die Möglichkeiten von Jarvis erweitern, indem sie den Zugriff auf Nutzerdaten ermöglicht und verschiedene Prozesse rationalisiert, wie z.B. das Abrufen von Quittungen aus Gmail für Online-Retouren oder die Nutzung von Standortdaten aus Maps für die Reiseplanung.

Die Gemini-Modelle sind multimodal und können verschiedene Arten von Daten (Text, Bilder, Video, Audio usw.) verarbeiten und Verbindungen zwischen ihnen finden. Es ist wahrscheinlich, dass der Agent Zugriff auf den Inhalt des Browsers hat, sodass er die auf dem Bildschirm angezeigten Elemente sehen, interpretieren und mit ihnen interagieren kann.

Es ist wichtig zu wissen, dass die Informationen über die interne Funktionsweise und die Abhängigkeit von bestimmten Technologien auf Spekulationen beruhen.

Jarvis AI vs. Andere KI-Agenten

Wie ich bereits erwähnt habe, glaube ich, dass Jarvis dazu gedacht ist, alltägliche webbasierte Aufgaben zu automatisieren. Jarvis zeichnet sich durch seine enge Integration mit dem Google Chrome Webbrowser aus. Doch Jarvis ist in diesem Bereich nicht allein.

Anthropics Computernutzung

Anthropic, das Unternehmen hinter Claudehat auch Fortschritte mit seinem eigenen KI-Agenten gemacht, der als Computereinsatz. Dieser Agent ist in der Lage, mit verschiedenen Anwendungen jenseits von Webbrowsern zu interagieren. Der Anthropic-Agent trat im Oktober 2024 in die öffentliche Betaphase ein und zeigte seine Fähigkeit, den Cursor zu bewegen, auf Schaltflächen zu klicken und Text zu schreiben, ähnlich wie ein menschlicher Benutzer.

Trotz ihrer unterschiedlichen Entwicklungsstadien und Einsatzbereiche haben die Computer von Jarvis und Anthropic ein gemeinsames Ziel: Aufgaben zu automatisieren, indem sie die menschenähnliche Interaktion mit Computern nachahmen. Beide Agenten stützen sich wahrscheinlich auf ausgeklügelte Mechanismen zur Erfassung und Interpretation von Bildschirminhalten, um den Kontext von Benutzeranfragen zu verstehen und die entsprechenden Aktionen auszuführen.

OpenAIs Operator

OpenAI wird "Operator" einführen, einen autonomen KI-Agenten, der Aufgaben im Namen der Nutzer/innen übernehmen kann, z. B. das Schreiben von Code oder das Buchen von Reisen. Nach Angaben von Bloombergsoll Operator im Januar 2025 in einer Forschungsvorschau veröffentlicht werden.

Sam Altman antwortet ein Reddit AMA

Meta's Toolformer

Meta AI Research hat Toolformer vorgestellt, ein Sprachmodell, das in der Lage ist, selbstständig externe Tools zu nutzen, um seine Leistung bei verschiedenen Aufgaben zu verbessern. Ausführlich in dem Artikel "Toolformer: Language Models Can Teach Themselves to Use Tools" wird das Modell trainiert, um zu bestimmen, welche APIs aufgerufen werden sollen, wann sie aufgerufen werden sollen, welche Argumente übergeben werden sollen und wie die Ergebnisse in zukünftige Token-Vorhersagen einfließen sollen.

Dieser selbstüberwachte Ansatz erfordert nur eine Handvoll Demonstrationen für jede API, so dass das Modell Tools wie Taschenrechner, Frage-Antwort-Systeme, Suchmaschinen, Übersetzungssysteme und Kalender effektiv nutzen kann.

Herausforderungen für KI-Agenten

Generell bringen KI-Agenten eine Reihe von Herausforderungen und Überlegungen mit sich, insbesondere in Bezug auf PrivatsphäreGenauigkeit und ethische Implikationen.

Bedenken zum Datenschutz

Es klingt zwar verlockend, langweilige und zeitaufwändige Aufgaben zu automatisieren, aber diese Bequemlichkeit ist mit einem gewissen Unbehagen verbunden. Will ich, dass Google oder ein anderes Unternehmen vollen Zugriff auf meinen Computer hat? Irgendetwas an dieser Vorstellung macht mich zutiefst unruhig.

Der Schutz der Privatsphäre ist von großer Bedeutung. Google muss den Nutzern versichern, dass ihre Daten sicher und verantwortungsvoll behandelt werden. Sie müssen robuste Sicherheitsmaßnahmen und transparente Datenverarbeitungspraktiken einführen, um potenzielle Risiken von Datenverstößen oder -missbrauch. Klare Richtlinien für den Datenzugriff, die Datenspeicherung und die Datennutzung sowie die Möglichkeit für die Nutzer/innen, ihre Präferenzen bei der Datenweitergabe genau festzulegen, sind entscheidend für den Aufbau von Vertrauen und die Akzeptanz durch die Nutzer/innen.

Genauigkeit und Zuverlässigkeit

Was passiert, wenn mein KI-Agent einen Fehler macht? Wenn ein KI-Chatbot einen Fehler macht, gibt er vielleicht falsche Informationen weiter, aber es wird nicht direkt gehandelt. Wenn ich einen KI-Chatbot bitte, mir bei der Planung einer Reise zu helfen, bietet er mir einen textbasierten Plan an, aber ich bin immer noch dafür verantwortlich, Reservierungen vorzunehmen, Zahlungen abzuwickeln und so weiter. Es gibt eine menschliche Ebene, um unerwünschte Ergebnisse zu verhindern. Wenn KI-Agenten jedoch in der realen Welt handeln, können diese Handlungen echte, unerwünschte Folgen haben.

Wer ist verantwortlich, wenn der KI-Agent die falschen Flüge bucht oder die falschen Schuhe zurückbringt? Ich kann mir vorstellen, dass diese Agenten den Benutzer vor jeder Aktion auffordern, aber ich bin mir nicht sicher, ob das allein ausreicht, um Fehler in komplexeren Szenarien zu vermeiden.

Unternehmen wie Google müssen strenge Test- und Validierungsprozesse einführen, um diese Ungenauigkeiten zu minimieren. Die Einführung von Mechanismen zur Überprüfung von Fakten, Querverweisen und klaren Hinweisen auf mögliche Fehler ist unerlässlich.

Ethische Implikationen

Die ethischen Implikationen von Jarvis und KI-Agenten im Allgemeinen gehen über den Datenschutz und die Genauigkeit hinaus. Unternehmen müssen auch die breiteren gesellschaftlichen Auswirkungen dieser Agenten berücksichtigen, einschließlich der möglichen Verdrängung von Arbeitsplätzen und der Schaffung neuer Abhängigkeiten von KI-Systemen.