Google’s Jarvis AI is zo goed als zeker een webgebaseerde AI-agent

Wat is Jarvis AI?

Het enige dat we weten over Jarvis AI is dat eerder in november een Google Chrome-extensie met de naam Jarvis voor korte tijd is uitgebracht. Ondanks de korte verschijning verwees de beschrijving op de winkelpagina naar Jarvis als "a helpful companion that surfs the web for you." Deze beschrijving sluit aan bij Jarvis’ beoogde functionaliteit als een AI-agent die is ontworpen om webgebaseerde taken te automatiseren.

In hun keynote eerder dit jaar toonde Google niet-uitgebrachte AI-agents met het vermogen om de browser te bedienen om een breed scala aan taken uit te voeren. Ik vermoed dat Jarvis AI het daadwerkelijke product is achter deze presentatie.

In hun presentatie geven ze een voorbeeld van het retourneren van schoenen. Met AI-agents hoeven we alleen maar aan te geven dat we de schoenen willen retourneren, en de agent voert vervolgens autonoom alle stappen uit.

Geïntegreerd met de browser en andere Google-producten, zoals Gmail, kan de agent het retourproces afronden door deze stappen te volgen:

1. Zoek de bon in de inbox.
2. Vind het ordernummer in de e-mail.
3. Vul het retourformulier in.
4. Plan een afhaling in.

Hoe werkt Jarvis AI?

Jarvis AI kan alledaagse webgebaseerde taken voor gebruikers automatiseren, zoals onderzoek doen, online aankopen doen en vluchten of reserveringen boeken.

Jarvis maakt waarschijnlijk gebruik van een gespecialiseerde versie van Google’s Gemini-familie van large language models. Dit suggereert dat Jarvis een "denk-" of redeneermodel gebruikt, wat bijdraagt aan het vermogen om complexe taken aan te kunnen en meer gepersonaliseerde reacties te geven. Daarnaast zal het waarschijnlijk diep integreren met bestaande Google-diensten zoals Gmail, Maps en Search.

Deze integratie kan de capaciteiten van Jarvis vergroten door toegang te bieden tot gebruikersdata en verschillende processen te stroomlijnen, zoals bonnetjes ophalen uit Gmail voor online retouren of locatiegegevens uit Maps gebruiken voor reisplanning.

De Gemini-modellen zijn multimodaal en kunnen verschillende soorten data verwerken (tekst, afbeeldingen, video, audio, enz.), en verbanden ertussen vinden. Waarschijnlijk krijgt de agent toegang tot de inhoud van de browser, waardoor hij de elementen op het scherm kan bekijken, interpreteren en ermee kan interageren.

Belangrijk om op te merken: de informatie over interne werking en afhankelijkheid van specifieke technologieën is speculatief.

Jarvis AI vs. andere AI-agents

Zoals ik al aangaf, denk ik dat Jarvis is ontworpen om alledaagse webgebaseerde taken te automatiseren. Jarvis onderscheidt zich door de nauwe integratie met de Google Chrome-webbrowser. Maar Jarvis is niet de enige in dit domein.

Anthropic’s computer use

Anthropic, het bedrijf achter Claude, heeft ook vooruitgang geboekt met een eigen AI-agent, bekend als computer use. Deze agent kan met verschillende applicaties interageren, niet alleen met webbrowsers. De agent van Anthropic ging in oktober 2024 de publieke bètaversie in en liet zien dat hij de cursor kan bewegen, op knoppen kan klikken en tekst kan typen, net als een menselijke gebruiker.

Ondanks verschillen in ontwikkelingsfase en werkterrein delen zowel Jarvis als Anthropic’s computer use een gemeenschappelijk doel: taken automatiseren door mensachtige interactie met computers na te bootsen. Beide agents vertrouwen waarschijnlijk op geavanceerde mechanismen voor schermopname en -interpretatie om de context van gebruikersverzoeken te begrijpen en de juiste acties uit te voeren.

OpenAI’s Operator

OpenAI staat op het punt om "Operator" te introduceren, een autonome AI-agent die namens gebruikers taken uitvoert, zoals code schrijven en reizen boeken. Volgens Bloomberg staat Operator gepland voor een research preview in januari 2025.

Sam Altman die een Reddit AMA beantwoordt

Meta’s Toolformer

Meta AI Research introduceerde Toolformer, een taalmodel dat autonoom externe tools kan gebruiken om zijn prestaties op diverse taken te verbeteren. In het paper “Toolformer: Language Models Can Teach Themselves to Use Tools” wordt beschreven hoe het model leert welke API’s het moet aanroepen, wanneer het dat moet doen, welke argumenten het moet doorgeven en hoe het de resultaten in toekomstige tokenvoorspellingen verwerkt.

Deze zelfgestuurde aanpak vereist slechts een handvol demonstraties per API, waardoor het model effectief tools kan gebruiken zoals rekenmachines, vraag-en-antwoord-systemen, zoekmachines, vertaalsystemen en agenda’s.

Uitdagingen voor AI-agents

In het algemeen brengen AI-agents een reeks uitdagingen en aandachtspunten met zich mee, vooral op het gebied van privacy, nauwkeurigheid en ethische implicaties.

Privacyzorgen

Hoewel het aantrekkelijk klinkt om saaie en tijdrovende taken te automatiseren, gaat dat gemak gepaard met een onbehaaglijk gevoel. Wil ik dat Google of een ander bedrijf volledige toegang heeft tot mijn computer? Iets aan dat idee maakt me diep ongemakkelijk.

Privacyzorgen zijn van groot belang. Google moet gebruikers verzekeren dat hun data veilig en verantwoordelijk wordt behandeld. Ze zullen robuuste beveiligingsmaatregelen en transparante gegevensverwerking moeten implementeren om potentiële risico’s op datalekken of misbruik te beperken. Het opstellen van duidelijke richtlijnen over data-toegang, -opslag en -gebruik, en het bieden van gedetailleerde controle aan gebruikers over hun voorkeuren voor gegevensdeling, zal cruciaal zijn om vertrouwen op te bouwen en adoptie te bevorderen.

Nauwkeurigheid en betrouwbaarheid

Wat gebeurt er als mijn AI-agent een fout maakt? Wanneer een AI-chatbot een fout maakt, kan die onjuiste informatie geven, maar er wordt niet direct een actie ondernomen. Als ik een AI-chatbot vraag me te helpen een reis te plannen, geeft hij een tekstueel plan, maar ik ben nog steeds verantwoordelijk voor reserveringen, betalingen, enzovoort. Er zit een menselijke laag tussen om ongewenste uitkomsten te voorkomen. Maar wanneer AI-agents acties ondernemen in de echte wereld, kunnen die acties echte ongewenste gevolgen hebben.

Wie is verantwoordelijk als de AI-agent de verkeerde vluchten boekt of de verkeerde schoenen retourneert? Ik kan me voorstellen dat deze agents de gebruiker om bevestiging vragen voordat ze elke actie uitvoeren, maar ik weet niet zeker of dat op zichzelf genoeg is om fouten in complexere scenario’s te voorkomen.

Bedrijven als Google moeten rigoureuze test- en validatieprocessen prioriteren om deze onnauwkeurigheden te minimaliseren. Mechanismen voor factchecking, het kruislings verifiëren van informatie en het geven van duidelijke disclaimers aan gebruikers over de mogelijkheid van fouten zullen essentieel zijn.

Ethische implicaties

De ethische implicaties van Jarvis en AI-agents in het algemeen reiken verder dan privacy en nauwkeurigheid. Bedrijven moeten ook nadenken over de bredere maatschappelijke impact van deze agents, waaronder mogelijke verdringing van banen en het creëren van nieuwe afhankelijkheden van AI-systemen.

Conclusie

Alles wat we over Jarvis AI hebben gezegd, is speculatief. Tot de release weten we niet zeker wat het doet. Eén ding is echter zeker: AI-agents komen eraan en vormen de volgende stap in de AI-revolutie. 

Hoewel ik erken dat het automatiseren van taken enorm nuttig is en potentieel veel tijd kan besparen, voel ik me er niet prettig bij om de controle over mijn computer aan een AI te geven (of aan wie dan ook).

De afgelopen jaren is er veel gesproken over de mogelijke gevaren van AI. Ik denk dat zolang AI’s beperkt blijven tot chatbots en geen acties kunnen uitvoeren in de echte wereld, de risico’s minimaal zijn. Ja, een AI kan iemand vertellen hoe je iets schadelijks maakt, maar die persoon moet dan nog steeds handelen. Als iemand dat echt wil leren, kan die die kennis toch wel vergaren, mits met voldoende tijd. Met AI-agents verliezen we die beschermingslaag, en dat klinkt echt gevaarlijk naarmate we deze agents meer en meer mogelijkheden geven.

Ik heb het gevoel dat de stap richting AI-agents onvermijdelijk is, maar dat we die met grote voorzichtigheid moeten zetten.