Jarvis AI di Google è quasi certamente un agente AI basato sul web

Che cos'è Jarvis AI?

L'unica cosa che sappiamo di Jarvis AI è che a inizio novembre è stata rilasciata per un breve periodo un'estensione di Google Chrome chiamata Jarvis. Nonostante la breve apparizione, la descrizione dell'estensione nella pagina dello store lo definiva "un compagno utile che naviga sul web al posto tuo". Questa descrizione è in linea con la funzionalità prevista di Jarvis come agente AI progettato per automatizzare attività basate sul web.

Nel loro keynote all'inizio dell'anno, Google ha mostrato agenti AI non ancora rilasciati con la capacità di controllare il browser per svolgere un'ampia varietà di compiti. Suppongo che Jarvis AI possa essere il prodotto reale dietro a quella presentazione.

Nella loro presentazione, fanno l'esempio del reso di un paio di scarpe. Con gli agenti AI, tutto ciò che dovremmo fare è indicare che vogliamo restituire le scarpe, e l'agente eseguirebbe in autonomia tutti i passaggi.

Integrato con il browser e altri prodotti Google, come Gmail, l'agente può completare la procedura di reso seguendo questi passaggi:

1. Cercare la ricevuta nella posta in arrivo.
2. Trovare il numero d'ordine nell'email.
3. Compilare il modulo di reso.
4. Programmare il ritiro.

Come funziona Jarvis AI?

Jarvis AI può automatizzare le attività web di tutti i giorni per gli utenti, come fare ricerche, acquisti online e prenotare voli o ristoranti.

Jarvis probabilmente utilizza una versione specializzata della famiglia di large language model Gemini di Google. Questo suggerisce che Jarvis impieghi un modello di "ragionamento", contribuendo alla sua capacità di gestire compiti complessi e fornire risposte più personalizzate. Inoltre, ci si aspetta un'integrazione profonda con i servizi Google esistenti come Gmail, Maps e Search.

Questa integrazione potrebbe potenziare le capacità di Jarvis fornendo accesso ai dati dell'utente e snellendo vari processi, come recuperare ricevute da Gmail per i resi online o usare i dati di posizione di Maps per la pianificazione dei viaggi.

I modelli Gemini sono multimodali e possono elaborare vari tipi di dati (testo, immagini, video, audio, ecc.), trovando connessioni tra di essi. È probabile che l'agente abbia accesso ai contenuti del browser, permettendogli di visualizzare, interpretare e interagire con gli elementi mostrati sullo schermo.

È importante notare che le informazioni sul funzionamento interno e sulla dipendenza da specifiche tecnologie sono basate su speculazioni.

Jarvis AI vs. altri agenti AI

Come ho già detto, credo che Jarvis sia progettato per automatizzare le attività web quotidiane. Jarvis si distingue per la sua stretta integrazione con il browser web Google Chrome. Tuttavia, Jarvis non è l'unico in questo ambito.

Computer use di Anthropic

Anthropic, l'azienda dietro Claude, ha fatto progressi anche con un proprio agente AI, noto come computer use. Questo agente è in grado di interagire con varie applicazioni oltre ai browser web. L'agente di Anthropic è entrato in beta pubblica nell'ottobre 2024, mostrando la capacità di muovere il cursore, cliccare pulsanti e digitare testo, proprio come un utente umano.

Nonostante le differenze in termini di fase di sviluppo e ambito operativo, sia Jarvis sia computer use di Anthropic condividono un obiettivo comune: automatizzare i compiti imitando l'interazione umana con i computer. Entrambi gli agenti probabilmente si basano su meccanismi sofisticati di acquisizione e interpretazione dello schermo per comprendere il contesto delle richieste dell'utente ed eseguire le azioni appropriate.

Operator di OpenAI

OpenAI sta per introdurre "Operator", un agente AI autonomo progettato per svolgere compiti per conto degli utenti, come scrivere codice e prenotare viaggi. Secondo Bloomberg, Operator è previsto in anteprima di ricerca per gennaio 2025.

Sam Altman risponde a un AMA su Reddit

Toolformer di Meta

Meta AI Research ha introdotto Toolformer, un modello linguistico in grado di utilizzare autonomamente strumenti esterni per migliorare le sue prestazioni su vari compiti. Descritto nell'articolo “Toolformer: Language Models Can Teach Themselves to Use Tools”, il modello è addestrato a determinare quali API chiamare, quando chiamarle, quali argomenti passare e come incorporare i risultati nelle previsioni di token successive.

Questo approccio auto-supervisionato richiede solo una manciata di esempi per ciascuna API, permettendo al modello di usare efficacemente strumenti come calcolatrici, sistemi di question answering, motori di ricerca, sistemi di traduzione e calendari.

Le sfide degli agenti AI

In generale, gli agenti AI introducono una serie di sfide e considerazioni, in particolare riguardo a privacy, accuratezza e implicazioni etiche.

Preoccupazioni sulla privacy

Anche se automatizzare compiti noiosi e che richiedono tempo suona allettante, questa comodità porta con sé un certo disagio. Voglio davvero che Google o qualsiasi altra azienda abbia pieno accesso al mio computer? Qualcosa in questa idea mi mette profondamente a disagio.

Le preoccupazioni sulla privacy sono di grande importanza. Google deve assicurare gli utenti che i loro dati saranno gestiti in modo sicuro e responsabile. Dovranno implementare misure di sicurezza robuste e pratiche trasparenti di gestione dei dati per mitigare i potenziali rischi di violazioni o uso improprio dei dati. Stabilire linee guida chiare su accesso, archiviazione e utilizzo dei dati e fornire agli utenti un controllo granulare sulle preferenze di condivisione sarà cruciale per costruire fiducia e favorire l'adozione.

Accuratezza e affidabilità

Cosa succede quando il mio agente AI commette un errore? Quando un chatbot AI sbaglia, può fornire informazioni errate, ma non viene intrapresa alcuna azione diretta. Se chiedo a un chatbot AI di aiutarmi a pianificare un viaggio, offre un piano testuale, ma tocca ancora a me effettuare prenotazioni, gestire pagamenti e così via. C'è uno strato umano che previene esiti indesiderati. Tuttavia, quando gli agenti AI agiscono nel mondo reale, queste azioni possono avere conseguenze indesiderate e concrete.

Chi è responsabile quando l'agente AI prenota i voli sbagliati o restituisce le scarpe sbagliate? Immagino che questi agenti chiederanno conferma all'utente prima di ogni azione, ma non sono sicuro che ciò, da solo, basti a prevenire errori in scenari più complessi.

Aziende come Google devono dare priorità a processi rigorosi di test e validazione per ridurre al minimo queste inaccuratezze. Sarà essenziale implementare meccanismi di fact-checking, incrociare le informazioni e fornire agli utenti chiare avvertenze sul potenziale di errore.

Implicazioni etiche

Le implicazioni etiche di Jarvis e degli agenti AI in generale vanno oltre privacy e accuratezza. Le aziende devono considerare anche l'impatto sociale più ampio di questi agenti, inclusa la potenziale sostituzione di posti di lavoro e la creazione di nuove dipendenze dai sistemi di IA.

Conclusione

Tutto ciò che abbiamo detto su Jarvis AI è speculativo. Finché non verrà rilasciato, non sapremo con certezza cosa faccia. Tuttavia, una cosa è certa: gli agenti AI stanno arrivando e rappresentano il prossimo passo nella rivoluzione dell'AI. 

Pur riconoscendo che automatizzare i compiti è incredibilmente utile e può far risparmiare moltissimo tempo, non mi sento a mio agio con l'idea di cedere il controllo del mio computer a un'AI (o a chiunque altro, del resto).

Negli ultimi anni si è discusso molto dei potenziali pericoli dell'AI. Credo che finché le AI sono limitate ai chatbot e non possono compiere azioni nel mondo reale, i rischi siano minimi. Sì, un'AI potrebbe istruire qualcuno su come realizzare qualcosa di dannoso, ma quella persona deve comunque agire. Se qualcuno vuole davvero impararlo, potrebbe comunque acquisire le conoscenze con il tempo. Con gli agenti AI, perdiamo quello strato di protezione, e questo sembra davvero pericoloso man mano che forniamo a questi agenti sempre più capacità.

Sento che il passaggio agli agenti AI sia inevitabile, ma va affrontato con grande cautela.