Project Mariner: una guida con cinque esempi pratici

Ecco come ha risolto il compito:

1. Ha effettuato una ricerca su Google per trovare i film horror in programmazione di venerdì
2. Tra le opzioni, ha selezionato la prima
3. Poi ha identificato il pulsante per prenotare i biglietti e ha provato la prima opzione, Alamo Drafthouse Cinema.
4. Non ha funzionato, quindi è passato a Fandango.
5. Alla fine, ha chiesto il mio intervento per selezionare il posto.
6. Poi mi ha chiesto anche di confermare prima di passare alla pagina di pagamento.
7. A quel punto ha segnato l’attività come completata e mi ha lasciato continuare manualmente.

Nel complesso direi che è stato un successo. Dato che non avevo selezionato il posto, chiedermi di procedere con la scelta mi è sembrato superfluo. Avrebbe anche potuto arrivare da solo alla pagina di pagamento senza chiedere il mio consenso. Dopo di che, penso sia positivo che l’interazione non sia automatizzata, perché non vorrei spendere soldi senza una conferma manuale.

Esempio 2: trovare i migliori voli

Devo viaggiare dal Portogallo a Taiwan, passando per il Belgio, quindi ho pensato di vedere come se la cavasse Mariner nel trovare i voli migliori per me. Ecco il prompt che ho usato (non ho fornito informazioni sulle date per vedere cosa sarebbe successo):

"Voglio viaggiare dal Portogallo a Taiwan, passando dal Belgio per tre giorni. Aiutami a trovare i voli migliori."

Questa è stata molto deludente. L’unica cosa che ha fatto è stata aprire Google Flights e compilare il modulo al posto mio. Inoltre, Mariner è piuttosto lento a identificare dove cliccare quando naviga sul sito, quindi questo processo ha impiegato molto più tempo di quanto ci avrei messo io.

Ho anche provato a chiedergli di prenotare i biglietti, ma è entrato in un loop e alla fine ho rinunciato.

Esempio 3: trovare e prenotare un idraulico

Poi ero curioso di vedere se poteva aiutarmi a trovare un idraulico. Per questo esempio, ho usato un indirizzo casuale a New York per vedere se sarebbe stato in grado di trovare qualcuno vicino a quella posizione e procedere con la prenotazione.

"Vivo al 33 Wilson Ave. Hamburg, NY 14075. Trova e prenota un idraulico per domani per riparare una perdita nel lavello della cucina."

Questa attività è andata abbastanza bene. È riuscito a trovare un’azienda di idraulica a New York e a fissare un appuntamento. Quando aveva bisogno di informazioni come nome ed email, si è fermato e me le ha chieste, poi ha compilato il modulo automaticamente.

Esempio 4: compilare dati in un Google Sheet

Un’attività comune ma molto noiosa è raccogliere dati da varie fonti e inserirli in un foglio di calcolo. Per testare la capacità di Mariner di risolvere un compito del genere, ho creato un semplice foglio con aziende di AI.

Poi gli ho dato accesso alla scheda e gli ho chiesto di cercare sul web le email di contatto delle aziende e compilare la colonna Email.

Come avrai notato, è andato tutto bene tranne in un caso. Cercando l’email di Google DeepMind, è entrato in un loop, quindi alla fine l’ho fermato e gli ho chiesto di riprovare—questa volta è riuscito.

Esempio 5: risolvere un problema su LeetCode

Per l’ultimo esempio, volevo creare qualcosa di più complesso, quindi ho chiesto quanto segue:

"Vai su LeetCode e risolvi un problema di difficoltà media a tua scelta usando Python 3"

All’inizio ha provato a usare i filtri per trovare un problema di difficoltà media, ma per qualche motivo non ha funzionato. Poi ha lasciato perdere e ha trovato un problema senza bisogno del mio intervento.

Successivamente, ha scritto il codice nella chat invece di usare l’interfaccia di LeetCode. Gli ho chiesto di inserire la risposta direttamente nell’interfaccia, ma è comparsa con una formattazione molto strana che non riusciva a correggere.

Poi gli ho chiesto di scrivere di nuovo la soluzione in chat e l’ho inserita manualmente. Ero curioso di sapere se la risposta fosse corretta. Tuttavia, non riuscivo ad accedere a LeetCode a causa di Cloudflare. È un problema che ho riscontrato spesso testando Mariner.

Ho inviato la soluzione più tardi con il mio account LeetCode, ed era corretta. Il passaggio più rapido durante questa esecuzione è stato risolvere il problema. Appena aperto, in chat è apparsa una soluzione. Questo mi ha colpito molto.

Insegnare un’attività su Project Mariner

Project Mariner include un’estensione Chrome che possiamo usare per insegnargli come eseguire attività. Funziona registrando lo schermo mentre esegui e spieghi l’attività (sì, devi parlare mentre la svolgi).

Da quei dati, estrae un elenco di azioni. Ho provato a insegnargli come fare la spesa su Walmart ed ecco cosa ho ottenuto:

Non so se raccolga anche altri dati, ma mi è sembrato molto sforzo eseguire e spiegare l’attività solo per ottenere questa lista, che avrei potuto digitare in pochi secondi.

Ho provato a eseguire l’attività, ma non ha funzionato. Sembra che manchino dei passaggi, come chiedere quali siano gli articoli della lista della spesa. Puoi modificare manualmente un’attività prima di crearla, ma non ho trovato alcun modo per modificarla in seguito.

Al momento, ho l’impressione che questa funzionalità sia ancora poco sviluppata e non pronta all’uso. Inoltre, ho fatto fatica a trovare un caso d’uso, perché se gli avessi semplicemente chiesto di aggiungere al carrello Walmart gli articoli da una lista della spesa in un foglio di calcolo, avrebbe fatto un lavoro migliore.

Pro e contro di Project Mariner

Le parti positive

Bravo a navigare sul web

Tutti i compiti che prevedevano la navigazione e la ricerca di informazioni su un sito web sembrano funzionare bene. I casi dei biglietti del cinema e dell’idraulico ne sono buoni esempi.

Lavora con più schede

Mariner può risolvere attività che richiedono l’uso di più schede ed eseguire ricerche su Google in sequenza.

Comprensione visiva

Nonostante la lentezza, è bravo a capire il contenuto del sito e i suoi elementi. Può interagire con gli elementi, compilare moduli e cliccare pulsanti per controllare il sito.

Le parti negative

Ecco, secondo me, i problemi principali dell’attuale iterazione di Project Mariner.

Ostacoli all’automazione del web

Navigare il web è un processo complesso, costellato di sfide per strumenti automatizzati come Project Mariner. Un ostacolo significativo è la resistenza dei siti attraverso strumenti come Cloudflare e reCAPTCHA, progettati per bloccare i bot e proteggere da attività dannose.

Durante i miei esperimenti, sono stato bloccato molto spesso. Anche provando uno dei loro esempi suggeriti, il sito mi ha bloccato:

Questa resistenza complica l’esecuzione dei compiti da parte di Mariner, che fatica ad aggirare queste barriere pensate per la verifica umana. Inoltre, per via delle normative, i siti presentano spesso banner sui cookie e pop-up, costringendo gli utenti a prendere continuamente decisioni sulle preferenze dei dati.

Mariner non gestisce automaticamente la selezione dei cookie, probabilmente perché queste scelte dovrebbero essere fatte dagli utenti in base alle proprie preferenze di privacy. Potrebbero anche esserci normative che impediscono l’automazione di tali decisioni. Di conseguenza, i numerosi punti decisionali e le interazioni necessarie aumentano la complessità e l’attrito per strumenti come Mariner nel funzionare in modo efficiente.

Idealmente, vogliamo automatizzare i compiti per ridurre lo sforzo manuale, ma lo stato attuale di questi strumenti richiede ancora una notevole supervisione, il che rende chiaro che siamo lontani da un’esperienza di automazione davvero fluida e utile.

Lento nell’elaborare l’interfaccia

Un altro problema che Mariner affronta al momento è la velocità. Impiega molto tempo a elaborare ciò che c’è sullo schermo. Anche compilare i moduli più semplici può richiedere minuti. 

Poca capacità di ragionamento

Durante i miei esperimenti, sembrava che ogni volta che bisognava fare una scelta—ad esempio da quale piattaforma acquistare i biglietti del cinema o quale ditta di idraulica usare—l’agente valutasse le opzioni una per una, nell’ordine in cui apparivano.

Non è una buona strategia, e non è così che di solito decidono le persone. Ho l’impressione che all’agente manchi una fase di ragionamento e ricerca quando deve prendere decisioni.

Integrazione con il browser

Ho avuto difficoltà a condividere le schede con lui. Spesso mi disconnetteva e perdeva l’accesso alle informazioni visualizzate nella scheda che avevo condiviso. Il workaround è stato accedere manualmente all’interno del browser che usa. È macchinoso e mi fa passare la voglia di usarlo.

Secondo me sarebbe meglio se fosse un’estensione di Chrome affiancata alla scheda aperta. In questo modo potresti chiedergli in qualsiasi momento di prendere il controllo della scheda ed eseguire azioni direttamente.

Immagino che ci siano questioni di sicurezza con questo approccio, ma non lo vedo molto utile finché usa un browser separato dal nostro, perché la maggior parte dei compiti richiederà quindi una lunga configurazione, come l’accesso agli account, per essere completati.

Loop

Capita spesso che entri in loop in cui mi chiede se qualcosa va bene e poi continua a chiedere senza andare avanti. Ecco un esempio:

Preoccupazioni su privacy e sicurezza

Un altro aspetto preoccupante riguarda privacy e sicurezza. Ecco l’informativa sulla privacy ufficiale. 

In breve, Project Mariner di Google raccoglie le tue conversazioni, i dati di navigazione e l’uso delle funzionalità per migliorare i suoi servizi e l’AI, in conformità con l’Informativa sulla privacy di Google. Alcuni dati possono essere esaminati da persone reali. Pertanto, evita di condividere informazioni riservate. 

Conclusione

Project Mariner è ancora un prodotto molto sperimentale—lento, con ambito limitato e incline a imbattersi in ostacoli come CAPTCHA o problemi di accesso. Allo stato attuale, non penso valga la pena abbonarsi solo per averlo.

Ciò che apprezzo di più dell’approccio di Google è la volontà di rilasciare prototipi non rifiniti in anticipo. Questo tipo di trasparenza e iterazione consente di imparare rapidamente e costruire prodotti migliori nel tempo.

Al contrario, guardando ad Apple—che preferisce rilasciare solo prodotti perfettamente rifiniti—sembra stia perdendo terreno nella corsa all’AI in rapida evoluzione. L’AI prospera sui dati e sull’uso nel mondo reale, quindi esporre questi strumenti in fase iniziale, anche se incompleti, è un modo intelligente per iterare e migliorare rapidamente.