Project Mariner: een gids met vijf praktische voorbeelden

Zo pakte het de taak aan:

1. Zocht via Google naar horrorfilms die op vrijdag draaien
2. Uit de opties koos het de eerste
3. Daarna identificeerde het de knop om tickets te boeken en probeerde het de eerste optie, Alamo Drafthouse Cinema.
4. Dat werkte niet, dus koos het voor Fandango.
5. Uiteindelijk vroeg het om mijn tussenkomst bij het selecteren van de stoel.
6. Vervolgens vroeg het me ook te bevestigen voordat het naar de betalingspagina ging.
7. Op dat moment markeerde het de taak als voltooid en liet het me handmatig verdergaan.

Ik vind dit over het algemeen geslaagd. Omdat ik de stoel niet had geselecteerd, voelde het vragen om door te gaan naar stoelkeuze onnodig. Het had ook zelf de betalingspagina kunnen bereiken zonder mijn toestemming te vragen. Daarna vind ik het positief dat de transactie niet geautomatiseerd is, want ik wil geen geld uitgeven zonder handmatige bevestiging.

Voorbeeld 2: de beste vluchten vinden

Ik moet van Portugal naar Taiwan reizen en onderweg drie dagen in België verblijven, dus ik was benieuwd hoe Mariner het zou doen bij het vinden van de beste vluchten voor mij. Dit was de prompt die ik gebruikte (ik gaf geen informatie over de data om te zien wat er zou gebeuren):

"Ik wil van Portugal naar Taiwan reizen en drie dagen langs België gaan. Help me de beste vluchten te vinden."

Dit was erg teleurstellend. Het enige wat het deed was naar Google Flights gaan en het formulier voor me invullen. Bovendien is Mariner vrij traag in het bepalen waar te klikken bij het navigeren op de website, waardoor dit proces veel langer duurde dan wanneer ik het zelf had gedaan.

Ik probeerde het ook te vragen om de tickets te boeken, maar het raakte in een loop en uiteindelijk heb ik het opgegeven.

Voorbeeld 3: een loodgieter vinden en boeken

Vervolgens was ik benieuwd of het me kon helpen een loodgieter te vinden. Voor dit voorbeeld gebruikte ik een willekeurig adres in New York om te zien of het iemand in de buurt kon vinden en de boeking kon afronden.

"Ik woon op 33 Wilson Ave. Hamburg, NY 14075. Zoek en boek een loodgieter voor morgen om een lek in mijn keukenspoelbak te repareren."

Deze taak verliep behoorlijk goed. Het vond een loodgietersbedrijf in New York en boekte een afspraak. Toen het informatie nodig had, zoals mijn naam en e-mailadres, stopte het en vroeg erom, waarna het het formulier automatisch invulde.

Voorbeeld 4: data invullen in een Google Sheet

Een veelvoorkomende maar tijdrovende taak is het verzamelen van gegevens uit meerdere bronnen en die in een spreadsheet zetten. Om Mariner’s vaardigheid hierin te testen, maakte ik een eenvoudige sheet met AI-bedrijven.

Daarna gaf ik het toegang tot het tabblad en vroeg ik het om op het web te zoeken naar de contact-e-mails van de bedrijven en de kolom Email in te vullen.

Zoals je waarschijnlijk zag, ging alles goed op één geval na. Bij het zoeken naar het e-mailadres van Google DeepMind raakte het in een loop, dus heb ik het uiteindelijk gestopt en gevraagd om het opnieuw te proberen—deze keer lukte het wel.

Voorbeeld 5: een LeetCode-probleem oplossen

Voor het laatste voorbeeld wilde ik iets complexers, dus vroeg ik het volgende:

"Ga naar LeetCode en los een probleem van gemiddelde moeilijkheidsgraad naar keuze op met Python 3"

Het probeerde eerst met filters een probleem van gemiddelde moeilijkheidsgraad te vinden, maar om de een of andere reden werkte dat niet. Daarna gaf het dat op en vond het zelf een probleem zonder mijn tussenkomst.

Vervolgens schreef het de code in de chat in plaats van de LeetCode-interface te gebruiken. Ik vroeg het om het antwoord direct in de interface in te voeren, maar dat verscheen met heel vreemde opmaak die het niet kon corrigeren.

Daarna vroeg ik het om de oplossing weer in de chat te schrijven, en heb ik het handmatig ingevoerd. Ik was benieuwd of het antwoord juist was. Ik kon echter niet inloggen op LeetCode vanwege Cloudflare. Dit probleem zag ik vaak terugkomen tijdens het testen van Mariner.

Ik heb de oplossing later ingediend met mijn LeetCode-account, en die was correct. De snelste stap tijdens deze uitvoering was het oplossen van het probleem. Zodra het probleem was geopend, verscheen er een oplossing in de chat. Dat vond ik erg indrukwekkend.

Een taak aanleren in Project Mariner

Project Mariner wordt geleverd met een Chrome-extensie waarmee je het kunt aanleren hoe het taken moet uitvoeren. Het werkt zo dat het je scherm opneemt terwijl jij de taak uitvoert en uitlegt (ja, je moet praten terwijl je de taak uitvoert).

Uit die data haalt het een lijst met acties. Ik probeerde het te leren hoe je winkelt bij Walmart, en dit kreeg ik:

Ik weet niet of het ook andere gegevens verzamelt, maar ik vond het veel moeite om de taak uit te voeren en uit te leggen om vervolgens deze lijst te krijgen, die ik in een paar seconden had kunnen typen.

Ik probeerde de taak uit te voeren, maar dat lukte niet. Het voelt alsof er stappen ontbreken, zoals vragen wat er op het boodschappenlijstje staat. Je kunt een taak handmatig bewerken voordat je hem aanmaakt, maar ik vond geen manier om hem later nog aan te passen.

Voor nu voelt deze functie nog onderontwikkeld en niet klaar voor gebruik. Bovendien vond ik het lastig om een goede usecase te vinden, want als ik het gewoon had gevraagd om items uit een boodschappenlijst in een spreadsheet aan een Walmart-winkelwagen toe te voegen, had het dat beter gedaan.

Plus- en minpunten van Project Mariner

De sterke punten

Goed in web browsen

Alle taken waarbij het web doorzoeken en informatie op een website vinden aan bod kwam, lijken goed te werken. De bioscooptickets- en loodgieter-casussen zijn hier goede voorbeelden van.

Werken met meerdere tabbladen

Mariner kan taken oplossen die meerdere tabbladen en opeenvolgende Google-zoekopdrachten vereisen.

Visueel begrip

Hoewel het traag is, begrijpt het de inhoud en elementen van een website goed. Het kan met elementen interacteren, formulieren invullen en op knoppen klikken om de site te bedienen.

De zwakke punten

Dit zijn naar mijn mening de belangrijkste problemen van de huidige versie van Project Mariner.

Obstakels bij het automatiseren van het web

Navigeren op het web is complex en zit vol uitdagingen voor geautomatiseerde tools zoals Project Mariner. Een grote hobbel is de weerstand van websites via tools als Cloudflare en reCAPTCHA, die zijn ontworpen om bots te blokkeren en te beschermen tegen kwaadaardige activiteiten.

Tijdens mijn experimenten werd ik heel vaak geblokkeerd. Zelfs bij een van hun voorgestelde voorbeelden blokkeerde de website me:

Die weerstand bemoeilijkt het uitvoeren van taken door Mariner, omdat het moeite heeft om barrières te omzeilen die bedoeld zijn voor menselijke verificatie. Daarnaast hebben websites door regelgeving vaak cookiebanners en pop-ups, waardoor gebruikers continu keuzes moeten maken over hun voorkeuren voor gegevens.

Mariner handelt cookie-instellingen niet automatisch af, waarschijnlijk omdat gebruikers deze keuzes zelf moeten maken op basis van hun privacyvoorkeuren. Mogelijk is er ook regelgeving die het automatiseren van deze beslissingen verhindert. Hierdoor nemen de vele beslismomenten en vereiste interacties toe, wat de complexiteit en wrijving vergroot voor tools zoals Mariner om efficiënt te functioneren.

Idealiter willen we taken automatiseren om handwerk te verminderen, maar de huidige staat van deze tools vereist nog veel toezicht, wat duidelijk maakt dat we nog ver verwijderd zijn van een echt naadloze en behulpzame automatiseringservaring.

Traag in het verwerken van de UI

Een ander huidig probleem van Mariner is de snelheid. Het kost veel tijd om de inhoud op het scherm te verwerken. Zelfs de simpelste formulieren invullen kan minuten duren. 

Onvoldoende redeneren

Tijdens mijn experimenten leek het dat wanneer er een keuze gemaakt moest worden—zoals via welk platform bioscooptickets te kopen of welk loodgietersbedrijf te kiezen—de agent de opties één voor één afging, in de volgorde waarin ze verschenen.

Dat is geen goede strategie, en zo nemen mensen doorgaans geen beslissingen. Ik heb het idee dat de agent bij beslissingen een stap van redeneren en onderzoek mist.

Integratie met de browser

Ik had moeite om tabbladen te delen. Het logde me vaak uit en verloor toegang tot de informatie die in het gedeelde tabblad stond. De workaround was om handmatig in te loggen in de browser die het gebruikt. Dat is omslachtig en maakt dat ik het liever niet gebruik.

Ik denk dat het beter zou zijn als het een Chrome-extensie was die naast het huidige tabblad leeft. Dan kun je het op elk moment vragen om de controle over het tabblad over te nemen en direct acties uit te voeren.

Ik neem aan dat er bij deze aanpak beveiligingszorgen zijn, maar ik zie er weinig nut in wanneer het een eigen browser gebruikt die losstaat van de onze, omdat de meeste taken dan een lange setup vereisen, zoals inloggen.

Loops

Het gebeurt vaak dat het in loops terechtkomt waarin het me vraagt of iets oké is en vervolgens blijft vragen zonder verder te gaan. Hier is een voorbeeld:

Privacy- en beveiligingszorgen

Een ander zorgpunt betreft privacy en beveiliging. Hier is de officiële privacyverklaring. 

Kort gezegd verzamelt Google’s Project Mariner je gesprekken, browsegegevens en functieverbruik om zijn diensten en AI te verbeteren, in overeenstemming met Google’s Privacybeleid. Sommige gegevens kunnen door echte mensen worden beoordeeld. Deel daarom geen vertrouwelijke informatie. 

Conclusie

Project Mariner is nog duidelijk een experimenteel product—traag, beperkt in scope en gevoelig voor obstakels zoals CAPTCHA of inlogproblemen. In de huidige staat vind ik het niet de moeite waard om je te abonneren alleen voor toegang.

Wat ik het meest waardeer aan Google’s aanpak is hun bereidheid om onopgepoetste prototypes vroegtijdig uit te brengen. Deze vorm van transparantie en iteratie stelt ze in staat snel te leren en in de loop van de tijd betere producten te bouwen.

Ter vergelijking: als je naar Apple kijkt—dat liever alleen perfect gepolijste producten uitbrengt—lijken ze achterop te raken in de snel evoluerende AI-race. AI gedijt op data en gebruik in de echte wereld, dus deze vroege tools blootstellen, zelfs als ze niet af zijn, is een slimme manier om snel te itereren en te verbeteren.