Programa
AI Fundamentals
0 min
O Project Mariner é o agente de navegador de IA experimental do Google DeepMind. O Mariner usa os poderosos recursos multimodais do Gemini para ver a sua tela, entender o que é exibido, planejar tarefas e executá-las de forma autônoma - clicando, digitando, rolando e preenchendo formulários em seu nome.
Nesta publicação do blog, compartilho minha experiência de experimentá-lo nas cinco tarefas do mundo real a seguir:
- Reservar ingressos de cinema
- Encontre voos
- Contratar um encanador para consertar a pia da minha cozinha
- Navegar na Web para preencher uma planilha
- Resolver um problema de LeetCode
Mantemos nossos leitores atualizados sobre as últimas novidades em IA enviando o The Median, nosso boletim informativo gratuito de sexta-feira que analisa as principais histórias da semana. Inscreva-se e fique atento em apenas alguns minutos por semana:
Como o Project Mariner funciona?
O Project Mariner usa uma interface de usuário baseada em prompt que nos permite descrever o que queremos que ele faça. Em seguida, ele abre um navegador e tenta concluir a tarefa com base nessa entrada.
Por enquanto, ele está limitado a tarefas relacionadas ao navegador - não pode acessar ou controlar seu computador. Nos bastidores, ele é executado em um navegador e conta com os recursos multimodais do Gemini para realizar o trabalho. Ele pode ver e entender o conteúdo da janela, realizar cliques e digitar texto.
Avaliei o Project Mariner testando-o em várias tarefas. Para cada uma delas, registrei o processo e mostrarei a você os resultados. Como o Mariner é bastante lento na conclusão das tarefas, editei os vídeos para acelerar as seções mais lentas.
Como acessar o Project Mariner?
Projeto Mariner está atualmente disponível para usuários dos EUA que assinam o plano Google AI Ultra por US$ 249,99 por mês.
Esse plano oferece muitas outras ferramentas (como o Veo 3), modelos e recursos avançados do Gemini e armazenamento de dados. No entanto, atualmente é o único plano que dá a você acesso ao Project Mariner, o que o torna uma ferramenta muito cara.
Vamos explorar alguns exemplos.
Exemplo 1: Reserva de ingressos de cinema
A primeira coisa que tentei foi reservar ingressos de cinema. Usei o seguinte prompt:
"Encontre um filme de terror em cartaz no cinema nesta sexta-feira à noite em Nova York e me ajude a reservar um ingresso."
Essa tarefa funcionou muito bem. Foi possível encontrar uma empresa de encanamento em Nova York e marcar uma consulta. Quando precisava de informações como meu nome e e-mail, ele parava e as solicitava, depois preenchia o formulário automaticamente.
Exemplo 4: Preenchimento de dados em uma planilha do Google
Uma tarefa comum, porém muito tediosa, que as pessoas precisam fazer é reunir alguns dados de várias fontes e colocá-los em uma planilha. Para testar a capacidade do Mariner de resolver essa tarefa, criei uma planilha simples de empresas de IA.
Em seguida, dei a ele acesso à guia e pedi que procurasse na Web os e-mails de contato das empresas e preenchesse a coluna Email.
Primeiro, ele tentou usar filtros para encontrar um problema de dificuldade média, mas, por algum motivo, isso não funcionou. Em seguida, ele desistiu e encontrou um problema sem precisar de minha intervenção.
Em seguida, ele escreveu o código no chat em vez de usar a interface LeetCode. Pedi que ele inserisse a resposta diretamente na interface, mas ela apareceu com uma formatação muito estranha que não foi possível corrigir.
Em seguida, pedi que ele escrevesse a solução no bate-papo novamente e a defini manualmente. Eu estava curioso para ver se a resposta estava correta. No entanto, não consegui fazer login no LeetCode por causa do Cloudflare. Esse é um problema que vi acontecer com frequência ao testar o Mariner.
Enviei a solução posteriormente com minha conta LeetCode e ela estava correta. A etapa mais rápida durante essa execução foi resolver o problema. Assim que o problema foi aberto, uma solução foi mostrada no bate-papo. Isso foi muito impressionante para mim.
Ensinando uma tarefa no Project Mariner
O Project Mariner vem com uma extensão do Chrome que podemos usar para ensiná-lo a executar tarefas. O funcionamento é que ele grava sua tela enquanto você executa e explica a tarefa para ele (sim, você precisa falar enquanto executa a tarefa).
A partir desses dados, ele extrai uma lista de ações. Tentei ensiná-lo a fazer compras no Walmart, e foi isso que consegui:
Não sei se ele também coleta outros dados, mas achei que foi muito trabalhoso executar e explicar a tarefa apenas para obter essa lista, que eu poderia ter digitado em alguns segundos.
Tentei executar a tarefa, mas não funcionou. Parece que estão faltando etapas, como perguntar quais são os itens da lista de compras. Você pode editar manualmente uma tarefa antes de criá-la, mas não encontrei nenhuma maneira de editá-la posteriormente.
No momento, acho que esse recurso ainda está subdesenvolvido e não está pronto para uso. Além disso, achei difícil encontrar um caso de uso porque, se eu tivesse pedido para adicionar itens de uma lista de compras em uma planilha a um carrinho do Walmart, ele teria feito um trabalho melhor.
Prós e contras do Project Mariner
As partes boas
Bom para navegar na Web
Todas as tarefas que envolviam navegar na Web e encontrar informações em um site parecem funcionar bem. Os casos de uso de ingressos de cinema e encanador são bons exemplos disso.
Trabalhar com várias guias
O Mariner pode resolver tarefas que exigem o uso de várias guias e a realização de pesquisas sequenciais no Google.
Compreensão visual
Apesar de ser lento, ele é bom para entender o conteúdo do site e seus elementos. Ele pode interagir com elementos, preencher formulários e clicar em botões para controlar o site.
As partes ruins
Aqui estão, em minha opinião, os principais problemas com a atual iteração do Project Mariner.
Obstáculos à automação da Web
A navegação na Web é um processo complexo, repleto de vários desafios para ferramentas automatizadas como o Project Mariner. Um obstáculo significativo é a resistência dos sites por meio de ferramentas como Cloudflare e reCAPTCHA, projetadas para bloquear bots e proteger contra atividades mal-intencionadas.
Durante meus experimentos, fui bloqueado com muita frequência. Mesmo ao tentar um dos exemplos sugeridos, o site me bloqueou:
Essa resistência complica a execução da tarefa do Mariner, pois ele se esforça para contornar essas barreiras destinadas à verificação humana. Além disso, devido às regulamentações, os sites geralmente apresentam banners e pop-ups de cookies, forçando os usuários a tomar decisões contínuas sobre suas preferências de dados.
A Mariner não manipula automaticamente as seleções de cookies, provavelmente porque os usuários devem fazer essas escolhas com base em suas preferências de privacidade. Também pode haver regulamentos em vigor que impeçam a automação dessas decisões. Como resultado, os inúmeros pontos de decisão e as interações necessárias aumentam a complexidade e o atrito para que ferramentas como o Mariner funcionem com eficiência.
Idealmente, nosso objetivo é automatizar tarefas para reduzir o esforço manual, mas o estado atual dessas ferramentas ainda exige uma supervisão significativa, deixando claro que estamos longe de ter uma experiência de automação realmente perfeita e útil.
Lentidão para processar a interface do usuário
Outro problema que a Mariner enfrenta no momento é a velocidade. Leva muito tempo para processar o conteúdo na tela. Até mesmo o preenchimento dos formulários mais simples pode levar minutos.
Raciocínio insuficiente
Durante meus experimentos, parecia que sempre que era necessário fazer uma escolha - como em qual plataforma comprar ingressos de cinema ou qual empresa de encanamento usar - o agente avaliava as opções uma a uma, na ordem em que apareciam.
Essa não é uma boa estratégia e não é assim que os seres humanos geralmente fazem suas escolhas. Sinto que o agente está perdendo uma etapa de raciocínio e pesquisa ao tomar decisões.
Integração com o navegador
Eu me esforçava para compartilhar guias com ele. Muitas vezes, ele me desconectava e perdia o acesso às informações exibidas na guia que eu compartilhava. A solução alternativa foi fazer o login manualmente no navegador que ele usa. Isso é incômodo e faz com que eu não queira usá-lo.
Acho que seria melhor se fosse uma extensão do Chrome que ficasse lado a lado com a guia aberta no momento. Dessa forma, você pode solicitar a qualquer momento que ele assuma o controle da guia e execute ações diretamente.
Presumo que haja preocupações de segurança com essa abordagem, mas não vejo que ela seja muito útil quando se usa um navegador separado do nosso, porque a maioria das tarefas exigirá uma longa configuração, como logins, para ser concluída.
Laços
Muitas vezes, ele entra em loops em que me pergunta se algo está bem e depois continua perguntando sem avançar. Aqui está um exemplo:
Preocupações com privacidade e segurança
Outro aspecto preocupante diz respeito à privacidade e à segurança. Aqui está o aviso de privacidade oficial.
Em resumo, o Project Mariner do Google coleta suas conversas, dados de navegação e uso de recursos para aprimorar seus serviços e IA, seguindo a Política de Privacidade do Google. Alguns dados podem ser revisados por pessoas reais. Portanto, evite compartilhar informações confidenciais.
Conclusão
O Project Mariner ainda é um produto experimental, lento, de escopo limitado e propenso a enfrentar obstáculos como CAPTCHA ou problemas de login. Em seu estado atual, não acho que valha a pena assinar apenas para ter acesso.
O que eu mais aprecio na abordagem do Google é sua disposição de lançar protótipos não aperfeiçoados logo no início. Esse tipo de transparência e iteração permite que eles aprendam rapidamente e criem produtos melhores ao longo do tempo.
Por outro lado, se você observar a Apple - que prefere apenas lançar produtos perfeitamente polidos - ela parece estar perdendo a corrida da IA em rápida evolução. A IA prospera com dados e uso no mundo real, portanto, expor essas ferramentas em estágio inicial, mesmo que inacabadas, é uma maneira inteligente de iterar e melhorar rapidamente.
