Programa
AI Fundamentals
0 min
Proyecto Mariner es el agente de navegación de IA experimental de Google DeepMind. Mariner utiliza las potentes capacidades multimodales de Gemini para ver tu pantalla, comprender lo que se muestra, planificar tareas y ejecutarlas de forma autónoma: hacer clic, escribir, desplazarse y rellenar formularios en tu nombre.
En esta entrada del blog, comparto mi experiencia al probarlo en las siguientes cinco tareas del mundo real:
- Reservar entradas de cine
- Buscar vuelos
- Reservar un fontanero para arreglar el fregadero de mi cocina
- Navega por Internet para rellenar una hoja de cálculo
- Resolver un problema LeetCode
Mantenemos a nuestros lectores al día de lo último en IA enviándoles The Median, nuestro boletín gratuito de los viernes que desglosa las noticias clave de la semana. Suscríbete y mantente alerta en sólo unos minutos a la semana:
¿Cómo funciona el Proyecto Mariner?
El Proyecto Mariner utiliza una interfaz de usuario basada en instrucciones que nos permite describir lo que queremos que haga. A continuación, abre un navegador e intenta completar la tarea basándose en esa información.
Por ahora, se limita a tareas relacionadas con el navegador: no puede acceder a tu ordenador ni controlarlo. Entre bastidores, se ejecuta en un navegador y se basa en las capacidades multimodales de Gemini para realizar el trabajo. Puede ver y comprender el contenido de la ventana, realizar clics y escribir texto.
Evalué el Proyecto Mariner probándolo en varias tareas. Para cada uno de ellos, grabé el proceso y te mostraré los resultados. Como Mariner es bastante lento completando tareas, edité los vídeos para acelerar las secciones más lentas.
¿Cómo acceder al Proyecto Mariner?
Proyecto Mariner está disponible actualmente para los usuarios de EE.UU. suscritos al plan Google AI Ultra por 249,99 $ al mes.
Este plan ofrece muchas otras herramientas (como Veo 3), modelos y funciones Gemini avanzados y almacenamiento de datos. Sin embargo, actualmente es el único plan que te da acceso al Proyecto Mariner, lo que lo convierte en una herramienta muy cara.
Exploremos algunos ejemplos.
Ejemplo 1: Reservar entradas de cine
Lo primero que intenté fue reservar entradas de cine. Utilicé la siguiente indicación:
"Encuentra una película de terror que se proyecte en el cine este viernes por la noche en Nueva York y ayúdame a reservar una entrada".
Esta tarea funcionó bastante bien. Pudo encontrar una empresa de fontanería en Nueva York y concertar una cita. Cuando necesitaba información como mi nombre y mi correo electrónico, se detenía y me la pedía, luego rellenaba el formulario automáticamente.
Ejemplo 4: Rellenar datos en una hoja de Google
Una tarea común pero muy tediosa que la gente necesita hacer es reunir algunos datos de varias fuentes y colocarlos en una hoja de cálculo. Para probar la capacidad de Mariner para resolver una tarea de este tipo, creé una simple hoja de empresas de IA.
Luego le di acceso a la pestaña y le pedí que buscara en la web los correos electrónicos de contacto de las empresas y rellenara la columna Email.
Primero intentó utilizar filtros para encontrar un problema de dificultad media, pero por alguna razón, eso no funcionó. Luego, se rindió y encontró un problema sin necesidad de mi intervención.
Entonces, escribió el código en el chat en lugar de utilizar la interfaz LeetCode. Le pedí que introdujera la respuesta directamente en la interfaz, pero aparecía con un formato muy extraño que no podía arreglar.
Luego volví a pedirle que escribiera la solución en el chat y la fijé manualmente. Tenía curiosidad por saber si la respuesta era correcta. Sin embargo, no pude iniciar sesión en LeetCode debido a Cloudflare. Este es un problema que vi que ocurría mucho cuando probaba Mariner.
Más tarde envié la solución con mi cuenta LeetCode y era correcta. El paso más rápido durante esta ejecución fue resolver el problema. En cuanto se abría el problema, se mostraba una solución en el chat. Esto me impresionó mucho.
Enseñar una tarea en el Proyecto Mariner
El Proyecto Mariner viene con una extensión de Chrome que podemos utilizar para enseñarle a realizar tareas. La forma en que funciona es que graba tu pantalla mientras realizas y le explicas la tarea (sí, tienes que hablar mientras realizas la tarea).
A partir de esos datos, extrae una lista de acciones. Intenté enseñarle a comprar en Walmart, y esto es lo que conseguí:
No sé si también recoge otros datos, pero me pareció mucho esfuerzo realizar y explicar la tarea sólo para obtener esta lista, que podría haber tecleado en unos segundos.
Intenté ejecutar la tarea, pero no funcionó. Da la sensación de que le faltan pasos, como preguntar cuáles son los artículos de la lista de la compra. Puedes editar manualmente una tarea antes de crearla, pero no encontré ninguna forma de editarla posteriormente.
Por ahora, creo que esta función aún está poco desarrollada y no está lista para su uso. Además, me costó encontrar un caso de uso, porque si le hubiera pedido que añadiera artículos de una lista de la compra de una hoja de cálculo a un carrito de Walmart, habría hecho un trabajo mejor.
Pros y contras del Proyecto Mariner
Las partes buenas
Se te da bien navegar por Internet
Todas las tareas que implicaban navegar por la web y buscar información en un sitio web parecen funcionar bien. Los casos de uso de la entrada de cine y el fontanero son buenos ejemplos de ello.
Trabajar con varias pestañas
Mariner puede resolver tareas que requieren utilizar varias pestañas y realizar búsquedas secuenciales en Google.
Comprensión visual
A pesar de ser lento, es bueno para comprender el contenido del sitio web y sus elementos. Puede interactuar con elementos, rellenar formularios y pulsar botones para controlar el sitio web.
Las partes malas
Éstos son, en mi opinión, los principales problemas de la iteración actual del Proyecto Mariner.
Obstáculos para automatizar la web
Navegar por la web es un proceso complejo, plagado de diversos retos para herramientas automatizadas como Project Mariner. Un obstáculo importante es la resistencia de los sitios web mediante herramientas como Cloudflare y reCAPTCHA, diseñadas para bloquear bots y proteger contra actividades maliciosas.
Durante mis experimentos, me bloqueaba muy a menudo. Incluso al probar uno de sus ejemplos sugeridos, el sitio web me bloqueó:
Esta resistencia complica la ejecución de la tarea de Mariner, ya que se esfuerza por sortear estas barreras destinadas a la verificación humana. Además, debido a la normativa, los sitios web suelen incluir banners de cookies y ventanas emergentes, lo que obliga a los usuarios a tomar continuamente decisiones sobre sus preferencias de datos.
Mariner no gestiona automáticamente las selecciones de cookies, probablemente porque los usuarios deben hacer estas elecciones basándose en sus preferencias de privacidad. También puede haber normativas vigentes que impidan la automatización de estas decisiones. Como resultado, los numerosos puntos de decisión y las interacciones necesarias aumentan la complejidad y la fricción para que herramientas como Mariner funcionen eficazmente.
Idealmente, nuestro objetivo es automatizar las tareas para reducir el esfuerzo manual, pero el estado actual de estas herramientas sigue requiriendo una supervisión significativa, lo que deja claro que estamos lejos de conseguir una experiencia de automatización verdaderamente fluida y útil.
Procesamiento lento de la IU
Otro problema al que se enfrenta Mariner en este momento es la velocidad. Se tarda mucho tiempo en procesar el contenido de la pantalla. Rellenar hasta el más sencillo de los formularios puede llevar minutos.
No razonar lo suficiente
Durante mis experimentos, parecía que siempre que había que elegir -por ejemplo, en qué plataforma comprar entradas de cine o qué empresa de fontanería utilizar- el agente evaluaba las opciones una a una, en el orden en que aparecían.
Esa no es una buena estrategia, y no es la forma en que los humanos suelen tomar sus decisiones. Creo que al agente le falta un paso de razonamiento e investigación a la hora de tomar decisiones.
Integración con el navegador
Me costó compartir pestañas con ella. A menudo me cerraba la sesión y perdía el acceso a la información mostrada en la pestaña que compartía. La solución era iniciar sesión manualmente dentro del navegador que utiliza. Esto es engorroso y hace que no quiera utilizarlo.
Creo que sería mejor si fuera una extensión de Chrome que conviviera con la pestaña abierta en ese momento. De este modo, podrás pedirle en cualquier momento que tome el control de la pestaña y realice acciones directamente.
Supongo que hay problemas de seguridad con este enfoque, pero no veo que sea muy útil cuando se utiliza su navegador separado del nuestro, porque entonces la mayoría de las tareas requerirán una larga configuración, como los inicios de sesión, para completarse.
Bucle for
A menudo ocurre que entra en bucles en los que me pregunta si algo está bien y luego sigue preguntando sin avanzar más. He aquí un ejemplo:
Cuestiones de privacidad y seguridad
Otro aspecto preocupante se refiere a la privacidad y la seguridad. Aquí está el aviso oficial de privacidad.
En resumen, el Proyecto Mariner de Google recopila tus conversaciones, datos de navegación y uso de funciones para mejorar sus servicios y la IA, siguiendo la Política de Privacidad de Google. Algunos datos pueden ser revisados por personas reales. Por tanto, evita compartir información confidencial.
Conclusión
El Proyecto Mariner sigue siendo en gran medida un producto experimental: lento, de alcance limitado y propenso a encontrarse con obstáculos como CAPTCHA o problemas de inicio de sesión. En su estado actual, no creo que merezca la pena suscribirse sólo para tener acceso.
Lo que más aprecio del enfoque de Google es su voluntad de lanzar prototipos sin pulir desde el principio. Este tipo de transparencia e iteración les permite aprender rápidamente y construir mejores productos con el tiempo.
En cambio, si te fijas en Apple -que prefiere lanzar sólo productos perfectamente pulidos-, parece que se está perdiendo la carrera de la IA en rápida evolución. La IA se nutre de los datos y del uso en el mundo real, por lo que exponer estas herramientas en fase inicial, aunque estén inacabadas, es una forma inteligente de iterar y mejorar rápidamente.
