Project Mariner: Panduan dengan Lima Contoh Praktis

Berikut rincian bagaimana ia menyelesaikan tugas:

1. Melakukan pencarian Google untuk menemukan film horor yang tayang pada hari Jumat
2. Dari pilihan yang ada, ia memilih yang pertama
3. Lalu ia mengidentifikasi tombol untuk memesan tiket dan mencoba opsi pertama, Alamo Drafthouse Cinema.
4. Ini tidak berhasil, jadi ia beralih ke Fandango.
5. Akhirnya, ia meminta intervensi saya untuk memilih kursi.
6. Kemudian ia juga meminta saya mengonfirmasi sebelum beralih ke halaman pembayaran.
7. Pada titik ini, ia menandai tugas sebagai selesai dan membiarkan saya melanjutkan secara manual.

Menurut saya, secara keseluruhan ini berhasil. Karena saya tidak memilih kursi, menurut saya permintaan untuk melanjutkan ke pemilihan kursi tidak perlu. Seharusnya ia juga bisa mencapai halaman pembayaran sendiri tanpa meminta persetujuan saya. Setelah itu, saya rasa positif bahwa interaksi tidak diotomatisasi, karena saya tidak ingin mengeluarkan uang tanpa konfirmasi manual.

Contoh 2: Mencari Penerbangan Terbaik

Saya perlu bepergian dari Portugal ke Taiwan, melewati Belgia, jadi saya mencoba melihat bagaimana kinerja Mariner dalam menemukan penerbangan terbaik untuk saya. Berikut prompt yang saya gunakan (saya tidak memberikan informasi tanggal untuk melihat apa yang akan terjadi):

"Saya ingin bepergian dari Portugal ke Taiwan, singgah di Belgia selama tiga hari. Bantu saya menemukan penerbangan terbaik."

Yang ini sangat mengecewakan. Satu-satunya hal yang dilakukan adalah membuka Google Flights dan mengisi formulir untuk saya. Selain itu, Mariner cukup lambat dalam mengidentifikasi tempat untuk diklik saat menavigasi situs web, sehingga proses ini memakan waktu jauh lebih lama daripada jika saya yang melakukannya.

Saya juga mencoba memintanya memesan tiket, tetapi ia masuk ke dalam loop, dan akhirnya saya menyerah.

Contoh 3: Mencari dan Memesan Tukang Ledeng

Selanjutnya, saya penasaran apakah ia bisa membantu saya mencari tukang ledeng. Untuk contoh ini, saya menggunakan alamat acak di New York untuk melihat apakah ia bisa menemukan seseorang di dekat lokasi itu dan melanjutkan pemesanan.

"Saya tinggal di 33 Wilson Ave. Hamburg, NY 14075. Cari dan pesan tukang ledeng untuk besok untuk memperbaiki kebocoran di wastafel dapur saya."

Tugas ini berjalan cukup baik. Ia dapat menemukan perusahaan layanan plambing di New York dan memesan janji temu. Saat membutuhkan informasi seperti nama dan email saya, ia berhenti dan memintanya, lalu mengisi formulir secara otomatis.

Contoh 4: Mengisi Data di Google Sheet

Tugas umum namun sangat membosankan yang sering perlu dilakukan orang adalah mengumpulkan data dari beberapa sumber dan menempatkannya ke dalam spreadsheet. Untuk menguji kemampuan Mariner menyelesaikan tugas seperti ini, saya membuat lembar sederhana berisi perusahaan AI.

Kemudian saya memberinya akses ke tab tersebut dan memintanya menelusuri web untuk mencari email kontak perusahaan-perusahaan itu dan mengisi kolom Email.

Seperti yang mungkin Anda perhatikan, semuanya berjalan baik kecuali satu kasus. Saat mencari email Google DeepMind, ia masuk ke dalam loop, jadi akhirnya saya menghentikannya dan memintanya mencoba lagi—kali ini berhasil.

Contoh 5: Menyelesaikan Soal LeetCode

Untuk contoh terakhir, saya ingin membuat sesuatu yang lebih kompleks, jadi saya meminta hal berikut:

"Pergi ke LeetCode dan selesaikan satu soal tingkat kesulitan medium pilihan Anda menggunakan Python 3"

Pertama ia mencoba menggunakan filter untuk menemukan soal tingkat medium, tetapi entah kenapa itu tidak berhasil. Kemudian, ia menyerah dan menemukan sebuah soal tanpa memerlukan intervensi saya.

Lalu, ia menulis kode di kolom chat alih-alih menggunakan antarmuka LeetCode. Saya memintanya memasukkan jawaban langsung ke antarmuka, tetapi tampil dengan format yang sangat aneh dan ia tidak bisa memperbaikinya.

Kemudian saya memintanya menulis solusi di chat lagi, dan saya memasukkannya secara manual. Saya penasaran apakah jawabannya benar. Namun, saya tidak bisa masuk ke LeetCode karena Cloudflare. Ini adalah masalah yang sering saya lihat saat menguji Mariner.

Saya memang mengirimkan solusi tersebut kemudian dengan akun LeetCode saya, dan ternyata benar. Langkah tercepat selama eksekusi ini adalah memecahkan soal. Begitu soal dibuka, solusi langsung ditampilkan di chat. Ini sangat mengesankan bagi saya.

Mengajarkan Suatu Tugas di Project Mariner

Project Mariner dilengkapi ekstensi Chrome yang bisa kita gunakan untuk mengajarkannya cara melakukan tugas. Cara kerjanya adalah merekam layar Anda saat Anda melakukan dan menjelaskan tugas kepadanya (ya, Anda perlu berbicara saat melakukan tugas).

Dari data itu, ia mengekstrak daftar tindakan. Saya mencoba mengajarkannya cara berbelanja di Walmart, dan inilah yang saya dapatkan:

Saya tidak tahu apakah ia juga mengumpulkan data lain, tetapi menurut saya itu cukup banyak upaya untuk melakukan dan menjelaskan tugas hanya demi mendapatkan daftar ini, yang sebenarnya bisa saya ketik dalam beberapa detik.

Saya mencoba mengeksekusi tugasnya, tetapi tidak berhasil. Terasa seperti ada langkah yang hilang, misalnya menanyakan apa saja item di daftar belanja. Anda bisa mengedit tugas secara manual sebelum membuatnya, tetapi saya tidak menemukan cara untuk mengeditnya setelahnya.

Sejauh ini, saya merasa fitur ini masih belum matang dan belum siap digunakan. Selain itu, saya sulit menemukan kasus penggunaan, karena jika saya hanya memintanya menambahkan item dari daftar belanja di spreadsheet ke keranjang Walmart, hasilnya akan lebih baik.

Kelebihan & Kekurangan Project Mariner

Bagian yang bagus

Andal menjelajah web

Semua tugas yang melibatkan penjelajahan web dan pencarian informasi di situs web tampaknya berjalan baik. Kasus penggunaan tiket film dan tukang ledeng adalah contoh yang bagus.

Bisa bekerja dengan banyak tab

Mariner dapat menyelesaikan tugas yang memerlukan penggunaan banyak tab dan melakukan pencarian Google secara berurutan.

Pemahaman visual

Meski lambat, ia cukup baik dalam memahami konten situs web dan elemennya. Ia bisa berinteraksi dengan elemen, mengisi formulir, dan mengklik tombol untuk mengontrol situs.

Bagian yang kurang

Menurut saya, inilah masalah utama pada iterasi Project Mariner saat ini.

Hambatan untuk mengotomatisasi web

Menavigasi web adalah proses yang kompleks, dipenuhi berbagai tantangan bagi alat otomatis seperti Project Mariner. Salah satu kendala besar adalah resistensi dari situs web melalui alat seperti Cloudflare dan reCAPTCHA, yang dirancang untuk memblokir bot dan melindungi dari aktivitas berbahaya.

Selama percobaan saya, saya sangat sering diblokir. Bahkan saat mencoba salah satu contoh yang mereka sarankan, situs webnya memblokir saya:

Resistensi ini mempersulit eksekusi tugas Mariner, karena ia kesulitan melewati penghalang yang dimaksudkan untuk verifikasi manusia. Selain itu, karena regulasi, situs web sering menampilkan banner cookie dan pop-up, memaksa pengguna terus-menerus membuat keputusan tentang preferensi data mereka.

Mariner tidak secara otomatis menangani pilihan cookie, kemungkinan karena pengguna harus membuat pilihan ini berdasarkan preferensi privasi mereka. Mungkin juga ada regulasi yang mencegah otomasi keputusan tersebut. Akibatnya, banyaknya titik keputusan dan interaksi yang diperlukan meningkatkan kompleksitas dan friksi bagi alat seperti Mariner untuk berfungsi secara efisien.

Idealnya, kita ingin mengotomatisasi tugas untuk mengurangi upaya manual, tetapi kondisi alat saat ini masih memerlukan pengawasan signifikan, yang menunjukkan bahwa kita masih jauh dari pengalaman otomasi yang benar-benar mulus dan membantu.

Lambat memproses UI

Masalah lain yang dihadapi Mariner saat ini adalah kecepatan. Ia membutuhkan waktu lama untuk memproses konten di layar. Mengisi formulir paling sederhana sekalipun bisa memakan waktu beberapa menit. 

Penalaran yang kurang

Selama eksperimen saya, tampaknya setiap kali harus membuat pilihan—seperti platform mana untuk membeli tiket film atau perusahaan plambing mana yang digunakan—agen mengevaluasi opsi satu per satu, sesuai urutan kemunculannya.

Itu bukan strategi yang baik, dan bukan begitu cara manusia biasanya membuat pilihan. Saya merasa agen ini melewatkan langkah penalaran dan riset saat mengambil keputusan.

Integrasi dengan peramban

Saya kesulitan membagikan tab dengannya. Ia sering keluar dari sesi dan kehilangan akses ke informasi yang ditampilkan di tab yang saya bagikan. Solusinya adalah masuk secara manual di dalam peramban yang digunakan olehnya. Ini merepotkan dan membuat saya enggan menggunakannya.

Saya rasa akan lebih baik jika ia berupa ekstensi Chrome yang berada berdampingan dengan tab yang sedang dibuka. Dengan begitu, Anda bisa kapan saja memintanya mengambil alih tab dan melakukan tindakan secara langsung.

Saya berasumsi ada kekhawatiran keamanan dengan pendekatan ini, tetapi saya tidak melihatnya sangat berguna saat menggunakan peramban miliknya yang terpisah dari milik kita, karena sebagian besar tugas kemudian memerlukan penyiapan panjang, seperti login, agar bisa diselesaikan.

Loop

Sering terjadi ia masuk ke dalam loop di mana ia bertanya apakah sesuatu sudah oke dan kemudian terus bertanya tanpa melangkah lebih jauh. Berikut contohnya:

Kekhawatiran privasi dan keamanan

Aspek lain yang mengkhawatirkan berkaitan dengan privasi dan keamanan. Berikut pemberitahuan privasi resminya. 

Singkatnya, Project Mariner dari Google mengumpulkan percakapan Anda, data penelusuran, dan penggunaan fitur untuk meningkatkan layanannya dan AI, sesuai dengan Kebijakan Privasi Google. Beberapa data mungkin ditinjau oleh manusia. Oleh karena itu, hindari membagikan informasi rahasia. 

Kesimpulan

Project Mariner masih merupakan produk yang sangat eksperimental—lambat, cakupannya terbatas, dan rentan menghadapi hambatan seperti CAPTCHA atau masalah login. Dalam kondisinya saat ini, saya rasa tidak sepadan berlangganan hanya untuk mendapatkan akses.

Yang paling saya hargai dari pendekatan Google adalah kesediaan mereka merilis prototipe yang belum sempurna sejak awal. Transparansi dan iterasi semacam ini memungkinkan mereka belajar dengan cepat dan membangun produk yang lebih baik dari waktu ke waktu.

Sebaliknya, jika Anda melihat Apple—yang lebih suka hanya merilis produk yang benar-benar sempurna—mereka tampaknya tertinggal dalam perlombaan AI yang berkembang pesat. AI bergantung pada data dan penggunaan dunia nyata, jadi membuka akses ke alat tahap awal ini, meski belum selesai, adalah cara cerdas untuk beriterasi dan meningkatkan dengan cepat.