Penggunaan Komputer Anthropic: Otomatiskan Desktop Anda dengan Claude 3.5

Penggunaan komputer saat ini berada pada fase eksperimental, dan Anthropic mengizinkan pengembang untuk mencobanya serta melaporkan bug. Seiring waktu, teknologinya akan membaik dan berpotensi menjadi sangat efisien, menangani tugas di berbagai peran, mulai dari pengembang hingga peran administrasi. 

Organisasi seperti Canva, DoorDash, dan Replit telah mulai bereksperimen dengan penggunaan komputer untuk mengotomatiskan tugas yang memerlukan puluhan, bahkan ratusan, langkah untuk diselesaikan.

Kapabilitas baru ini dimungkinkan berkat model Claude 3.5 Sonnet yang baru dan ditingkatkan, tersedia untuk semua pengguna. Anda dapat mengaksesnya melalui Anthropic API, Amazon Bedrock, dan Vertex AI dari Google Cloud.

Bagaimana Cara Kerja Penggunaan Komputer?

Penggunaan komputer Anthropic menjalankan empat langkah di latar belakang. Pertama, menerima permintaan API dari pengguna. Dengan menggunakan prompt, Claude kemudian memilih alat yang akan digunakan. Setelah itu, ia mengambil tangkapan layar desktop dan mengevaluasi apakah tugas telah selesai. Jika belum, ia akan terus menggunakan alat sampai tujuan tercapai. Mari kita bahas lebih detail. 

1. Permintaan API

Kita akan mulai dengan menggunakan Python API untuk mengakses model Claude 3.5 Sonnet terbaru dan menggunakan dua alat: text_editor dan bash. Saat ini, kita hanya memiliki akses ke tiga alat yang didefinisikan Anthropic:

• { "type": "computer_20241022", "name": "computer" }
• { "type": "text_editor_20241022", "name": "str_replace_editor" }
• { "type": "bash_20241022", "name": "bash" }

Kolom "type" digunakan untuk mengidentifikasi alat, dan kolom "name" diekspos ke model. Lalu, kita akan memberikan prompt pengguna dan parameter penggunaan komputer.

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20241022",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20241022",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20241022",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Download a picture of a sports car to my desktop."}],
    betas=["computer-use-2024-10-22"],
)
print(response)

2. Claude memilih alat yang akan digunakan 

Claude memeriksa definisi alat dan aksesnya untuk melihat apakah alat tertentu dapat digunakan untuk permintaan pengguna. Ketika alat dipilih, Claude melakukan permintaan alat.

3. Ekstraksi, evaluasi, dan hasil

Penggunaan komputer akan mengekstrak input alat, menggunakan input tersebut untuk menjalankan proses pada komputer, lalu mengembalikan hasil sebagai tangkapan layar. Setelah itu, ia akan melanjutkan percakapan dengan pesan pengguna baru yang berisi hasil dari alat tersebut. 

4. Memanggil alat penggunaan komputer hingga tugas selesai

Claude memproses dan menafsirkan hasil alat untuk menentukan apakah tugas telah selesai atau perlu alat lain. Jika memutuskan menggunakan alat lain, ia akan mengulangi langkah ketiga. Pengulangan langkah tiga dan empat tanpa masukan pengguna dikenal sebagai “agent loop.” Ini adalah proses berulang di mana Claude berinteraksi dengan lingkungan desktop Anda menggunakan alat dan mengevaluasi hasilnya. 

Mulai Menggunakan Penggunaan Komputer

Penggunaan komputer masih dalam versi beta dan, karenanya, memiliki berbagai risiko. Risiko ini meningkat jika komputer mencoba mengakses internet melalui browser. Karena itu, kita akan menggunakan container Docker dengan hak istimewa minimal untuk mencegah serangan langsung ke sistem atau kecelakaan.

Kita akan menggunakan sebuah implementasi referensi yang berisi perintah untuk memulai penggunaan komputer dengan Docker. Citra Docker tersebut memuat semua komponen yang dibutuhkan agar Claude dapat menggunakan komputer. 

Prasyarat: 

• Instal versi terbaru Docker di sistem Anda.
• Dapatkan kunci API Anthropic dan pastikan Anda memiliki kredit yang cukup untuk menggunakan fitur ini. 

Ketik perintah berikut di terminal atau bash. Ganti %your_api_key% dengan kunci API Anthropic yang bisa Anda dapatkan dari console. 

export ANTHROPIC_API_KEY=%your_api_key%
docker run \
    -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Perintah tersebut akan mengunduh semua paket yang diperlukan dan menjalankannya di container Docker. 

Setelah container berjalan, kita dapat mengakses penggunaan komputer Claude dengan mengetik URL lokal http://localhost:8080 di browser. 

Mulailah mengetik prompt, dan penggunaan komputer akan menjalankan semua langkah yang diperlukan untuk menyelesaikan tugas. 

Meningkatkan Kinerja Model

Menulis prompt untuk penggunaan komputer sangat berbeda dari menggunakan Claude 3.5 Sonnet untuk obrolan atau generasi respons umum. Anda perlu mengikuti beberapa aturan sederhana agar mendapatkan hasil yang akurat.

1. Tentukan instruksi yang sederhana dan terperinci untuk setiap langkah.
2. Tulis prompt yang menginstruksikan Claude untuk mengambil tangkapan layar setelah setiap langkah dan mengevaluasi hasil yang benar.
3. Tambahkan proses refleksi ke dalam prompt. Instruksikan Claude untuk mencoba lagi jika hasil yang diinginkan belum tercapai.
4. Untuk elemen UI yang kompleks, minta Claude menggunakan pintasan keyboard alih-alih mouse.
5. Sertakan tangkapan layar hasil yang ingin Anda capai untuk memandu Claude meraih hasil serupa.

Aplikasi Penggunaan Komputer

Penggunaan komputer memiliki ratusan use case dalam kehidupan sehari-hari dan di tempat kerja. Fitur ini dapat mengotomatiskan berbagai tugas kompleks untuk Anda. Misalnya, Anda dapat meminta komputer merencanakan pertemuan dengan teman di Golden Gate Bridge. 

Seperti ditunjukkan dalam video, fitur ini dapat melakukan pencarian Google, membuka peta untuk menemukan jarak, memeriksa waktu matahari terbenam, dan menambahkan acara ke kalender. Ini luar biasa untuk tugas sehari-hari yang biasanya memerlukan berjam-jam riset dan pengorganisasian. AI dapat melakukannya hanya dalam beberapa menit dengan pengawasan minimal.

Pada contoh lain, Alex meminta komputer untuk meluncurkan peramban Chrome dan menggunakan situs web bernama claude.ai untuk membuat situs web pribadi dengan tema 90-an. Setelah itu, ia memintanya mengunduh file, membukanya di VS Code, dan menjalankannya secara lokal. Dalam beberapa menit, ia telah membuat situs web yang baik.

Keterbatasan Penggunaan Komputer

Sebelum Anda mulai menggunakan komputer Claude untuk eksperimen AI, ketahui keterbatasan dan peringatannya, seperti:

1. Latensi: Latensi penggunaan komputer mungkin terlalu lambat dibandingkan tindakan komputer yang diarahkan manusia biasa.
2. Keandalan pengguliran: Pengguliran belum andal dengan pengaturan saat ini. Sebagai gantinya, minta Claude menggunakan pintasan keyboard.
3. Interaksi spreadsheet: Klik mouse untuk interaksi spreadsheet kurang andal. Anda dapat mencegah hal ini dengan meminta Claude menggunakan tombol panah.
4. Kerentanan: Jailbreaking atau prompt injection adalah masalah umum model AI dan juga ada pada penggunaan komputer.
5. Tindakan ilegal: Anda tidak diperbolehkan menggunakan penggunaan komputer untuk melanggar hukum.
6. Masalah dengan platform sosial dan komunikasi: Claude kesulitan membuat akun dan memublikasikan konten di platform media sosial.
7. Akurasi visi komputer: Claude dapat keliru dan salah menafsirkan koordinat tertentu saat menghasilkan aksi.
8. Akurasi pemilihan alat: Claude mungkin membuat kesalahan atau berhalusinasi saat memilih alat ketika menghasilkan aksi.

Harga Penggunaan Komputer

Biaya penggunaan komputer serupa dengan biaya melakukan panggilan API ke model Claude. Namun, ada biaya tambahan terkait penggunaan system prompt khusus, serta token input ekstra. Anda dapat melihat detail harga untuk model di halaman harga Anthropic.

Penggunaan token system prompt khusus

System prompt khusus memerlukan tambahan 466 token untuk pemilihan alat otomatis dan 499 token untuk alat apa pun. Angka-angka ini berlaku untuk model Claude 3.5 Sonnet (baru), yang dihargai $3 per satu juta token input dan $15 per satu juta token output.

Token input tambahan

Untuk menggunakan alat yang didefinisikan Anthropic, diperlukan token input tambahan berikut:

• computer_20241022: 683 token
• text_editor_20241022: 700 token
• bash_20241022: 245 token

Pemikiran Akhir

Ada banyak sekali aplikasi untuk penggunaan komputer, dan bisnis dapat mengotomatiskan banyak pekerjaan manual untuk meningkatkan produktivitas. Ini juga dapat menghemat waktu pengguna komputer rata-rata pada tugas rutin seperti memesan kopi atau memesan penerbangan. 

Penggunaan komputer berpotensi menangani berbagai jenis tugas, dan yang perlu Anda lakukan hanyalah mengawasi. Anda cukup memberikan perintah dan mengevaluasi hasil kerjanya. Jika belum akurat, Anda dapat memintanya untuk melakukan iterasi dan perbaikan. Alat ini berpotensi menjadi pengubah keadaan dan bisa lebih berdampak daripada peluncuran model OpenAI o1.

Kita telah mempelajari fitur baru Anthropic dan bagaimana fitur tersebut dapat berinteraksi dengan serta memodifikasi lingkungan desktop dengan bantuan Claude AI. Kita juga telah mempelajari cara kerjanya, membangun citra Docker, dan menggunakannya secara lokal, mempelajari use case, keterbatasan, dan harganya. Singkatnya, sekarang yang perlu Anda lakukan hanyalah mencobanya sendiri untuk merasakan fitur-fitur yang mengagumkan tersebut. Jika Anda baru mengenal Anthropic dan Claude, lihat sumber daya kami: 

• Webinar Pengantar Claude
• Apa Itu Claude 3.5 Sonnet? Cara Kerja, Use Case, dan Artifacts
• Tutorial Memulai dengan Claude 3 dan Claude 3 API