Anthropic Computer Use: Claude 3.5 ile Masaüstünüzü Otomatikleştirin

Bilgisayar kullanımı şu anda deneysel aşamada ve Anthropic geliştiricilerin denemelerine ve hata bildirmelerine izin veriyor. Zamanla teknoloji gelişecek ve geliştiricilerden idari rollere kadar her türlü görevde son derece verimli olma potansiyeline sahip. 

Canva, DoorDash ve Replit gibi kuruluşlar, tamamlanması onlarca hatta yüzlerce adım gerektiren görevleri otomatikleştirmek için bilgisayar kullanımını şimdiden denemeye başladı.

Bu yeni yetenek, tüm kullanıcılara sunulan yeni ve geliştirilmiş Claude 3.5 Sonnet modeli sayesinde mümkün oldu. Anthropic API, Amazon Bedrock ve Google Cloud’un Vertex AI’ı üzerinden erişebilirsiniz.

Bilgisayar Kullanımı Nasıl Çalışır?

Anthropic bilgisayar kullanımı arka planda dört adım gerçekleştirir. Önce kullanıcıdan API isteğini alır. İstemden yararlanarak Claude kullanılacak aracı seçer. Ardından masaüstünün ekran görüntülerini alır ve görevin tamamlanıp tamamlanmadığını değerlendirir. Tamamlanmadıysa hedefe ulaşana kadar araçları kullanmayı sürdürür. Bunu daha ayrıntılı inceleyelim. 

1. API isteği

En yeni Claude 3.5 Sonnet modeline erişmek ve iki aracı kullanmak için Python API’yi kullanarak başlayacağız: text_editor ve bash. Şu anda yalnızca üç Anthropic tarafından tanımlanmış araca erişimimiz var:

• { "type": "computer_20241022", "name": "computer" }
• { "type": "text_editor_20241022", "name": "str_replace_editor" }
• { "type": "bash_20241022", "name": "bash" }

“type” alanı araçları tanımlamak için, “name” alanı ise modele gösterilmek için kullanılır. Ardından kullanıcı istemini ve bilgisayar kullanımı parametresini sağlayacağız.

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20241022",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20241022",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20241022",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Download a picture of a sports car to my desktop."}],
    betas=["computer-use-2024-10-22"],
)
print(response)

2. Claude kullanılacak aracı seçer 

Claude, belirli araçların kullanıcı sorgusuyla kullanılıp kullanılamayacağını görmek için araç tanımlarını ve erişimi kontrol eder. Araç seçildiğinde Claude bir araç isteği gerçekleştirir.

3. Çıkarma, değerlendirme ve sonuçlar

Bilgisayar kullanımı araç girdisini çıkarır, bu girdiyle bilgisayarda işlemi gerçekleştirir ve ardından sonucu bir ekran görüntüsü olarak döndürür. Sonrasında, aracın sonucunu içeren yeni bir kullanıcı mesajıyla diyaloğa devam eder. 

4. Görev tamamlanana kadar bilgisayar kullanımı araçlarını çağırma

Claude, görevin tamamlanıp tamamlanmadığını veya daha fazla araca ihtiyaç olup olmadığını belirlemek için aracın sonuçlarını işler ve yorumlar. Başka bir araç kullanmaya karar verirse üçüncü adımı tekrarlar. Kullanıcı girdisi olmadan üçüncü ve dördüncü adımların tekrarlanmasına “ajan döngüsü” denir. Bu, Claude’un araçları kullanarak masaüstü ortamınızla etkileşime girdiği ve sonuçları değerlendirdiği yinelenen bir süreçtir. 

Bilgisayar Kullanımına Başlama

Bilgisayar kullanımı beta aşamasındadır ve bu nedenle çeşitli riskler barındırır. Bilgisayarın bir tarayıcı üzerinden internete erişmeye çalışması durumunda bu riskler artar. Bu yüzden doğrudan sistem saldırılarını veya kazaları önlemek için sınırlı ayrıcalıklara sahip bir Docker konteyneri kullanacağız.

Referans bir uygulama kullanacağız; bu uygulama Docker ile bilgisayar kullanımını başlatmaya yönelik komutlar içerir. Docker imajı, Claude’un bir bilgisayarı kullanması için gereken tüm bileşenleri barındırır. 

Önkoşul: 

• Sisteminizde Docker’ın en son sürümünü kurun.
• Bir Anthropic API anahtarı alın ve bu özelliği kullanmak için yeterli bakiyeniz olduğundan emin olun. 

Terminalde veya bash’te aşağıdaki komutu yazın. %your_api_key% ifadesini, konsoldan alabileceğiniz Anthropic API anahtarıyla değiştirin. 

export ANTHROPIC_API_KEY=%your_api_key%
docker run \
    -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Gerekli tüm paketleri indirip docker konteynerinde çalıştıracaktır. 

Konteyner çalışmaya başladığında, tarayıcıya yerel URL’yi yazarak Claude bilgisayar kullanımına erişebiliriz: http://localhost:8080. 

İstemi yazmaya başlayın; bilgisayar kullanımı görevi tamamlamak için gerekli tüm adımları uygulayacaktır. 

Modelin Performansını İyileştirme

Bilgisayar kullanımı için istem yazmak, sohbet veya genel yanıt üretimi için Claude 3.5 Sonnet kullanmaktan tamamen farklıdır. Doğru sonuçlar elde etmek için bazı basit kurallara uymanız gerekir.

1. Her adım için basit ve ayrıntılı talimatlar belirtin.
2. Claude’a her adımdan sonra ekran görüntüsü almasını ve doğru sonucu değerlendirmesini söyleyen bir istem yazın.
3. İsteme yansıtma sürecini ekleyin. İstenen sonuç elde edilmezse tekrar denemesini isteyin.
4. Karmaşık arayüz öğeleri için Claude’dan fare yerine klavye kısayollarını kullanmasını isteyin.
5. Claude’u yönlendirmek için ulaşmak istediğiniz sonucun bir ekran görüntüsünü ekleyin.

Bilgisayar Kullanımının Uygulamaları

Bilgisayar kullanımının günlük yaşamda ve iş yerinde yüzlerce kullanım alanı vardır. Sizin için çeşitli karmaşık görevleri otomatikleştirebilir. Örneğin, bir arkadaşınızla Golden Gate Köprüsü’nde buluşma planlamasını bilgisayardan isteyebilirsiniz. 

Videoda gösterildiği gibi Google araması yapabilir, mesafeyi bulmak için haritaları açabilir, gün batımı saatini kontrol edebilir ve etkinliği takvime ekleyebilir. Normalde saatler süren araştırma ve organizasyon gerektiren günlük işler için bu harika. Yapay zekâ bunu yalnızca birkaç dakikada, minimum gözetimle yapabilir.

Başka bir örnekte Alex, bilgisayardan bir Chrome tarayıcısı başlatmasını ve claude.ai adlı bir web sitesini kullanarak 90’lar temalı kişisel bir web sitesi oluşturmasını istiyor. Ardından dosyayı indirmesini, VS Code’da açmasını ve yerelde çalıştırmasını talep ediyor. Birkaç dakika içinde düzgün bir web sitesi oluşturmuş oluyor.

Bilgisayar Kullanımının Sınırlamaları

Claude’un bilgisayarını yapay zekâ denemeleri için kullanmaya başlamadan önce aşağıdaki sınırlamalar ve uyarıların farkında olun:

1. Gecikme: Bilgisayar kullanımındaki gecikme, normalde insan yönlendirmeli bilgisayar eylemlerine kıyasla çok yavaş olabilir.
2. Kaydırma güvenilirliği: Mevcut kurulumda kaydırma güvenilir değildir. Bunun yerine Claude’dan klavye kısayollarını kullanmasını isteyin.
3. Elektronik tablo etkileşimi: Elektronik tablolarla fare tıklamaları güvenilir değildir. Bunu, Claude’dan yön tuşlarını kullanmasını isteyerek önleyebilirsiniz.
4. Güvenlik açıkları: Jailbreak veya prompt injection gibi yaygın yapay zekâ model sorunları bilgisayar kullanımında da mevcuttur.
5. Yasadışı eylemler: Yasalara aykırı eylemler için bilgisayar kullanımına izin verilmez.
6. Sosyal ve iletişim platformlarıyla ilgili sorunlar: Claude, sosyal medya platformlarında hesap oluşturma ve paylaşım yapma konularında zorlanır.
7. Bilgisayarlı görme doğruluğu: Claude, eylemleri üretirken belirli koordinatları yanlış anlayabilir veya yanlış yorumlayabilir.
8. Araç seçimi doğruluğu: Claude, eylemler üretirken araç seçimi sırasında hata yapabilir veya halüsinasyon görebilir.

Bilgisayar Kullanımı Fiyatlandırması

Bilgisayar kullanımının maliyeti, Claude modellerine API çağrısı yapmanın maliyetine benzerdir. Ancak otomatik araç seçimi için özel bir sistem isteminin kullanılmasına ve ek girdi belirteçlerine bağlı ek bir maliyet vardır. Modellerin fiyatlandırma detaylarını Anthropic’in fiyatlandırma sayfasında görüntüleyebilirsiniz.

Özel sistem istemi belirteç kullanımı

Özel sistem istemi, otomatik araç seçimi için ek 466 belirteç ve herhangi bir araç için 499 belirteç gerektirir. Bu rakamlar, girdi milyon belirteç başına 3 ABD doları ve çıktı milyon belirteç başına 15 ABD doları fiyatlandırılan Claude 3.5 Sonnet (yeni) modeli için geçerlidir.

Ek girdi belirteçleri

Anthropic tarafından tanımlanan araçları kullanmak için aşağıdaki ek girdi belirteçleri gereklidir:

• computer_20241022: 683 belirteç
• text_editor_20241022: 700 belirteç
• bash_20241022: 245 belirteç

Son Düşünceler

Bilgisayar kullanımının sayısız uygulaması vardır ve işletmeler üretkenliği artırmak için manuel işlerinin büyük kısmını otomatikleştirebilir. Ayrıca ortalama bir bilgisayar kullanıcısına kahve siparişi vermek veya uçuş rezervasyonu yapmak gibi rutin işlerde zaman kazandırabilir. 

Bilgisayar kullanımı her türlü görevi üstlenme potansiyeline sahiptir ve sizin yapmanız gereken tek şey gözetimdir. Sadece bir komut verip çalışmasını değerlendirmeniz yeterlidir. Doğru değilse yinelemesini ve iyileştirmesini isteyebilirsiniz. Bu araç oyunun kurallarını değiştirme potansiyeline sahip ve OpenAI o1 modelinin tanıtımından bile daha etkili olabilir.

Anthropic’in yeni özelliğini, Claude AI’ın masaüstü ortamıyla nasıl etkileşime girip onu nasıl değiştirebildiğini öğrendik. Ayrıca nasıl çalıştığını, Docker imajını oluşturup yerelde nasıl kullandığımızı; kullanım alanlarını, sınırlamalarını ve fiyatlandırmasını ele aldık. Kısacası şimdi sıra sizde: harika özelliklerini deneyimlemek için kendiniz deneyin. Anthropic ve Claude’a yeniyseniz kaynaklarımıza göz atın: 

• Claude’a Giriş Webinarı
• Claude 3.5 Sonnet Nedir? Nasıl Çalışır, Kullanım Alanları ve Artifacts
• Claude 3 ve Claude 3 API’ye Başlangıç Rehberi