Last chance! 50% off DataCamp Premium
Sale ends in
Di recente, Anthropic AI ha migliorato i suoi Claude 3.5 Sonnet e Claude 3.5 Haiku. Con questo aggiornamento ha introdotto una nuova funzione che rivoluzionerà il modo in cui lavoriamo e interagiamo con l'IA in generale. Ha introdotto il computer use, una nuova funzionalità rivoluzionaria in grado di guardare lo schermo, muovere il mouse, cliccare sui pulsanti e digitare testo.
In sostanza, può fare tutto per te a partire da un semplice prompt. Tutto ciò che devi fare è scrivere il prompt e Claude eseguirà tutti i passaggi necessari per raggiungere l'obiettivo.
Qui vedremo cos'è l'Anthropic computer use, come funziona e come iniziare a usarlo con Docker. Vedremo anche come migliorare le prestazioni del modello, i casi d'uso, le limitazioni e i costi. Puoi anche consultare la nostra guida a Gemini 2.5 Computer Use per confrontarla.
Immagine dell'autore
Che cos'è Anthropic Computer Use?
Il computer use è una nuova funzione di Anthropic, grazie alla quale Claude può interagire con strumenti per manipolare un ambiente desktop. Come gli esseri umani, può ricevere un comando ed eseguire i passaggi necessari per raggiungere l'obiettivo.
Come si vede nel video dimostrativo qui sotto, Sam, uno dei ricercatori di Anthropic, ha chiesto a Claude AI di compilare il modulo di richiesta fornitori usando il foglio di calcolo o il portale di ricerca. Claude AI ha compilato il modulo dopo averlo verificato, automatizzando il lavoro manuale.
Claude | Computer use per automatizzare le operazioni
Il computer use è attualmente in fase sperimentale e Anthropic sta consentendo agli sviluppatori di provarlo e segnalare bug. Nel tempo, la tecnologia migliorerà e ha il potenziale per essere incredibilmente efficiente, gestendo attività in ogni tipo di ruolo, dagli sviluppatori ai ruoli amministrativi.
Organizzazioni come Canva, DoorDash e Replit hanno già iniziato a sperimentare il computer use per automatizzare attività che richiedono dozzine, a volte persino centinaia, di passaggi per essere completate.
Questa nuova capacità è resa possibile dal nuovo e migliorato modello Claude 3.5 Sonnet, disponibile per tutti gli utenti. Puoi accedervi tramite Anthropic API, Amazon Bedrock e Vertex AI di Google Cloud.
Come funziona il Computer Use?
Anthropic computer use esegue quattro passaggi in background. Per prima cosa riceve la richiesta API dall'utente. Usando il prompt, Claude seleziona quindi lo strumento da utilizzare. Dopodiché cattura screenshot del desktop e valuta se l'attività è completata. In caso contrario, continuerà a usare gli strumenti finché l'obiettivo non sarà raggiunto. Vediamolo più nel dettaglio.
1. Richiesta API
Cominceremo usando la Python API per accedere all'ultimo modello Claude 3.5 Sonnet e impiegare due strumenti: text_editor e bash. Al momento abbiamo accesso solo a tre strumenti definiti da Anthropic:
{ "type": "computer_20241022", "name": "computer" }{ "type": "text_editor_20241022", "name": "str_replace_editor" }{ "type": "bash_20241022", "name": "bash" }
Il campo "type" serve a identificare gli strumenti e il campo "name" è esposto al modello. Poi, forniremo il prompt dell'utente e il parametro di computer use.
import anthropic
client = anthropic.Anthropic()
response = client.beta.messages.create(
model="claude-3-5-sonnet-20241022",
max_tokens=1024,
tools=[
{
"type": "computer_20241022",
"name": "computer",
"display_width_px": 1024,
"display_height_px": 768,
"display_number": 1,
},
{
"type": "text_editor_20241022",
"name": "str_replace_editor"
},
{
"type": "bash_20241022",
"name": "bash"
}
],
messages=[{"role": "user", "content": "Download a picture of a sports car to my desktop."}],
betas=["computer-use-2024-10-22"],
)
print(response)2. Claude seleziona lo strumento da usare
Claude controlla le definizioni e gli accessi degli strumenti per vedere se certi tool possono essere utilizzati con la richiesta dell'utente. Quando lo strumento è selezionato, Claude effettua una richiesta allo strumento.
3. Estrazione, valutazione e risultati
Il computer use estrarrà l'input per lo strumento, userà tale input per eseguire il processo sul computer e poi restituirà il risultato come screenshot. Successivamente, proseguirà la conversazione con un nuovo messaggio utente che contiene il risultato dello strumento.
4. Chiamare gli strumenti di computer use finché l'attività non è completata
Claude elabora e interpreta i risultati dello strumento per determinare se l'attività è completata o se sono necessari altri strumenti. Se decide di usare un altro strumento, ripeterà il terzo passaggio. La ripetizione dei passaggi tre e quattro senza input dell'utente è nota come "agent loop". Si tratta di un processo ripetitivo in cui Claude interagisce con l'ambiente desktop usando gli strumenti e valuta i risultati.
Iniziare con il Computer Use
Il computer use è in beta e, in quanto tale, comporta vari rischi. Questi rischi aumentano se il computer prova ad accedere a Internet tramite browser. Per questo useremo un container Docker con privilegi minimi per prevenire attacchi diretti al sistema o incidenti.
Utilizzeremo una implementazione di riferimento che contiene i comandi per avviare il computer use con Docker. L'immagine Docker include tutti i componenti necessari affinché Claude possa usare un computer.
Prerequisiti:
- Installa l'ultima versione di Docker sul tuo sistema.
- Ottieni una chiave API di Anthropic e assicurati di avere abbastanza crediti per usare questa funzione.
Digita il seguente comando nel terminale o in bash. Sostituisci %your_api_key% con la chiave API di Anthropic che puoi ottenere dalla console.
export ANTHROPIC_API_KEY=%your_api_key%
docker run \
-e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
-v $HOME/.anthropic:/home/computeruse/.anthropic \
-p 5900:5900 \
-p 8501:8501 \
-p 6080:6080 \
-p 8080:8080 \
-it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latestScaricherà tutti i pacchetti necessari ed eseguirà il tutto nel container Docker.
Una volta avviato il container, possiamo accedere al computer use di Claude digitando l'URL locale http://localhost:8080 nel browser.
Inizia a digitare il prompt e il computer use eseguirà tutti i passaggi necessari per completare l'attività.
Migliorare le prestazioni del modello
Scrivere il prompt per il computer use è completamente diverso dall'utilizzo di Claude 3.5 Sonnet per chat o generazione di risposte generiche. Devi seguire alcune semplici regole per ottenere risultati accurati.
- Specifica istruzioni semplici e dettagliate per ogni passaggio.
- Scrivi un prompt che istruisca Claude a fare uno screenshot dopo ogni passaggio e a valutare il risultato corretto.
- Aggiungi il processo di riflessione al prompt. Istruisci Claude a riprovare se il risultato desiderato non è stato raggiunto.
- Per elementi UI complessi, chiedi a Claude di usare scorciatoie da tastiera invece del mouse.
- Includi uno screenshot dei risultati che vuoi ottenere per guidare Claude verso risultati simili.
Applicazioni del Computer Use
Il computer use ha centinaia di casi d'uso nella vita quotidiana e sul lavoro. Può automatizzare per te una varietà di attività complesse. Ad esempio, puoi chiedere al computer di organizzare un incontro con un amico al Golden Gate Bridge.
Come mostrato nel video, può effettuare una ricerca su Google, aprire le mappe per trovare la distanza, controllare l'ora del tramonto e aggiungere l'evento al calendario. È fantastico per compiti quotidiani che normalmente richiederebbero ore di ricerca e organizzazione. L'IA può farlo in pochi minuti con supervisione minima.
Claude | Computer use per orchestrare le attività
Claude | Computer use per il coding
