Cursus
Introductie tot LLM’s in Python
3 uur
36.6K
Onlangs heeft Anthropic AI hun Claude 3.5 Sonnet en Claude 3.5 Haiku verbeterd. Met deze update hebben ze een nieuwe functie geïntroduceerd die zal revolutioneren hoe we werken en in het algemeen met AI omgaan. Ze hebben ‘computer use’ geïntroduceerd, een baanbrekende nieuwe mogelijkheid die naar je scherm kan kijken, de muis kan bewegen, op knoppen kan klikken en tekst kan typen.
Kort gezegd: het kan alles voor je doen op basis van een simpele prompt. Jij hoeft alleen de prompt te schrijven, en Claude voert alle benodigde stappen uit om het doel te bereiken.
Hier leren we wat Anthropic computer use is, hoe het werkt en hoe je ermee aan de slag gaat met Docker. We bekijken ook hoe je de prestaties van het model verbetert, use-cases, beperkingen en prijzen. Bekijk ook onze gids voor Gemini 2.5 Computer Use om te zien hoe die zich verhoudt.
Afbeelding door auteur
Wat is Anthropic Computer Use?
Computer use is een nieuwe functie van Anthropic waarmee Claude met tools kan interageren om een desktopomgeving te bedienen. Net als mensen kan het een opdracht aannemen en de nodige stappen uitvoeren om het doel te halen.
Zoals we in de onderstaande demovideo zien, heeft Sam, een van de onderzoekers bij Anthropic, Claude AI gevraagd om het leveranciersaanvraagformulier in te vullen met behulp van de spreadsheet of de zoekpoort. Claude AI heeft het formulier ingevuld na verificatie, waardoor het handmatige werk is geautomatiseerd.
Claude | Computergebruik voor het automatiseren van processen
Computer use bevindt zich momenteel in de experimentele fase, en Anthropic laat ontwikkelaars het uitproberen en bugs rapporteren. In de loop der tijd zal de technologie verbeteren, en ze heeft het potentieel om ongelooflijk efficiënt te worden, met taken in allerlei rollen, van developers tot administratieve functies.
Organisaties zoals Canva, DoorDash en Replit experimenteren al met computer use om taken te automatiseren die tientallen, en soms zelfs honderden, stappen vereisen.
Deze nieuwe mogelijkheid is mogelijk gemaakt door het nieuwe en verbeterde Claude 3.5 Sonnet-model, dat beschikbaar is voor alle gebruikers. Je kunt het benaderen via de Anthropic API, Amazon Bedrock en Google Cloud’s Vertex AI.
Hoe werkt Computer Use?
Anthropic computer use voert op de achtergrond vier stappen uit. Eerst ontvangt het de API-aanvraag van de gebruiker. Met behulp van de prompt kiest Claude vervolgens de tool die gebruikt moet worden. Daarna maakt het schermafbeeldingen van het bureaublad en beoordeelt of de taak is voltooid. Zo niet, dan blijft het de tools gebruiken totdat het doel is bereikt. Laten we dat in meer detail bekijken.
1. API-aanvraag
We beginnen met de Python API om toegang te krijgen tot het nieuwste Claude 3.5 Sonnet-model en gebruiken twee tools: text_editor en bash. Momenteel hebben we alleen toegang tot drie door Anthropic gedefinieerde tools:
{ "type": "computer_20241022", "name": "computer" }{ "type": "text_editor_20241022", "name": "str_replace_editor" }{ "type": "bash_20241022", "name": "bash" }
Het veld "type" wordt gebruikt om de tools te identificeren en het veld "name" is zichtbaar voor het model. Vervolgens geven we de gebruikersprompt en de computer-use-parameter mee.
import anthropic
client = anthropic.Anthropic()
response = client.beta.messages.create(
model="claude-3-5-sonnet-20241022",
max_tokens=1024,
tools=[
{
"type": "computer_20241022",
"name": "computer",
"display_width_px": 1024,
"display_height_px": 768,
"display_number": 1,
},
{
"type": "text_editor_20241022",
"name": "str_replace_editor"
},
{
"type": "bash_20241022",
"name": "bash"
}
],
messages=[{"role": "user", "content": "Download a picture of a sports car to my desktop."}],
betas=["computer-use-2024-10-22"],
)
print(response)2. Claude kiest de te gebruiken tool
Claude controleert de tooldefinities en -toegang om te zien of bepaalde tools mogen worden gebruikt met de gebruikersvraag. Wanneer de tool is geselecteerd, voert Claude een toolaanvraag uit.
3. Extractie, evaluatie en resultaten
Computer use extraheert de toolinvoer, gebruikt die invoer om het proces op de computer uit te voeren en retourneert vervolgens het resultaat als een schermafbeelding. Daarna gaat het gesprek verder met een nieuw gebruikersbericht dat het resultaat van de tool bevat.
4. Computer-use-tools aanroepen totdat de taak is voltooid
Claude verwerkt en interpreteert de resultaten van de tool om te bepalen of de taak klaar is of dat er meer tools nodig zijn. Als het besluit een andere tool te gebruiken, herhaalt het stap drie opnieuw. De herhaling van stappen drie en vier zonder gebruikersinvoer staat bekend als de “agent loop”. Dit is een repetitief proces waarbij Claude met je desktopomgeving interageert met behulp van de tools en de resultaten evalueert.
Aan de slag met Computer Use
Computer use is in bèta en brengt als zodanig diverse risico’s met zich mee. Deze risico’s nemen toe als de computer via een browser het internet probeert te benaderen. Daarom gebruiken we een Docker-container met minimale rechten om directe systeemaanvallen of ongelukken te voorkomen.
We gebruiken een referentie-implementatie die commando’s bevat om computer use met Docker te starten. De Docker-image bevat alle componenten die Claude nodig heeft om een computer te gebruiken.
Vereisten:
- Installeer de nieuwste versie van Docker op je systeem.
- Vraag een Anthropic API-sleutel aan en zorg dat je genoeg tegoed hebt om deze functie te gebruiken.
Typ het volgende commando in de terminal of bash. Vervang %your_api_key% door de Anthropic API-sleutel die je kunt ophalen in de console.
export ANTHROPIC_API_KEY=%your_api_key%
docker run \
-e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
-v $HOME/.anthropic:/home/computeruse/.anthropic \
-p 5900:5900 \
-p 8501:8501 \
-p 6080:6080 \
-p 8080:8080 \
-it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latestHiermee worden alle benodigde pakketten gedownload en in de dockercontainer uitgevoerd.
Zodra de container draait, kunnen we Claude computer use openen door de lokale URL http://localhost:8080 in de browser te typen.
Begin met het typen van de prompt, en computer use voert alle benodigde stappen uit om de taak af te ronden.
De prestaties van het model verbeteren
Een prompt schrijven voor computer use is totaal anders dan Claude 3.5 Sonnet gebruiken voor chat of algemene antwoordgeneratie. Je moet een paar simpele regels volgen om nauwkeurige resultaten te behalen.
- Geef eenvoudige en gedetailleerde instructies voor elke stap.
- Schrijf een prompt die Claude instrueert om na elke stap een screenshot te maken en de uitkomst te beoordelen.
- Voeg het reflectieproces toe aan de prompt. Instrueer Claude om het opnieuw te proberen als het gewenste resultaat niet is behaald.
- Vraag Claude bij complexe UI-elementen om sneltoetsen te gebruiken in plaats van de muis.
- Voeg een schermafbeelding toe van de resultaten die je wilt bereiken om Claude te sturen naar vergelijkbare uitkomsten.
Toepassingen van Computer Use
Computer use heeft honderden use-cases in het dagelijks leven en op het werk. Het kan allerlei complexe taken voor je automatiseren. Je kunt een computer bijvoorbeeld vragen om een afspraak met een vriend bij de Golden Gate Bridge te plannen.
Zoals in de video te zien is, kan het een Google-zoekopdracht uitvoeren, Maps openen om de afstand te vinden, de tijd van zonsondergang checken en het evenement aan de agenda toevoegen. Dit is geweldig voor dagelijkse taken die normaal gesproken uren onderzoek en organisatie vereisen. AI kan dit in slechts enkele minuten doen met minimale begeleiding.
Claude | Computergebruik voor het orkestreren van taken
Claude | Computergebruik voor coderen
