Wat is Claude 3.5 Sonnet? Hoe het werkt, use cases en Artifacts

Claude 3.5 Sonnet: eerste indrukken

De benchmarkresultaten maakten me nieuwsgierig, dus ik ging meteen naar Claude.ai om het nieuwe Claude 3.5 Sonnet-model te testen.

Ik vroeg Claude 3.5 Sonnet eerst om een grafiek te maken met de gegevens in de onderstaande tabel:

Ik moet toegeven dat ik niet veel moeite deed voor de prompt die ik gebruikte—Genereer een grafiek voor deze tabel—en toch genereerde het model deze interactieve gegroepeerde staafgrafiek:

Claude 3.5 Sonnet implementeerde de grafiek als een React-component met de Recharts-bibliotheek. We kunnen de code bekijken en kopiëren door rechtsboven naar het tabblad Code te schakelen:

Eén ding stoorde me aan de gegenereerde staafgrafiek: de kleurlabels onderaan overlappen de labels op de x-as. Daarnaast is er gewoon te veel informatie om in één grafiek te verwerken. Ik dacht dat het een goed idee zou zijn om voor elke benchmark een aparte infographic te maken, dus ik gaf Claude 3.5 Sonnet deze prompt:

Maak voor de code-benchmark een infographic met een heel korte uitleg over wat de benchmark is en wat hij meet, en een klein vergelijkingsgrafiekje ernaast om te laten zien hoe elk LLM scoort op die benchmark

Ik moet zeggen: het resultaat was behoorlijk indrukwekkend, zeker gezien hoe slecht mijn prompt was:

De infographic is goed opgebouwd, met een fijne kleurkeuze en typografie. Ik zie hier al zoveel toepassingen—met gerichte prompting kunnen we het ontwerp op onze wensen afstemmen en bijvoorbeeld merkspecifieke aanpassingen toevoegen.

Als je Claude 3.5 Sonnet zelf nog niet hebt geprobeerd, vraag je je misschien af wat die UI-component is die zowel de grafiek als de code toont. Maak kennis met Artifacts.

Artifacts: de nieuwe functie van Claude AI

Het heeft weinig zin dat ik ga uitleggen wat Artifacts zijn als de officiële video dat zoveel beter doet. Ik raad je aan om te kijken omdat ze laten zien hoe je in één minuut een side-scrolling game in HTML 5 maakt:

Artifacts voelen zó dynamisch!

Op het eerste gezicht lijkt de Artifacts-functie misschien gewoon een extra venster of tabblad in de interface. Maar Anthropic voegt niet simpelweg een andere manier toe om informatie te tonen—ze bieden een nieuwe manier om met hun AI te werken.

Artifacts gaan verder dan traditionele tekstinteracties door een dynamische, interactieve laag te introduceren. Hierdoor kunnen we de output van de AI direct visualiseren en manipuleren, in plaats van die alleen maar te lezen.

Die verschuiving is noemenswaardig. Het wijst op een meer collaboratieve relatie met AI, waarin we actief kunnen meedenken en de AI-output kunnen verfijnen.

Het wordt interessant om te zien hoe deze functie zich ontwikkelt en hoe die onze manier van AI-gebruik in de toekomst beïnvloedt.

Wat mij enthousiast maakt, is Anthropics belofte om het te ontwerpen voor team­samenwerking:

Artifacts activeren en gebruiken

Om toegang te krijgen tot Claude Artifacts, moet je dit inschakelen in de instellingen. Klik eerst op je initialen en vervolgens op Feature Preview.

Zet vervolgens de schakelaar voor Artifacts op On.

Zodra het is ingeschakeld, kun je de functie activeren door Claude te vragen om content te genereren die in een Artifact kan worden weergegeven, zoals code, datavisualisaties of zelfs mock-ups.

Wanneer Claude een Artifact maakt, verschijnt dit in een apart paneel binnen de interface, verdeeld in de tabbladen Code en Preview. Het tabblad Code toont de ruwe output die door Claude is gegenereerd, terwijl Preview een visuele of interactieve weergave van die output biedt.

Toegang krijgen tot Claude 3.5 Sonnet

De meest eenvoudige manier om toegang te krijgen tot Claude 3.5 Sonnet is via Claude.ai, waar je kunt spelen met hun gebruiksvriendelijke grafische interface:

Claude 3.5 Sonnet is gratis te gebruiken op Claude.ai, maar ik moet wel zeggen dat ik vrij snel tegen gebruikslimieten aanliep (na ongeveer tien prompts).

Als je Claude 3.5 Sonnet regelmatig wilt gebruiken, heb je ongetwijfeld een Pro-abonnement nodig.

Claude 3.5 Sonnet is ook beschikbaar via de Anthropic API, Google Cloud’s Vertex AI en Amazon Bedrock.

Hoe Claude 3.5 Sonnet werkt en presteert

Hoewel Anthropic niet alle technische details heeft vrijgegeven, weten we dat Claude 3.5 Sonnet is gebouwd op hun eerdere model, Claude 3 Opus. Het is een groot taalmodel, wat betekent dat het is getraind op een enorme dataset van tekst en code, waardoor het menselijke taal kan begrijpen en genereren.

Wat Claude 3.5 Sonnet onderscheidt, is de verbeterde performance. Het is fijn-afgesteld en geoptimaliseerd, wat resulteert in verbeteringen op verschillende vlakken.

Redeneren op masterniveau wordt al lang gezien als een kenmerk van menselijke intelligentie, een grens waar AI traditioneel moeite had om bij te blijven. Hoewel er nog veel werk te doen is, toont Claude Sonnet 3.5 significante vooruitgang.

Wat wiskunde betreft loopt Claude 3.5 Sonnet licht achter op GPT-4o, dat leidt met een score van 76,6%. Maar de score van Claude 3.5 Sonnet, 71,1%, is nog steeds opvallend hoog. Deze prestatie suggereert dat Claude 3.5 Sonnet een stevige greep heeft op wiskundige concepten, formules en logisch redeneren, waardoor het een veelbelovend hulpmiddel is voor taken die wiskundige expertise vereisen.

De BIG-Bench-Hard-benchmark richt zich op het beoordelen van het vermogen van AI-modellen om veelzijdige problemen aan te pakken, geavanceerd te redeneren en kennis toe te passen over verschillende domeinen. Claude 3.5 Sonnet presteert in deze benchmark aanzienlijk beter dan andere modellen, met een score van 93,1%. Dit geeft aan dat Claude 3.5 Sonnet zeer bekwaam is in het omgaan met complexe taken, effectief kan redeneren over verschillende onderwerpen en zijn kennis flexibel kan toepassen op nieuwe situaties.

Wat visuele capaciteiten betreft blinkt Claude 3.5 Sonnet vooral uit in visueel wiskundig redeneren, met 67,7% op de MathVista-test, een aanzienlijke voorsprong op de andere modellen. Claude 3.5 Sonnet presteert ook goed in visual question answering (MMMU) en document-visual Q&A (ANLS-score), wat laat zien dat het visuele informatie effectief kan begrijpen en verwerken.

Hoewel de prestaties op wetenschapsschema’s en grafiek-Q&A iets lager liggen dan GPT-4o en Gemini 1.5 Pro, blijft de nauwkeurigheid nog steeds boven de 90%. Al met al benadrukken de resultaten de sterke capaciteiten van Claude 3.5 Sonnet in het begrijpen van zowel visuele als tekstuele data, waardoor het veelbelovend is voor toepassingen die multimodale begrip vereisen.

Use cases voor Claude 3.5 Sonnet

Claude 3.5 Sonnet is Anthropics sterkste vision-model, en het is geen verrassing dat het zo goed scoort op taken die visueel redeneren vereisen—zoals het interpreteren en maken van grafieken. Het wordt echter ook gepositioneerd als een sterke codeer- of schrijfhulp, dus laten we dat eens beter bekijken.

Visuele presentaties

Als je data visueel moet presenteren, lijkt Claude 3.5 Sonnet echt wonderen te kunnen verrichten.

In Anthropics voorbeeld geeft een biologiedocent het model twee grafieken en vraagt Claude om relevante informatie te extraheren om een Javascript-gebaseerde presentatie te maken met reveal-js, een populair framework voor HTML-presentaties. Kreeg de docent de slides die ze wilde?

Coding-partner

Stel, je bent software engineer en je probeert tests te schrijven en bugs te fixen in code die afbeeldingen bijsnijdt tot cirkels (zodat gebruikers mooie profielfoto’s hebben). Kan Claude 3.5 Sonnet daarbij helpen? Laten we kijken:

Schrijfpartner

Anthropic presenteert Claude 3.5 Sonnet ook als schrijfpartner, maar hun voorbeeld staat ver af van een realistische use case—romans gaan doorgaans niet over “sarcastische krabben die op bruisende riffen leven.” De genogram die Claude maakt is wel geweldig en toont opnieuw de indrukwekkende visuele vaardigheden.

Prijsvergelijking: Sonnet vs. GPT-4o vs. Gemini Pro 1.5

Laten we kijken hoe de prijzen van Claude 3.5 Sonnet zich verhouden tot die van OpenAI en Google. Dit is natuurlijk een mooie gelegenheid om Claude 3.5 Sonnet een grafiek te laten maken:

Voor persoonlijk gebruik rekenen alle drie de platforms ongeveer $20/maand.

Conclusie

De afgelopen jaren hebben we zoveel nieuws en doorbraken in de AI-wereld gezien dat het lastiger is geworden om enthousiast te worden over nieuwe releases—zeker met zoveel zorgvuldig geselecteerde voorbeelden in demovideo’s.

Toch ben ik oprecht enthousiast over de visuele mogelijkheden van Claude 3.5 Sonnet en de Artifacts-functie. Ik ga het zelf voor werk proberen en de ontwikkeling in de gaten houden.