Che cos’è Claude 3.5 Sonnet? Come funziona, casi d’uso e Artifacts

Claude 3.5 Sonnet: prime impressioni

Ero incuriosito dai risultati dei benchmark, quindi sono andato subito su Claude.ai per provare il nuovo modello Claude 3.5 Sonnet.

Per prima cosa ho chiesto a Claude 3.5 Sonnet di creare un grafico usando i dati nella tabella qui sotto:

Ammetto di non aver dedicato molto impegno al prompt usato—Genera un grafico per questa tabella—eppure il modello ha generato questo grafico a barre raggruppate interattivo:

Claude 3.5 Sonnet ha implementato il grafico come componente React usando la libreria Recharts. Possiamo vedere e copiare il codice passando alla scheda Code in alto a destra:

Una cosa che mi ha infastidito del grafico a barre generato è che la legenda in basso si sovrappone alle etichette dell’asse x. Inoltre, c’è semplicemente troppa informazione da digerire in un unico grafico. Ho pensato che potesse essere un’idea carina avere un’infografica separata per ogni benchmark, quindi ho scritto a Claude 3.5 Sonnet questo prompt:

Per il benchmark di codice, genera un’infografica in cui aggiungi una spiegazione molto breve su che cos’è il benchmark e cosa misura e un piccolo grafico di confronto di lato per mostrare come ogni LLM si posiziona in quel benchmark

Devo dire che il risultato è stato piuttosto impressionante, considerando quanto fosse scarso il mio prompt:

L’infografica è ben organizzata, con una buona scelta di colori e proprietà tipografiche. Vedo già tantissime applicazioni qui—con prompt più dettagliati, potremmo adattare il design alle nostre esigenze e aggiungere personalizzazioni specifiche del brand, per esempio.

Se non hai ancora provato di persona Claude 3.5 Sonnet, potresti chiederti qual è quel componente UI che mostra sia il grafico che il codice. Entra in scena Artifacts.

Artifacts: la nuova funzione di Claude AI

Non ha senso che ti spieghi cosa sono gli Artifacts quando il video ufficiale lo fa molto meglio. Ti invito a guardarlo perché mostrano come creare un gioco a scorrimento orizzontale in HTML 5 in un minuto:

Artifacts danno un’impressione di grande dinamicità!

A prima vista, la funzione Artifacts può sembrare solo un’altra finestra o scheda dell’interfaccia. Tuttavia, Anthropic non sta semplicemente aggiungendo un altro modo per visualizzare informazioni—sta offrendo un nuovo modo di interagire con la sua IA.

Artifacts va oltre le interazioni tradizionali basate sul testo introducendo un livello dinamico e interattivo. Questo ci permette di visualizzare e manipolare direttamente gli output dell’IA, invece di limitarci a leggerli.

Questo cambio di paradigma è uno sviluppo notevole. Indica un passaggio verso un rapporto più collaborativo con l’IA, in cui possiamo intervenire attivamente e rifinire l’output del modello.

Sarà interessante vedere come questa funzione evolverà e come influenzerà il modo in cui utilizzeremo l’IA in futuro.

E ciò che mi entusiasma è la promessa di Antrophic di progettarla per la collaborazione in team:

Come attivare e usare Artifacts

Per accedere a Claude Artifacts, devi abilitarlo nelle impostazioni. Per prima cosa, fai clic sulle iniziali del tuo account, quindi su Feature Preview.

Poi attiva Artifacts spostando l’interruttore su On.

Una volta attivata, puoi richiamare la funzione chiedendo a Claude di generare contenuti visualizzabili come Artifact, ad esempio codice, visualizzazioni di dati o anche mockup.

Quando Claude crea un Artifact, questo appare in un pannello separato dell’interfaccia, diviso nelle schede Code e Preview. La scheda Code mostra l’output grezzo generato da Claude, mentre la scheda Preview fornisce una rappresentazione visiva o interattiva di quell’output.

Come accedere a Claude 3.5 Sonnet

Il modo più semplice per accedere a Claude 3.5 Sonnet è andare su Claude.ai e divertirti con la loro interfaccia grafica amichevole:

Claude 3.5 Sonnet è gratuito su Claude.ai, ma devo dire che ho raggiunto molto rapidamente i limiti di utilizzo (dopo circa dieci prompt).

Se vuoi usare Claude 3.5 Sonnet con regolarità, non c’è dubbio che ti servirà un abbonamento Pro.

Claude 3.5 Sonnet è disponibile anche tramite l’API di Anthropic, Vertex AI di Google Cloud e Amazon Bedrock.

Come funziona e come si comporta Claude 3.5 Sonnet

Sebbene Anthropic non abbia rilasciato tutti i dettagli tecnici, sappiamo che Claude 3.5 Sonnet si basa sul loro modello precedente, Claude 3 Opus. È un large language model, ovvero è addestrato su un enorme dataset di testi e codice, che gli consente di comprendere e generare linguaggio in modo simile a quello umano.

Ciò che distingue Claude 3.5 Sonnet è l’aumento delle prestazioni. È stato perfezionato e ottimizzato, con miglioramenti in varie aree.

Il ragionamento a livello di laurea è da tempo considerato un segno distintivo dell’intelligenza umana, una frontiera in cui l’IA ha tradizionalmente faticato a tenere il passo. Anche se c’è ancora molto da fare, Claude Sonnet 3.5 mostra progressi significativi.

Per quanto riguarda la matematica, Claude 3.5 Sonnet è leggermente dietro a GPT-4o, che guida con un punteggio del 76,6%. Ma il punteggio di Claude 3.5 Sonnet, 71,1%, è comunque notevolmente alto. Queste prestazioni suggeriscono che Claude 3.5 Sonnet ha una solida comprensione di concetti matematici, formule e ragionamento logico, rendendolo uno strumento promettente per attività che richiedono competenze matematiche.

Il benchmark BIG-Bench-Hard si concentra sulla valutazione della capacità dei modelli di IA di affrontare problemi sfaccettati, dimostrare ragionamento avanzato e applicare conoscenze in vari domini. Claude 3.5 Sonnet supera nettamente gli altri modelli in questo benchmark, raggiungendo un punteggio del 93,1%. Ciò indica che Claude 3.5 Sonnet possiede un alto livello di competenza nella gestione di compiti complessi, nel ragionamento efficace in diverse aree tematiche e nell’applicazione flessibile delle proprie conoscenze a situazioni nuove.

Per quanto riguarda le capacità visive, Claude 3.5 Sonnet eccelle in particolare nel ragionamento matematico visivo, con un punteggio del 67,7% al test MathVista, un vantaggio significativo sugli altri modelli. Claude 3.5 Sonnet si comporta bene anche nel visual question answering (MMMU) e nelle Q&A su documenti visivi (punteggio ANLS), dimostrando la capacità di comprendere ed elaborare efficacemente le informazioni visive.

Sebbene le sue prestazioni su diagrammi scientifici e Q&A su grafici siano leggermente inferiori a GPT-4o e Gemini 1.5 Pro, mantiene comunque un’elevata accuratezza sopra il 90%. In generale, i risultati evidenziano le forti capacità di Claude 3.5 Sonnet nella comprensione sia di dati visivi che testuali, rendendolo uno strumento promettente per diverse applicazioni che richiedono comprensione multimodale.

Casi d’uso di Claude 3.5 Sonnet

Claude 3.5 Sonnet è il modello di visione più potente di Anthropic, e non sorprende che se la cavi così bene in attività che richiedono ragionamento visivo—come interpretare e creare grafici. Tuttavia, è promosso anche come ottimo partner per il coding e la scrittura, quindi vediamo più da vicino.

Presentazioni visive

Se hai dati da presentare in modo visivo, Claude 3.5 Sonnet sembra poter fare davvero magie.

Nell’esempio di Anthropic, una professoressa di biologia fornisce al modello due grafici e chiede a Claude di estrarre le informazioni rilevanti per creare una presentazione in Javascript che usa reveal-js, un framework popolare per creare presentazioni HTML. Vediamo se la professoressa ha ottenuto le slide che desiderava:

Partner per il coding

Poniamo che tu sia un software engineer che cerca di scrivere test e correggere bug in un codice che ritaglia immagini in cerchi (così gli utenti possono avere belle foto profilo). Claude 3.5 Sonnet può aiutare? Vediamo:

Partner di scrittura

Anthropic presenta anche Claude 3.5 Sonnet come partner di scrittura, ma il loro esempio non potrebbe essere più lontano da un caso d’uso reale—i romanzi di solito non parlano di “granchi intrisi di sarcasmo che vivono su barriere coralline brulicanti”. Il genogramma creato da Claude, però, è fantastico e ancora una volta mette in mostra le sue straordinarie capacità visive.

Confronto prezzi: Sonnet vs. GPT-4o vs. Gemini Pro 1.5

Vediamo come si confrontano i prezzi di Claude 3.5 Sonnet con quelli di OpenAI e Google. Ovviamente, è una buona occasione per chiedere a Claude 3.5 Sonnet di creare un grafico:

Per uso personale, tutte e tre le piattaforme costano circa 20 $/mese.

Conclusione

Negli ultimi anni, abbiamo visto così tante notizie e progressi nell’ambito dell’IA che è diventato più difficile entusiasmarsi per le nuove uscite—soprattutto con così tanti esempi selezionati ad arte nei video dimostrativi.

Tuttavia, sono davvero entusiasta delle capacità visive e della funzione Artifacts di Claude 3.5 Sonnet. Lo proverò personalmente per lavoro e ne seguirò gli sviluppi.