Corso
Lavorare con l'API di OpenAI
3 h
170.2K
OpenAI ha annunciato il suo nuovo large language model, GPT-4o, il successore di GPT-4 Turbo. Continua a leggere per scoprire capacità, prestazioni e come potresti usarlo.
Che cos’è GPT-4o di OpenAI?
GPT-4o è l’ultimo LLM di OpenAI. La "o" in GPT-4o sta per "omni"—latino per "tutto"—e indica che questo nuovo modello può accettare prompt che mixano testo, audio, immagini e video. In precedenza, l’interfaccia di ChatGPT usava modelli separati per i diversi tipi di contenuto.
Per esempio, parlando con ChatGPT in Modalità Voce, il tuo parlato veniva convertito in testo con Whisper, veniva generita una risposta testuale con GPT-4 Turbo, e quella risposta veniva poi trasformata in audio con TTS.
Un confronto su come GPT-4 Turbo e GPT-4o elaborano l’input vocale
Allo stesso modo, lavorare con le immagini in ChatGPT richiedeva un mix di GPT-4 Turbo e DALL-E 3.
Avere un unico modello per media diversi promette maggiore velocità e qualità dei risultati, un’interfaccia più semplice e nuovi casi d’uso.
Che cos’è GPT-4o mini?
GPT-4o Mini è una versione più snella e veloce di GPT-4o, pensata per gestire compiti con un’attenzione maggiore a velocità ed efficienza. Deriva dal modello più grande GPT-4o tramite un processo chiamato distillazione.
Pur mantenendo gran parte della capacità del modello originale di elaborare input multimodali—testo, audio e immagini—GPT-4o mini è ottimizzato per applicazioni leggere in cui tempi di risposta rapidi sono cruciali.
È particolarmente utile per sviluppatori che cercano una soluzione conveniente per coding, debugging e interazioni in tempo reale che non richiedono tutta la potenza computazionale di GPT-4o.
Puoi leggere altri dettagli in questo articolo su GPT-4o mini.
In cosa GPT-4o è diverso da GPT-4 Turbo?
L’approccio all-in-one consente a GPT-4o di superare diversi limiti delle precedenti funzionalità vocali.
1. Il tono di voce è ora considerato, facilitando risposte con emozioni
Con il precedente sistema OpenAI che combinava Whisper, GPT-4 Turbo e TTS in una pipeline, il motore di ragionamento, GPT-4, aveva accesso solo alle parole pronunciate. Questo significava che elementi come tono di voce, rumori di fondo e riconoscimento di voci di più parlanti venivano scartati. Di conseguenza, GPT-4 Turbo non poteva realmente esprimere risposte con diverse emozioni o stili di parlato.
Grazie a un unico modello che può ragionare su testo e audio, queste ricche informazioni audio possono essere usate per fornire risposte di qualità superiore con una maggiore varietà di stili di parlato.
Nel seguente esempio fornito da OpenAI, GPT-4o produce un output sarcastico.
4. Migliore tokenizzazione per alfabeti non latini: più velocità e convenienza
Una fase del workflow di un LLM è la conversione del testo del prompt in token. Sono unità di testo che il modello può comprendere.
In inglese, un token è tipicamente una parola o un segno di punteggiatura, anche se alcune parole possono essere suddivise in più token. In media, tre parole inglesi occupano circa quattro token.
Se una lingua può essere rappresentata nel modello con meno token, servono meno calcoli e aumenta la velocità di generazione del testo.
Inoltre, poiché OpenAI addebita l’uso della sua API per token in input o output, meno token significano un prezzo più basso per gli utenti dell’API.
GPT-4o ha un modello di tokenizzazione migliorato che riduce il numero di token necessari per testo. Il miglioramento è soprattutto evidente nelle lingue che non usano l’alfabeto latino.
Per esempio, le lingue indiane in particolare ne hanno beneficiato, con hindi, marathi, tamil, telugu e gujarati che mostrano riduzioni dei token da 2,9 a 4,4 volte. L’arabo ha mostrato una riduzione di 2x, e le lingue dell’Asia orientale come cinese, giapponese, coreano e vietnamita hanno mostrato riduzioni tra 1,4x e 1,7x.
5. Distribuzione anche sul piano gratuito
Con la strategia di prezzo esistente di OpenAI per ChatGPT, gli utenti dovevano pagare per accedere al miglior modello: GPT-4 Turbo era disponibile solo nei piani a pagamento Plus ed Enterprise.
Questo sta cambiando: OpenAI promette di rendere GPT-4o disponibile anche sul piano gratuito. Gli utenti Plus avranno un numero di messaggi pari a cinque volte quelli del piano gratuito.
Il rollout sarà graduale, con accesso al red team (tester che cercano di mandare in crisi il modello per trovare problemi) a partire da subito e ulteriori utenti che ottengono l’accesso nel tempo.
6. Lancio dell’app desktop di ChatGPT
Sebbene non sia necessariamente un aggiornamento esclusivo di GPT-4o, OpenAI ha annunciato anche il rilascio dell’app desktop di ChatGPT. I miglioramenti in latenza e multimodalità citati sopra, insieme al rilascio dell’app, probabilmente cambieranno il nostro modo di lavorare con ChatGPT. Per esempio, OpenAI ha mostrato una demo di un workflow di coding aumentato usando la voce e l’app desktop di ChatGPT. Scorri giù nella sezione dei casi d’uso per vedere quell’esempio in azione!
Come funziona GPT-4o?
Molti tipi di contenuto, una sola rete neurale
I dettagli su come funziona GPT-4o sono ancora scarsi. L’unica informazione fornita da OpenAI nell’annuncio è che GPT-4o è un’unica rete neurale addestrata su input di testo, visione e audio.
Questo nuovo approccio differisce dalla tecnica precedente di avere modelli separati addestrati su diversi tipi di dati.
Tuttavia, GPT-4o non è il primo modello ad adottare un approccio multimodale. Nel 2022, TenCent Lab ha creato SkillNet, un modello che combinava caratteristiche dei transformer LLM con tecniche di visione artificiale per migliorare la capacità di riconoscere i caratteri cinesi.
Nel 2023, un team di ETH Zurich, MIT e Stanford University ha creato WhisBERT, una variazione della serie di modelli BERT. Pur non essendo il primo, GPT-4o è decisamente più ambizioso e potente di questi tentativi precedenti.
GPT-4o è un cambiamento radicale rispetto a GPT-4 Turbo?
Quanto siano radicali i cambiamenti nell’architettura di GPT-4o rispetto a GPT-4 Turbo dipende da chi chiedi, il team di ingegneria o quello marketing di OpenAI. Ad aprile, un bot chiamato "im-also-a-good-gpt2-chatbot" è apparso sulla Chatbot Arena di LMSYS, una classifica delle migliori IA generative. Quell’IA misteriosa è stata poi rivelata come GPT-4o.
La parte "gpt2" del nome è importante. Da non confondere con GPT-2, predecessore di GPT-3.5 e GPT-4, il suffisso "2" è stato ampiamente interpretato come indicativo di un’architettura completamente nuova per la serie di modelli GPT.
A quanto pare, qualcuno nel team di ricerca o ingegneria di OpenAI ritiene che combinare testo, visione e audio in un unico modello sia un cambiamento abbastanza grande da giustificare il primo incremento del numero di versione in sei anni.
D’altra parte, il team marketing ha optato per un cambiamento di nome relativamente modesto, continuando la convenzione "GPT-4".
Prestazioni di GPT-4o rispetto ad altri modelli
OpenAI ha pubblicato valori di benchmark di GPT-4o rispetto a diversi altri modelli di fascia alta.
- GPT-4 Turbo
- GPT-4 (rilascio iniziale)
- Claude 3 Opus
- Gemini Pro 1.5
- Gemini Ultra 1.0
- Llama 3 400B
Di questi, per il confronto contano davvero solo tre modelli. GPT-4 Turbo, Claude 3 Opus e Gemini Pro 1.5 si sono contesi negli ultimi mesi il primo posto nella classifica di LMSYS Chatbot Arena.
Llama 3 400B potrebbe essere un concorrente in futuro, ma non è ancora pronto. Qui quindi presentiamo solo i risultati per questi tre modelli e GPT-4o.
Sono stati usati i risultati di sei benchmark.
- Massive Multitask Language Understanding (MMLU). Compiti su matematica di base, storia degli Stati Uniti, informatica, diritto e altro. Per ottenere alta accuratezza, i modelli devono possedere ampia conoscenza del mondo e capacità di problem solving.
- Graduate-Level Google-Proof Q&A (GPQA). Domande a scelta multipla scritte da esperti di biologia, fisica e chimica. Le domande sono di alta qualità ed estremamente difficili: esperti con o in procinto di ottenere un dottorato raggiungono il 74% di accuratezza.
- MATH. Problemi di matematica per scuole medie e superiori.
- HumanEval. Test della correttezza funzionale del codice, usato per verificare la generazione di codice.
- Multilingual Grade School Math (MSGM). Problemi di matematica per la scuola primaria, tradotti in dieci lingue, incluse lingue sottorappresentate come bengalese e swahili.
- Discrete Reasoning Over Paragraphs (DROP). Domande che richiedono la comprensione di interi paragrafi. Per esempio, sommando, contando o ordinando valori distribuiti su più frasi.
Prestazioni di GPT-4o, GPT-4 Turbo, Gemini Pro 1.5 e Claude 3 Opus su sei benchmark per LLM. I punteggi di ciascun benchmark vanno da 0 a 100. Ricreato da dati forniti da OpenAI. Nessun dato fornito per Gemini Pro 1.5 per il benchmark GPQA.
GPT-4o ottiene il punteggio più alto in quattro benchmark, anche se è superato da Claude 3 Opus nel benchmark MSGM e da GPT-4 Turbo nel benchmark DROP. Nel complesso, le prestazioni sono notevoli e mostrano il potenziale del nuovo approccio all’addestramento multimodale.
Se guardi da vicino i numeri di GPT-4o rispetto a GPT-4 Turbo, noterai che gli incrementi di prestazioni sono solo di pochi punti percentuali.
Un aumento notevole a un anno di distanza, ma lontano dai salti drastici visti da GPT-1 a GPT-2 o da GPT-2 a GPT-3.
Essere meglio del 10% nel ragionamento sul testo di anno in anno probabilmente sarà la nuova normalità. I frutti più facili sono stati colti, e continuare con grandi balzi nel ragionamento testuale è difficile.
D’altra parte, questi benchmark per LLM non catturano le prestazioni dell’IA su problemi multimodali. Il concetto è così nuovo che non abbiamo ancora buoni modi per misurare quanto un modello sia valido su testo, audio e visione.
Nel complesso, le prestazioni di GPT-4o sono impressionanti e mostrano il potenziale del nuovo approccio all’addestramento multimodale.
Quali sono i casi d’uso di GPT-4o?
1. GPT-4o per analisi dei dati e attività di coding
I modelli GPT recenti e i loro derivati, come GitHub Copilot, sono già in grado di fornire assistenza nel codice, inclusa la scrittura e la spiegazione/correzione degli errori. Le capacità multimodali di GPT-4o aprono opportunità interessanti.
In un video promozionale con la CTO di OpenAI Mira Murati, due ricercatori di OpenAI, Mark Chen e Barret Zoph, hanno mostrato come usare GPT-4o per lavorare con del codice Python.
Il codice viene condiviso con GPT come testo e si usa l’interazione vocale per farsi spiegare il codice. In seguito, dopo averlo eseguito, la funzione di visione di GPT-4o viene usata per spiegare il grafico.
In generale, mostrare a ChatGPT il tuo schermo e porre una domanda a voce potrebbe essere un workflow più semplice rispetto a salvare il grafico come immagine, caricarlo su ChatGPT e poi digitare una domanda.
4. GPT-4o per assistere utenti ipovedenti
La capacità di GPT-4o di comprendere input video da una fotocamera e descrivere verbalmente la scena potrebbe essere una funzione indispensabile per le persone ipovedenti. È essenzialmente la descrizione audio che hanno le TV, ma per la vita reale.
Prova pratica con GPT-4o
Ho avuto accesso ad alcune delle nuove funzionalità di GPT-4o subito dopo l’annuncio (purtroppo, niente chat vocale per ora) e sono rimasto colpito da molte delle sue risposte. Le risposte sembrano più rapide e coerenti, e sembra capire meglio le mie richieste rispetto a prima. Non è stato perfetto, però.
Ecco alcuni esempi delle interazioni che ho avuto con ChatGPT-4o:
Attività di analisi dati
Per prima cosa, usando la chat vocale, ho chiesto se avesse idee su come analizzare le prestazioni della squadra di calcio che tifo, il grande Leeds United. Oltre a varie opzioni, mi ha fornito del codice Python di esempio:
import pandas as pd
# Sample data for Leeds United's match results
data = {
'Match': ['Match1', 'Match2', 'Match3', 'Match4', 'Match5'],
'Result': ['Win', 'Draw', 'Loss', 'Win', 'Win'],
'Goals Scored': [2, 1, 0, 3, 2]
}
# Create a DataFrame
df = pd.DataFrame(data)
# Summarize match results
summary = df['Result'].value_counts()
total_goals = df['Goals Scored'].sum()
average_goals = df['Goals Scored'].mean()
# Display summary
print("Match Results Summary:")
print(summary)
print("\nTotal Goals Scored:", total_goals)
print("Average Goals Per Match:", round(average_goals, 2))
Tuttavia, approfondendo questa linea di pensiero, le cose sono un po’ deragliate. Ho chiesto prima dei dati reali da usare: ha cercato sul web e trovato due buone fonti, ma ha riportato male le statistiche. Il Leeds ha giocato 46 partite nella stagione regolare, segnando 81 goal con una differenza reti di +38, non le 40 partite che ha indicato nella risposta.
Ho poi chiesto a ChatGPT di visualizzare i goal segnati contro ciascuna squadra:
Di nuovo, qui ha svolto il compito a metà. Ha creato una visualizzazione come richiesto, che in superficie sembra a posto. Ma in realtà, molti dati sono inventati e imprecisi (squadre che compaiono due volte, goal non conteggiati e squadre non nella stessa divisione del Leeds).
A onor del vero, immagino che le prestazioni sarebbero state migliori se avessi fornito io un dataset completo, ma vorrei che lo dichiarasse invece di inventare risposte con sicurezza.
Analisi di immagini
Poi ho chiesto a GPT-4o di analizzare la foto di una mia pianta. Non ho ancora accesso alla visione integrata, quindi ho dovuto scattare una foto e chiedere a ChatGPT che pianta fosse:
Non è un brutto tentativo, anche se non del tutto accurato. Pur essendo un bonsai, si tratta di un Ilex crenata e non di una Carmona retusa. Comunque, le due specie sono simili: errore comprensibile e ho apprezzato i consigli aggiuntivi sulla cura della pianta.
Generazione di immagini
Infine, ho voluto provare le capacità d’immagine del nuovo modello. Ho prima mostrato una foto della mia tartaruga, Darwin, e gli ho chiesto di parlarmi del mio amico:
Di nuovo, vicino ma non perfetto. Darwin è in realtà una tartaruga di Horsfield e non di Hermann, ma si somigliano molto. Ho poi chiesto a ChatGPT-4o di prendere l’immagine originale e ricrearla nello stile di Hokusai. Ecco il risultato:
Un risultato piuttosto buono, anche se non somiglia molto all’immagine originale, ma direi che ci sta. Ci ha messo anche un po’ a generarla.
Nel complesso, però, sono rimasto colpito dalla reattività del nuovo modello e da quanto bene abbia compreso le mie richieste. È lontano dall’essere impeccabile e a volte allucina con sicurezza, ma non vedo l’ora di provare la voce migliorata e la visione integrata.
Limitazioni e rischi di GPT-4o
La regolamentazione dell’IA generativa è ancora agli inizi; il Regolamento IA dell’UE è l’unico quadro giuridico rilevante finora. Ciò significa che le aziende che creano IA devono prendere in autonomia alcune decisioni su cosa sia un’IA sicura.
OpenAI ha un framework di preparedness che usa per determinare se un nuovo modello è idoneo al rilascio pubblico.
Il framework testa quattro aree di preoccupazione.
- Cybersecurity. L’IA può aumentare la produttività dei cybercriminali e aiutare a creare exploit?
- BCRN. L’IA può aiutare esperti a creare minacce biologiche, chimiche, radiologiche o nucleari?
- Persuasione. L’IA può creare contenuti (potenzialmente interattivi) che persuadono le persone a cambiare idea?
- Autonomia del modello. L’IA può agire come un agente, eseguendo azioni con altro software?
Ogni area è valutata come Bassa, Media, Alta o Critica, e il punteggio del modello è il più alto tra le quattro categorie.
OpenAI promette di non rilasciare un modello di preoccupazione critica, anche se è un livello di sicurezza relativamente basso: secondo le sue definizioni, una preoccupazione critica corrisponde a qualcosa che stravolgerebbe la civiltà umana. GPT-4o evita comodamente questo scenario, ottenendo una preoccupazione Media.
Output imperfetti
Come per tutte le IA generative, il modello non si comporta sempre come previsto. La visione artificiale non è perfetta, quindi le interpretazioni di un’immagine o di un video non sono garantite.
Allo stesso modo, le trascrizioni del parlato raramente sono corrette al 100%, soprattutto se il parlante ha un accento marcato o usa termini tecnici.
OpenAI ha fornito un video di alcuni fuori onda in cui GPT-4o non ha funzionato come previsto.
In particolare, la traduzione tra due lingue non inglesi è stata uno dei casi in cui ha fallito. Altri problemi includevano un tono di voce inadeguato (condiscendente) e il parlare nella lingua sbagliata.
