OpenAI annuncia GPT-4 Turbo con Vision: cosa sappiamo finora

Al recente OpenAI DevDay, l'organizzazione ha fatto un annuncio molto atteso: l'introduzione di GPT-4 Turbo, un miglioramento del loro rivoluzionario modello di IA. Qui di seguito, diamo uno sguardo completo a cos'è GPT-4 Turbo, alle sue caratteristiche principali e a come può essere utile a sviluppatori e utenti.

In articoli separati, puoi leggere di più su GPT e il ChatGPT Store, e sulla Assistants API, anch'essi annunciati durante il Dev Day.

Cos'è GPT-4 Turbo?

GPT-4 Turbo è un aggiornamento dell'esistente modello linguistico di grandi dimensioni GPT-4. Porta diversi miglioramenti, tra cui una finestra di contesto notevolmente aumentata e l'accesso a conoscenze più aggiornate. OpenAI ha progressivamente migliorato le capacità di GPT-4 in ChatGPT con l'aggiunta di istruzioni personalizzate, plugin di ChatGPT, DALL-E 3 e Advanced Data Analytics. Questo ultimo aggiornamento porta una serie di nuove funzionalità entusiasmanti.

Cos'è GPT-4 Turbo con Vision?

GPT-4 Turbo con vision è una variante di GPT-4 Turbo che include funzionalità di riconoscimento ottico dei caratteri (OCR). In altre parole, puoi fornirgli un'immagine e il modello può restituire qualsiasi testo contenuto nell'immagine. Ad esempio, puoi inserire la foto di un menù e lui restituirà le opzioni di cibo scritte in quella foto. Allo stesso modo, puoi fornire la foto di una fattura ed estrarre automaticamente il nome del fornitore e i dettagli degli articoli.

Le funzionalità "con vision" saranno disponibili di default in ChatGPT e a disposizione degli sviluppatori selezionando un modello "gpt-4-vision" nell'API di OpenAI.

Caratteristiche principali di GPT-4 Turbo

GPT-4 Turbo presenta diversi miglioramenti rispetto ai modelli precedenti, che ne potenziano le capacità. Ecco alcune caratteristiche chiave che lo distinguono:

Knowledge cutoff migliorato

Sam Altman promette di assicurarsi che ChatGPT resti aggiornato

Le versioni esistenti di GPT-3.5 e GPT-4 avevano un knowledge cutoff a settembre 2021. Ciò significa che non possono rispondere a domande su eventi reali avvenuti dopo quella data, a meno che non venga fornito l'accesso a fonti di dati esterne.

GPT-4 estende il knowledge cutoff di diciannove mesi fino ad aprile 2023. Ciò significa che GPT-4 Turbo ha accesso a informazioni ed eventi fino a tale data, rendendolo una fonte di informazioni più informata e affidabile. Inoltre, il CEO di OpenAI, Sam Altman, ha promesso che "[OpenAI] cercherà di non lasciare mai più [GPT] così fuori aggiornamento".

Finestra di contesto da 128K

La finestra di contesto di un large language model (LLM) è una misura di quanto a lungo dura la sua memoria della conversazione. Se un modello ha una finestra di contesto di 4.000 token (circa 3.000 parole), allora tutto ciò che oltrepassa i 4.000 token nella chat viene ignorato e le risposte possono diventare meno accurate o persino contraddittorie rispetto alle risposte precedenti. Questo è un problema quando si lavora con documenti più lunghi o per chatbot che sostengono conversazioni prolungate.

GPT-4 ha una lunghezza massima del contesto di 32k (32.000) token. GPT-4 Turbo la aumenta a 128k token (circa 240 pagine a 400 parole per pagina). Questo supera il contesto massimo di 100k del modello Claude 2 di Anthropic e lo allinea al modello YARN-MISTRAL-7b-128k di Nous Research.

Resta da vedere se la finestra di contesto più lunga si tradurrà in prestazioni soddisfacenti delle risposte lungo l'intera finestra. Ricerche recenti della Stanford University hanno mostrato che i modelli a lungo contesto esistenti riuscivano a fornire risposte accurate solo quando recuperavano informazioni vicino all'inizio o alla fine del documento.

Vale anche la pena notare che 128k sembra essere solo una tappa verso il sogno di un "contesto infinito". Ricerca iniziale di Microsoft e della Xi'an Jiaotong University punta a scalare gli LLM fino a un miliardo di token di contesto.

GPT va in saldo

OpenAI ha risposto all'aumento della concorrenza nel mercato degli LLM riducendo il prezzo di GPT-4 Turbo per renderlo conveniente per gli sviluppatori. Usando l'API di OpenAI, il prezzo dei token di input di GPT-4 Turbo è ora un terzo rispetto a prima, passando da 3 centesimi di dollaro a 1 centesimo di dollaro per 1000 token. I token di output ora costano la metà, passando da 6 centesimi di dollaro a 3 centesimi di dollaro per 1000 token.

La stessa tendenza continua con i modelli GPT-3.5 Turbo, offrendo token di input 3 volte più economici a 0,1 centesimi di dollaro per 1000 token e token di output 2 volte più economici a 0,2 centesimi di dollaro per 1000 token.

Inoltre, i token di input del modello GPT-3.5 Turbo 4K perfezionato sono ora 4 volte più convenienti, con il prezzo che scende da 1,2 a 0,3 centesimi di dollaro per 1000 token, e i token di output sono 2,7 volte più economici, passando da 1,6 a 0,6 centesimi di dollaro per 1000 token. Il prezzo dell'addestramento rimane invariato a 0,8 centesimi di dollaro per 1000 token.

Questi aggiustamenti di prezzo mirano a rendere i modelli di IA avanzati più convenienti per gli sviluppatori.

GPT diventa multimodale: prompt con immagini e text-to-speech

È stato annunciato che "GPT-4 Turbo con vision" arriverà a breve. Potrai presto fornire prompt a GPT-4 Turbo usando immagini inserendole direttamente nella casella di chat. Lo strumento sarà quindi in grado di generare didascalie o fornire una descrizione di ciò che l'immagine raffigura. Gestirà anche richieste di sintesi vocale (text-to-speech).

Aggiornamenti al function calling

Il function calling è una funzionalità per gli sviluppatori che integrano l'IA generativa nelle loro applicazioni. Consente di descrivere a GPT-4 Turbo le funzioni della propria app o di API esterne. Con la possibilità di chiamare più funzioni in un unico messaggio, questa funzionalità semplifica l'interazione con il modello. Ad esempio, gli utenti possono inviare un solo messaggio richiedendo più azioni, eliminando la necessità di più interazioni avanti e indietro con il modello.

Come accedere a GPT-4 Turbo

L'accesso a GPT-4 Turbo è disponibile per "tutti gli sviluppatori a pagamento", cioè se hai accesso all'API puoi semplicemente passare "gpt-4-1106-preview" come nome del modello nell'API di OpenAI. Allo stesso modo, per GPT-4 Turbo con vision, puoi passare "gpt-4-vision-preview" come nome del modello.

Nota che questi modelli in anteprima non sono ancora considerati adatti all'uso in produzione. Tuttavia, come parte dell'annuncio, Altman ha anche promesso che una versione pronta per la produzione sarà disponibile nelle prossime settimane.

Per i non sviluppatori, è probabile che GPT-4 Turbo diventi disponibile per gli utenti di ChatGPT Plus e ChatGPT Enterprise nelle prossime settimane.

Limiti di velocità

L'accesso ai modelli GPt tramite l'API di OpenAI è soggetto a rate limiting. Cioè, puoi effettuare solo un numero limitato di richieste all'API al mese. OpenAI ha ora pubblicato linee guida più chiare su come funzionano questi limiti, in modo che la tua applicazione non venga interrotta inaspettatamente.

Inoltre, i limiti di velocità per GPT-4 sono raddoppiati

Dato che GPT-4 Turbo è attualmente in fase di anteprima, i limiti di velocità per GPT-4 Turbo sono fissati a 20 richieste al minuto e 100 richieste al giorno. OpenAI ha indicato che al momento non potrà concedere aumenti dei limiti per questo modello. Tuttavia, è probabile che lo farà una volta disponibile una versione pubblica.

Considerazioni finali

L'annuncio di GPT-4 Turbo offre un'anteprima entusiasmante del futuro dell'IA generativa, e non vediamo l'ora di metterci le mani. Se stai iniziando ora con tutto ciò che riguarda GPT, dai un'occhiata al nostro corso Introduction to ChatGPT. Per chi cerca un approfondimento, il nostro tutorial sull'uso di GPT-3.5 e GPT-4 tramite l'API di OpenAI in Python offre molto da esplorare.