GPT-4 Vision: una guida completa per principianti

Che cos'è GPT-4 Vision?

GPT-4 Vision (GPT-4V) è un modello multimodale che consente all'utente di caricare un'immagine come input e interagire in conversazione con il modello. La conversazione può includere domande o istruzioni sotto forma di prompt, indirizzando il modello a svolgere compiti in base all'input fornito sotto forma di immagine.

Il modello GPT-4V si basa sulle capacità esistenti di GPT-4, offrendo l'analisi visiva in aggiunta alle funzioni di interazione testuale già presenti. Abbiamo trattato la guida introduttiva alle API di OpenAI che ti aiuterà a metterti al passo con gli sviluppi precedenti al rilascio del modello GPT-4V.

Capacità principali di GPT-4 Vision

• Input visivi: La caratteristica chiave del nuovo GPT-4 Vision è che ora può accettare contenuti visivi come fotografie, screenshot e documenti ed eseguire una varietà di compiti.
• Rilevamento e analisi di oggetti: Il modello può identificare e fornire informazioni sugli oggetti presenti nelle immagini.
• Analisi dei dati: GPT-4 Vision è abile nell'interpretare e analizzare dati presentati in formati visivi come grafici, istogrammi e altre visualizzazioni.
• Decifrazione del testo: Il modello è in grado di leggere e interpretare appunti scritti a mano e testo all'interno delle immagini.

Ora che abbiamo visto alcune delle tante capacità di GPT-4 Vision, passiamo alla pratica per sperimentarle in prima persona.

Hands-on: primi passi con GPT-4 Vision

Attualmente (a ottobre 2023) GPT-4 Vision è disponibile solo per gli utenti ChatGPT Plus ed Enterprise. ChatGPT Plus costa 20 $/mese, e puoi eseguire l'upgrade dal tuo account ChatGPT gratuito.

Se sei completamente nuovo a ChatGPT, ecco come accedere a GPT-4 Vision:

• Visita il sito OpenAI ChatGPT e registrati per un account.
• Accedi al tuo account e vai all'opzione “Upgrade to Plus”.
• Completa l'upgrade per ottenere l'accesso a ChatGPT Plus (Nota: è un abbonamento mensile da 20 $)
• Seleziona “GPT-4” come modello nella finestra di chat, come mostrato nell'immagine qui sotto.

• Clicca sull'icona dell'immagine per caricare una foto e aggiungi un prompt con le istruzioni per far eseguire l'attività a GPT-4.

Qui GPT-4 Vision fa un ottimo lavoro nel capire che i bambini stavano giocando a cricket basandosi sulla mazza nella mano di uno di loro. Nel mondo dell'IA, questo compito è noto come object detection, in cui gli oggetti identificati sono i bambini e la mazza. Dai un'occhiata al nostro tutorial sulla rilevazione di oggetti con YOLO per saperne di più.

Allo stesso modo, puoi procedere con compiti diversi a seconda del tuo caso d'uso.

GPT-4 Vision: casi d'uso ed esempi reali

Ora che ne abbiamo compreso le capacità, estendiamole ad alcune applicazioni pratiche nel settore:

1. Ricerca accademica

L'integrazione da parte di GPT-4 Vision di un avanzato modello linguistico con capacità visive apre nuove possibilità in ambito accademico, in particolare nella decifrazione di manoscritti storici. Questo compito è tradizionalmente un lavoro meticoloso e dispendioso in termini di tempo, svolto da paleografi e storici esperti.

Per prima cosa forniamo un'immagine che sembra parte di un vecchio articolo di giornale:

GPT-4 Vision legge bene i contenuti dell'immagine e li interpreta:

Il modello è stato in grado di leggere, decifrare i contenuti e fornire un'analisi, indicando realisticamente che alcune parti dell'immagine sono tagliate e poco leggibili.

Vale tuttavia la pena notare che il modello fatica con manoscritti complessi, soprattutto in altre lingue (ne parleremo più avanti), come si vede sotto:

2. Sviluppo web

GPT-4 Vision può scrivere il codice per un sito web quando gli viene fornita un'immagine del design richiesto. Parte da un design visivo per arrivare al codice sorgente del sito. Questa singola capacità può ridurre drasticamente i tempi di sviluppo.

Proviamo a fornire a GPT-4 Vision un semplice design disegnato a mano per un sito di blogging.

Una volta ottenuto il codice sorgente, basta copiarlo e creare i file HTML e CSS come indicato. Ecco come appariva il sito:

Non ti sembra sorprendentemente simile? Certo, abbiamo fatto un esempio semplice, ma da qui puoi sviluppare un sito più complesso e su misura in una frazione del tempo, grazie al nuovo modello GPT-4 Vision.

3. Interpretazione dei dati

Il modello è in grado di analizzare visualizzazioni di dati per interpretare i dati sottostanti e fornire approfondimenti chiave basati sui grafici. Per testare questa funzione, possiamo semplicemente fornire un grafico e chiedere degli insight.

Pur comprendendo bene il contesto generale del grafico e l'andamento lineare, commette errori citando come anno di inizio il 1950, mentre i dati partono solo dal 1960. Il modello inoltre deduce fattori come la crescita della popolazione e lo sviluppo economico: sebbene possano essere veri, non si possono ricavare da questo grafico in particolare.

Si possono porre più domande di follow-up per affinare l'output iniziale del modello GPT-4 Vision. In base ai nostri test, è ancora necessario un controllo umano per rivedere gli insight, e il modello può aumentare la produttività nei casi d'uso di interpretazione dei dati.

4. Creazione di contenuti creativi

Con l'arrivo di ChatGPT, i social sono pieni di varie tecniche di prompt engineering, e molti hanno trovato modi sorprendenti e creativi per sfruttare questa tecnologia generativa a proprio vantaggio.

In questo tutorial useremo DALL-E 3 (disponibile anche in ChatGPT Plus) insieme a GPT-4 Vision per creare in modo creativo un post per i social.

Passo 1: chiedi a GPT-4 di creare un prompt per generare un'immagine. Poniamo di voler creare un post che metta a confronto le differenze tra il ruolo del data scientist in una startup e in una grande azienda.

Passo 2: usa il prompt e genera un'immagine con DALL-E. Puoi modificare e affinare il prompt finché non sei soddisfatto del risultato.

Passo 3: usa l'immagine e chiedi a GPT-4 Vision di creare un post che la accompagni.

Affinando e fornendo un prompt più dettagliato, si può ottenere un risultato migliore ed esplorare ulteriormente la creazione di contenuti creativi. Vale la pena ricordare che non è consigliabile inondare internet o i social di contenuti generati dall'IA, perché hanno limiti propri. Piuttosto, verifica i fatti e raffinane il contenuto con la tua esperienza.

Ovviamente, questa non è una lista esaustiva di tutti i casi d'uso possibili: GPT-4 Vision è in grado di molto altro. Prendila come ispirazione e punto di partenza per esplorare la tua curiosità applicando la tecnologia al dominio che preferisci.

Limitazioni e mitigazione dei rischi di GPT-4 Vision

C'è un'ultima cosa che devi conoscere prima di usare GPT-4 Vision nei casi d'uso: le limitazioni e i rischi associati.

Questo è particolarmente importante perché la stessa OpenAI si è presa alcuni mesi in più, dal lancio di GPT-4 a marzo 2023, per testarlo con esercizi interni ed esterni di “red-teaming” per individuare le carenze di questa tecnologia generativa, che ha descritto nella system card.

1. Accuratezza e affidabilità

Sebbene il modello GPT-4 rappresenti un notevole passo avanti verso affidabilità e accuratezza, non è sempre così. Secondo OpenAI, in base a test interni, GPT-4 Vision può ancora risultare inaffidabile e impreciso a volte. Il team arriva persino a mostrare sotto la barra della chat l'avviso “ChatGPT can make mistakes. Verify important information.” quando inseriamo testo e immagini.

Pertanto, è fondamentale che gli utenti valutino criticamente l'output del modello e rimangano vigili.

2. Privacy e bias

Secondo OpenAI, come i suoi predecessori, GPT-4 Vision continua a rafforzare bias sociali e visioni del mondo, incluse associazioni dannose, stereotipate e denigratorie per alcuni gruppi emarginati. È quindi importante comprendere questa limitazione e adottare ulteriori misure per gestire i bias all'interno del caso d'uso stesso, senza fare affidamento sul modello per risolverli.

Oltre ai bias, i dati condivisi con ChatGPT possono essere usati per addestrare i modelli salvo rinuncia esplicita; è quindi importante fare attenzione a non condividere informazioni sensibili o private con il modello. Gli utenti possono anche scegliere di disattivare la condivisione dei dati per il miglioramento dei modelli andando in “Data Controls” nella sezione “Settings & Beta”.

3. Limitazioni per attività rischiose

GPT-4 Vision non può rispondere a domande che chiedono di identificare individui specifici in un'immagine. Questo comportamento di “rifiuto” è previsto per design. Inoltre, OpenAI sconsiglia di usare GPT-4 Vision per attività ad alto rischio, tra cui:

• Competenza scientifica: Il modello potrebbe non rilevare testo o caratteri, trascurare simboli matematici in immagini con informazioni scientifiche e non riconoscere posizioni spaziali e mappature dei colori.
• Consigli medici: Il modello a volte fornisce risposte corrette a domande basate su immagini mediche, ma inciampa in altre occasioni sulla stessa domanda. Date le incoerenze, le risposte o gli output del modello non devono sostituire il parere di un professionista medico.
• Rischi di disinformazione: È noto che le persone tendono a credere a dichiarazioni (indipendentemente dal fatto che siano vere o meno) quando sono accompagnate da immagini. Il modello può essere usato per generare contenuti testuali plausibili, realistici e mirati, calibrati su un input visivo, e comporta quindi rischi di disinformazione.
• Contenuti d'odio: In alcuni casi il modello rifiuta di rispondere a domande con simboli d'odio e contenuti estremisti, ma non sempre. Questo resta un problema impegnativo da risolvere per OpenAI.

Dunque, come utenti, dobbiamo usare GPT-4 Vision in modo responsabile, soprattutto nei suddetti compiti ad alto rischio e nei contesti sensibili.

Conclusione

Questo tutorial ti ha fornito un'introduzione completa al nuovo modello GPT-4 Vision. Hai anche visto le limitazioni e i rischi che comporta e ora sai come e quando utilizzarlo.

Il modo più pratico per padroneggiare la nuova tecnologia è metterci le mani e sperimentare con vari prompt per valutarne le capacità: col tempo, ti sentirai sempre più a tuo agio.

Pur essendo uno strumento relativamente nuovo, costruito sui principi dei Large Language Models e di GPT-4, ecco alcune risorse correlate se vuoi approfondire i concetti fondamentali e affini al modello GPT-4 Vision:

• Che cos'è GPT-4 e perché è importante?
• Guida per principianti al prompt engineering con ChatGPT
• Guida per principianti a GPT-3
• Corso: concetti sui Large Language Models (LLM)