Cosa sono i Foundation Model?

BERT, GPT-3, DALL-E 2, LLaMA, BLOOM; questi modelli sono alcune delle stelle della rivoluzione dell'IA a cui stiamo assistendo sin dal rilascio di ChatGPT. Cosa hanno in comune questi modelli? Esatto: sono tutti foundation model.

I foundation model sono uno sviluppo recente nell'IA. Questi modelli sono sviluppati a partire da algoritmi progettati per ottimizzare la generalità e la versatilità dell'output. Si basano su reti neurali su larga scala, spesso addestrate su un'ampia gamma di fonti e grandi quantità di dati per svolgere un'ampia gamma di compiti downstream, inclusi alcuni per cui non sono stati specificamente progettati e addestrati.

La popolarizzazione dei foundation model sta ravvivando il classico dibattito tra IA Ristretta e Intelligenza Artificiale Generale (AGI), nota anche come IA Forte. La Narrow AI si riferisce a sistemi di IA progettati per compiti specifici, ma incapaci di svolgere attività al di fuori del loro ambito previsto. Al contrario, l'AGI è un sistema di IA ipotetico in grado di comprendere, apprendere e applicare conoscenze in un'ampia gamma di compiti, in modo simile a un essere umano.

Sebbene i foundation model non siano ancora in grado di pensare come gli umani, stanno fornendo risultati rivoluzionari che ci avvicinano alla soglia dell'AGI. Ecco perché sia i professionisti dei dati che i non esperti dovrebbero familiarizzare con questi modelli.

Per chi è alle prime armi sull'argomento, il nostro percorso di competenze AI Essentials ti aiuterà a ottenere una panoramica approfondita dei modelli di IA di nuova generazione. Per chi ha già competenze, il nostro articolo sui progetti di IA generativa ti dà la possibilità di mettere alla prova le tue conoscenze.

Diamo uno sguardo più da vicino ai foundation model!

Cosa sono i Foundation Model? Comprendere i concetti chiave

Foundation model è un termine relativamente recente che può sovrapporsi ad altri concetti popolari, come IA generativa, transformer e large language model (LLM).

La terminologia dell'IA, però, è ancora oggetto di dibattito. Ecco un elenco di definizioni che ti aiuteranno a orientarti nel campo dell'IA in rapida evoluzione:

• IA generativa. È un termine ampio usato per descrivere sistemi di IA la cui funzione principale è generare contenuti, in contrasto con altri sistemi di IA progettati per compiti diversi, come classificazione e previsione.
• Transformer. I transformer hanno rivoluzionato il campo del deep learning. Forniscono un'architettura innovativa per gestire i dati sequenziali in modo più efficace. I transformer sono particolarmente adatti all'elaborazione del testo, e per questo sono diventati una pietra miliare nell'elaborazione e generazione del linguaggio naturale (NLP e NLG). Tuttavia, i transformer sono stati utilizzati con successo anche con altri tipi di dati, come le immagini.
• Large Language Model. Gli LLM sono sistemi di IA utilizzati per modellare ed elaborare il linguaggio umano. I transformer sono le tecnologie alla base degli LLM. Sono detti "large" perché hanno centinaia di milioni o addirittura miliardi di parametri, pre-addestrati usando un enorme corpus di testi.
• Foundation Model. È un termine ampio per definire modelli di IA progettati per produrre una varietà ampia e generale di output. Sono in grado di svolgere una gamma di possibili compiti e applicazioni, tra cui la generazione di testo, video, immagini o audio. Una caratteristica peculiare di questi modelli è che possono essere sistemi autonomi o usati come "fondazione" per altre applicazioni. Per esempio, l'LLM chiamato GPT funge da foundation model di ChatGPT.

Come funzionano i Foundation Model?

La tecnologia alla base dei foundation model – indipendentemente dal compito per cui sono progettati e dal tipo di dati usati per l'addestramento – è il transformer.

Sviluppati dai ricercatori di Google nel 2017, i transformer offrono un'alternativa alle tradizionali reti neurali ricorrenti (RNN) e alle reti neurali convoluzionali (CNN) per gestire dati sequenziali, in particolare il testo.

I transformer funzionano prevedendo la parola successiva in una sequenza per formare una risposta coerente. Questo processo avviene con un meccanismo chiamato attenzione, che pesa l'influenza delle diverse parole quando genera una risposta.

L'addestramento dei transformer prevede due fasi: pre-training e fine-tuning.

Pre-training

In questa fase, i transformer vengono addestrati su grandi quantità di dati grezzi (testuali), con Internet come principale fonte di dati.

L'addestramento avviene tramite apprendimento auto-supervisionato, un tipo innovativo di training che non richiede l'intervento umano per etichettare i dati.

L'obiettivo del pre-training è imparare gli schemi statistici del linguaggio. Poiché la strategia prevalente per ottenere prestazioni migliori dei transformer è aumentare la dimensione del modello (cioè i parametri) e la quantità di dati usata durante il pre-training, questa fase è in genere dispendiosa in termini di tempo e costi.

Fine-tuning

Il pre-training consente a un transformer di acquisire una comprensione di base del linguaggio, ma non basta per svolgere compiti pratici specifici. Per questo il modello passa a una fase di fine-tuning, in cui viene addestrato su un dataset più ristretto e specifico del dominio, generato con l'aiuto di revisori umani che seguono determinate linee guida.

Modalità

Un'altra caratteristica importante dei foundation model è la modalità. A seconda del tipo di dati che i foundation model possono ricevere in input, possono essere unimodali o multimodali. I primi possono accettare un solo tipo di dato e generare lo stesso tipo di output, mentre i secondi possono ricevere più modalità di input e generare più tipi di output (per esempio, GPT-4 può accettare input sia in immagine che in testo e generare output testuali.

Capire come funzionano i transformer può essere complesso e fuori dalla portata di questo articolo. Per una spiegazione più dettagliata, dai un'occhiata al nostro articolo, Cos'è ChatGPT, dove abbiamo posto la domanda direttamente a ChatGPT, e scopri di più su Transformers e Hugging Face per una visione più tecnica.

Se vuoi approfondire come funzionano gli LLM, il nostro corso sui concetti dei Large Language Models (LLM) è un ottimo punto di partenza.

Applicazioni dei Foundation Model

I foundation model possono essere usati come sistemi autonomi o come base per innumerevoli sistemi e applicazioni di IA downstream. Sebbene la maggior parte dei moderni sistemi foundation sia progettata per generare testo o codice ed eseguire compiti di NLP, è in aumento il numero di sistemi in grado di generare altri tipi di output, come immagini o musica.

Di seguito trovi una tabella con alcuni dei foundation model più popolari.