Corso
Concetti di IA generativa
2 ore
121.1K
Nel novembre 2022, OpenAI ha lanciato ChatGPT. Sono bastati pochi giorni perché conquistasse il mondo con le sue capacità senza precedenti. La rivoluzione dell'IA generativa era iniziata e tutti si chiedevano la stessa cosa: qual è il prossimo passo?
All'epoca, ChatGPT e i molti altri strumenti di IA generativa basati su Large Language Models (LLM) erano progettati per elaborare input testuali degli utenti e generare output testuali. In altre parole, erano considerati strumenti di IA unimodale.
Tuttavia, questo era solo l'inizio. Stavamo appena scalfendo la superficie di ciò che gli LLM possono fare. A solo un anno dal lancio di ChatGPT, i progressi del settore sono semplicemente sbalorditivi, rendendo molto difficile individuare i confini del possibile, come abbiamo analizzato in un nostro articolo a parte sugli impatti a lungo termine di ChatGPT e dell'IA generativa.
Oggi, se dovessimo rispondere alla domanda qual è il prossimo passo?, la risposta migliore è probabilmente l'apprendimento multimodale. Questa è una delle tendenze più promettenti nella rivoluzione dell'IA in corso. I modelli generativi multimodali sono in grado di combinare vari tipi di input e creare un output che può includere anche più tipi di output.
In questa guida, ti accompagneremo nel concetto di IA multimodale. Osserveremo la definizione di IA multimodale, i suoi concetti chiave, le tecnologie sottostanti e le applicazioni, oltre a come implementarla in scenari reali. Pronto per la multimodalità? Iniziamo!
Capire l'IA multimodale
Sebbene la maggior parte degli strumenti avanzati di IA generativa non sia ancora in grado di pensare come gli esseri umani, stanno già offrendo risultati rivoluzionari che ci avvicinano un po' alla soglia dell'Intelligenza Artificiale Generale (AGI). Questo termine si riferisce a un sistema di IA ipotetico in grado di comprendere, apprendere e applicare conoscenze in un'ampia gamma di compiti, proprio come un essere umano.
Nel dibattito su come raggiungere l'AGI, una domanda centrale a cui dobbiamo rispondere è come imparano gli esseri umani. E questo ci porta a come funziona il cervello umano. Per farla breve, il nostro cervello si affida ai cinque sensi per raccogliere ogni tipo di informazione dall'ambiente circostante. Queste informazioni vengono poi archiviate nella memoria, elaborate per apprendere nuove conoscenze e sfruttate per prendere decisioni.
I primi modelli moderni di IA generativa, come ChatGPT, erano considerati unimodali; cioè, erano in grado di ricevere un solo tipo di dato come input e generare lo stesso tipo di output. In particolare, la maggior parte di questi modelli era progettata per elaborare prompt testuali e generare una risposta testuale.
Questo ha senso, perché questi modelli hanno bisogno di enormi quantità di dati per essere addestrati, e il testo non è solo un tipo di dato che può essere facilmente archiviato ed elaborato, ma è anche prontamente disponibile. Non sorprende che gran parte dei dati di addestramento di strumenti come ChatGPT provenga da diverse fonti su Internet. Spieghiamo tutte queste tecnicalità nel nostro articolo Che cos'è ChatGPT, in cui poniamo le domande direttamente a ChatGPT.
Tuttavia, la lettura è solo uno dei vari modi in cui gli esseri umani possono imparare cose nuove e, per molti compiti, non il più efficace.
L'apprendimento multimodale è un sottocampo dell'IA che cerca di aumentare la capacità di apprendimento delle macchine addestrandole con grandi quantità di testo, oltre ad altri tipi di dati, noti anche come dati sensoriali, come immagini, video o registrazioni audio. Questo consente ai modelli di apprendere nuovi schemi e correlazioni tra descrizioni testuali e le immagini, i video o l'audio associati.
L'apprendimento multimodale sta sbloccando nuove possibilità per i sistemi intelligenti. La combinazione di più tipi di dati durante il processo di addestramento rende i modelli di IA multimodale adatti a ricevere input in più modalità e a generare più tipi di output. Ad esempio, GPT-4, il modello foundation di ChatGPT, può accettare sia input di immagini sia di testo e generare output testuali, e il recentemente annunciato Sora, il modello text-to-video di OpenAI.
Concetti chiave dell'IA multimodale
I modelli generativi multimodali aggiungono un nuovo livello di complessità agli LLM all'avanguardia. Questi modelli si basano su un tipo di architettura neurale chiamata Transformer. Sviluppati dai ricercatori di Google, i transformer si basano sull'architettura encoder-decoder e sul meccanismo di attenzione per consentire un'elaborazione efficiente dei dati.
Si tratta di un processo piuttosto complesso che può essere difficile da comprendere. Se vuoi maggiori dettagli su come funzionano LLM e transformer, ti invitiamo caldamente a leggere la nostra guida How Transformers Work oppure, se vuoi metterti alla prova e imparare a creare LLM passo dopo passo, dai un'occhiata al nostro corso Large Language Models (LLM) Concepts.
Fonte: DataCamp
L'IA multimodale si basa su tecniche di data fusion per integrare tipologie di dati eterogenee e costruire una comprensione più completa e accurata dei dati sottostanti. L'obiettivo finale è effettuare previsioni migliori combinando le informazioni complementari che le diverse modalità di dati forniscono.
IA unimodale vs multimodale. Fonte: ResearchGate
Per affrontare le sfide multimodali è possibile implementare diverse tecniche di data fusion. A seconda della fase di elaborazione in cui avviene la fusione, possiamo classificare le tecniche di fusione dei dati in tre categorie:
- Early fusion. Comporta la codifica delle diverse modalità all'interno del modello per creare uno spazio di rappresentazione comune. Questo processo produce un unico output invariante alla modalità che incapsula l'informazione semantica di tutte le modalità.
- Mid fusion. Comporta la combinazione delle modalità in diverse fasi di preprocessing. Ciò viene realizzato creando layer speciali nella rete neurale specificamente progettati per la fusione dei dati.
- Late fusion. Comporta la creazione di più modelli per elaborare le diverse modalità e combinare l'output di ciascun modello in un nuovo layer algoritmico.
Non esiste una singola tecnica di data fusion migliore per tutti gli scenari. La tecnica scelta dipenderà invece dal compito multimodale da svolgere. Pertanto, sarà probabilmente necessario un processo di tentativi ed errori per trovare la pipeline di IA multimodale più adatta.
Tecnologie alla base dell'IA multimodale
L'IA multimodale è il risultato delle conoscenze accumulate in più sottocampi dell'IA. Negli ultimi anni, professionisti e studiosi dell'IA hanno compiuto progressi notevoli nell'archiviazione e nell'elaborazione dei dati in più formati e modalità.
Di seguito trovi un elenco dei domini che alimentano il boom dell'IA multimodale:
Deep learning
Il deep learning è un sottocampo dell'IA che utilizza un tipo di algoritmo chiamato rete neurale artificiale per affrontare compiti complessi. L'attuale rivoluzione dell'IA generativa è alimentata da modelli di deep learning, in particolare i transformer, che sono un tipo di architettura neurale.
Il futuro dell'IA multimodale dipenderà anche dai nuovi progressi in questo ambito. In particolare, è necessaria molta ricerca per trovare nuovi modi di aumentare le capacità dei transformer, nonché nuove tecniche di data fusion.
Dai un'occhiata al nostro Deep Learning in Python Track per approfondire l'apprendimento in questo promettente dominio.
Natural Language Processing (NLP)
L'NLP è una tecnologia fondamentale nell'intelligenza artificiale, che colma il divario tra comunicazione umana e comprensione da parte dei computer. È un dominio multidisciplinare che consente ai computer di interpretare, analizzare e generare il linguaggio umano, abilitando un'interazione fluida tra persone e macchine.
Poiché il modo principale di comunicare con le macchine è tramite testo, non sorprende che l'NLP sia cruciale per garantire le alte prestazioni dei modelli di IA generativa, inclusi quelli multimodali.
Ti interessa l'NLP? Dai un'occhiata al nostro Natural Language Processing in Python Track per acquisire le competenze fondamentali di NLP necessarie per convertire dati non strutturati in insight di valore.
Computer vision
L'analisi delle immagini, nota anche come computer vision, comprende un insieme di tecniche grazie alle quali i computer possono "vedere" e comprendere un'immagine. I progressi in questo settore hanno consentito lo sviluppo di modelli di IA multimodale in grado di elaborare immagini e video sia come input che come output.
Se ti interessa approfondire questo affascinante argomento, dai un'occhiata al nostro Image Processing with Python Skill Track per integrare competenze di elaborazione delle immagini nella tua cassetta degli attrezzi per la data science.
Elaborazione audio
Alcuni dei modelli di IA generativa più avanzati sono in grado di elaborare file audio sia come input che come output. Le possibilità dell'elaborazione audio spaziano dall'interpretazione dei messaggi vocali alla traduzione simultanea e alla creazione musicale.
Dai un'occhiata al nostro corso Spoken Language Processing in Python per imparare a caricare, trasformare e trascrivere il parlato da file audio grezzi in Python.
Applicazioni dell'IA multimodale
L'apprendimento multimodale consente alle macchine di acquisire nuovi "sensi", aumentando accuratezza e capacità di interpretazione. Questi poteri stanno aprendo la strada a una miriade di nuove applicazioni in settori e industrie, tra cui:
IA generativa aumentata
La maggior parte della prima generazione di modelli di IA generativa era text-to-text, in grado di elaborare prompt testuali degli utenti e fornire risposte testuali. I modelli multimodali, come GPT-4 Turbo, Google Gemini o DALL-E, offrono nuove possibilità che possono migliorare l'esperienza utente sia lato input che lato output. Che si tratti di accettare prompt in più modalità o di generare contenuti in vari formati, le possibilità degli agenti di IA multimodale sembrano illimitate.
Auto a guida autonoma
Le auto a guida autonoma si affidano fortemente all'IA multimodale. Questi veicoli sono dotati di molteplici sensori per elaborare informazioni dall'ambiente circostante in vari formati. L'apprendimento multimodale è fondamentale affinché questi veicoli combinino tali fonti in modo efficace ed efficiente per prendere decisioni intelligenti in tempo reale.
Biomedicina
La crescente disponibilità di dati biomedici provenienti da biobanche, cartelle cliniche elettroniche, imaging clinico e sensori medici, oltre ai dati genomici, sta alimentando la creazione di modelli di IA multimodale in ambito medico. Questi modelli sono in grado di elaborare queste diverse fonti di dati che arrivano in più modalità per aiutarci a svelare i misteri della salute e delle malattie umane, oltre a prendere decisioni cliniche intelligenti.
Scienze della Terra e cambiamento climatico
La rapida espansione di sensori terrestri, droni, dati satellitari e altre tecniche di misurazione sta aumentando la nostra capacità di comprendere il pianeta. L'IA multimodale è fondamentale per combinare accuratamente queste informazioni e creare nuove applicazioni e strumenti che possano aiutarci in una varietà di compiti, come il monitoraggio delle emissioni di gas serra, la previsione di eventi climatici estremi e l'agricoltura di precisione.
Le sfide nell'implementazione di soluzioni di IA multimodale
Il boom dell'IA multimodale porta con sé infinite possibilità per aziende, governi e individui. Tuttavia, come per qualsiasi tecnologia nascente, implementarla nelle operazioni quotidiane può essere impegnativo.
Per prima cosa, devi individuare i casi d'uso che corrispondono alle tue esigenze specifiche. Passare dal concetto al deployment non è sempre facile, soprattutto se ti mancano le persone che comprendono davvero le tecnicalità alla base dell'IA multimodale. Tuttavia, dato l'attuale divario di competenze nella data literacy, trovare le persone giuste per portare i tuoi modelli in produzione può essere difficile e costoso, poiché le aziende sono disposte a pagare cifre elevate per attrarre un talento così limitato.
Infine, quando si parla di IA generativa, menzionare l'accessibilità economica è obbligatorio. Questi modelli, soprattutto quelli multimodali, richiedono notevoli risorse di calcolo per funzionare, e questo significa denaro. Pertanto, prima di adottare qualsiasi soluzione di IA generativa, è importante stimare le risorse che vuoi investire.
Rischi dell'IA multimodale
Come per qualsiasi nuova tecnologia, ci sono diversi potenziali rischi che dobbiamo affrontare con i modelli di IA multimodale:
- Mancanza di trasparenza. L'opacità algoritmica è una delle principali preoccupazioni associate all'IA generativa. Questo vale anche per l'IA multimodale. Questi modelli sono spesso etichettati come "scatole nere" a causa della loro complessità, che rende impossibile monitorarne il ragionamento e i meccanismi interni.
- Monopolio dell'IA multimodale. Dato l'enorme dispendio di risorse necessario per sviluppare, addestrare e far funzionare un modello multimodale, il mercato è altamente concentrato in un pugno di Big Tech con il know-how e le risorse necessarie. Fortunatamente, un numero crescente di LLM open source sta raggiungendo il mercato, rendendo più facile per sviluppatori, ricercatori di IA e società comprendere e utilizzare gli LLM.
- Bias e discriminazione. A seconda dei dati utilizzati per addestrare i modelli di IA multimodale, possono essere presenti bias che possono portare a decisioni ingiuste che spesso acuiscono la discriminazione, in particolare contro i gruppi minoritari. Come già accennato, la trasparenza è essenziale per comprendere e affrontare meglio i potenziali bias.
- Problemi di privacy. I modelli di IA multimodale sono addestrati con enormi quantità di dati provenienti da più fonti e formati. In molti casi, possono contenere dati personali. Questo può portare a problemi e rischi legati alla privacy e alla sicurezza dei dati.
- Considerazioni etiche. L'IA multimodale può talvolta portare a decisioni con gravi implicazioni nelle nostre vite, con impatti significativi sui nostri diritti fondamentali. Abbiamo esplorato l'etica dell'IA generativa in un post separato.
- Considerazioni ambientali. Ricercatori e osservatori ambientali stanno sollevando preoccupazioni in merito all'impronta ambientale associata all'addestramento e al funzionamento dei modelli di IA generativa. I proprietari di modelli di IA multimodale proprietari pubblicano raramente informazioni sull'energia e le risorse consumate dai modelli, né sulla relativa impronta ambientale, il che è estremamente problematico con la rapida adozione di questi strumenti.
Il futuro dell'IA multimodale
L'IA multimodale è certamente la prossima frontiera della rivoluzione dell'IA generativa. Il rapido sviluppo del campo dell'apprendimento multimodale sta alimentando la creazione di nuovi modelli e applicazioni per ogni tipo di scopo. Siamo solo all'inizio di questa rivoluzione. Man mano che verranno sviluppate nuove tecniche per combinare modalità sempre maggiori e nuove, la portata dell'IA multimodale si amplierà.
Tuttavia, a grandi poteri corrispondono grandi responsabilità. L'IA multimodale comporta rischi e sfide seri che devono essere affrontati per garantire un futuro equo e sostenibile.
Se vuoi iniziare con l'IA generativa, DataCamp ti copre. Consulta i nostri corsi, blog e materiali dedicati:
Argomenti
