Devo avere ombre lungo la via
Se devo camminare devo avere
Ogni passo fatto piano e da solo
Per averlo già pronto
E devo pensare in sfumature di grigio
Per avere pensieri ovattati come guida
Devo guardare l’azzurro e il verde
E non lasciare mai che il mio sguardo dimentichi
Che il colore è mio amico
E il viola deve avvolgermi anch’esso
Il giallo del sole non è più
Invadente della neve azzurrina
Che cade su tutti noi. Devo avere
Pensieri grigi e pensieri blu che camminano con me
Se devo andarmene davvero.
A poem generated by GPT-3, OpenAI's latest language model
I large language model hanno stupito il mondo con la loro abilità linguistica. Pur senza un addestramento esplicito, riuscivano a svolgere un’ampia varietà di compiti con prestazioni allo stato dell’arte.
Per fortuna, questi modelli non sono limitati solo alle Big Tech. L’accesso si sta ampliando grazie alla crescente comunità open source dell’NLP e alla disponibilità di API per i modelli. Oggi è più facile che mai per chiunque sfruttare la potenza di un large language model.
La crescita dell’NLP ha attirato l’interesse di aziende e investitori. Il 60% dei leader tecnologici ha indicato che il proprio budget per l’NLP è cresciuto almeno del 10% rispetto al 2020, secondo un sondaggio di John Snow Labs e Gradient Flow. Abbiamo anche visto una crescita incredibile di startup NLP che si contendono quote di mercato. Man mano che l’NLP cresce a ritmi frenetici, la comunità IA ha giustamente sollevato preoccupazioni sui pericoli dei large language model. Prima che questi modelli vengano adottati su larga scala, dobbiamo assicurarci che siano imparziali e sicuri.
In questo post del blog esploreremo vari aspetti dell’NLP e dei large language model: cosa sono, come si usano e come possiamo usarli in sicurezza.
Il progresso dell’NLP: da Word2Vec al Transformer
Una delle prime innovazioni dell’NLP nell’ultimo decennio è stata la svolta di Word2Vec. Gli autori Mikolov et al. scoprirono che quando un modello apprende le associazioni tra parole, non solo supera significativamente gli N-gram, popolari all’epoca, ma è anche più efficiente e veloce.
Tuttavia, il modello Word2Vec non utilizza l’ordine delle parole come informazione utile. L’avvento delle Reti Neurali Ricorrenti (RNN) ha affrontato quel problema. A differenza di Word2Vec, le RNN sfruttano informazioni da input precedenti per influenzare l’input e l’output correnti. Questo conferisce alle RNN una sorta di “memoria”, rendendole ideali per apprendere le relazioni tra testi.
Tuttavia, la memoria delle RNN è piuttosto effimera a causa del problema del gradiente che svanisce. Se le RNN funzionano relativamente bene su frasi brevi, falliscono su paragrafi lunghi. L’introduzione delle Long Short Term Memory (LSTM), un tipo speciale di RNN, ha portato “gate” che danno alle LSTM la capacità di ricordare le informazioni molto più a lungo.
Le LSTM sono state considerate il modello NLP de facto finché l’articolo “Attention is All You Need” non ha rubato la scena. Il meccanismo di attenzione introdotto nel paper dà alle RNN la capacità di concentrarsi su un sottoinsieme di informazioni quando forniscono un output. Un tipo speciale di rete basata sull’attenzione, la rete Transformer, si è dimostrata estremamente semplice, efficiente e potente.
Nello specifico, il modello BERT (Bidirectional Encoder Representations from Transformer) è stato visto come un risultato rivoluzionario nel campo dell’NLP (vedi questo tutorial NLP per una panoramica di BERT per l’NLP). A differenza dei modelli direzionali che leggono i testi in sequenza, BERT legge l’intera sequenza di parole tutta in una volta. Ancora più impressionante, un BERT pre-addestrato può essere messo a punto con un solo strato di output aggiuntivo per ottenere prestazioni allo stato dell’arte in vari compiti. Da allora, molte architetture basate sull’attenzione hanno superato BERT. Tra queste XLNet, ERNIE di Baidu e RoBERTa. Questi modelli sono ancora comunemente usati in molti compiti NLP oggi.
L’ascesa dei Large Language Model
Gli appassionati di tecnologia conoscono bene modelli come Megatron-LM, GPT-3 e T5. Noti per l’enorme numero di parametri, i large language model hanno dominato i titoli grazie alla loro notevole abilità nei compiti di linguaggio naturale.
Forse l’esempio più noto di large language model è il Generative Pre-trained Transformer 3 (GPT-3) di OpenAI. GPT-3 ha oltre 175 miliardi di parametri ed è stato addestrato su 570 gigabyte di testo, risultando 100 volte più grande del suo predecessore GPT-2.
L’aumento delle dimensioni ha regalato ai large language model un dono inaspettato: eseguire compiti per cui non erano stati addestrati esplicitamente. Ad esempio, GPT-3 può tradurre frasi dall’inglese al tedesco con pochissimi o nessun esempio di addestramento. Può anche rispondere a domande, scrivere saggi, riassumere testi lunghi e persino generare codice. Sorprendentemente, ha anche superato alcuni modelli allo stato dell’arte addestrati esplicitamente per risolvere quei compiti.
In altre parole, i large language model sono “few-shot” learner. Questi modelli hanno bisogno soltanto di una piccola quantità di dati di addestramento specifici di dominio per ottenere buone prestazioni su un compito specifico. In alcuni casi possono persino essere “zero-shot” learner, riuscendo a svolgere un compito senza alcuna dimostrazione.
Dimostrazione di few-shot, one-shot e zero-shot learning (Fonte)
Le aziende sono ancora in gara per costruire modelli sempre più grandi. Nel 2021, Microsoft e Nvidia hanno rilasciato Megatron-Turing NLG 530B, con 530 miliardi di parametri. Nel maggio 2022, Meta ha condiviso con la comunità di ricerca IA il suo Open Pretrained Transformer (OPT-175B) da 175 miliardi di parametri. DeepMind ha inoltre annunciato che rilascerà il suo modello linguistico da 7 miliardi di parametri, il Retrieval Enhanced Transformer (RETRO), che dovrebbe raggiungere le prestazioni di reti neurali 25 volte più grandi.
I large language model diventano più grandi di anno in anno (Fonte)
La democratizzazione dei Large Language Model
Fino a poco tempo fa, i large language model erano monopolio delle Big Tech con grandi risorse e supercomputer interni. Il numero di parametri è così elevato che persino la GPU domestica più potente non riuscirebbe a contenerli. Anche superato quel limite, il tempo necessario ad addestrare un large language model è irrealistico senza ricorrere alla parallelizzazione. Nvidia, per esempio, ha previsto che servirebbero 36 anni per addestrare GPT-3 su otto GPU V100. Lambda Labs stima il costo iniziale per sviluppare GPT-3 in almeno 11,5–27,6 milioni di dollari, e calcola un costo annuo ricorrente in cloud di almeno 87.000 dollari.
Le startup con budget limitati non hanno certo tempo né denaro per tutto ciò, ma grazie alle API dei large language model possono sfruttare la potenza di GPT-3 senza dover acquistare risorse di calcolo esorbitanti o investire in hardware ad alte prestazioni. Per esempio, i founder possono integrare la potenza di modelli come GPT-3 nelle loro attività usando le API offerte da OpenAI, Cohere e AI21.
A marzo 2021, OpenAI ha dichiarato che oltre 300 app diverse generano 4,5 miliardi di parole al giorno tramite la loro API di GPT-3. Grazie alle API, sviluppare potenti applicazioni NLP è più rapido e scalabile che mai.
La proliferazione delle startup NLP
Man mano che l’accesso ai large language model si allarga, non sorprende che le startup che offrono una miriade di servizi stiano nascendo a ritmi crescenti negli ultimi anni.
Gli specialisti sono rimasti colpiti dalla capacità di GPT-3 di generare testi lunghi e coerenti, come l’esperienza immersiva offerta da AI Dungeon, un gioco di avventura testuale che usa GPT-3 per generare contenuti. Un’altra startup, Fable Studio, ha usato GPT-3 per creare un nuovo genere di storie interattive che danno vita a “esseri virtuali”.
Uno screenshot di AI Dungeon. Cosa farai adesso?
Da allora, GPT-3 è stato usato non solo per generare storie di fantasia ma anche contenuti di marketing per le aziende. Post di blog coinvolgenti, contenuti per i social, testi pubblicitari ed email possono essere generati con un breve prompt. Startup degne di nota in questo spazio includono copy.ai (valutata oggi 13,9 milioni di dollari), CopySmith (10 milioni) e Rtyr. Mentre alcuni critici possono snobbare queste startup, sostenendo di saper distinguere facilmente i contenuti scritti da un bot, potrebbero rivedere la loro posizione sapendo che un post di blog generato da GPT-3 è arrivato in cima a Hacker News.
Le startup NLP stanno facendo scalpore anche nel campo della ricerca online. Un recente post intitolato “Google Search is Dying” ha messo in evidenza i problemi dei motori di ricerca odierni e ha acceso un acceso dibattito su come le startup possano rivoluzionare il settore. Una di queste, you.com, guidata da un ex chief scientist di Salesforce, ha raccolto circa 20 milioni di dollari. Per sfidare Google a viso aperto, usa l’NLP per comprendere semanticamente le query e riassumere i risultati dal web. Un’altra startup, Zir AI fondata da un ex CTO di Cloudera, offre alle imprese motori di ricerca interni che comprendono intento e semantica.
L’ascesa di HuggingFace🤗 come potenza dell’NLP
Un’altra startup degna di nota è HuggingFace, che fornisce strumenti per creare, addestrare e distribuire con facilità modelli NLP all’avanguardia basati su transformer. Con il claim di essere una “comunità IA che costruisce il futuro”, HuggingFace ospita una vivace community open source che condivide modelli e dataset NLP all’ultimo grido. La sua facilità d’uso ne rafforza ulteriormente il ruolo di apripista tra gli strumenti NLP.
L’interfaccia di HuggingFace
Dalla sua nascita nel 2016, HuggingFace ha fatto parlare di sé e ha guadagnato enorme popolarità nella comunità IA. È stata usata da oltre 5.000 organizzazioni, tra cui colossi come Google AI, Facebook AI, Microsoft e Allen Institute for AI. Il suo repository su GitHub ha raccolto circa 60.000 stelle, rendendolo uno dei repository più popolari. Tutti fattori che contribuiscono alla sua impressionante valutazione di 61,3 milioni di dollari a marzo 2021. Nuovi fondi potrebbero spingerne la valutazione fino a 2 miliardi, riportava Business Insider nell’aprile 2022.
Secondo il CTO Julien Chaumond, la democratizzazione dell’IA sarà uno dei più grandi traguardi per la società. Non stupisce quindi che HuggingFace sia impegnata ad ampliare l’accesso alle applicazioni NLP. La sua libreria di Modelli offre circa 42.000 modelli provenienti da diverse librerie, tra cui PyTorch, TensorFlow e Keras. Il suo modello più popolare, il gpt2 basato su transformer, ha superato i 100 milioni di download.
Applicazioni abilitate da HuggingFace
Questi modelli hanno trovato applicazione in una sorprendente varietà di compiti. Oltre ai casi d’uso NLP come traduzione, riassunto e generazione di testo, il repository contiene anche modelli per computer vision (classificazione e segmentazione di immagini) e audio (classificazione audio, text-to-speech).
Di recente HuggingFace ha intensificato gli sforzi per democratizzare l’NLP per professionisti esperti, principianti e tutti gli altri. Studenti alle prime armi possono trarre vantaggio dal rilascio del corso NLP di HuggingFace gratuito, che offre esercitazioni pratiche sull’uso dei modelli basati su transformer. Chi desidera creare e distribuire progetti ML può sfruttare le risorse di calcolo gratuite offerte dagli Spaces di HuggingFace.
Gli appassionati di NLP possono anche esplorare immensi corpora testuali con la libreria Datasets di HuggingFace. Data scientist e ingegneri del machine learning saranno felici di sapere che HuggingFace ha recentemente rilasciato open source Optimum per ottimizzare i transformer su larga scala.
La libreria Datasets di HuggingFace include oltre 4.500 dataset unici da 467 lingue e dialetti, tutti scaricabili con poche righe di codice.
Il prossimo Large Language Model BigScience è l’apice degli sforzi di democratizzazione dell’azienda. BigScience è un modello multilingue da 176 miliardi di parametri costruito in collaborazione da oltre 1.000 ricercatori in tutto il mondo. Il modello completerà l’addestramento entro metà 2022. Fino ad allora, non possiamo che attendere con curiosità la tecnologia che BigScience renderà possibile. Puoi seguire l’addestramento del Large Language Model BigScience su Twitter.
Ora che abbiamo visto i tipi di servizi offerti dalle startup NLP, esaminiamo come possano essere applicati a due settori specifici.
Il futuro dell’NLP nella sanità
Il settore sanitario è un’industria da 4.000 miliardi di dollari l’anno che impiega un lavoratore americano su dieci e rappresenta il 25% della spesa pubblica USA. Nonostante la sua importanza, inefficienze affliggono il sistema sanitario americano. L’NLP potrebbe trasformare profondamente la sanità.
Un modo è migliorare efficienza e accuratezza dell’assistenza fornita. I medici trascorrono quasi 6 ore al giorno, pari al 50% del tempo di lavoro, impegnati con le cartelle cliniche elettroniche (EHR), secondo uno studio del 2019 dell’American Medical Association. Oltre a essere una perdita di tempo, gli inserimenti manuali nelle EHR causano inevitabilmente errori medici evitabili.
L’NLP può cambiare le cose automatizzando la creazione e l’analisi delle EHR. Con modelli voice-to-text, le conversazioni medico-paziente possono essere trascritte automaticamente. Con modelli di riassunto, si possono generare rapidamente sintesi delle visite. Con modelli NLP addestrati su EHR su larga scala, si possono prevedere diagnosi e trattamenti.
L’NLP può anche migliorare l’esperienza dei pazienti. I modelli NLP possono essere usati per creare chatbot che forniscono informazioni rilevanti sugli appuntamenti, ricordano impegni e rispondono alle domande dei pazienti sulla loro salute.
Esempio di una domanda di un paziente risposta dall’NLP (Fonte)
In uno studio, pazienti con cancro al seno hanno riportato una soddisfazione vicina al 94% con un chatbot medico con cui hanno interagito per oltre un anno. Non sorprende che aziende come Babylon Health e AdaHealth abbiano colto l’opportunità e iniziato a offrire servizi di chatbot sanitari in tutto il mondo. Il potenziale dell’NLP di cambiare la sanità è ben riassunto da Neal Khosla, CEO di Curai, una startup MedTech: “L’IA e l’NLP offrono il potenziale per scalare enormemente la disponibilità di cure primarie di qualità, rendendole accessibili a più persone a costi inferiori.”
Il futuro dell’NLP nell’istruzione
Un’altra applicazione interessante dell’NLP è nell’istruzione. Fornire istruzione di alta qualità su larga scala pone significative sfide economiche. Per questo i ricercatori stanno esplorando approcci computazionali scalabili che aiutino gli insegnanti a insegnare meglio e in modo più efficiente. I modelli NLP più potenti oggi possono essere addestrati per diventare esperti di materia in campi specifici. Tali modelli possono diventare assistenti degli insegnanti nella valutazione, nel fornire feedback e persino nel generare domande.
Un esempio concreto è ProtoTransformer, un modello che ha valutato un compito aperto del midterm di Informatica introduttiva alla Stanford University. ProtoTransformer è stato efficace quanto gli assistenti didattici umani grazie alla capacità di elaborare modalità multiple di informazione, come il prompt del compito, il diagramma della domanda e la griglia di valutazione.
L’NLP potrebbe anche fornire feedback personalizzati, un compito logisticamente impraticabile nelle classi numerose. Questo potrebbe cambiare se l’NLP automatizzasse il processo di feedback. Un esempio è MathBERT, un modello BERT addestrato su un ampio corpus matematico che va dalla scuola dell’infanzia al livello post-laurea.
L’NLP potrebbe anche automatizzare il processo di generazione di domande. In particolare, ricercatori di Stanford hanno scoperto che i moderni modelli linguistici possono essere usati per generare nuove domande di retro-traduzione che raggiungono una difficoltà target.
I modelli linguistici hanno generato domande di traduzione dall’inglese allo spagnolo di varie difficoltà. In corsivo le domande nuove che non esistono nel dataset originale.
Una ricerca di McKinsey suggerisce che dal 20 al 40% delle ore attuali degli insegnanti potrebbe essere automatizzato dalla tecnologia esistente. Startup edtech come Noodle Factory sono un passo verso questo obiettivo. Se gli insegnanti fossero liberati da compiti manuali e ripetitivi, potrebbero dedicare più tempo a coaching e mentoring degli studenti, attività che l’IA non può emulare.
I rischi dei Large Language Model
Finora abbiamo esaminato come i large language model abbiano sbloccato capacità NLP prima impossibili. Eppure, critici e ricercatori mettono in guardia da un ottimismo incontrollato che ignori i rischi dell’IA. I large language model sono destinati a trasformare scienza, società e IA, affermano ricercatori di Stanford. Se tali trasformazioni saranno positive o negative dipenderà da come gestiremo i rischi.
Uno di questi rischi è la presenza di bias e contenuti dannosi. Oggi i modelli linguistici sono addestrati su dataset non curati, estratti dal web. Tali informazioni possono essere false o nocive. Questo significa che apprendono dal linguaggio—con tutti i suoi difetti—e amplificano i bias del nostro mondo.
Un esempio da manuale di un modello linguistico che perpetua danni contro minoranze è il chatbot Tay di Microsoft del 2016, che twittò messaggi razzisti e a sfondo sessuale ad altri utenti. Più recentemente, Wallace et al. hanno scoperto scioccamente che un singolo trigger aggiunto a qualsiasi input può indurre GPT-2 a emettere output razzisti anche se condizionato su contesti non razziali. Nello stesso esperimento, un altro trigger ha portato il modello SQuAD a rispondere a tutte le domande “perché” con “per uccidere il popolo americano”.
Allo stesso modo, i dati usati per addestrare i modelli linguistici possono essere avvelenati, mettendo a rischio le applicazioni a valle. In modo allarmante, Schuster et al. hanno dimostrato che un sistema NLP di completamento del codice può essere indotto a produrre codice insicuro iniettando solo pochi file malevoli. È concepibile che anche altri modelli generativi possano essere istruiti a produrre contenuti dannosi con iniezioni malevole.
Anche i fornitori dei modelli linguistici possono fallire. Attualmente, GPT-3 richiede ai professionisti di caricare a OpenAI i dati usati per l’inferenza. Una violazione di tali dati potenzialmente sensibili potrebbe significare una violazione della privacy. Molti modelli linguistici oggi sono anche serviti direttamente dall’infrastruttura di HuggingFace. Un attacco a un’infrastruttura comune potrebbe interrompere numerosi modelli linguistici in produzione.
Tali rischi sono amplificati quando i modelli linguistici pre-addestrati sottostanti sono estremamente popolari. Una volta che un avversario trova una falla in un modello molto diffuso, potrebbe sfruttare anche altre applicazioni che condividono lo stesso modello di base.
La mancanza di interpretabilità
L’interpretabilità è definita come il grado in cui un essere umano può comprendere la causa di una decisione. Purtroppo, molti modelli NLP odierni sono ben lontani da uno stato ideale di interpretabilità.
I large language model sono scatole nere che forniscono poche o nessuna informazione su come prendono decisioni. Forse non è saggio prendere decisioni ad alto impatto senza una comprensione completa del processo decisionale. Per esempio, un sistema NLP usato per concedere o negare la libertà vigilata a un detenuto deve poter spiegare le proprie decisioni sulla base dei fatti. Tali spiegazioni sono un modo concreto per verificare equità e coerenza delle decisioni.
È vero, esistono metodi di IA spiegabile che forniscono spiegazioni dei comportamenti del modello. Si tratta di modelli distinti progettati per spiegare un modello black box. Esempi includono il Language Interpretability Tool (LIT) di Google e LIME.
Una demo di LIT di Google (Fonte)
Eppure, le spiegazioni di tali modelli possono essere infedeli e non rappresentare accuratamente il processo di ragionamento alla base della previsione del modello. Inoltre, possono essere inaffidabili, fuorvianti e pericolose. Spiegazioni plausibili ma infedeli possono indurre i professionisti in un falso senso di sicurezza e spingerli a fidarsi di modelli poco solidi, come spiegato nel paper spartiacque “Smettiamo di spiegare i modelli di machine learning black box per decisioni ad alto impatto e usiamo invece modelli interpretabili”.
I Large Language Model trasformeranno il futuro dell’IA
“Questo è solo l’inizio di un cambio di paradigma: i Large Language Model hanno appena iniziato a trasformare il modo in cui i sistemi di IA vengono costruiti e distribuiti nel mondo”, ha concluso un gruppo di illustri ricercatori IA discutendo di opportunità e rischi dei large language model.
I casi d’uso resi possibili dai large language model sono a dir poco stupefacenti. Eppure, non è tutto oro quel che luccica. Come professionisti dell’IA, dobbiamo essere consapevoli dei limiti dei large language model e usarli in modo responsabile e attento. Solo così potremo coglierne appieno tutto il potenziale.
Scopri di più sull’elaborazione del linguaggio naturale qui:
