Negli ultimi mesi, i mondi della data science e dell’IA sono in fermento per l’arrivo di GPT-3, il nuovo modello linguistico di OpenAI. Per molti, questo modello rappresenta un salto significativo nella capacità di un algoritmo di ragionare con il linguaggio umano su una varietà di compiti.
Gli sviluppatori che stanno testando GPT-3 hanno proposto molti casi d’uso interessanti. Esempi di generazione automatica di codice a partire da prompt in inglese semplice, risposte a domande mediche e traduzione di linguaggio legale hanno acceso l’immaginazione di molti data scientist che pensano alla prossima generazione di software potenziati dall’IA.
Sebbene gran parte del valore del machine learning a livello organizzativo risieda in opportunità immediate come la previsione del churn, semplici previsioni di vendita e la segmentazione dei clienti, è utile considerare cosa significa per il futuro la commercializzazione di GPT-3. Ha il potenziale di trasformare il modo in cui pensiamo e rendiamo operativa l’intelligenza artificiale.
Definire intelligenza artificiale, machine learning e deep learning
Il mondo del business e i media sono sovraccarichi di parole d’ordine come intelligenza artificiale (IA), machine learning (ML) e deep learning (DL). Definiamo rapidamente questi termini prima di approfondire come funziona GPT-3.
Andrew Ng, cofondatore di Google Brain ed ex Chief Scientist di Baidu, descrive l’intelligenza artificiale come un “enorme set di strumenti per far comportare i computer in modo intelligente”. Questo comprende software programmati in modo esplicito come le calcolatrici, così come applicazioni di ML come i sistemi di raccomandazione e le auto a guida autonoma.
Secondo Arthur Samuel, pioniere dell’intelligenza artificiale e del gioco al computer, il machine learning è il “campo di studio che dà ai computer la capacità di apprendere senza essere esplicitamente programmati”. In generale, esistono due tipi di algoritmi di machine learning. Il primo è l’apprendimento supervisionato, in cui gli algoritmi apprendono le relazioni tra i dati esistenti (input) e le etichette (output) e predicono l’output su dati non visti, ad esempio se un nuovo cliente abbandonerà in base ai dati storici di churn. Il secondo è l’apprendimento non supervisionato, in cui gli algoritmi scoprono schemi generali nei dati e raggruppano punti dati simili tra loro, come nella segmentazione dei clienti in base a comportamenti comuni.
Il deep learning è una forma di machine learning basata su reti neurali artificiali multilivello, liberamente ispirate alle reti neurali biologiche del cervello. Può essere sia supervisionato sia non supervisionato ed è in gran parte responsabile dei casi d’uso di ML più noti dell’ultimo decennio, come il riconoscimento delle immagini e l’analisi del sentiment. I modelli di deep learning variano per architettura, da semplici a complessi in base al numero di livelli e nodi della rete neurale. Più un modello è complesso, più parametri ha. Se vuoi saperne di più su come si costruiscono i modelli di deep learning, dai un’occhiata al percorso di competenze sul deep learning di DataCamp.
Per un’esplorazione più approfondita di questi temi, leggi il nostro e-book, The Definitive Guide to Machine Learning for Business Leaders.
Come funziona GPT-3
Dove si colloca dunque GPT-3 rispetto a intelligenza artificiale, machine learning e deep learning? L’acronimo GPT sta per “generative pre-trained transformer”, un algoritmo di deep learning non supervisionato che di solito viene pre-addestrato su una grande quantità di testo non etichettato. Viene poi perfezionato e addestrato su un ampio dataset etichettato specifico per il compito (ad es. traduzione dall’inglese al francese) e infine incaricato di inferire l’insieme più probabile di output (traduzione in francese) dato un determinato insieme di input (parole inglesi). Puoi pensarlo come una forma altamente sofisticata di completamento automatico per una varietà di compiti linguistici.
GPT-3 è la terza iterazione di questo modello e, pur non innovando sull’architettura dei suoi predecessori, è pre-addestrato su dataset estremamente ampi che comprendono una grande porzione di internet, incluso il dataset Common Crawl, e include molti più livelli nella sua architettura di rete. Questo rende GPT-3 il modello linguistico più complesso mai concepito, con 175 miliardi di parametri nella sua architettura. Si tratta di dieci volte i parametri del modello più complesso precedente al rilascio di GPT-3, il Turing-NLG di Microsoft, e 117 volte più complesso di GPT-2.
Ancora più importante, GPT-3 beneficia del few-shot learning, in cui il modello pre-addestrato non deve essere perfezionato con grandi quantità di dati etichettati per un compito linguistico specifico. Gli viene invece fornita una descrizione del compito—tradurre parole inglesi in francese—e pochi esempi di input mappati agli output. In combinazione con un’interfaccia plug-and-play facile da usare, GPT-3 elimina in larga misura le barriere all’ingresso e consente ai non esperti di ottenere risultati significativi su diversi compiti linguistici.
Perché GPT-3 è importante
Con pochi esempi e descrizioni del compito, GPT-3 eguaglia modelli linguistici perfezionati che sono stati addestrati su dati specifici per il compito in una varietà di attività linguistiche. GPT-3 mostra anche una certa riuscita in compiti che richiedono ragionamento, come l’aritmetica, che non sono necessariamente compiti linguistici. Per esempio, GPT-3 ha mostrato il 100% di accuratezza su addizioni e sottrazioni a due cifre dopo che gli sono stati forniti alcuni esempi di addizione e sottrazione. Modelli meno complessi, con meno parametri, non sono riusciti a superare il limite del 60% di accuratezza in questi compiti. Sebbene GPT-3 vacilli su forme più complesse di aritmetica, ciò implica che modelli più complessi possano avere la capacità di generalizzare al di fuori del dominio su cui sono stati addestrati.
Interessante notare che ulteriori miglioramenti potrebbero derivare semplicemente dall’aumento delle dimensioni dei dataset e dei modelli. Al momento, non sembra che le prestazioni aggregate del modello su diversi compiti stiano andando in stallo a 175 miliardi di parametri. Assumendo lo stesso incremento di scalabilità dei parametri da GPT-2 a GPT-3, non possiamo che chiederci come scalerebbero le prestazioni del modello se GPT-4 avesse 117 volte più parametri di GPT-3.
Pur essendo attualmente calibrato in una release beta privata, confezionare GPT-3 in un’API plug-and-play significa che potrà essere utilizzato su larga scala non appena uscirà dalla beta privata. Come ha sottolineato la ricercatrice di IA Shreya Shankar, una sfida importante sarà fornire questa API in modo efficiente e semplice per le organizzazioni.
Cosa significa per il futuro
Le nuove tecnologie spesso seguono il ciclo dell’hype di Gartner—infatti, il CEO di OpenAI Sam Altman ha già dato l’allarme sull’hype riguardo a GPT-3.
Tuttavia, i casi d’uso che emergono dagli sviluppatori di GPT-3 fanno luce sul tipo di applicazioni potenziate dall’IA che possiamo aspettarci nel medio-lungo termine. Le applicazioni potenziali includono strumenti che aiuteranno i designer a prototipare con facilità, a snellire l’analisi dei dati, a consentire ricerche più robuste, ad automatizzare la generazione di contenuti per i content marketer e altro ancora.
Inoltre, confezionare il modello in un’interfaccia plug-and-play potrebbe cambiare le dinamiche di come l’IA viene resa operativa in tutta l’organizzazione. Per esempio, questo potrebbe disincentivare le organizzazioni dallo sviluppare modelli interni proprietari e permettere a profili meno tecnici di costruire soluzioni usando GPT-3.
Infine, quando si pensa a distribuire sistemi di IA su larga scala, bisogna essere consapevoli della capacità di diffondere danni attraverso i bias. Come hanno notato molti ricercatori testando GPT-3, è relativamente facile generare output dannosi che rafforzano stereotipi e pregiudizi a partire da input neutrali.
Come qualsiasi algoritmo di machine learning distribuito su larga scala, GPT-3 richiede un serio esame e monitoraggio dei potenziali danni.
