Le ultime novità su OpenAI, Google AI e cosa significano per la data science

Sia Google AI che OpenAI hanno una storia di rilascio di tecnologie di intelligenza artificiale all'avanguardia. Eppure lo scenario è cambiato con l'introduzione di ChatGPT, che ha acceso una nuova corsa in cui i big tech come Google stanno cercando disperatamente di lanciare modelli di IA simili.

In questo post, vedremo gli sviluppi recenti di OpenAI e Google AI e cosa possiamo aspettarci in futuro. Inoltre, capiremo come i progressi dell'IA stiano cambiando il campo della data science e come possiamo usarli per aumentare la produttività.   

OpenAI

L'API di OpenAI è una piattaforma che consente di accedere a modelli generativi all'avanguardia tramite API. Possiamo generare immagini di alta qualità con DALLE-2, generare testo e codice con GPT-3 e usare gli embedding per altri compiti legati al linguaggio. Inoltre, ti permette di moderare i risultati, aggiungere limiti di frequenza e mettere a punto il modello su un dataset specifico. Scopri GPT-3 leggendo il nostro blog Guida introduttiva a GPT-3.

Immagine dell'autore | Fonte OpenAI

Tutti questi sono prodotti commerciali e seguono il modello pay-as-you-go, ma di tanto in tanto OpenAI ha rilasciato strumenti e modelli open-source, come:

1. Whisper: modello di riconoscimento vocale con supervisione debole su larga scala.
2. OpenAI Baselines: implementazioni di algoritmi di reinforcement learning. 
3. Gym: una toolkit per lo sviluppo e la valutazione di algoritmi di reinforcement learning. 
4. GPT2: codice e modello dell'articolo “Language Models are Unsupervised Multitask Learners”.
5. DALL-E: pacchetto PyTorch per il VAE discreto usato per DALL·E

Le API, i toolkit e i large language model sono ottimi, ma non si avvicinano al successo di ChatGPT. 

Il modello ChatGPT è stato addestrato usando il Reinforcement Learning from Human Feedback (RLHF), in modo simile a InstructGPT (una versione migliorata di GPT-3), ma la fase di raccolta dei dati è leggermente diversa. 

In cosa è diverso dalle generazioni precedenti di modelli? L'IA conversazionale è stata in grado di porre domande di follow-up, mettere in discussione premesse errate, ammettere errori e dimostrare misure di sicurezza.

Di recente, il partner di OpenAI Microsoft ha introdotto una versione migliorata di ChatGPT. Con il rilascio iterativo di OpenAI, possiamo aspettarci una nuova ondata di tecnologie di IA che comprendono le nostre esigenze e ci forniscono assistenza. 

Se sei completamente nuovo all'intelligenza artificiale, segui il corso AI Fundamentals senza codice. Copre le basi del machine learning, come apprendimento supervisionato e non supervisionato, deep learning e oltre. 

GPT-4

Oltre a ChatGPT, ci aspettiamo GPT-4, che sarà il large language model più avanzato. Nel podcast di Greylock, il CEO di OpenAI Sam Altman ha rivelato qualche informazione su GPT-4. Ha detto che le voci su Twitter su GPT-4 sono false, che non avrà 100 trilioni di parametri e che la gente sta pregando per restare delusa. Ha anche dichiarato che "rilasceremo GPT-4 quando riterremo che sia sicuro e funzionale". 

Immagine dell'autore

Cosa puoi aspettarti da GPT-4?

• La dimensione del modello non sarà molto più grande di GPT-3.
• Grandi modelli ottimizzati usando una nuova parametrizzazione (μP).
• L'addestramento del modello userà il compute ottimale, aumentando il numero di token di training per raggiungere la perdita minima. 
• Sarà un modello solo testo. GPT-4 non sarà multimodale come DALL-E 2.
• Potrebbe usare la sparsità per ridurre i costi computazionali.
• Come ChatGPT, sarà maggiormente allineato all'IA nel seguire le nostre intenzioni e aderire ai nostri valori.

Scopri tutto su GPT-1, GPT-2, GPT-3 e GPT-4 leggendo il nostro post Tutto quello che sappiamo finora su GPT-4. 

Creazione di un'AGI sicura

Durante l'intervista con StrictlyVC, Altman ha rivelato alcuni punti su quanto siamo vicini a sviluppare l'AGI (Artificial General Intelligence). 

Ha detto: “Più ci avviciniamo, più è difficile rispondere. Perché penso che sarà molto più sfumato e molto più una transizione graduale di quanto la gente pensi”.

Ha anche sfatato le voci sull'AGI. Nell'intervista, ha detto che OpenAI non ha un'AGI che possa apprendere come gli esseri umani. 

Immagine dell'autore

OpenAI è sulla strada giusta per sviluppare un'AGI sicura, ma è lontana dall'essere perfetta. L'AGI di cui si parla è un modello multimodale che può comprendere voce, testo, immagini e video. Sarà la combinazione di ChatGPT, DALLE-2, Whisper, un modello di generazione video e altri algoritmi di reinforcement learning. 

Modelli multimodali

Per sviluppare l'AGI, OpenAI deve lavorare su modelli multimodali, non solo text-to-image, ma anche text-to-video e audio-to-video e audio. Significa che potrai parlare con un bot dal suono e dall'aspetto naturale. È già stato ottenuto da alcuni sviluppatori, come la persona di uno streamer di Twitch generata dall'IA. Non è perfetto, ma è un inizio. 

Durante il programma StrictlyVC, Sam Altman ha rivelato che stanno lavorando a un modello video, e possiamo supporre con buona ragione che sarà la generazione text-to-video con un modello audio, aggiungendo un altro livello di complessità. Abbiamo già una tecnologia di generazione video in cui gli sviluppatori sovrappongono frame generati usando il modello di stable diffusion. 

Google AI 

Google AI è la spina dorsale dell'ecosistema di Google. È utilizzata in Google Maps, Foto, applicazioni e Cloud. Google è stata in prima linea nello sviluppo di strumenti e modelli di IA. La maggior parte dei prodotti è disponibile su Google Cloud, da AutoML ai modelli all'avanguardia per visione e linguaggio. 

Ha inoltre rilasciato numerosi strumenti e modelli allo stato dell'arte che hanno cambiato l'ambito dell'elaborazione del linguaggio naturale, dell'elaborazione vocale e della computer vision. Da TensorFlow a BERT (Bidirectional Encoder Representations from Transformers), Google ha aperto una nuova strada per la ricerca e sviluppo in IA e machine learning. 

Gif da LaMDA

Nel 2020, Google Research ha introdotto Meena, un modello conversazionale neurale che comprende il contesto e impara a rispondere in modo sensato. Successivamente, Google ha rilasciato il modello LaMDA, simile a ChatGPT. È stata una tecnologia conversazionale innovativa costruita con i transformer ma addestrata sui dialoghi. 

Ogni anno vediamo nuove tecnologie da parte di Google e, in futuro, possiamo aspettarci un motore di ricerca Google avanzato alimentato da Bard, modelli di linguaggio, visione, generativi e multimodali che renderanno l'IA polivalente. 

Google AI Bard

Dopo il lancio di ChatGPT, hanno iniziato a circolare voci secondo cui sarebbe il “killer di Google”. La partnership estesa tra Microsoft e OpenAI ha reso ciò ancora più probabile. Microsoft è pronta a sfidare Google nel settore dei motori di ricerca con il suo Bing infuso con OpenAI. 

Per contrastare questo, Google ha lanciato la sua versione di ChatGPT chiamata Google AI Bard. Dai un'occhiata al nostro confronto tra ChatGPT e Google Bard in un articolo a parte. 

Gif da Bard e nuove funzionalità di IA

Nel recente aggiornamento di Google AI, Sundar Pichai, CEO di Google e Alphabet, ha presentato un nuovo servizio sperimentale di IA conversazionale chiamato Bard, alimentato da LaMDA. Google ha annunciato di aver dato accesso a tester fidati e che nelle prossime settimane sarà disponibile al pubblico. 

Bard utilizza informazioni dal web per fornire risposte di alta qualità. A differenza del modello ChatGPT, Bard è un servizio che combina la conoscenza del mondo con potenza, intelligenza e creatività. Inizialmente, Google lo rilascia con una versione leggera del modello LaMDA e, col tempo, introdurrà modelli linguistici più potenti.

Linguaggio, visione e modelli generativi

Secondo i recenti report di Google Research, sono stati fatti progressi nelle tecnologie del linguaggio, nella computer vision e nei modelli generativi. 

Immagine da Google AI

• Large Language Model: Pathways Language Model (PaLM) e LaMDA hanno mostrato risultati promettenti e, in futuro, puoi aspettarti modelli linguistici ancora migliori utilizzabili per IA conversazionale e altri compiti di elaborazione del linguaggio naturale. 
• Computer Vision: MaxViT (Multi-Axis Vision Transformer), Pix2Seq (framework di modellazione del linguaggio per il rilevamento di oggetti) e sviluppi nella conversione da 2D a 3D usando l'interpolazione di frame con grandi movimenti.
• Generazione di immagini: modelli avanzati di generazione di immagini foto-realistiche: Imagen (modello di diffusione) e Parti (architettura transformer autoregressiva). Entrambi usano input testuali per generare i pixel dell'immagine. 
• Generazione di video: lo scorso anno, Google AI ha lavorato su Imagen Video e Phenaki. Imagen Video usa modelli di diffusione in cascata per generare video ad alta risoluzione, mentre Phenaki usa descrizioni testuali di dominio aperto per generare video di lunghezza variabile. 

Inizia la tua carriera nel Deep Learning (IA) seguendo il percorso di competenze Deep Learning in Python. Il percorso comprende quattro corsi che porteranno le tue competenze di machine learning al livello successivo. 

Modelli multimodali

La maggior parte dei modelli di ML si concentra su una singola modalità di dati (classificazione del testo, segmentazione delle immagini o riconoscimento vocale). Ma grazie a DALL-E 2 e Stable Diffusion, le aziende ora si concentrano su modelli multimodali per ottenere risultati allo stato dell'arte. 

Google AI ha raggiunto la multimodalità facendo passare i dati attraverso layer di elaborazione specifici per modalità e mescolando le caratteristiche di diverse modalità tramite il layer di colli di bottiglia. Combinare le modalità può anche aumentare le prestazioni dei compiti a modalità singola. 

Gif da Google AI

Ecco alcuni degli sviluppi di ricerca più recenti di Google AI sui modelli multimodali: 

• Locked-image Tuning (LiT) aggiunge comprensione del linguaggio a modelli di immagini pre-addestrati esistenti. 
• PaLI può eseguire molti compiti in oltre 100 lingue, come visual question answering, image captioning, object detection e traduzione in un'altra lingua, classificazione di immagini e altro.  
• VDTTS è un modello Visually-Driven Text-To-Speech che prende il testo e i frame video originali dell'attore e genera un output vocale che si allinea al video originale mantenendo tempi ed emozioni. 
• Look and Talk è una tecnologia multimodale che usa sia video che audio come input per rendere naturale la conversazione con l'assistente Google. Il modello apprende diversi indizi visivi e audio per determinare con maggiore accuratezza se la persona sta parlando con l'assistente Google o meno.  
• 4D-Net combina dati di point cloud 3D di veicoli autonomi e li unisce con altri dati sensoriali per comprendere meglio l'ambiente e gli oggetti, e prendere decisioni migliori.

Possiamo presumere che in futuro vedrai l'adozione di questi modelli negli ecosistemi Google per aumentare il coinvolgimento degli utenti e sviluppare nuovi prodotti. 

IA e Data Science

L'IA moderna è guidata da data science, algoritmi e data engineering. Per creare tecnologie all'avanguardia come ChatGPT e LaMDA, dobbiamo partire dalle basi, capire come gestire i dati e applicare varie tecniche di elaborazione del linguaggio naturale e reinforcement learning, conoscere gli algoritmi di deep learning e i transformer e l'ottimizzazione dei modelli.

Inizia la tua carriera nella data science completando il percorso professionale Data Scientist with Python. Ti insegnerà le competenze essenziali per diventare un data scientist professionista.

Immagine dell'autore

Dunque, affrontiamo l'elefante nella stanza. L'IA sostituirà data scientist, analisti o ingegneri? La risposta semplice è “NO”. Forse in un lontano futuro, ma anche allora avremo lavori diversi, più creativi e orientati alle decisioni. Con lo sviluppo dell'IA, cresceremo anche noi.

GitHub Copilot, DALL-E 2, ChatGPT e altre tecnologie all'avanguardia sono qui per assisterci. Sono qui per renderci produttivi ed efficienti. 

Andrej Karpathy, in precedenza Director of AI presso Tesla e OpenAI, afferma:

“Copilot ha accelerato in modo drastico il mio coding, è difficile immaginare di tornare al "coding manuale". Sto ancora imparando a usarlo ma già scrive ~80% del mio codice, con ~80% di accuratezza. In realtà non programmo nemmeno, faccio prompt. & edit.” - Twitter

Dimostra che molte persone che comprendono la tecnologia la useranno per migliorare in programmazione, logica, analisi dei dati e presa di decisioni. 

Come possono usare l'IA i data scientist?

1. Generare dati realistici preservando la privacy degli utenti.
2. Scrivere codice elegante ed efficiente.
3. Prototipare il prodotto.
4. Eseguire analisi dei dati migliori usando i prompt. 
5. Generare query SQL complesse con il linguaggio naturale. 
6. Creare report migliori per stakeholder non tecnici.
7. Eseguire analisi statistiche complesse con spiegazioni.
8. Imparare nuovi linguaggi di programmazione, competenze, framework e concetti. 
9. Usare AutoML guidato dall'IA e strumenti di ottimizzazione dei modelli per costruire soluzioni di ML allo stato dell'arte.
10. Creare script di automazione per risparmiare tempo ed evitare errori. 

Una nuova era di progressi nell'IA

Microsoft, in partnership con OpenAI, ha integrato ChatGPT nel nuovo motore di ricerca Bing, definito un copilota per il web. Con questo annuncio, è iniziata una nuova corsa al primato tecnologico.

Microsoft prevede di integrare ChatGPT e altri modelli GPT nel suo ecosistema. Cambierà tutto, perché gli utenti non dovranno nemmeno uscire dall'applicazione. Potranno effettuare ricerche, aggiungere contenuti, modificare contenuti e trovare idee semplicemente chattando con un bot. 

Demo di Copilot su Bing

All'evento di Parigi, Google ha lanciato la sua versione di ChatGPT chiamata Bard. È alimentata da una versione leggera di LaMDA. Bard è piuttosto simile al copilota per il web di Microsoft; è anch'essa integrata nel motore di ricerca di Google e offre funzionalità simili. 

Gli aspetti negativi dei progressi nell'IA

• I large language model come GPT possono essere usati in futuro per campagne di disinformazione - openai.com. Hanno il potenziale per causare danni sia fisici che emotivi.
• I contenuti generati con l'IA sono ottimizzati per la SEO e più difficili da rilevare. Studenti e professionisti li stanno usando per creare lavori originali senza apprendere o comprendere i concetti. Leggi di più sui rischi e le opportunità in ambito educativo nella documentazione dell'OpenAI API.
• Le questioni di copyright sono reali. Questi modelli sono stati addestrati su testi disponibili online, e alcuni sono protetti. Non si può semplicemente rubare il lavoro di qualcun altro per giustificare i progressi dell'IA. 
• A volte, l'IA produce risposte fattualmente errate. Questo potrebbe causare enormi problemi in futuro se questi modelli venissero implementati nei reparti di forze dell'ordine. 

Questi problemi verranno risolti e vedremo nuove leggi a regolamentare l'uso dell'IA. Scuole e giganti dei contenuti hanno già iniziato a implementare policy sui contenuti generati dall'IA. 

Quindi, cosa possiamo fare? Possiamo iniziare a conoscere queste nuove tecnologie e a usarle in modo etico. Puoi iniziare a imparare l'IA iscrivendoti al nostro percorso professionale Machine Learning Scientist with Python. Il percorso professionale ti insegnerà le competenze essenziali di machine learning per ottenere un lavoro come AI engineer.