Che cos'è Sora di OpenAI? Come funziona, esempi, funzionalità

Che cos'è Sora?

Sora è il modello generativo text-to-video di OpenAI. Significa che scrivi un prompt testuale e lui crea un video che corrisponde alla descrizione del prompt. Ecco un esempio dal sito di OpenAI:

PROMPT: Una donna alla moda cammina lungo una strada di Tokyo piena di neon caldi e luminescenti e insegne animate della città. Indossa una giacca di pelle nera, un lungo vestito rosso e stivali neri, e porta una borsa nera. Porta occhiali da sole e rossetto rosso. Cammina in modo sicuro e disinvolto. La strada è umida e riflettente, creando un effetto specchio delle luci colorate. Molti pedoni camminano in giro.

Funzionalità di Sora

Sora ha alcune funzioni che ci permettono di avere maggiore controllo sul processo di generazione video. Vediamole una per una.

Remix

La funzione remix consente di reimmaginare video esistenti modificandone i componenti senza perdere l'essenza dell'originale. Che si tratti di cambiare i colori, sostituire gli sfondi o ritoccare elementi visivi, remix offre un modo flessibile per sperimentare l'aspetto di un video.

Questa funzione è perfetta per chi vuole rinfrescare vecchi contenuti, adattare i video a temi specifici o esplorare variazioni per finalità di branding.

Per esempio, considera i due video qui sotto:

1. Video originale: "Aprire grandi porte su una biblioteca"
2. Video remix: “Trasforma la biblioteca in un'astronave”

Re-cut

La funzione re-cut consente ai creator di individuare e isolare i frame più incisivi di un video, estendendoli in entrambe le direzioni per costruire una scena completa. Questo strumento è perfetto per valorizzare i momenti chiave, attirare l'attenzione su elementi visivi specifici o garantire una transizione più fluida tra le scene. Concentrandosi sui frame più forti, Re-cut aiuta a perfezionare la narrazione dando maggiore controllo su ritmo ed enfasi.

Loop

La funzione loop semplifica la creazione di ripetizioni fluide di clip video. Ideale per visual di sfondo, video musicali o animazioni ipnotiche, questo strumento assicura che le transizioni tra i loop siano morbide e naturali. Consente di estendere la durata di momenti coinvolgenti o mantenere un ritmo costante per video progettati per la riproduzione continua.

Di seguito, vediamo un fiore che sboccia e si richiude continuamente in un loop senza soluzione di continuità, senza tagli visibili nella transizione:

Storyboard

La funzione storyboard consente di generare in punti specifici della timeline inquadrature designate, offrendo un controllo preciso sulla narrazione visiva. Ad esempio, usando la demo di OpenAI, puoi creare lo storyboard della seguente sequenza di riprese:

1. Frame 0-114: “Un vasto paesaggio rosso con un'astronave attraccata in lontananza.”
2. Frame 114-324: “Guardando dall'interno dell'astronave, un cowboy spaziale è al centro dell'inquadratura.”
3. Frame 324-440: “Primo piano dettagliato degli occhi di un astronauta incorniciati da una maschera in tessuto a maglia.”

Blend

La funzione blend ti permette di combinare diversi elementi video o di stile per creare nuove composizioni. Mescolando riprese, colori o approcci artistici, consente di realizzare visual che risultino distintivi e freschi. Questo approccio funziona bene per progetti sperimentali, mashup o storytelling creativo che esplora idee non convenzionali.

Qui sotto, vediamo un video che fonde due video:

1. Un video di fiocchi di neve che cadono
2. Un video di petali di fiori che cadono

Style presets

Style preset offre una raccolta di modelli estetici predefiniti applicabili ai video. Questi preset semplificano il raggiungimento di un look specifico, che sia cinematografico, vivace e giocoso o professionale.

Per esempio, ecco come appare il preset Film Noir:

Come funziona Sora?

Come i modelli generativi text-to-image come DALL·E 3, StableDiffusion e Midjourney, Sora è un modello di diffusione. Ciò significa che parte con ogni frame del video costituito da rumore statico e utilizza il machine learning per trasformare gradualmente le immagini in qualcosa che assomiglia alla descrizione del prompt.

Risoluzione della coerenza temporale

Un'area di innovazione in Sora è che considera più frame video alla volta, il che risolve il problema di mantenere coerenti gli oggetti quando escono e rientrano dall'inquadratura. Nel video seguente, nota che la mano del canguro esce dall'inquadratura più volte e, quando ritorna, la mano appare uguale a prima. 

PROMPT: Un canguro a cartoni animati balla la disco.

Combinare modelli di diffusione e transformer

Sora combina l'uso di un modello di diffusione con un'architettura transformer, come quella usata da GPT.

Combinando questi due tipi di modelli, Jack Qiao ha osservato che "i modelli di diffusione sono ottimi nel generare texture di basso livello ma scarsi nella composizione globale, mentre i transformer hanno il problema opposto." Cioè, vuoi che un modello transformer in stile GPT determini il layout di alto livello dei frame video e un modello di diffusione crei i dettagli.

In un articolo tecnico sull'implementazione di Sora, OpenAI fornisce una descrizione di alto livello di come funziona questa combinazione. Nei modelli di diffusione, le immagini sono scomposte in piccoli "patch" rettangolari. Per i video, queste patch sono tridimensionali perché persistono nel tempo. Le patch possono essere considerate l'equivalente dei "token" nei grandi modelli linguistici: invece di essere un componente di una frase, sono un componente di un insieme di immagini. La parte transformer del modello organizza le patch e la parte di diffusione genera il contenuto di ciascuna patch.

Un'altra particolarità di questa architettura ibrida è che, per rendere la generazione video computazionalmente fattibile, il processo di creazione delle patch utilizza un passaggio di riduzione della dimensionalità in modo che il calcolo non debba avvenire su ogni singolo pixel di ogni singolo frame.

Aumentare la fedeltà del video con il recaptioning

Per catturare fedelmente l'essenza del prompt dell'utente, Sora utilizza una tecnica di recaptioning disponibile anche in DALL·E 3. Significa che, prima di creare qualsiasi video, GPT viene usato per riscrivere il prompt dell'utente includendo molti più dettagli. In sostanza, è una forma di prompt engineering automatico.

Quanto è valido Sora di OpenAI?

Come si vede dagli esempi finora mostrati, Sora sembra essere uno strumento notevole e siamo solo all'inizio di ciò che è possibile. Ad esempio, dai un'occhiata alla clip qui sotto, che offre un assaggio di ciò che è possibile collaborando con filmmaker e artisti:

Questo cortometraggio sembra un vero trailer cinematografico, con una varietà di inquadrature, angolazioni e concept che creano un video abbastanza omogeneo.

Tuttavia, altri esempi mostrati dai membri del team OpenAI sono leggermente meno convincenti (sebbene ancora impressionanti). Guarda il video qui sotto della coppia sulla spiaggia (questo video è stato generato usando la precedente versione di Sora e prevediamo di rigenerarlo non appena avremo accesso alla versione aggiornata di Sora):

PROMPT: Video realistico di persone che si rilassano in spiaggia, poi uno squalo salta fuori dall'acqua a metà e sorprende tutti.

Pur centrando chiaramente i punti principali del prompt, non è una scena particolarmente convincente e cade in pieno nella uncanny valley. Le tre mani dell'uomo, lo squalo che si compone in più parti con una scala poco credibile, la rotazione della testa e l'urlo alla Esorcista della donna: è tutto un po' inquietante.

È probabile che, come con le immagini generative, servirà affinare i prompt e fare qualche concessione: non creerà qualcosa di perfetto ogni volta.

Detto questo, confrontiamo il video sopra con un esempio creato usando esattamente lo stesso prompt con il modello Gen-2 di Runway:

Come puoi vedere, non ha colto particolarmente il contesto del prompt e presenta una strana collocazione dello squalo e persone piuttosto sfigurate e amorfe. Al confronto, Sora di OpenAI ha fatto un lavoro molto migliore nel creare la scena rispetto a Runway Gen-2.

Un altro esempio impressionante di un caso d'uso di Sora è stato visto di recente con un regista che ha realizzato un video musicale con Sora:

Questo è probabilmente uno degli esempi più completi di Sora in azione e mostra l'enorme potenziale di questo strumento per il futuro. È interessante (e un po' psichedelico) e cattura un mood piuttosto distintivo, coerente dall'inizio alla fine.

Tuttavia, ci sono alcune avvertenze su questa creazione:

• Il regista ha generato 6 ore di clip per un video di 4 minuti (usando 46 ore di rendering su una GPU H100)
• Il prompt di esempio è di circa 1.400 parole, piuttosto dettagliato e specifico
• Il regista ha comunque dovuto usare After Effects e ripulire alcune transizioni (che in alcuni punti risultano ancora innaturali)

Quindi sembra certamente che l'uso consumer di questo strumento sia ancora un po' lontano, ma considerando il breve periodo in cui Sora è stato reso disponibile per prove da parte di artisti e creativi, i progressi sono piuttosto sorprendenti.

Quali sono i limiti di Sora?

Questa sezione descrive alcuni limiti della versione precedente di Sora. Vale la pena verificare se la nuova versione affronta questi problemi. Aggiorneremo questa sezione non appena avremo accesso alla nuova versione.

Sora non ha una comprensione implicita della fisica e quindi le regole fisiche del "mondo reale" potrebbero non essere sempre rispettate. Un esempio è che il modello non comprende causa ed effetto. Ad esempio, nel seguente video di un'esplosione su un canestro da basket, dopo l'esplosione, la rete sembra tornare com'era.

PROMPT: Palla da basket attraverso il canestro, poi esplode.

Allo stesso modo, la posizione spaziale degli oggetti può spostarsi in modo innaturale. Nel seguente video di cuccioli di lupo, gli animali appaiono spontaneamente e la posizione dei lupi a volte si sovrappone.

PROMPT: Cinque cuccioli di lupo grigio che giocano e si rincorrono su una strada sterrata isolata, circondata dall'erba. I cuccioli corrono e saltano, si inseguono e si mordicchiano, giocando.

Casi d'uso di Sora

Sora può essere usato per creare video da zero o estendere video esistenti per renderli più lunghi. Può anche riempire i frame mancanti dei video.

Allo stesso modo in cui gli strumenti generativi text-to-image hanno reso molto più semplice creare immagini senza competenze tecniche di fotoritocco, Sora promette di facilitare la creazione di video senza esperienza di editing delle immagini. Ecco alcuni casi d'uso chiave.

Social media

Sora può essere usato per creare video brevi per piattaforme social come TikTok, Instagram Reels e YouTube Shorts. I contenuti difficili o impossibili da filmare sono particolarmente adatti. Ad esempio, questa scena di Lagos nel 2056 sarebbe tecnicamente difficile da filmare per un post social, ma è facile da creare con Sora.

PROMPT: Un bellissimo video casalingo che mostra le persone di Lagos, Nigeria, nell'anno 2056. Girato con la fotocamera di un telefono cellulare.

Pubblicità e marketing

Creare spot, video promozionali e demo di prodotto è tradizionalmente costoso. Strumenti di IA text-to-video come Sora promettono di rendere questo processo molto più economico. Nell'esempio seguente, un ente del turismo che vuole promuovere la regione del Big Sur in California potrebbe noleggiare un drone per riprese aeree della località, oppure potrebbe usare l'IA, risparmiando tempo e denaro.

PROMPT: Vista da drone delle onde che si infrangono contro le scogliere frastagliate lungo la spiaggia di Garay Point a Big Sur. Le acque blu impetuose creano onde con creste bianche, mentre la luce dorata del sole al tramonto illumina la riva rocciosa. In lontananza si trova una piccola isola con un faro, e arbusti verdi ricoprono il bordo della scogliera. Il ripido salto dalla strada alla spiaggia è un'impresa spettacolare, con i bordi della scogliera che si protendono sul mare. È una vista che cattura la bellezza selvaggia della costa e il paesaggio aspro della Pacific Coast Highway.

Prototipazione e visualizzazione di concept

Anche se il video generato dall'IA non viene usato in un prodotto finale, può essere utile per dimostrare rapidamente idee. I registi possono usare l'IA per mockup di scene prima di girarle e i designer possono creare video dei prodotti prima di costruirli. Nell'esempio seguente, un'azienda di giocattoli potrebbe generare un mockup IA di un nuovo giocattolo nave pirata prima di impegnarsi nella produzione su larga scala.

PROMPT: Video fotorealistico in primo piano di due navi pirata che si combattono mentre navigano dentro una tazza di caffè.

Generazione di dati sintetici

I dati sintetici sono spesso usati in casi in cui problemi di privacy o fattibilità impediscono l'uso di dati reali. Per i dati numerici, casi d'uso comuni riguardano dati finanziari e informazioni personali identificabili. L'accesso a questi dataset deve essere strettamente controllato, ma è possibile creare dati sintetici con proprietà simili da rendere disponibili al pubblico.

Un uso dei dati video sintetici è l'addestramento di sistemi di visione artificiale. Come ho scritto nel 2022, l'Aeronautica Militare USA utilizza dati sintetici per migliorare le prestazioni dei suoi sistemi di visione artificiale per veicoli aerei senza pilota nel rilevare edifici e veicoli di notte e in caso di maltempo. Strumenti come Sora rendono questo processo molto più economico e accessibile a un pubblico più ampio.

Rischi di Sora

Il prodotto è nuovo, quindi i rischi non sono ancora completamente descritti, ma probabilmente saranno simili a quelli dei modelli text-to-image.

Generazione di contenuti dannosi

Senza barriere di protezione, Sora ha il potere di generare contenuti sgradevoli o inappropriati, inclusi video contenenti violenza, gore, materiale sessualmente esplicito, rappresentazioni denigratorie di gruppi di persone e altre immagini d'odio, nonché la promozione o la glorificazione di attività illegali.

Cosa costituisce contenuto inappropriato varia molto a seconda dell'utente (considera un bambino che usa Sora rispetto a un adulto) e del contesto di generazione del video (un video che avverte dei pericoli dei fuochi d'artificio potrebbe facilmente diventare cruento in modo didattico).

Disinformazione e misinformation

In base ai video di esempio condivisi da OpenAI, uno dei punti di forza di Sora è la capacità di creare scene fantastiche che non potrebbero esistere nella vita reale. Questa forza rende anche possibile creare video "deepfake" in cui persone o situazioni reali vengono trasformate in qualcosa di non vero.

Quando questi contenuti vengono presentati come verità, accidentalmente (misinformation) o deliberatamente (disinformazione), possono causare problemi.

Come ha scritto Eske Montoya Martinez van Egerschot, Chief AI Governance and Ethics Officer presso DigiDiplomacy, "L'IA sta rimodellando le strategie di campagna, il coinvolgimento degli elettori e il tessuto stesso dell'integrità elettorale."

Video di IA convincenti ma falsi su politici o avversari politici hanno il potere di "diffondere strategicamente narrazioni false e prendere di mira fonti legittime con molestie, con l'obiettivo di minare la fiducia nelle istituzioni pubbliche e fomentare l'animosità verso varie nazioni e gruppi di persone".

In un anno con molte elezioni importanti, da Taiwan all'India agli Stati Uniti, ciò ha conseguenze diffuse.

Pregiudizi e stereotipi

L'output dei modelli generativi di IA dipende fortemente dai dati su cui sono stati addestrati. Ciò significa che pregiudizi culturali o stereotipi presenti nei dati di training possono ripresentarsi nei video risultanti. Come ha discusso Joy Buolamwini nell'episodio Fighting For Algorithmic Justice di DataFramed, i bias nelle immagini possono avere gravi conseguenze in ambiti come selezione del personale e forze dell'ordine.

Come posso accedere a Sora?

Per accedere a Sora, vai su sora.com. Al momento della stesura di questo articolo, Sora è disponibile nella maggior parte del mondo tranne che nella maggior parte dell'Europa e nel Regno Unito.

L'accesso a Sora richiede un abbonamento a ChatGPT Plus o a ChatGPT Pro. Entrambi i piani offrono la possibilità di esplorare gli avanzati strumenti di generazione video di Sora, ma ci sono differenze chiave nelle funzionalità e nei limiti:

Quali sono le alternative a Sora?

Ci sono diverse alternative di rilievo a Sora che consentono di creare contenuti video a partire da testo. Tra queste:

• Runway-Gen-3. L'alternativa più nota a OpenAI Sora è Runway Gen-3. Come Sora, è un'IA generativa text-to-video, attualmente disponibile su web e mobile.
• Lumiere. Google ha annunciato di recente Lumiere, attualmente disponibile come estensione per il framework Python di deep learning PyTorch.
• Make-a-Video. Meta ha annunciato Make-a-Video nel 2022; anche questo è disponibile tramite un'estensione PyTorch.

Esistono anche diversi concorrenti più piccoli:

• Pictory semplifica la conversione di testo in contenuti video, rivolgendosi a content marketer ed educatori con i suoi strumenti di generazione video.
• Kapwing offre una piattaforma online per creare video a partire dal testo, con enfasi sulla facilità d'uso per marketer social e creator occasionali.
• Synthesia si concentra sulla creazione di presentazioni video guidate da avatar con l'IA a partire dal testo, con video personalizzabili per scopi aziendali e formativi.
• HeyGen mira a semplificare la produzione video per product e content marketing, outreach commerciale ed education.
• Steve AI fornisce una piattaforma di IA che consente la generazione di video e animazioni da Prompt a Video, da Script a Video e da Audio a Video.
• Elai si concentra su e-learning e formazione aziendale, offrendo una soluzione per trasformare con facilità contenuti didattici in video informativi

Cosa significa Sora di OpenAI per il futuro?

C'è ben poco dubbio che Sora sia rivoluzionario. È anche chiaro che il potenziale di questo modello generativo è vasto. Quali sono le implicazioni di Sora per l'industria dell'IA e per il mondo? Possiamo, ovviamente, solo fare ipotesi ragionate. Tuttavia, ecco alcuni modi in cui Sora potrebbe cambiare le cose, nel bene e nel male.

Implicazioni a breve termine di OpenAI Sora

Diamo prima uno sguardo agli impatti diretti e a breve termine che potremmo vedere da Sora in seguito al suo lancio (probabilmente graduale) al pubblico.

Un'ondata di quick win

Nella sezione sopra abbiamo già esplorato alcuni potenziali casi d'uso di Sora. Molti di questi probabilmente vedranno un'adozione rapida se e quando Sora verrà rilasciato per l'uso pubblico. Questo potrebbe includere:

• La proliferazione dei video brevi per social e advertising. Aspettati che i creator su X (ex Twitter), TikTok, LinkedIn e altri alzino la qualità dei loro contenuti con produzioni Sora.
• L'adozione di Sora per la prototipazione. Che si tratti di mostrare nuovi prodotti o presentare progetti architettonici, Sora potrebbe diventare comune per presentare idee.
• Storytelling dei dati migliorato. L'IA text-to-video potrebbe offrirci visualizzazioni dei dati più vivide, migliori simulazioni di modelli e modi interattivi per esplorare e presentare i dati. Detto ciò, sarà importante vedere come Sora si comporta con questo tipo di prompt.
• Migliori risorse per l'apprendimento. Con strumenti come Sora, i materiali didattici potrebbero essere notevolmente potenziati. Concetti complicati possono prendere vita, mentre gli studenti più visivi hanno la possibilità di usufruire di supporti didattici migliori.

Un campo minato di rischi

Ovviamente, come abbiamo evidenziato in precedenza, questa tecnologia porta con sé una serie di potenziali aspetti negativi, ed è fondamentale saperli gestire. Ecco alcuni rischi a cui dobbiamo prestare attenzione:

• La diffusione di misinformation e disinformazione. Collettivamente, dovremo essere più critici nei confronti dei contenuti che consumiamo e avremo bisogno di strumenti migliori per individuare ciò che è costruito o manipolato. Questo è particolarmente importante in un anno elettorale.
• Violazioni del copyright. Dovremo essere attenti a come vengono usate le nostre immagini e sembianze. Potrebbero servire legislazioni e controlli per impedire che i nostri dati personali vengano usati in modi a cui non abbiamo acconsentito. Questo dibattito probabilmente si manifesterà prima quando i fan inizieranno a creare video basati sui loro franchise cinematografici preferiti—detto ciò, anche i rischi personali qui sono enormi.
• Sfide regolatorie ed etiche. I progressi dell'IA generativa sono già difficili da inseguire per i regolatori, e Sora potrebbe accentuare il problema. Dobbiamo trovare un equilibrio per un uso appropriato ed equo di Sora senza intaccare le libertà individuali o soffocare l'innovazione.
• Dipendenza dalla tecnologia. Strumenti come Sora potrebbero essere visti da molti come scorciatoie piuttosto che assistenti. Le persone potrebbero vederlo come un sostituto della creatività, con implicazioni per molti settori e per i professionisti che vi lavorano.

Il video generativo diventa il prossimo terreno di competizione

Abbiamo già citato un paio di alternative a Sora, ma possiamo aspettarci che questa lista cresca significativamente nel 2024 e oltre. Come abbiamo visto con ChatGPT, c'è un elenco in continua espansione di alternative in competizione e molti progetti che iterano sui LLM open source sul mercato.

È possibile che Sora sia lo strumento che continuerà a guidare l'innovazione e la competizione nel campo dell'IA generativa. Che si tratti di modelli perfezionati per usi specifici o di tecnologie proprietarie in competizione diretta, molti dei grandi player del settore probabilmente vorranno una fetta dell'azione text-to-video.

Implicazioni a lungo termine di OpenAI Sora

Quando la polvere si sarà posata dopo il lancio pubblico di Sora, inizieremo a vedere cosa riserva il futuro a lungo termine. Man mano che professionisti di molti settori metteranno le mani sullo strumento, emergeranno inevitabilmente usi rivoluzionari di Sora. Proviamo a ipotizzare alcuni di questi:

Si sbloccano casi d'uso ad alto valore

È possibile che Sora (o strumenti simili) diventi un punto fermo in diversi settori:

• Creazione di contenuti avanzata. Potremmo vedere Sora come strumento per accelerare la produzione in campi come VR e AR, videogiochi e persino intrattenimento tradizionale come TV e cinema. Anche se non viene usato direttamente per creare tali media, potrebbe aiutare a prototipare e fare lo storyboard delle idee.
• Intrattenimento personalizzato. Potremmo assistere a contenuti creati e curati su misura per l'utente. Media interattivi e reattivi, adattati ai gusti e alle preferenze di un individuo, potrebbero emergere.
• Istruzione personalizzata. Ancora una volta, questi contenuti altamente individualizzati potrebbero trovare spazio nel settore educativo, aiutando gli studenti a imparare nel modo più adatto alle loro esigenze.
• Editing video in tempo reale. I contenuti video potrebbero essere modificati o riprodotti in tempo reale per adattarsi a pubblici diversi, modificando aspetti come tono, complessità o persino la narrazione in base alle preferenze o ai feedback degli spettatori.

I confini tra mondo fisico e digitale iniziano a sfumare

Abbiamo già accennato alla realtà virtuale (VR) e aumentata (AR), ma Sora ha il potenziale per rivoluzionare il modo in cui interagiamo con i contenuti digitali se combinato con questi mezzi. Se le future iterazioni di Sora saranno in grado di generare in pochi secondi mondi virtuali di alta qualità in cui immergersi—e sfruttare testo e audio generativi per popolarli con personaggi virtuali apparentemente reali—questo solleva serie domande su cosa significherà navigare il mondo digitale in futuro.

Note finali

Il modello Sora di OpenAI promette un salto in avanti nella qualità del video generativo. Il rilascio pubblico era atteso da tempo, e le sue potenziali applicazioni in vari settori sono molto attese. Se non vedi l'ora di iniziare nel mondo dell'IA generativa, il nostro percorso di competenze AI Fundamentals ti aiuterà a metterti al passo con ​​machine learning, deep learning, NLP, modelli generativi e altro ancora.

Per altre risorse sulle ultime novità nel mondo dell'IA, dai un'occhiata all'elenco qui sotto:

• Iscriviti al podcast DataFramed
• Diventa uno sviluppatore di IA - serie di code-along
• Sfoglia i nostri tutorial di IA