OmniHuman di ByteDance: guida con esempi

Che cos’è Omnihuman?

OmniHuman è un modello di generazione da immagine a video che può generare video o animazioni realistici a partire da un’immagine. Tecnicamente, il suo nome completo è OmniHuman-1, suggerendo che faccia parte di un progetto a lungo termine con versioni future in sviluppo. Per comodità, in questo blog lo chiamerò OmniHuman.

A giudicare dagli esempi offerti dal team di ricerca dietro OmniHuman, il modello eccelle nell’animare il soggetto in modo che sembri muoversi naturalmente, compiere gesti e persino cantare o suonare strumenti.

OmniHuman può generare video con diverse dimensioni di input e proporzioni del corpo, supportando vari tipi di inquadrature, come primi piani, mezzo busto o figura intera. Può anche eseguire il lip sync con l’audio.

Nota che le immagini di input per la maggior parte degli esempi video in questo articolo sono il primo fotogramma di ciascun video (più l’audio). È importante tenerlo a mente per capire meglio quanto sia semplice generare questi video con OmniHuman.

Funzionalità di OmniHuman

Supporto per un’ampia gamma di soggetti

OmniHuman può gestire un’ampia varietà di input, non solo figure umane. Ciò include cartoni animati, oggetti artificiali, animali e persino quelle pose difficili che possono mettere in crisi i tradizionali strumenti di creazione video.

OmniHuman supporta anche molteplici rapporti d’aspetto, che talvolta sono una limitazione dei modelli di generazione video. Il video sopra ha un formato verticale (9:16), mentre quello sotto ha un formato quadrato (1:1).

Parlare e cantare

Nell’esempio seguente vediamo un Ted Talk realistico generato dall’AI. È pazzesco pensare che sia stato generato da una singola immagine. I movimenti del corpo sono piuttosto convincenti e coerenti con il parlato.

In questo secondo esempio, abbiamo un soggetto che canta. È meno convincente perché il movimento della mano sulla chitarra non corrisponde al brano suonato.

Lip sync

Il prossimo esempio mostra davvero quanto OmniHuman sia forte nel lip sync. A differenza del movimento della mano sulla chitarra, questo video offre una performance davvero credibile: la persona sembra davvero cantare, con coerenza anche rispetto all’intonazione.

Questo vale anche per il parlato normale, non solo per il canto (vedi esempio sotto). Il principale difetto del video qui sotto è la presenza di alcuni artefatti intorno ai capelli quando il bambino si muove. Inoltre, il colore delle labbra e la bianchezza dei denti sono molto innaturali e non corrispondono al soggetto.

Figura intera, mezzo busto e primi piani

I prossimi due esempi mostrano la capacità di OmniHuman di generare video a mezzo busto e anche primi piani. Iniziamo con l’esempio a mezzo busto:

E ora vediamo un video generato per un primo piano:

Animazione delle mani

Una delle cose con cui i modelli di generazione di video e immagini spesso faticano sono le mani. Per qualche motivo le mani rappresentano una grande sfida per l’AI, portando a dita in più e glitch. Dai loro esempi, OmniHuman sembra gestire abbastanza bene questi casi.

Sembra anche in grado di gestire casi in cui si tiene in mano un oggetto:

Video driving

Abbiamo visto che OmniHuman supporta l’audio driving, in cui l’audio guida la generazione del video per farlo combaciare. Tuttavia, OmniHuman supporta anche l’input video per il video driving. In questo modo può imitare azioni video specifiche.

Il motivo per cui OmniHuman può supportare sia l’audio driving (rendendo il video coerente con un dato audio) sia il video driving è il modo in cui è stato addestrato, che esploreremo a breve.

Come accedere a OmniHuman?

Al momento della pubblicazione di questo articolo, non sono disponibili informazioni dettagliate su come accedere a Omnihuman. Per aggiornamenti o annunci ufficiali su rilascio e modalità di accesso, tieni d’occhio i canali ufficiali di ByteDance, come i comunicati stampa o il sito aziendale. Inoltre, dato che ByteDance possiede TikTok, gli aggiornamenti potrebbero apparire anche sulle piattaforme associate all’azienda.

Come funziona OmniHuman?

OmniHuman deve il suo nome al fatto che, a differenza dei modelli attuali, integra molteplici segnali di condizione durante la fase di addestramento, che loro chiamano omni-conditions training. In parole semplici, questi segnali di condizione si riferiscono a diversi tipi di informazioni utilizzate per guidare la creazione di un video di una persona.

I modelli attuali spesso si basano su un singolo segnale di condizione, come l’audio o la posa. Ad esempio, i modelli condizionati sull’audio si concentrano sulle espressioni facciali e sulla sincronizzazione labiale, mentre quelli condizionati sulla posa enfatizzano le pose a figura intera.

Tuttavia, non tutti i dati sono perfettamente allineati con questi segnali specifici. Di conseguenza, grandi quantità di dati potenzialmente utili vengono scartate durante i processi di filtraggio perché contengono elementi (ad esempio movimenti del corpo non correlati al parlato nei modelli guidati dall’audio) che non rientrano nel campo ristretto del segnale di condizione.

Immagina di voler creare l’animazione di una persona, come in un videogioco o in un cartone. Per renderla realistica, ti serve sapere più di come appare in una singola immagine. Servono anche dettagli su come si muove, cosa dice e persino le pose che potrebbe assumere.

OmniHuman combina tre tipi di condizioni per imparare a generare video:

• Testo: significa usare parole scritte o descrizioni per guidare l’animazione. Per esempio, se il testo dice: "La persona sta salutando con la mano", l’animazione usa questa informazione per far salutare la persona.
• Audio: cioè il suono, come la voce di qualcuno o la musica di sottofondo. Se la persona nell’animazione sta dicendo qualcosa, il modello usa l’audio per fare in modo che le labbra si muovano correttamente in sincronia con le parole.
• Posa: si riferisce alla posizione e al movimento del corpo della persona. Per esempio, se vuoi animare qualcuno che balla, le pose forniscono una guida su come dovrebbero muoversi braccia e gambe.

L’idea è che, combinando questi segnali, il modello possa creare video dall’aspetto molto realistico.

Un altro vantaggio dell’omni-conditions training è che il modello può ridurre lo spreco di dati rispetto ad altri modelli. Questi ultimi non riescono a sfruttare appieno i dati utilizzati per addestrarli per i seguenti motivi:

• Specificità dei segnali di condizione: i modelli attuali spesso si basano su un singolo segnale di condizione, come l’audio o la posa. Ad esempio, i modelli condizionati sull’audio si concentrano sulle espressioni facciali e sulla sincronizzazione labiale, mentre quelli condizionati sulla posa enfatizzano le pose a figura intera. Tuttavia, non tutti i dati sono perfettamente allineati con questi segnali specifici. Di conseguenza, grandi quantità di dati potenzialmente utili vengono scartate durante i processi di filtraggio perché contengono elementi (ad esempio movimenti del corpo non correlati al parlato nei modelli guidati dall’audio) che non rientrano nel campo ristretto del segnale di condizione.
• Filtraggio e pulizia dei dati: per migliorare l’efficienza dell’addestramento e l’accuratezza del modello, i metodi esistenti applicano rigorosi processi di filtraggio e pulizia dei dati. Ad esempio, i modelli condizionati sull’audio filtrano i dati in base all’accuratezza del lip sync, mentre quelli condizionati sulla posa filtrano per visibilità e stabilità della posa. Questi processi rimuovono dati che potrebbero contenere schemi di movimento utili e scenari diversificati necessari per ampliare le capacità del modello.
• Applicabilità limitata: a causa della dipendenza da dataset altamente curati, questi modelli sono applicabili solo a un numero ristretto di scenari, come soggetti frontali e sfondi statici. Ciò limita le capacità di generalizzazione dei modelli in scenari reali più diversificati.

Grazie all’omni-conditions training, il modello OmniHuman può utilizzare in modo efficace dataset più ampi e diversificati, producendo generazione video umana più realistica e flessibile in un’ampia gamma di condizioni e stili.

Dati di addestramento per OmniHuman

Il dataset curato per addestrare OmniHuman comprende circa 18,7K ore di dati relativi a esseri umani, selezionati in base a criteri essenziali per la generazione video, come estetica, qualità dell’immagine e ampiezza del movimento.

Di questo enorme dataset, il 13% è stato destinato all’addestramento con le modalità audio e posa in base a rigorose condizioni di accuratezza del lip sync e visibilità della posa. Questo approccio a doppio livello garantisce che solo i dati più rilevanti contribuiscano alla comprensione dell’animazione umana da parte del modello, permettendogli di performare efficacemente in scenari variati.

I modelli tradizionali sono spesso stati addestrati su dataset molto più piccoli, in genere di poche centinaia di ore o meno, concentrandosi in modo ristretto su specifiche parti del corpo o tipi di animazione (ad esempio animazioni facciali o pose a figura intera) sotto rigidi vincoli di scena. Ciò ne ha limitato la generalizzabilità e l’applicabilità a compiti diversi. Evitando un filtraggio eccessivo e includendo compiti di condizionamento più deboli insieme ai relativi dati, OmniHuman attenua le limitazioni imposte dalla dipendenza esclusiva da dataset altamente filtrati.

Inoltre, a differenza dei tipici modelli end-to-end a singola condizione, OmniHuman impiega la sua strategia di omni-conditions training per utilizzare un addestramento con dati misti, superando così le sfide intrinseche riscontrate in altri lavori di punta che puntavano su video molto specializzati per addestrare il modello a generare tipi specifici di video. Questi modelli non mostrano la versatilità vista in OmniHuman.

Casi d’uso di OmniHuman

Vediamo alcuni dei possibili casi d’uso di OmniHuman. Come per ogni cosa, c’è un lato positivo e uno negativo.

Casi d’uso positivi

Ecco alcuni esempi di casi d’uso positivi per OmniHuman:

• Creazione di contenuti e engagement: questo tipo di tecnologia ha un valore enorme per TikTok e altre piattaforme social. Riesco già a immaginare OmniHuman come funzionalità di TikTok.
• Marketing e pubblicità: creare annunci personalizzati e immersivi con personaggi realistici.
• Democratizzazione della creazione cinematografica: l’AI rende la creazione di video molto più semplice. Questo permetterà a persone creative che mancano di competenze tecniche, budget o attrezzatura di dare vita alle proprie idee.
• Intrattenimento e media: Hollywood potrebbe usare questa tecnologia per riportare in vita attori scomparsi per nuovi ruoli nei film.
• Riportare in vita figure storiche: uno dei loro esempi mostra un video di Einstein che tiene un discorso sull’arte. Anche sapendo che non era reale, ho provato qualcosa nel vedere Einstein prendere vita. Potrei vederlo molto coinvolgente in una lezione sulla teoria della relatività. Possiamo anche immaginare un museo che aggiunge questo tipo di esperienza con altre figure storiche.

Casi d’uso negativi

Nonostante gli aspetti positivi, OmniHuman può anche essere uno strumento pericoloso e portare a molti problemi:

• Disinformazione e manipolazione politica: fabbricare video di leader politici per provocare disordini governativi o caos elettorale.
• Frodi finanziarie: creare false sponsorizzazioni da parte di celebrità per promuovere truffe o investimenti fraudolenti. Di recente c’è stato il caso di una donna francese che ha perso circa 850.000 dollari a causa di una truffa deepfake con una celebrità.
• Violazione della privacy: uso non autorizzato di immagini personali per creare video senza consenso.
• Furto d’identità e social engineering: impersonare individui per condurre attività malevole o truffe.
• Danno reputazionale e diffamazione: produrre video falsi progettati per danneggiare la reputazione o la carriera di qualcuno.
• Uso non etico dei contenuti: usare la tecnologia per inserire le fattezze di persone in contenuti per adulti o altro materiale discutibile senza consenso.
• Spionaggio aziendale e manipolazione del mercato: creare video di leader aziendali per pratiche non etiche come l’insider trading.

Rischi e questioni etiche di OmniHuman

Abbiamo suggerito alcuni dei casi d’uso negativi che OmniHuman potrebbe avere. Credo che la preoccupazione più grande sia il suo potenziale nel banalizzare la produzione di deepfake che sembrano reali ma sono completamente artefatti. 

Come abbiamo detto, questo rappresenta una minaccia, ad esempio, in politica, dove video falsi possono essere usati per diffondere informazioni false sui politici o influenzare l’opinione pubblica durante le elezioni. Per esempio, un deepfake potrebbe mostrare un politico che dice qualcosa che non ha mai detto, portando confusione e sfiducia tra gli elettori.

Tuttavia, non è un problema specifico di OmniHuman, perché queste cose accadono già. Ma temo quanto potrebbe peggiorare se chiunque potesse creare un deepfake con un clic.

Un sondaggio di Jumeo, azienda di verifica dell’identità, ha rilevato che il 60% delle persone ha incontrato un deepfake nell’ultimo anno, indicando che tali contenuti sono sempre più diffusi.

Lo stesso sondaggio ha rivelato che il 72% degli intervistati è preoccupato di essere ingannato quotidianamente dai deepfake. Ciò suggerisce un livello significativo di preoccupazione tra il pubblico riguardo all’essere tratti in inganno da contenuti generati dall’AI.

Questo report di Deloitte mostra che i contenuti generati dall’AI sono stati collegati a oltre 12 miliardi di dollari di perdite per frodi nel 2023, con proiezioni che suggeriscono possa arrivare a 40 miliardi negli Stati Uniti entro il 2027. Questo sottolinea i rischi finanziari associati all’uso della tecnologia deepfake nelle truffe.

Questi rischi richiedono solidi quadri normativi e strumenti di rilevamento efficaci per mitigare i potenziali abusi. Man mano che OmniHuman e tecnologie simili evolvono, diventa sempre più cruciale bilanciare innovazione e responsabilità, assicurando che strumenti così potenti siano usati con coscienza.

Conclusione

Assumendo che gli esempi forniti dal team di ricerca di OmniHuman non siano stati selezionati ad arte, questo strumento di generazione video ha il potenziale per trasformare la creazione di contenuti digitali in vari settori. Integrando molteplici segnali di condizione—come testo, audio e posa—OmniHuman genera video altamente realistici e dinamici, fissando un nuovo standard di autenticità e versatilità.

Tuttavia, sebbene le capacità di OmniHuman siano impressionanti, sollevano anche significative preoccupazioni etiche e sociali. La facilità con cui questa tecnologia può creare deepfake realistici alimenta problemi già esistenti legati a disinformazione, frodi e violazioni della privacy.