ByteDance’s OmniHuman: een gids met voorbeelden

Wat is OmniHuman?

OmniHuman is een image-to-video-generatiemodel dat realistische video’s of animaties kan genereren op basis van een afbeelding. Technisch gezien is de volledige naam OmniHuman-1, wat suggereert dat het onderdeel is van een langetermijnproject met toekomstige versies in ontwikkeling. Voor het gemak noem ik het in deze blog overal OmniHuman.

Afgaande op de voorbeelden van het onderzoeksteam achter OmniHuman blinkt het model uit in het animeren van het onderwerp op een manier die natuurlijk oogt, met gebaren, en zelfs zingen of instrumenten bespelen.

OmniHuman kan video’s genereren met verschillende invoerformaten en lichaamsproporties en ondersteunt diverse soorten shots, zoals close-ups, half- of volledige lichaamsopnames. Het kan ook lipsync uitvoeren met audio.

Let op dat de invoerafbeeldingen voor de meeste video’s in dit artikel het eerste frame van elke video zijn (plus de audio). Dit is belangrijk om in gedachten te houden om een beter beeld te krijgen van hoe eenvoudig het is om deze video’s te genereren met OmniHuman.

Functies van OmniHuman

Ondersteuning voor een breed scala aan onderwerpen

OmniHuman kan meer dan alleen menselijke figuren verwerken. Denk aan cartoons, kunstmatige objecten, dieren en zelfs lastige poses die traditionele videoproductietools kunnen uitdagen.

OmniHuman ondersteunt ook meerdere beeldverhoudingen, wat bij videogeneratiemodellen soms een beperking is. De video hierboven heeft een portretverhouding (9:16), terwijl die hieronder vierkant is (1:1).

Praten en zingen

In het onderstaande voorbeeld zien we een realistische, door AI gegenereerde Ted Talk. Het is bizar om te bedenken dat dit uit één enkele afbeelding is gemaakt. De lichaamstaal is best overtuigend en consistent met de gesproken tekst.

In dit tweede voorbeeld hebben we een zingend onderwerp. Dit voorbeeld is minder overtuigend omdat de beweging van de gitaarhand niet overeenkomt met het gitaarnummer.

Lipsync

Het volgende voorbeeld laat goed zien hoe sterk OmniHuman is in lipsync. Anders dan bij de gitaarhandbeweging levert deze video een echt geloofwaardige performance: het lijkt echt alsof de persoon zingt, zelfs consistent met de toonhoogte.

Dit geldt ook voor normale spraak, niet alleen voor zingen (zie het onderstaande voorbeeld). Het grootste minpunt van de video hieronder is dat ik artefacten rond het haar zie wanneer het kind beweegt. Ook de kleur van de lippen en de witheid van de tanden zijn erg onnatuurlijk en passen niet bij het onderwerp.

Volledig lichaam, half lichaam en close-ups

De volgende twee voorbeelden laten zien dat OmniHuman zowel half-lichaamvideo’s als close-ups kan genereren. Laten we beginnen met het half-lichaamvoorbeeld:

En nu een video die is gegenereerd als close-up:

Handen animeren

Iets waar video- en afbeeldingsgeneratiemodellen vaak moeite mee hebben, zijn handen. Om de een of andere reden vormen handen een grote uitdaging voor AI, wat resulteert in extra vingers en glitches. Afgaande op hun voorbeelden lijkt OmniHuman hier goed mee om te gaan.

Het lijkt ook gevallen aan te kunnen waarin een object wordt vastgehouden:

Video driving

We zagen dat OmniHuman audio driving ondersteunt, waarbij audio wordt gebruikt om de videogeneratie te sturen zodat deze ermee overeenkomt. Maar OmniHuman ondersteunt ook video-invoer voor video driving. Zo kan het specifieke videoacties nabootsen.

De reden dat OmniHuman zowel audio driving (de video consistent maken met een gegeven audio) als video driving ondersteunt, is de manier waarop het is getraind. Dat bekijken we hierna.

Hoe krijg je toegang tot OmniHuman?

Op het moment van publicatie van dit artikel is gedetailleerde informatie over toegang tot Omnihuman niet beschikbaar. Voor officiële updates of aankondigingen over de release en toegangsdetails kun je de officiële kanalen van ByteDance in de gaten houden, zoals persberichten of hun corporate website. Aangezien ByteDance eigenaar is van TikTok, kunnen updates ook verschijnen op aan het bedrijf gelieerde platforms.

Hoe werkt OmniHuman?

OmniHuman dankt zijn naam aan het feit dat het, in tegenstelling tot huidige modellen, meerdere conditioneringssignalen integreert tijdens de trainingsfase, wat zij omni-conditions training noemen. Simpel gezegd verwijzen deze signalen naar verschillende soorten informatie die worden gebruikt om de creatie van een video van een mens te sturen.

Huidige modellen vertrouwen vaak op één enkel conditioneringssignaal, zoals audio of pose. Zo richten audio-geconditioneerde modellen zich op gezichtsuitdrukkingen en lipsynchronisatie, terwijl pose-geconditioneerde modellen de nadruk leggen op volledige lichaamshoudingen.

Maar niet alle data sluit perfect aan op deze specifieke signalen. Daardoor wordt een grote hoeveelheid potentieel bruikbare data weggegooid tijdens het filteren, omdat ze elementen bevatten (bijv. lichaamsbewegingen die niets met spraak te maken hebben in audio-gedreven modellen) die niet binnen de nauwe scope van het conditioneringssignaal passen.

Stel dat je een animatie van een persoon wilt maken, zoals in een videogame of tekenfilm. Om de animatie realistisch te laten lijken, heb je meer nodig dan alleen hoe de persoon eruitziet op één plaatje. Je hebt ook details nodig over hoe ze bewegen, wat ze zeggen en welke poses ze aannemen.

OmniHuman combineert drie soorten condities om te leren video’s te genereren:

• Tekst: Hierbij worden geschreven woorden of beschrijvingen gebruikt om de animatie te sturen. Bijvoorbeeld: als er staat: "De persoon zwaait met zijn hand", gebruikt de animatie die informatie om de persoon te laten zwaaien.
• Audio: Dit is geluid, zoals iemands stem of achtergrondmuziek. Als de persoon in de animatie iets zegt, gebruikt het model de audio om ervoor te zorgen dat de lippen correct meebewegen met de woorden.
• Pose: Dit verwijst naar de positie en beweging van het lichaam. Als je bijvoorbeeld iemand wilt animeren die danst, geven de poses aan hoe armen en benen zouden moeten bewegen.

Het idee is dat het model door deze verschillende signalen te combineren video’s kan creëren die er zeer realistisch uitzien.

Een ander voordeel van omni-conditions training is dat het model minder data verspilt dan andere modellen. Andere modellen kunnen om de volgende redenen niet optimaal profiteren van de data waarmee ze worden getraind:

• Specificiteit van conditioneringssignalen: Huidige modellen vertrouwen vaak op één enkel conditioneringssignaal, zoals audio of pose. Zo richten audio-geconditioneerde modellen zich op gezichtsuitdrukkingen en lipsynchronisatie, terwijl pose-geconditioneerde modellen de nadruk leggen op volledige lichaamshoudingen. Maar niet alle data sluit perfect aan op deze specifieke signalen. Daardoor wordt een grote hoeveelheid potentieel bruikbare data weggegooid tijdens het filteren, omdat ze elementen bevatten (bijv. lichaamsbewegingen die niets met spraak te maken hebben in audio-gedreven modellen) die niet binnen de nauwe scope van het conditioneringssignaal passen.
• Datafiltering en -opschoning: Om de trainingsefficiëntie en modelnauwkeurigheid te verbeteren, passen bestaande methoden strenge datafilter- en opschoningsprocessen toe. Audio-geconditioneerde modellen filteren bijvoorbeeld op lipsync-nauwkeurigheid, terwijl pose-geconditioneerde modellen filteren op zichtbaarheid en stabiliteit van poses. Deze processen verwijderen data die mogelijk nuttige bewegingspatronen en diverse scenario’s bevatten die nodig zijn om de capaciteiten van het model uit te breiden.
• Beperkte toepasbaarheid: Door hun afhankelijkheid van sterk samengestelde datasets zijn deze modellen slechts toepasbaar in een beperkte reeks scenario’s—zoals frontale, statische achtergronden. Dit beperkt het generaliserend vermogen van de modellen in meer diverse, realistische situaties.

Door omni-conditions training te gebruiken, kan het OmniHuman-model effectief grotere en meer diverse datasets benutten, wat resulteert in realistischer en flexibeler videogenereer van mensen in een breed scala aan condities en stijlen.

Trainingsdata voor OmniHuman

De dataset die voor het trainen van OmniHuman is samengesteld, omvat ongeveer 18,7K uur aan mensgerelateerde data, geselecteerd op criteria die essentieel zijn voor videogeneratie, zoals esthetiek, beeldkwaliteit en bewegingsamplitude.

Van deze enorme dataset werd 13% gereserveerd voor training met audio- en posemodaliteiten, gebaseerd op strikte lipsync-nauwkeurigheid en posezichtbaarheid. Deze tweelaagse aanpak zorgt ervoor dat alleen de meest relevante data het begrip van menselijke animatie voedt, zodat het model effectief kan presteren in uiteenlopende scenario’s.

Traditionele modellen zijn vaak getraind op veel kleinere datasets, doorgaans enkele honderden uren of minder, met een enge focus op specifieke lichaamsdelen of soorten animatie (bijv. gezichtsanimaties of volledige lichaamspose) onder starre scènebeperkingen. Dit beperkte de generaliseerbaarheid en toepasbaarheid van deze modellen over verschillende taken. Door overmatige filtering te vermijden en zwakkere conditioneringsopdrachten en de bijbehorende data te omarmen, omzeilt OmniHuman de beperkingen van een exclusieve afhankelijkheid van sterk gefilterde datasets.

Bovendien maakt OmniHuman, in tegenstelling tot typische end-to-endmodellen met één conditie, gebruik van zijn omni-conditions-trainingsstrategie om mixed data training te benutten. Zo overwint het de inherente uitdagingen die te zien waren in andere toonaangevende werken die zich richtten op zeer gespecialiseerde video’s om het model te trainen voor specifieke soorten video’s. Deze modellen vertonen niet de veelzijdigheid die we bij OmniHuman zien.

Use-cases van OmniHuman

Laten we een paar mogelijke use-cases van OmniHuman verkennen. Zoals altijd is er een goede en een slechte kant.

Positieve use-cases

Hier zijn enkele voorbeelden van positieve use-cases voor OmniHuman:

• Contentcreatie en engagement: Dit soort technologie is enorm waardevol voor TikTok en andere sociale platforms. Ik kan me OmniHuman nu al voorstellen als een functie in TikTok.
• Marketing en reclame: Gepersonaliseerde en meeslepende advertenties maken met levensechte personages.
• Democratisering van filmcreatie: AI maakt het maken van video’s veel makkelijker. Dit stelt creatieve mensen zonder technische skills, budget of apparatuur in staat hun ideeën tot leven te brengen.
• Entertainment en media: Hollywood zou dit soort technologie kunnen gebruiken om overleden acteurs nieuw leven in te blazen voor rollen in films.
• Historische figuren tot leven wekken: Een van hun voorbeelden toont een video van Einstein die een toespraak over kunst houdt. Ook al wist ik dat het niet echt was, het raakte me om Einstein tot leven te zien komen. Dit kan erg boeiend zijn in een college over de relativiteitstheorie. Je kunt je ook voorstellen dat een museum dit soort ervaring toevoegt met andere historische figuren.

Negatieve use-cases

Ondanks de positieve kanten kan OmniHuman ook een gevaarlijk hulpmiddel zijn en tot veel problemen leiden:

• Desinformatie en politieke manipulatie: Video’s van politieke leiders fabriceren om overheidsontwrichting of electorale chaos aan te wakkeren.
• Financiële fraude: Valse aanbevelingen door beroemdheden creëren om oplichting of frauduleuze investeringen te promoten. Onlangs was er een zaak van een Franse vrouw die ongeveer $850.000 verloor door een deepfake-bekendheidsscam.
• Inbreuk op privacy: Ongeautoriseerd gebruik van persoonlijke beelden om zonder toestemming video’s te maken.
• Identiteitsdiefstal en social engineering: Zich voordoen als anderen om kwaadwillende activiteiten of oplichting te plegen.
• Reputatieschade en smaad: Nepvideo’s produceren die bedoeld zijn om iemands reputatie of carrière te schaden.
• Onethisch gebruik van content: De technologie gebruiken om iemands gelijkenis zonder toestemming in volwassen content of ander kwetsend materiaal te plaatsen.
• Industriespionage en marktmanipulatie: Video’s van bedrijfsleiders creëren voor onethische praktijken zoals handel met voorkennis.

Risico’s en ethische zorgen rond OmniHuman

We hebben enkele negatieve use-cases genoemd die OmniHuman kan hebben. Ik denk dat de grootste zorg het potentieel is om de productie van deepfakevideo’s, die echt lijken maar volledig verzonnen zijn, te trivialiseren. 

Zoals gezegd vormt dit bijvoorbeeld in de politiek een bedreiging, waar nepvideo’s kunnen worden gebruikt om valse informatie over politici te verspreiden of de publieke opinie tijdens verkiezingen te beïnvloeden. Een deepfake kan bijvoorbeeld laten zien dat een politicus iets zegt wat hij of zij nooit heeft gezegd, wat leidt tot verwarring en wantrouwen bij kiezers.

Dit is echter geen probleem dat specifiek is voor OmniHuman, want het gebeurt nu al. Maar ik maak me zorgen over hoe veel erger het wordt als iedereen met één druk op de knop een deepfake kan maken.

Een enquête van Jumeo, een ID-verificatiebedrijf, toont aan dat 60% van de mensen het afgelopen jaar een deepfake tegenkwam, wat erop wijst dat dergelijke content steeds wijdverspreider wordt.

Diezelfde enquête liet zien dat 72% van de respondenten zich zorgen maakt om dagelijks door deepfakes te worden misleid. Dit wijst op een aanzienlijk niveau van bezorgdheid onder het publiek over misleiding door AI-gegenereerde content.

Dit rapport van Deloitte laat zien dat AI-gegenereerde content in 2023 in verband werd gebracht met meer dan $12 miljard aan fraudeverliezen, met prognoses dat dit in de VS tegen 2027 zou kunnen oplopen tot $40 miljard. Dit onderstreept de financiële risico’s van deepfake-technologie in oplichting.

Deze risico’s vragen om robuuste regelgevingskaders en effectieve detectietools om misbruik te beperken. Naarmate OmniHuman en vergelijkbare technologieën evolueren, wordt het steeds crucialer om innovatie te balanceren met verantwoordelijkheid, zodat zulke krachtige tools gewetensvol worden ingezet.

Conclusie

Als we aannemen dat de voorbeelden van het OmniHuman-onderzoeksteam niet selectief gekozen zijn, heeft deze videogeneratietool het potentieel om digitale contentcreatie in verschillende sectoren te transformeren. Door meerdere conditioneringssignalen—zoals tekst, audio en pose—te integreren, genereert OmniHuman zeer realistische en dynamische video’s en zet het een nieuwe standaard in authenticiteit en veelzijdigheid.

Toch roepen de indrukwekkende capaciteiten van OmniHuman ook aanzienlijke ethische en maatschappelijke zorgen op. De eenvoud waarmee deze technologie realistische deepfakes kan creëren, wakkert bestaande problemen rond desinformatie, fraude en privacyschending verder aan.