Meta Movie Gen-gids: hoe het werkt, voorbeelden, vergelijking

De weerspiegelingen in het water in de video zijn opmerkelijk. Ik vond ook de schaduwen op het gezicht van de luiaard best interessant. Dit soort kleine details vallen, als ze goed uitgevoerd zijn, vaak niet op. Maar als ze slecht gedaan zijn, springen ze juist in het oog en doorbreken ze de illusie.

Movie Gen Audio-model

Movie Gen Audio is een model met 13 miljard parameters dat videosoundtracks kan creëren die passen bij de inhoud van een video. Het kan ook audio genereren op basis van een tekstprompt.

Het genereert hoogwaardige audio van 48 kHz die synchroniseert met video’s van verschillende lengtes, zelfs van enkele minuten lang. Het model kan ook omgevingsgeluiden produceren die overeenkomen met onzichtbare bronnen in de video, geluidseffecten die synchroon lopen met acties en passende achtergrondmuziek.

Hier is een voorbeeld van de muziek en geluidseffecten die voor een van de video’s zijn gegenereerd met de prompt:

“Ritselende bladeren en knappend takjesgeluid, met een orkestrale muziektrack.”

Let op dat de stemming van de muziektrack niet in de prompt stond. Het model kon de stemming afleiden uit de inhoud van de video.

Gepersonaliseerd Movie Gen Video-model

Het Movie Gen Video-model kan video’s van een gekozen persoon genereren op basis van een tekstbeschrijving en een afbeelding van die persoon. De video bewaart de identiteit van de persoon, terwijl hij de tekstprompt volgt.

Het volgende voorbeeld is gegenereerd door de selfie van de persoon te combineren met de prompt:

“Een vrouwelijke dj draait platen op een rooftop in LA. Ze draagt een roze jas en gigantische koptelefoon. Er staat een cheeta naast de vrouw. De achtergrond is een skyline.”

Naar mijn mening is dit model hun kroonjuweel, omdat het enorme potentie heeft als het in andere producten, zoals Instagram, wordt geïntegreerd. Stel je voor dat gebruikers video’s van zichzelf in allerlei scenario’s kunnen maken, allemaal gegenereerd uit één afbeelding en een tekstprompt. Dat kan leiden tot een explosie van creatieve en boeiende content.

Movie Gen Edit-model

Met het Movie Gen Edit-model kunnen we eenvoudig gedetailleerde en creatieve wijzigingen aanbrengen in echte en fictieve video’s met alleen tekstinstructies.

Het model heeft de potentie om videobewerkingsworkflows in verschillende sectoren te veranderen. Het vermogen om tekstgebaseerde bewerkingsinstructies nauwkeurig te begrijpen en uit te voeren, kan het bewerkingsproces aanzienlijk verbeteren: sneller, efficiënter en toegankelijker voor een bredere groep gebruikers. Deze technologie kan filmmakers, contentmakers, docenten en iedereen die met videocontent werkt ten goede komen.

Hoe werkt Movie Gen Video?

De training van het Movie Gen Video-model omvatte meerdere kernelementen: gegevensverzameling en -voorbereiding, het trainingsproces zelf, fine-tuning voor verbeterde kwaliteit en de upsampling-technieken die zijn gebruikt om hoge resoluties te bereiken. 

Data en pre-processing

Het Movie Gen Video-model is getraind op een enorme dataset met honderden miljoenen video-tekstparen en meer dan een miljard afbeelding-tekstparen. 

Elke video in de dataset ondergaat een rigoureus curatieproces met filtering op visuele kwaliteit, bewegingskenmerken en relevantie van de inhoud. Het filterproces is gericht op video’s met niet-triviale beweging, single-shot camerawerk en een divers scala aan concepten, waarvan een aanzienlijk deel met mensen.

Bron: Movie Gen-onderzoeksartikel

Hoogwaardige bijschriften zijn erg belangrijk voor een effectieve training van het model. Movie Gen Video gebruikt het LLaMa3-Video-model om gedetailleerde bijschriften te genereren die de video-inhoud nauwkeurig beschrijven. Deze bijschriften gaan verder dan het simpelweg labelen van objecten; ze bevatten beschrijvingen van acties, camerabewegingen en zelfs informatie over belichting. Deze rijke tekstuele informatie helpt het model een meer genuanceerd begrip van visueel vertellen te leren.

Trainingsproces

Het trainingsproces voor Movie Gen Video is opgedeeld in meerdere fasen om efficiëntie en schaalbaarheid te verbeteren.

Het model wordt eerst getraind op de tekst-naar-afbeeldingstaak met afbeeldingen met lagere resolutie. Deze "opwarmfase" laat het model fundamentele visuele concepten leren voordat het de complexere taak van videogeneratie aanpakt.

Vervolgens wordt het model gezamenlijk getraind op zowel de tekst-naar-afbeelding- als de tekst-naar-videotaken, waarbij de resolutie van de invoergegevens geleidelijk wordt verhoogd. Deze gezamenlijke trainingsaanpak helpt het model de overvloed en diversiteit van afbeelding-tekstdatasets te benutten, terwijl het ook de complexiteit van videogeneratie leert.

Bron: Movie Gen-onderzoeksartikel

Om de rekenkundige eisen van videodata aan te kunnen, gebruikt Movie Gen Video een Temporal Autoencoder-model (TAE) om video’s in de tijd te comprimeren en decomprimeren. Dit is vergelijkbaar met het zippen en unzippen van bestanden op een computer, waardoor het model met een beter hanteerbare representatie van videodata kan werken.

Bron: Movie Gen-onderzoeksartikel

Movie Gen Video gebruikt een trainingsdoel genaamd Flow Matching. In plaats van direct de uiteindelijke video te genereren, begeleidt flow matching het model om stap voor stap een sample van willekeurige ruis geleidelijk om te vormen tot de gewenste video-output.

Flow Matching houdt in dat de snelheid (velocity) van samples in de latente ruimte wordt voorspeld in plaats van direct de samples zelf. Deze methode is efficiënter en performanter dan traditionele diffusie-gebaseerde methoden.

Fine-tuning

Om de kwaliteit en esthetiek van de gegenereerde video’s te verbeteren, ondergaat het model begeleide fine-tuning met een kleinere set handmatig gecureerde video’s met hoogwaardige bijschriften. Dit is als een kunstenaar die zijn techniek verfijnt met deskundige begeleiding, wat leidt tot visueel aantrekkelijkere en realistischer video-uitvoer.

Het uiteindelijke Movie Gen Video-model wordt gemaakt door meerdere modellen, getraind met verschillende datasets, hyperparameters en pretrain-checkpoints, te middelen. Deze techniek helpt de sterke punten van verschillende modellen te combineren, wat leidt tot robuustere en betrouwbaardere prestaties.

Upsampling

Het model produceert video’s met een resolutie van 768 pixels en gebruikt upsampling om de resolutie op te krikken naar full HD 1080p, wat resulteert in scherpere en visueel aantrekkelijkere video’s. Deze aanpak is gangbaar omdat het een rekenkundig efficiënte oplossing biedt: het basismodel kan minder tokens verwerken en toch high-res outputs leveren.

De Spatial Upsampler fungeert als een video-naar-video-generatiemodel. Hij neemt de video met lagere resolutie als input, schaalt deze op naar de doelformaat met bilineaire interpolatie, en codeert hem vervolgens in een latente ruimte met een frame-gewijze Variational Autoencoder (VAE).

Een latente-ruimtemodel genereert vervolgens de latenten van de HD-video, geconditioneerd op de gecodeerde latenten van de video met lagere resolutie. Ten slotte zet de VAE-decoder de resulterende HD-videolatenten terug naar pixelruimte, wat de uiteindelijke hoge-resolutie-output oplevert.

Bron: Movie Gen-onderzoeksartikel

Evaluatie van het Movie Gen-model

Het evalueren van een tekst-naar-video-model is uitdagender dan een tekst-naar-beeld-model vanwege de extra temporele dimensie. Het Meta-team gebruikte drie hoofdmaatstaven om het model te evalueren:

• Afstemming op de prompt
• Kwaliteit en consistentie
• Realistisch gehalte en esthetiek

Deze parameters worden handmatig beoordeeld door mensen die de video’s volgens deze parameters rangschikken.

Afstemming op de prompt

Promptafstemming meet hoe goed de gegenereerde video overeenkomt met de invoertekstprompt, inclusief beschrijvingen van onderwerp, beweging, achtergrond en andere details. Dit is verder onderverdeeld in: 

• Onderwerpovereenkomst: Richt zich op de afstemming van het uiterlijk van het onderwerp, achtergrond, belichting en stijl.
• Bewegingsovereenkomst: Beoordeelt de afstemming op bewegingsgerelateerde beschrijvingen.

Kwaliteit en consistentie

De kwaliteit en consistentie van de gegenereerde video worden onafhankelijk van de tekstprompt beoordeeld. Deze maatstaf is onderverdeeld in:

• Frameconsistentie: Controleert op inconsistenties of artefacten in het uiterlijk van objecten, belichting en achtergrond tussen frames.
• Volledigheid van beweging: Beoordeelt of de video voldoende beweging bevat, vooral bij ongewone onderwerpen of activiteiten.
• Natuurlijkheid van beweging: Beoordeelt het realisme en de natuurlijkheid van de beweging, met aandacht voor zaken als ledematenbeweging, gezichtsuitdrukkingen en naleving van natuurkundige wetten.
• Algehele kwaliteit: Een holistische beoordeling die de balans van de vorige drie subassen meeneemt om de algehele kwaliteit van de video te bepalen.

Realistisch gehalte en esthetiek

Beoordelaars werd gevraagd om het vermogen van het model om fotorealistische en esthetisch aantrekkelijke video’s te produceren te beoordelen. Dit criterium is onderverdeeld in:

• Realistisch gehalte: Beoordeelt hoe dicht de video bij een echte video ligt, of, bij fantastische prompts, hoe goed hij een realistische kunststijl nabootst.
• Esthetiek: Beoordeelt de visuele aantrekkingskracht van de video op basis van factoren zoals inhoud, belichting, kleur en camera-effecten.

Evaluatiebenchmark

De benchmarkdata is ontworpen om videogeneraties uitgebreid te evalueren. Het omvat 1.000 prompts die verschillende testaspecten bestrijken, zoals menselijke activiteit, dieren, natuur, fysica en ongewone onderwerpen of activiteiten. 

Hun benchmark is meer dan drie keer zo groot als die in eerdere studies. Elke prompt is gelabeld met een bewegingsniveau (hoog, medium, laag) om de generatiekwaliteit over verschillende bewegingsintensiteiten te beoordelen.

De evaluatie gebruikt de volledige promptset en bekijkt specifieke testmaatstaven, met name de vraag hoe goed modellen ongewone onderwerpen en bewegingen aankunnen om hun generalisatievermogen te testen.

Het volgende diagram toont een uitsplitsing van de prompts die in de evaluatie zijn gebruikt. Links zien we de verdeling van de concepten van de prompts. Aan de rechterkant zien we veelgebruikte zelfstandige naamwoorden en werkwoorden in de prompts (hoe groter het woord, hoe vaker het voorkomt):

Bron: Movie Gen-onderzoeksartikel

De onderstaande tabel toont de resultaten van de menselijke evaluatie van de video’s die door verschillende modellen zijn geproduceerd op meerdere evaluatiecriteria. De cijfers vertegenwoordigen netto winstpercentages, berekend als (Win % - Verlies %). Dit loopt van -100 (volledig verlies) tot 100 (volledige winst), waarbij 0 op gelijkspel duidt.

Bron: Movie Gen-onderzoeksartikel

Meta Movie Gen vs. Sora vs. Runway Gen 3

Volgens hun experimenten presteert Movie Gen Video sterk in tekst-naar-videogeneratie en overtreft het verschillende bestaande modellen, waaronder commerciële systemen zoals Runway Gen3 en LumaLabs, op basis van menselijke evaluaties met de MovieGen Video Bench. Specifiek laat Movie Gen Video aanzienlijke voordelen zien in:

• Algehele kwaliteit: Beoordelaars gaven consequent hogere cijfers aan de output van Movie Gen, met name qua visuele getrouwheid, natuurlijkheid van beweging en afstemming op de tekstprompts.
• Natuurlijkheid en consistentie van beweging: Movie Gen heeft een duidelijke voorsprong in het genereren van video’s met natuurlijke en consistente beweging, en overtreft Runway Gen3 en Sora van OpenAI op deze punten. Deze kracht is waarschijnlijk te danken aan het vermogen van het model om echte fysica te leren en te simuleren via het Flow Matching-trainingsdoel en het uitgebreide gebruik van videodata tijdens de training.
• Realistisch gehalte en esthetiek: Movie Gen blinkt ook uit in het genereren van video’s met een hoger realistisch gehalte en meer esthetische aantrekkingskracht dan Runway Gen3, LumaLabs en Kling1.5.

Hoewel MovieGen over het algemeen beter presteert dan andere modellen, genereert Kling1.5 soms video’s met grotere bewegingsomvang, zij het ten koste van vervormingen en inconsistenties. Dit benadrukt de afweging tussen volledigheid van beweging en visuele kwaliteit, waarbij Movie Gen Video prioriteit geeft aan realistische en consistente beweging boven het simpelweg maximaliseren van de bewegingsomvang.

Hieronder staan enkele screenshots uit de Meta Connect 2024-presentatie met een paar vergelijkingsvoorbeelden van videogeneratieprompts:

Bron: Movie Gen-onderzoeksartikel

Hier zijn enkele vergelijkingsvoorbeelden van videopersonalisatie, waarbij een foto wordt gebruikt om een gepersonaliseerde video te genereren:

Bron: Movie Gen-onderzoeksartikel

Tot slot tonen de onderstaande screenshots vergelijkingsvoorbeelden van videobewerking:

Bron: Movie Gen-onderzoeksartikel

Al met al lijkt het erop dat Meta Movie Gen de lat heeft verhoogd en een nieuwe standaard heeft gezet voor tekst-naar-videomodellen. De evaluatieprocedure in het artikel oogt eerlijk, maar het is natuurlijk lastig om het zeker te weten totdat deze modellen openbaar beschikbaar zijn en neutrale derden ze kunnen vergelijken.

Beperkingen van het model

Hoewel Meta Movie Gen er sterk uitziet in mediageneratie, zijn er nog steeds verbeterpunten.

Het model heeft soms moeite met complexe scènes met ingewikkelde geometrie, objectmanipulatie en realistische simulaties van natuurkunde. Zo kan het nog een uitdaging zijn om overtuigende interacties tussen objecten te genereren, toestandsveranderingen (zoals smelten of versplinteren) nauwkeurig weer te geven en de effecten van zwaartekracht of botsingen realistisch te simuleren.

Audiosynchronisatie kan in bepaalde scenario’s problematisch zijn. Vooral bij bewegingen die visueel klein zijn, verborgen (geoccludeerd) zijn of een hoog niveau van visueel begrip vereisen om het bijbehorende geluid te genereren, kunnen de modellen moeite hebben met perfecte synchronisatie. Voorbeelden hiervan zijn het nauwkeurig synchroniseren van voetstappen met een lopend persoon, passende geluiden genereren voor objecten die gedeeltelijk uit het zicht zijn, en subtiele handbewegingen op een gitaar herkennen om de juiste muzikale noten te produceren.

Daarnaast ondersteunt het Movie Gen Audio-model in de huidige vorm geen stemgeneratie.

Veiligheidsoverwegingen en modelrelease

Realistische AI-gegenereerde video’s brengen aanzienlijke risico’s en ethische uitdagingen met zich mee die moeten worden meegewogen. Deze risico’s omvatten het manipuleren van vertrouwen en de verspreiding van desinformatie via deepfakes, wat reputaties kan schaden, het publiek kan misleiden en bedrijven kan benadelen.

Aan de ene kant kan het een Instagram-functie zijn waarmee ik een coole video van mezelf kan maken om met vrienden te delen, maar aan de andere kant maakt diezelfde functie het mogelijk om een nepvideo van iemand anders te maken. Naarmate deze technologieën verbeteren, wordt het mogelijk onmogelijk om ze van echt te onderscheiden.

AI-gegenereerde content vormt privacy-dreigingen, wat kan leiden tot afpersing, chantage of cyberpesten.

Bovendien kunnen deze AI-tools kunst en auteursrecht ondermijnen door unieke stijlen na te bootsen zonder erkenning. Oplossingen omvatten het vergroten van bewustzijn en educatie over mediawijsheid, investeren in detectietechnologie, het opzetten van juridische en ethische kaders en het toepassen van watermerken voor authenticatie.

Hoewel AI-videogeneratie veel potentieel heeft, vereist het zorgvuldige omgang om vertrouwen en authenticiteit te behouden.

Meta is open geweest over zijn AI-ontwikkelingen door de Llama-modellen open source te maken. Maar om veiligheidsredenen worden de Meta Movie Gen-modellen voorlopig niet vrijgegeven. Volgens hun artikel zijn meerdere verbeteringen en veiligheidsmaatregelen nodig voordat ze kunnen worden uitgerold.

Conclusie

In deze blogpost hebben we de Movie Gen-modellen van Meta geïntroduceerd, een suite van AI-modellen voor het genereren en bewerken van video’s met tekstprompts.

We hebben de vier afzonderlijke modellen, hun mogelijkheden en hoe ze werken verkend. Via een vergelijkende analyse lieten we zien hoe Meta Movie Gen zich verhoudt tot andere AI-videogeneratietools.

Hoewel Meta Movie Gen een nieuwe benchmark heeft gezet in dit veld, roept het potentiële misbruik van de technologie grote zorgen op. Meta erkent deze risico’s en kiest voor een voorzichtige aanpak bij het vrijgeven van deze modellen.

Wil je meer leren over het ecosysteem van Meta AI? Dan raad ik deze blogs aan:

• SAM 2: aan de slag met Meta's Segment Anything Model 2
• Fine-tunen van SAM 2 op een aangepaste dataset
• Llama 3.2-gids: hoe het werkt, use cases & meer
• Wat is Meta's Llama 3.1 405B? Hoe het werkt, use cases & meer