Runway Gen 4: een gids met praktische voorbeelden

Hoe krijg je toegang tot Runway Gen-4

Om toegang te krijgen tot Runway Gen-4 heb je een abonnement nodig. Houd er rekening mee dat de uitrol nog bezig is, dus afhankelijk van waar je je bevindt, is het mogelijk nog niet beschikbaar of alleen binnen duurdere abonnementen. In de VS krijg je met een abonnement van $12 625 credits om Gen-4 te gebruiken.

Bovendien moest ik, zelfs na het afsluiten van een abonnement, nog een dag wachten voordat het op mijn account beschikbaar werd.

Hoe genereer je een video met Runway Gen-4

Video’s in Runway ML worden gegenereerd binnen sessies. Om een video te maken, moeten we eerst een nieuwe sessie aanmaken door in het menu links het item “Sessions” te selecteren:

Daarna klikken we rechts op de knop “New Session” om een sessie te maken:

Wanneer we de sessie openen, zien we een eenvoudige interface waar we een afbeelding en een tekstprompt kunnen combineren om een video te genereren:

Bron afbeelding: Pexels

Zorg ervoor dat je onderaan het Gen-4-model selecteert:

Hier is het resultaat:

De video is naar mijn mening best goed.

Als je hulp nodig hebt bij het schrijven van een prompt, bieden ze deze richtlijnpagina. Hoe ik de richtlijnen gebruikte om prompts te genereren: ik maakte een AI-bot met de richtlijnen, bedoeld om mijn ideeën op hoog niveau om te zetten in bruikbare Runway-prompts.

Let op: in tegenstelling tot andere videogenereermodellen kunnen we geen video genereren op alleen tekst—het model vereist altijd een afbeelding. 

Hoe maak je een afbeelding in Runway

In dit eerste voorbeeld gebruikte ik een vrij te gebruiken afbeelding die ik online vond. Deze kunnen een geweldige bron zijn om video’s te maken.

Runway biedt ook een beeldgeneratiemodel. Om de een of andere reden was dat echter niet beschikbaar in het basisabonnement en moest ik hun duurste abonnement nemen om er toegang toe te krijgen.

Om een afbeelding te genereren:

1. Selecteer de modus “Image”
2. Typ een prompt die de afbeelding beschrijft
3. Selecteer de beeldstijl (dit kan gegenereerd worden op basis van een bestaande afbeelding die je hebt of een preset van Runway). 

Het model genereerde deze vier afbeeldingen:

Alleen de onderste twee voldoen aan de prompt. We zien dat beide beelden bovenaan meer dan twee koffiekopjes hebben, en de eerste heeft zelfs enkele vreemde artefacten.

De reden dat ik om een rood papier op tafel vroeg, is dat ik van deze afbeelding een video wilde genereren waarin de man een origami papieren bloem maakt om aan het meisje te geven.

Om dat te doen, kunnen we over de afbeelding bewegen die we willen gebruiken en op de knop “Use” klikken:

Ik maakte een prompt met het verzoek om een video met vaste camera te maken waarin de man een origami bloem maakt en deze aan het meisje geeft. Ik probeerde het twee keer: eerst een video van 5 seconden en daarna een van 10 seconden. De resultaten waren dit keer behoorlijk teleurstellend (ik gebruikte hier Gen-4):

Ontbrekende functies voor personageconsistentie

Ik heb de afgelopen weken veel AI-videogeneratietools getest. Een van de grootste problemen bij het maken van langere content is de mogelijkheid om hetzelfde personage in meerdere scènes te hebben. Deze tools laten ons meestal video’s van enkele seconden genereren. Dat is genoeg om een lange video te maken door meerdere scènes te combineren, maar we moeten wel dezelfde personages in meerdere scènes kunnen laten verschijnen.

In hun introductieartikel over Gen-4 laten ze het lijken alsof het heel eenvoudig is om met de nieuwe modus langere video’s te maken:

Ik had verwacht dat ik een afbeelding van mijn personage kon aanleveren, de scènebeelden met dat personage erin kon genereren en tot slot elke scène kon genereren met Gen-4. Dat wordt echter niet ondersteund, in elk geval nog niet.

Op het tabblad voor beeldgeneratie zien we een “References”-functie die nog niet beschikbaar is.

Ik vind dit misleidend, want zonder die functie zijn de video’s uit hun aankondiging simpelweg niet te maken.

Omgaan met de beperkingen van Runway

Gelukkig hebben zowel Google als OpenAI deze functie recent uitgebracht in hun beeldgeneratiemodellen. Google’s Gemini 2.0 heeft een storytellingmodus die een reeks beelden voor een verhaal genereert, terwijl de GPT-4o beeldgenerator van OpenAI een referentieafbeelding kan nemen en die kan omzetten in wat we maar willen. Als je meer over deze twee tools wilt leren, ik heb ze hier behandeld:

• GPT-4o Image Generation: een gids met 8 praktische voorbeelden
• Gemini Image Editing: een gids met 10 praktische voorbeelden

Een video genereren met Gemini storytelling

Hier is een video die ik maakte waarin ik Gemini vroeg een visueel verhaal te vertellen over een vlam en een waterdruppel die verliefd worden maar leren dat ze elkaar niet kunnen aanraken.

In de storytellingmodus genereert Gemini een reeks beelden om een visueel verhaal te vertellen. Vervolgens gebruikte ik een AI-tool om op basis van Runway’s richtlijnen prompts te genereren om elk van de frames te animeren. Hier is het resultaat:

De clips zijn samengevoegd met videobewerkingssoftware. Ik heb wat geknipt en eenvoudige overgangen toegevoegd. Ook moest ik veel itereren met zowel Gemini als Runway om het frame te krijgen dat ik wilde.

Ik ben best tevreden met het resultaat. Er zitten hier en daar wat glitches in, maar over het algemeen kon ik het verhaal vertellen dat ik wilde vertellen. Ik werd zelfs best verdrietig van dit verhaal, wat laat zien dat zelfs AI-gegenereerde content echte menselijke emoties kan bevatten, omdat er uiteindelijk toch een mens achter zit die een boodschap probeert over te brengen.

Een video genereren met GPT-4o beeldgeneratie

Ik vind GPT-4o veel krachtiger en veelzijdiger in het genereren van afbeeldingen dan Gemini. Voor de vorige video waren veel iteraties nodig om in de buurt te komen van wat ik wilde, en ik moest zelfs GPT-4o gebruiken om een van de frames te genereren.

Ik wil een verhaal proberen over een avonturier die in een schilderij klimt en naar de wereld in het schilderij wordt geteleporteerd.

Ik begon met GPT-4o te vragen het personage te genereren. Toen ik tevreden was met het resultaat, dacht ik na over de frames die ik wilde:

1. Het personage kijkt naar het schilderij.
2. We zien een close-up van het gezicht van het personage dat het schilderij overweegt.
3. Het personage klimt in het schilderij.
4. Het personage bevindt zich nu in de wereld van het schilderij.
5. Een luchtshot toont deze uitgestrekte nieuwe wereld.

Toen ik tevreden was met de frames, gebruikte ik Gen-4 om voor elk ervan een video te genereren en ze samen te voegen in videobewerkingssoftware:

Ik vind het niet slecht voor een eerste poging. De scène waarin de man het schilderij binnenloopt, moet opnieuw worden gemaakt. Ik heb meerdere generaties geprobeerd, maar geen daarvan werd zoals ik het wilde.

Runway Gen-4 vs. andere tools

Omdat de fundamentele tools om personageconsistentie te behouden nog niet beschikbaar zijn in Runway, is Gen-4 op het moment van schrijven slechts een image-to-video-model. Daarom wilde ik het vergelijken met andere modellen om te zien hoe het presteert.

Ik koos ervoor om de eerste scène van de Vlam en Waterdruppel-video te animeren, waarin de vlam naar rechts loopt en het frame verlaat.

Hier is een vergelijking naast elkaar tussen Runway, Sora en WanVideo:

We zien dat alleen Runway de taak aankan. Dit laat zien dat er enorme potentie is voor dit model zodra alle functies beschikbaar komen.

Meer Runway Gen-4-voorbeelden

In deze sectie laat ik nog een paar video’s zien die ik probeerde te genereren, zodat je beter begrijpt wat Runway Gen-4 in dit stadium kan.

Papieren vliegtuigje

Ik had het idee om een video te maken van iemand die een papieren vliegtuigje maakt en het vervolgens laat vliegen. Ik maakte vier frames:

• De persoon maakt het vliegtuigje.
• De persoon rent in een veld om het vliegtuigje te gooien.
• De persoon springt in het vliegtuigje.
• De persoon vliegt in het vliegtuigje.

In dit voorbeeld zien we opnieuw dat het model moeite had met het papier. Ik gok dat het te veel detail is. Ook is de scène waarin in het vliegtuigje gesprongen wordt erg vreemd.

Objecten animeren

Ik was benieuwd hoe het model omgaat met het animeren van objecten uit de echte wereld, dus ik nam een foto en vroeg Gen-4 om ze te laten dansen. Het resultaat is naar mijn idee best grappig:

Verkeerslicht

Op hun website hebben ze een voorbeeld van een verkeerslichtpoppetje dat tot leven komt en uit het verkeerslicht springt. Dit inspireerde me om een korte video te proberen te maken van een verkeerslichtpoppetje dat voor de politie wegrent en vervolgens in een inactief voetgangersverkeerslicht springt om zich te verstoppen.

Hier zijn de drie afbeeldingen die ik met GPT-4o genereerde, samen met de video’s:

Helaas kon Gen-4 mijn visie niet waarmaken. Ik probeerde meerdere iteraties, maar het zat er steeds ver naast.

Conclusie

Over het geheel genomen vind ik Gen-4 een goed image-to-video-model, vooral bij vertrouwde scènes. Toch ervoer ik veel frictie en frustratie om het te laten doen wat ik wilde.

Ik vond hun aankondiging ook een beetje misleidend, omdat sommige functies om consistente longform video’s te maken nog niet beschikbaar zijn, en dat was helemaal niet duidelijk voordat ik het abonnement kocht. Ik wou dat AI-bedrijven zouden wachten tot hun producten af zijn in plaats van ze te hypen. Als het niet was voor recente releases van Google en OpenAI, had ik geen van de video’s die ik hier maakte kunnen maken.

Ik denk dat Runway veelbelovend is, maar ze zijn nog ver verwijderd van een product waarmee iedereen met een verhaal dit ook echt kan vertellen. We zijn nog mijlenver verwijderd van iets bedenken, het in woorden gieten en het tot leven zien komen.

Hun voorbeelden zijn erg mooi, en ik geloof dat ze met Gen-4 zijn gemaakt, maar ik denk ook dat er enorm veel werk achter de schermen is verzet om ze tot leven te brengen.