Runway Aleph: een gids met demoproject

Wat is Runway Aleph?

Runway Aleph is een veelzijdig AI-model voor videogeneratie dat videomaken een stap verder brengt door videoinvoer toe te staan die je met een tekstprompt kunt bewerken.

Belangrijke functies zijn onder andere:

• Mogelijkheid om objecten in een scène gedetailleerd toe te voegen, te verwijderen en te wijzigen.
• Verschillende perspectieven of camerahoeken van een video genereren.
• De algehele stijl en belichting aanpassen aan elke gewenste esthetiek.
• Een video verlengen door de volgende scène te genereren.

Je vindt veel voorbeelden in Runway’s officiële aankondiging.

Hoe krijg je toegang tot Runway Aleph?

Runway Aleph is beschikbaar vanaf hun Standard-abonnement voor $15 per maand. Ondanks dat het een maandelijks abonnement is, krijg je geen onbeperkt aantal gebruiksbeurten.

Het Standard-abonnement bevat 625 credits, en elke seconde Aleph kost 15 credits, wat neerkomt op ongeveer 41 seconden video die je per maand kunt bewerken.

Er is een Unlimited-abonnement met 2250 credits en onbeperkt gebruik in explore-modus. Dat betekent dat video’s langer over het genereren kunnen doen, omdat ze in een wachtrij komen en pas aan de beurt zijn wanneer ze bovenaan staan.

Bijna alle video’s die ik hier heb gegenereerd, zijn gemaakt in de explore-modus. Ik merkte dat de wachttijden sterk variëren afhankelijk van het tijdstip van de dag. Meestal was er helemaal geen wachttijd.

Hoe gebruik je Runway Aleph?

Om Runway Aleph te gebruiken, hebben we een video als input nodig. Zodra een video is geselecteerd, kunnen we een tekstprompt geven om de video te bewerken of te transformeren.

We kunnen Aleph bijvoorbeeld vragen om het nacht te maken:

Let op: als de video langer is dan 5 seconden, wordt in plaats daarvan een segment van 5 seconden gebruikt. Dit segment kun je selecteren door het venster onder de video-invoer te verslepen.

De video plannen

Toen ik toegang kreeg tot Runway Aleph, was ik net gevraagd een video op te nemen om mijn vriend een fijne verjaardag te wensen. Dus ik dacht: laat ik kijken of ik Aleph kan gebruiken om een video van begin tot eind te maken. Het proces leerde me veel over de mogelijkheden, en vooral de beperkingen.

In dit experiment gebruik ik niet alleen Alephs videobewerkingsmogelijkheden, maar ook Runway’s Gen-4-videogeneratie.

Voor het geluid gebruikte ik gratis geluidseffecten van Pixabay, terwijl de stemmen zijn gegenereerd met tekst-naar-spraakmodellen van OpenAI.

Mijn idee was om iets te doen met verwijzingen naar John Wick, een van zijn favoriete films. Omdat ik geen eigen beeldmateriaal had, moest ik alles creëren op basis van foto’s van ons en vrij beschikbare video’s op internet.

Ik wilde het simpel houden, dus koos ik voor een trailerachtige video met een verteller. Geen pratende personages maakt het een stuk eenvoudiger als je met AI-gegenereerde video’s werkt.

Mijn script was ongeveer als volgt:

• De scène neerzetten in Taipei (waar we wonen)
• De twee personages introduceren
• De twee personages ontmoeten elkaar in hotel "The Continental" (een filmverwijzing)
• Ik geef hem een doos met daarin een marker (nog een filmverwijzing)

De personages maken

Om mijn personage te genereren, nam ik een selfie en gebruikte ik de chatmodus van Runway om een versie van mij te maken in een pak, met een houten doos in mijn hand.

Voor mijn vriend kreeg ik in Runway niet het gewenste resultaat, dus heb ik het uiteindelijk half handmatig gedaan met Photoshop Firefly.

Tijdens het genereren liep ik ook meerdere keren tegen problemen aan waarbij Runway weigerde de afbeeldingen te maken. Bij AI-afbeeldingsgeneratie in het algemeen is het lastig om specifieke personen te genereren om veiligheidsredenen. Goed om in gedachten te houden als je iets met specifieke personen als personage wilt maken.

Scène 1: Taipei 101 met de maan

De openingsscène met de maantimelapse is niet AI-gegenereerd. Het is een vrij te gebruiken video van Timo Volz die ik hier op Pexels.com vond.

Ik probeerde hem te bewerken met Runway Aleph, maar dat mislukte. Ik dacht dat een droneshot, met de drone die boven het gebouw vliegt, een coole edit zou zijn, maar Aleph gaf me dit:

Maak van deze video een droneshot dat over het gebouw heen vliegt.

Scène 2: Close-up van mijn vriend

Voor de tweede scène gebruikte ik de foto die ik met Photoshop had gegenereerd en vroeg ik om een close-upshot om het personage te introduceren.

Ik vond het resultaat mooi, maar ik wilde eerst wat mysterie toevoegen voordat ik het personage onthulde. Dus vroeg ik om nog een shot te genereren met de prompt: "Close-up shot to introduce the character. Make it start facing back and then slowly turn to the camera.".

Dit zijn de resultaten:

In het tweede voorbeeld voldeed Runway Aleph niet aan de prompt. Toch heb ik juist dat shot gebruikt. Ik heb de eerste helft weggeknipt in videobewerkingssoftware, zodat het gezicht van het personage eerst door de hoed verborgen blijft en daarna pas zichtbaar wordt.

Scène 3: Door een donkere steeg lopen

Deze scène is als volgt gegenereerd:

1. Op basis van de foto van het personage een afbeelding genereren van het personage met de rug naar de camera in een donkere steeg.

2. Die afbeelding gebruiken met een tekstprompt: "The man with the hat walks down the alley, away from the camera until he disappears in the distance. Add mist to make the scene more mysterious."

Scène 4: Ik loop met de doos

Voor deze scène gebruikte ik de afbeelding van mezelf die ik hierboven heb gemaakt. Ik moest best aandringen om Aleph een video van mij te laten genereren waarin ik loop. De prompt was simpel: "The person walks to the building in the background."

Geen van de vier video’s deed wat ik vroeg. Uiteindelijk heb ik de vierde gebruikt omdat dat de enige was die bruikbaar was.

Ik wilde wel wat mist toevoegen om de video mysterieuzer te maken, dus gebruikte ik Alephs videobewerkingsmogelijkheden om het mistig te maken. Dat werkte dan weer behoorlijk goed.

Voor het tweede deel, de close-up van de doos, probeerde ik eerst Aleph de video te laten bewerken met de prompt: "Make a close-up shot focusing on the hand holding the box." Dat werkte echter helemaal niet.

Ik heb een screenshot genomen van het frame dat ik wilde animeren en dat samen met een prompt gebruikt om het te fixen.

Voor het shot waarin ik wegliep, genereerde Runway oorspronkelijk een steeg met neonlichten die leek op die uit een eerdere scène. Om het anders te laten lijken, vroeg ik Aleph de video te bewerken en de neonlichten te verwijderen. Dat werkte erg goed.

Scène 5: Autorijden

Deze scène is op dezelfde manier gegenereerd als de derde scène: eerst een stilstaande afbeelding genereren en die vervolgens in een video transformeren.

De video werd echter niet helemaal zoals ik wilde:

Bij het gebruik van Runway Aleph heb ik vaak het gevoel dat er maar een paar seconden bruikbaar zijn voordat het raar wordt. Toch heb ik er iets van kunnen maken door:

1. De video om te keren.
2. Alleen het deel te behouden waarin de focus op de bestuurder ligt.

Scène 6: Verkeerstimelapse

Deze scène is een vrij te gebruiken video van Timo Volz afkomstig van Pexels. Ik probeerde de stijl aan te passen, maar met weinig succes.

Dit is de prompt die ik gebruikte:

"Change the style of this video to a neo-noir action aesthetic inspired by John Wick—cinematic, high-contrast lighting, rain-soaked neon city streets in deep blues, purples, and reds; elegant yet dangerous atmosphere; sleek modern interiors; refined but gritty mood."

Het resultaat was echter onbruikbaar:

Ik deed nog meer stijlexperimenten op andere video’s, maar geen daarvan slaagde.

Eindscènes

De laatste drie scènes zijn ook gegenereerd door afbeeldingen in video’s om te zetten.

• Deze afbeelding is van een echt gebouw in Taipei, en ik heb het neonteken toegevoegd met Photoshop.
• De afbeelding van mij die door de gang loopt met de doos is in Runway gegenereerd door te vragen mij in een chic hotel te plaatsen met een tapijt met een "C". De afbeelding is niet geweldig geworden, want de doos lijkt meer op een koffer, maar ik kreeg het niet beter.
• De laatste afbeelding komt van een John Wick-cadeaubox en de notitie is toegevoegd met Photoshop.

Eindtekst

De eindtekst is volledig met Runway gegenereerd. In de chatmodus vroeg ik om de tekst "Chapter 50" te maken als filmtitel in de stijl van John Wick. Het genereerde deze afbeelding:

Daarna vroeg de chatmodus of ik de tekst geanimeerd wilde hebben, en ik zei ja. Dit was het resultaat:

Ik wilde ook dat de letters zelf werden geanimeerd, dus gebruikte ik Aleph om de video te bewerken. Het resultaat was niet precies wat ik vroeg, maar ik vond het alsnog goed genoeg om te gebruiken.

Dit vroeg ik: "The camera flies through the zero in the '50' text, fading into a black screen."

Dit is het eindresultaat:

Verdere experimenten met Runway Aleph

Volgende scène genereren

Ik probeerde delen van de video te verlengen door Aleph voor enkele scènes de volgende scènes te laten genereren. Eerst specificeerde ik niet wat ik wilde; ik vroeg alleen om een volgende scène te maken.

Qua actie is de gegenereerde scène consistent met de vorige, maar er is een aanzienlijk verlies aan consistentie van het personage. Het lijkt niet op dezelfde persoon.

Om dit verder te testen, specificeerde ik dat ik in de volgende scène wilde dat het personage op een motor sprong. Daarna gebruikte ik het resultaat en vroeg ik nog een scène waarin het personage op de motor wegreed.

Dit is het resultaat:

Aleph had moeite met het feit dat het personage een doos droeg. We zien ook vreemde artefacten in de video.

Een video aanpassen

Voor het maken van de video heb ik Alephs videobewerkingsmogelijkheden met succes gebruikt om neonreclames in de straat te verwijderen en mist aan een scène toe te voegen. Toen ik echter probeerde de esthetiek van een van de video’s te veranderen, mislukte dat.

Uit nieuwsgierigheid testte ik of het zou lukken om regen toe te voegen in een van de scènes. Dat werkte verrassend goed bij de eerste poging.

In het volgende voorbeeld vroeg ik om vuur toe te voegen aan het achterwiel van een motor. Het voegde inderdaad vuur toe, maar niet waar het moest:

Hier is een laatste voorbeeld waarin ik vroeg om een enorme golf toe te voegen in een bestaande video:

Conclusie

Video’s maken met Runway Aleph is zeker haalbaar, maar het is belangrijk te begrijpen dat het proces niet zo simpel is als een tekstprompt intypen en een naadloze video terugkrijgen. Je hebt creativiteit en geduld nodig, want de technologie is innovatief, maar vraagt nog steeds om sturing en bijsturing om je visie tot leven te wekken.

Vaak paste ik mijn oorspronkelijke ideeën aan op basis van de resultaten die Runway Aleph opleverde. In plaats van elke scène puur via prompts te regisseren, werd het een samenwerking, waarbij de unieke interpretaties van de tool vaak de uiteindelijke richting beïnvloedden.

De voorbeelden in de aankondiging van Runway Aleph laten waarschijnlijk de beste uitkomsten zien. Hoewel het model indrukwekkende resultaten kan opleveren, vergt het bereiken van die gewenste effecten vaak meerdere pogingen en de bereidheid om het resultaat te verfijnen en te itereren.

Al met al is Runway Aleph een spannend en leuk hulpmiddel voor hobbyisten, waarmee je video’s kunt maken die anders misschien een concept zouden blijven. Ik heb genoten van het proces bij het maken van de verjaardagsvideo. Tegelijk maakt zo’n project duidelijk dat er nog een weg te gaan is voordat de tool elke idee vlekkeloos kan vertalen naar een gepolijste visuele realiteit.