Laufsteg Aleph: Ein Leitfaden mit Demo-Projekt

Was ist Runway Aleph?

Runway Aleph ist ein vielseitiges Modell zur Erzeugung von KI-Videos, das die Videoproduktion auf ein neues Level bringt, indem es Videoeingaben ermöglicht, die mit einer Textvorlage bearbeitet werden können.

Die wichtigsten Features sind:

• Du kannst Objekte in einer Szene ganz einfach hinzufügen, löschen und ändern.
• Verschiedene Perspektiven oder Blickwinkel eines Videos erstellen.
• Passe den Stil und die Beleuchtung an, damit alles so aussieht, wie du willst.
• Verlängere ein Video, indem du die nächste Szene machst.

Viele Beispiele findest du in der offiziellen Ankündigung von Runway. offizieller Ankündigung.

Wie komme ich zu Runway Aleph?

Runway Aleph gibt's schon ab dem Standard-Tarif für 15 $ im Monat. Auch wenn es ein Monatsabo ist, kannst du es nicht unbegrenzt oft nutzen.

Der Standard-Tarif beinhaltet 625 Credits, und jede Sekunde Aleph kostet 15 Credits, was bedeutet, dass du jeden Monat etwa 41 Sekunden Video bearbeiten kannst.

Es gibt einen unbegrenzten Tarif mit 2250 Credits und unbegrenzter Nutzung im Erkundungsmodus. Das heißt, die Videos brauchen etwas länger, weil sie in eine Warteschlange kommen und erst bearbeitet werden, wenn sie an der Reihe sind.

Fast alle Videos, die ich hier gemacht habe, sind im Erkundungsmodus entstanden, und ich habe gemerkt, dass die Wartezeiten je nach Tageszeit ziemlich unterschiedlich sind. Meistens musste man gar nicht warten.

Wie benutzt man Runway Aleph?

Um Runway Aleph zu nutzen, brauchen wir ein Video als Eingabe. Sobald ein Video ausgewählt ist, können wir eine Textanweisung zum Bearbeiten oder Umwandeln des Videos anzeigen.

Wir können zum Beispiel Aleph bitten, es Nacht werden zu lassen:

Wenn das Video länger als 5 Sekunden ist, wird stattdessen ein 5-Sekunden-Ausschnitt aus dem Video verwendet. Diesen Bereich kannst du auswählen, indem du das Fenster unter dem Videoeingang ziehst.

Das Video planen

Als ich Zugang zu Runway Aleph bekam, wurde ich gerade gebeten, ein Video aufzunehmen, um meinem Kumpel alles Gute zum Geburtstag zu wünschen. Also dachte ich mir, ich probier mal, ob ich mit Aleph ein Video von Anfang bis Ende machen kann. Ich fand, dass ich dabei echt viel über die Möglichkeiten und vor allem auch über die Grenzen gelernt habe.

Bei diesem Experiment werden nicht nur die Videobearbeitungsfunktionen von Aleph genutzt, sondern auch die Funktionen zur Videogenerierung der vierten Generation von Runway.

Für die Sounds hab ich kostenlose Soundeffekte von Pixabay, während die Stimmen mit Text-to-Speech-Modellen von OpenAI erzeugt wurden.

Meine Idee war, was mit Anspielungen auf John Wick zu machen, einen seiner Lieblingsfilme. Da ich kein Filmmaterial hatte, musste ich alles anhand von Fotos von uns und frei verfügbaren Videos aus dem Internet erstellen.

Ich wollte es simpel halten, also hab ich mich für ein Video im Trailer-Stil mit einem Sprecher entschieden. Wenn die Figuren nicht reden, ist es bei KI-generierten Videos viel einfacher.

Mein Skript war in etwa so:

• Die Szene spielt in Taipeh (wo wir leben)
• Stell die beiden Charaktere vor
• Die beiden treffen sich im Hotel „The Continental“ (ein Filmzitat).
• Ich schenke ihm eine Schachtel mit einem Marker (noch eine Anspielung auf einen Film).

Die Figuren erstellen

Um meinen Charakter zu erstellen, hab ich ein Selfie gemacht und dann mit dem Chat-Modus von Runway eine Version von mir erstellt, die einen Anzug trägt und eine Holzkiste hält.

Für meinen Kumpel konnte ich mit Runway nicht das gewünschte Ergebnis erzielen, also hab ich es halb manuell mit Photoshop Firefly gemacht.

Beim Erstellen dieser Bilder hatte ich auch ein paar Probleme, weil Runway sich weigerte, die Bilder zu generieren. Ich denke, bei der KI-Bildgenerierung ist es generell schwierig, bestimmte Personen zu erstellen, weil das aus Sicherheitsgründen nicht geht. Aber das solltest du im Hinterkopf behalten, wenn du etwas mit bestimmten Personen als Figuren erstellen willst.

Szene 1: Taipei 101 mit dem Mond

Die Eröffnungsszene mit dem Zeitraffer des Mondes ist nicht mit KI gemacht. Es ist ein kostenloses Video von Timo Volz, das ich hier auf Pexels.com.

Ich hab versucht, es mit Runway Aleph zu ändern, aber es hat nicht geklappt. Ich dachte, es wäre cool, wenn die Drohne über dem Gebäude fliegt, aber Aleph hat mir stattdessen das hier gegeben:

Mach aus diesem Video eine Drohnenaufnahme, die über das Gebäude fliegt.

Szene 2: Nahaufnahme von meinem Kumpel

Für die zweite Szene hab ich das Foto, das ich mit Photoshop gemacht hab, mitgeschickt und um eine Nahaufnahme gebeten, um die Figur vorzustellen.

Das Ergebnis hat mir gefallen, aber ich wollte ein bisschen Spannung aufbauen, bevor ich den Charakter enthülle. Also hab ich es gebeten, ein anderes Bild mit der Eingabe „ Nahaufnahme, um die Figur vorzustellen. Stell dich so hin, dass du nach hinten schaust, und dreh dich dann langsam zur Kamera.

Hier sind die Ergebnisse:

Im zweiten Beispiel hat Runway Aleph die Eingabeaufforderung nicht befolgt. Aber genau dieses Foto hab ich dann doch genommen. Ich hab die erste Hälfte in der Videobearbeitung so geschnitten, dass das Gesicht der Figur erst mal vom Hut verdeckt ist und erst dann zu sehen ist.

Szene 3: Durch eine dunkle Gasse gehen

Diese Szene wurde erstellt von:

1. Mach aus dem Foto der Figur ein Bild, auf dem sie in einer dunklen Gasse steht und wegschaut.

2. Verwende dieses Bild zusammen mit einer Textvorlage: Der Typ mit dem Hut geht die Gasse runter, weg von der Kamera, bis er in der Ferne verschwindet. Füge Nebel hinzu, um die Szene geheimnisvoller zu machen.

Szene 4: Ich gehe mit der Schachtel

Für diese Szene hab ich das Bild von mir genommen, das ich oben gemacht hab. Ich musste echt hartnäckig sein, damit Aleph ein Video von mir beim Laufen gemacht hat. Die Aufgabe war einfach: „Die Person geht zu dem Gebäude im Hintergrund.“

Keines der vier Videos hat das gemacht, was ich wollte. Ich hab dann das vierte genommen, weil es das einzige war, das ging.

Ich wollte dem Video etwas Nebel hinzufügen, damit es geheimnisvoller wirkt, also habe ich die Videobearbeitungsfunktionen von Aleph genutzt, um es neblig zu machen. Das hier hat dagegen echt gut geklappt.

Für den zweiten Teil, die Nahaufnahme der Schachtel, habe ich Aleph erst mal gebeten, das Video mit folgendem Befehl zu bearbeiten: Mach 'ne Nahaufnahme von der Hand, die die Schachtel hält. Das hat aber überhaupt nicht geklappt.

Ich hab einen Screenshot von dem Frame gemacht, den ich animieren wollte, und ihn zusammen mit einer Anleitung zum Reparieren verwendet.

Für die Aufnahme, in der ich weggehe, hat Runway zuerst eine Gasse mit Neonlichtern gemacht, die ähnlich aussah wie die aus einer früheren Szene. Damit es anders aussieht, hab ich Aleph gebeten, das Video zu bearbeiten und die Neonlichter rauszunehmen, was echt gut geklappt hat.

Szene 5: Autofahren

Diese Szene wurde genauso wie die dritte Szene gemacht, indem erst ein Standbild erstellt und dann in ein Video verwandelt wurde.

Das Video ist aber nicht ganz so geworden, wie ich es mir vorgestellt hatte:

Wenn ich Runway Aleph benutze, hab ich das Gefühl, dass oft nur ein paar Sekunden im Video brauchbar sind, bevor es komisch wird. Ich hab trotzdem noch was draus gemacht, indem ich:

1. Das Video rückwärts abspielen.
2. Nur den Teil des Videos behalten, der den Fahrer zeigt.

Szene 6: Verkehrs-Zeitraffer

Diese Szene ist ein kostenloses Video von Timo Volz von Pexels. Ich hab versucht, den Stil zu ändern, aber es hat nicht so richtig geklappt.

Hier ist die Eingabeaufforderung, die ich verwendet habe:

„Mach das Video im Neo-Noir-Action-Stil, so wie in John Wick – mit filmischer, kontrastreicher Beleuchtung, regennassen Neonstraßen in tiefen Blau-, Violett- und Rottönen, einer eleganten, aber gefährlichen Atmosphäre, schicken, modernen Innenräumen und einer raffinierten, aber düsteren Stimmung.“

Das Ergebnis war aber leider nicht brauchbar:

Ich hab noch ein paar andere Styling-Experimente mit anderen Videos gemacht, aber das hat alles nicht geklappt.

Abschlussszenen

Die letzten drei Szenen wurden auch gemacht, indem Bilder in Videos verwandelt wurden.

• Dieses Bild zeigt ein echtes Gebäude in Taipeh, und ich habe die Leuchtreklame mit Photoshop hinzugefügt.
• Das Bild, auf dem ich mit der Kiste den Flur entlang gehe, wurde mit Runway erstellt, indem ich das Programm gebeten habe, mich in ein schickes Hotel mit einem Teppich mit einem „C“ zu platzieren. Das Bild ist nicht so toll geworden, weil die Schachtel eher wie ein Koffer aussieht, aber ich konnte das leider nicht ändern.
• Das letzte Bild ist von einer John Wick-Geschenkbox und die Notiz wurde mit Photoshop hinzugefügt.

Abschließender Text

Der abschließende Text wurde komplett mit Runway erstellt. Ich hab den Chat-Modus benutzt, um den Text „Kapitel 50” als Titel für einen Film im Stil von John Wick zu generieren. Es hat dieses Bild erzeugt:

Dann hat es mich im Chat gefragt, ob ich den Text animiert haben will, und ich hab mit „Ja“ geantwortet. Hier ist das Ergebnis:

Ich wollte, dass die Buchstaben auch animiert sind, also hab ich Aleph benutzt, um das Video zu bearbeiten. Das Ergebnis ist nicht ganz das, was ich wollte, aber es gefällt mir trotzdem und ich konnte es verwenden.

Das hab ich gefragt: „Die Kamera fliegt durch die Null im Text „50“ und verschwindet in einem schwarzen Bildschirm.“

Hier ist das Endergebnis:

Weitere Experimente mit Runway Aleph

Nächste Szenengenerierung

Ich hab versucht, Teile des Videos zu verlängern, indem ich mit Aleph die nächsten Szenen für einige meiner Szenen erstellt hab. Zuerst hab ich nicht gesagt, was ich als nächste Szene haben will, sondern einfach nur, dass eine neue Szene kommen soll.

Was die Handlung angeht, passt die erzeugte Szene zur vorherigen, aber die Charaktere sind nicht mehr so konsistent. Das sieht nicht nach derselben Person aus.

Um das genauer zu checken, hab ich versucht, anzugeben, dass der Charakter in der nächsten Szene auf ein Motorrad springen soll. Dann hab ich das Ergebnis genommen und um noch eine Szene gebeten, in der der Charakter auf dem Motorrad davonfährt.

Hier ist das Ergebnis:

Aleph fand es komisch, dass die Figur eine Kiste trug. Wir können im Video auch ein paar komische Artefakte sehen.

Ein Video bearbeiten

Für das Video habe ich die Videobearbeitungsfunktionen von Aleph's genutzt, um die Neonreklamen von der Straße zu entfernen und Nebel in die Szene einzufügen. Als ich aber versucht hab, das Aussehen von einem der Videos zu ändern, hat's nicht geklappt.

Aus Neugierde hab ich mal in einer Szene versucht, es regnen zu lassen, um zu sehen, wie das funktioniert, und es hat auf Anhieb ganz gut geklappt.

Im folgenden Beispiel hab ich darum gebeten, Feuer am Hinterrad eines Motorrads hinzuzufügen. Es wurde zwar Feuer hinzugefügt, aber nicht da, wo es sein sollte:

Hier ist ein letztes Beispiel, wo ich das Programm gebeten habe, eine riesige Welle in ein vorhandenes Video einzufügen:

Fazit

Videos mit Runway Aleph zu erstellen ist echt machbar, aber man muss wissen, dass es nicht so einfach ist, wie einen Text einzugeben und dann ein fertiges Video zu bekommen. Die Reise erfordert eine Mischung aus Kreativität und Geduld, denn die Technologie ist zwar innovativ, aber es braucht noch etwas Anleitung und Anpassungen, um die Vision zum Leben zu erwecken.

Meistens musste ich meine ersten Ideen an die Ergebnisse von Runway Aleph anpassen. Anstatt jede Szene nur über Anweisungen zu steuern, wurde es zu einer gemeinsamen Sache, bei der die einzigartigen Interpretationen des Tools oft die Richtung beeinflusst haben, die ich letztendlich eingeschlagen habe.

Die Beispiele, die in der Ankündigung von Runway Aleph gezeigt werden, sind wahrscheinlich die besten Ergebnisse. Das Modell kann zwar echt beeindruckende Ergebnisse liefern, aber um die gewünschten Effekte zu erzielen, braucht es oft mehrere Versuche und die Bereitschaft, die Ergebnisse zu verfeinern und zu wiederholen.

Insgesamt ist Runway Aleph ein cooles Tool für Hobbyfilmer, mit dem man Videos machen kann, die sonst vielleicht nur eine Idee geblieben wären. Ich fand es echt cool, das Video zum Geburtstag damit zu machen. Die Umsetzung dieser Idee zeigt aber auch, dass es noch ein langer Weg ist, bis das Tool jede Idee perfekt in eine coole visuelle Realität verwandeln kann.