Piste Aleph : Un guide avec projet de démonstration

Qu'est-ce que Runway Aleph ?

Runway Aleph est un modèle polyvalent de génération vidéo par IA qui fait progresser la création vidéo en permettant d'utiliser des entrées vidéo pouvant être modifiées à l'aide d'une invite textuelle.

Les principales caractéristiques sont les suivantes :

• Capacité à ajouter, supprimer et modifier des objets de manière complexe dans une scène.
• Créez différentes perspectives ou angles d'une vidéo.
• Ajustez le style général et l'éclairage pour obtenir l'esthétique souhaitée.
• Prolongez une vidéo en générant la scène suivante.

Vous trouverez de nombreux exemples dans l'annonce officielle de Runway. annonce officielle.

Comment accéder à Runway Aleph ?

Runway Aleph est disponible à partir de leur forfait Standard à 15 $ par mois. Bien qu'il s'agisse d'un forfait mensuel, il ne donne pas droit à un nombre illimité d'utilisations.

Le forfait Standard comprend 625 crédits, et chaque seconde d'utilisation d'Aleph coûte 15 crédits, ce qui signifie que vous pouvez éditer environ 41 secondes de vidéo par mois.

Il existe un forfait illimité qui comprend 2 250 crédits et offre une utilisation illimitée en mode exploration. Cela signifie que les vidéos prennent plus de temps à générer, car elles sont mises en file d'attente et générées lorsqu'elles atteignent le début de la file d'attente.

Presque toutes les vidéos que j'ai générées ici ont été réalisées en mode exploration, et j'ai constaté que les temps d'attente variaient considérablement en fonction de l'heure de la journée. La plupart du temps, il n'y avait aucun temps d'attente.

Comment utiliser Runway Aleph ?

Pour utiliser Runway Aleph, nous avons besoin d'une vidéo en entrée. Une fois qu'une vidéo est sélectionnée, nous pouvons fournir une invite textuelle pour modifier ou transformer la vidéo.

Nous pouvons, par exemple, demander à Aleph de faire nuit :

Veuillez noter que si la vidéo dure plus de 5 secondes, un extrait de 5 secondes sera utilisé à la place. Cette section peut être sélectionnée en faisant glisser la fenêtre sous l'entrée vidéo.

Planification de la vidéo

Lorsque j'ai eu accès à Runway Aleph, on venait de me demander d'enregistrer une vidéo pour souhaiter un joyeux anniversaire à un ami. J'ai donc décidé de voir si Aleph pouvait être utilisé pour créer une vidéo du début à la fin. J'ai estimé que ce processus m'a beaucoup appris sur ses capacités et surtout sur ses limites.

Cette expérience utilisera non seulement les capacités de montage vidéo d'Aleph, mais également les capacités de génération vidéo Gen-4 de Runway.

Pour les sons, j'ai utilisé des effets sonores gratuits provenant de Pixabay, tandis que les voix ont été générées à l'aide de modèles de synthèse vocale d'OpenAI.

Mon idée était de faire quelque chose en référence à John Wick, l'un de ses films préférés. Comme je ne disposais d'aucune séquence vidéo, j'ai dû tout créer à partir de photos de nous et de vidéos disponibles gratuitement sur Internet.

Je souhaitais rester simple, j'ai donc opté pour une vidéo de type bande-annonce avec un narrateur. L'absence de personnages qui parlent simplifie considérablement la création de vidéos générées par l'IA.

Mon script était quelque chose comme :

• Plantez le décor à Taipei (où nous vivons)
• Présentez les deux personnages.
• Les deux personnages se rencontrent à l'hôtel « The Continental » (une référence cinématographique).
• Je lui offre une boîte contenant un marqueur (une autre référence cinématographique).

Création des personnages

Pour créer mon personnage, j'ai pris un selfie et utilisé le mode chat de Runway afin de générer une version de moi-même vêtu d'un costume et tenant une boîte en bois.

Pour mon ami, je n'ai pas réussi à obtenir le résultat souhaité avec Runway, j'ai donc fini par le faire semi-manuellement à l'aide de Photoshop Firefly.

Lors de leur génération, j'ai également rencontré plusieurs problèmes avec Runway qui refusait de générer les images. Je pense qu'avec la génération d'images par IA en général, il est difficile de générer des personnes spécifiques pour des raisons de sécurité. Cependant, il est important de garder cela à l'esprit si vous souhaitez créer quelque chose avec des personnages spécifiques.

Scène 1 : Taipei 101 avec la lune

La scène d'ouverture avec le timelapse de la lune n'est pas générée par l'IA. Il s'agit d'une vidéo gratuite de Timo Volz que j'ai trouvée ici sur Pexels.com.

J'ai tenté de le modifier à l'aide de Runway Aleph, mais cela n'a pas fonctionné. J'ai pensé que ce serait une bonne idée de réaliser une prise de vue avec un drone volant au-dessus du bâtiment, mais Aleph m'a proposé ceci à la place :

Transformez cette vidéo en une prise de vue par drone survolant le bâtiment.

Scène 2 : Gros plan sur mon ami

Pour la deuxième scène, j'ai fourni la photo que j'avais créée à l'aide de Photoshop et j'ai demandé un gros plan pour présenter le personnage.

J'ai apprécié le résultat, mais j'ai souhaité introduire un peu de mystère avant de révéler le personnage. J'ai donc demandé au générateur de créer une autre image avec la consigne suivante : « Gros plan pour présenter le personnage. Commencez par le placer dos à la caméra, puis tournez-le lentement vers la caméra.

Voici les résultats :

Dans le deuxième exemple, Runway Aleph n'a pas respecté la consigne. Cependant, c'est finalement cette photo que j'ai choisie. J'ai coupé la première moitié dans un logiciel de montage vidéo afin que le visage du personnage soit d'abord caché par le chapeau, puis apparaisse progressivement.

Scène 3 : Marcher dans une ruelle sombre

Cette scène a été générée par :

1. À partir de la photo du personnage, veuillez générer une image du personnage de dos dans une ruelle sombre.

2. En utilisant cette image, accompagnée d'une invite textuelle : L'homme au chapeau marche dans la ruelle, s'éloignant de la caméra jusqu'à disparaître au loin. Ajoutez de la brume pour rendre la scène plus mystérieuse.

Scène 4 : Moi marchant avec la boîte

Pour cette scène, j'ai utilisé l'image de moi-même que j'ai créée ci-dessus. J'ai dû insister un certain temps pour qu'Aleph génère une vidéo de moi en train de marcher. La consigne était simple : « La personne se dirige vers le bâtiment à l'arrière-plan. »

Aucune des quatre vidéos ne correspondait à ma demande. J'ai finalement utilisé le quatrième, car c'était le seul qui était utilisable.

Je souhaitais ajouter un peu de brume à la vidéo pour lui donner un aspect plus mystérieux, j'ai donc utilisé les fonctionnalités de montage vidéo d'Aleph pour créer cet effet. Ceci, en revanche, a très bien fonctionné.

Pour la deuxième partie, le gros plan sur la boîte, j'ai d'abord essayé de demander à Aleph de modifier la vidéo à l'aide de la commande suivante : « Prenez un gros plan en faisant la mise au point sur la main qui tient la boîte. » Cependant, cela n'a pas fonctionné du tout.

J'ai capturé l'image que je souhaitais animer et je l'ai utilisée avec une instruction pour la corriger.

Enfin, pour le plan où je m'éloigne, Runway a initialement généré une ruelle avec des néons qui ressemblait à celle d'une scène précédente. Pour que cela ait un aspect différent, j'ai demandé à Aleph de modifier la vidéo et de supprimer les néons, ce qui a très bien fonctionné.

Scène 5 : Conduire la voiture

Cette scène a été générée de la même manière que la troisième scène, en créant une image fixe puis en la transformant en vidéo.

Cependant, la vidéo n'est pas tout à fait comme je le souhaitais :

Lorsque j'utilise Runway Aleph, j'ai souvent l'impression que seules quelques secondes de la vidéo sont exploitables avant que cela ne devienne étrange. J'ai tout de même réussi à tirer quelque chose de cette expérience en :

1. Inverser la vidéo.
2. Conserver uniquement la partie de la vidéo qui se concentre sur le conducteur.

Scène 6 : Timelapse du trafic routier

Cette scène est une vidéo libre de droits de Timo Volz, et provient de Pexels. J'ai tenté de modifier le style, mais sans succès.

Voici l'invite que j'ai utilisée :

Veuillez modifier le style de cette vidéo pour lui donner une esthétique néo-noir inspirée de John Wick : cinématographique, éclairage très contrasté, rues néon baignées par la pluie dans des tons bleus, violets et rouges profonds ; atmosphère élégante mais dangereuse ; intérieurs modernes et épurés ; ambiance raffinée mais réaliste.

Cependant, le résultat était inutilisable :

J'ai effectué d'autres essais de stylisation sur d'autres vidéos, mais aucun n'a fonctionné.

Scènes finales

Les trois dernières scènes ont également été générées en transformant des images en vidéos.

• Cette image représente un bâtiment réel situé à Taipei, auquel j'ai ajouté l'enseigne lumineuse à l'aide de Photoshop.
• L'image de moi marchant dans le couloir avec la boîte a été générée à l'aide de Runway en lui demandant de me placer dans un hôtel chic avec un tapis comportant un « C ». L'image n'est pas très réussie, car la boîte ressemble davantage à une valise, mais je n'ai pas réussi à la corriger.
• L'image finale a été prise à partir d'un coffret cadeau John Wick, et la note a été ajoutée à l'aide de Photoshop.

Texte de fin

Le texte final a été entièrement généré à l'aide de Runway. J'ai utilisé le mode chat pour demander de générer le texte « Chapitre 50 » comme titre d'un film dans le style de John Wick. Il a généré cette image :

Ensuite, en mode chat, il m'a demandé si je souhaitais que le texte soit animé, et j'ai répondu oui. Voici le résultat :

Je souhaitais également que les lettres soient animées, j'ai donc utilisé Aleph pour éditer la vidéo. Le résultat n'est pas exactement celui que j'avais demandé, mais je l'ai tout de même apprécié et j'ai réussi à l'utiliser.

Voici ce que j'ai demandé : « La caméra traverse le zéro du texte « 50 » et s'estompe progressivement jusqu'à un écran noir. »

Voici le résultat final :

Expériences supplémentaires avec Runway Aleph

Génération de la scène suivante

J'ai tenté d'allonger certaines parties de la vidéo en utilisant Aleph pour générer les scènes suivantes de certaines de mes scènes. Tout d'abord, je n'ai pas précisé ce que je souhaitais pour la scène suivante ; j'ai simplement demandé de générer une scène suivante.

En termes d'action, la scène générée est cohérente avec la scène précédente, mais il existe une perte significative de cohérence au niveau du personnage. Cela ne semble pas être la même personne.

Pour approfondir ce point, j'ai tenté de préciser que je souhaitais que le personnage saute sur une moto dans la scène suivante. J'ai ensuite utilisé le résultat et demandé une autre scène où le personnage s'éloigne à moto.

Voici le résultat :

Aleph avait du mal à accepter le fait que le personnage transportait une boîte. Nous pouvons également observer quelques artefacts inhabituels dans la vidéo.

Modification d'une vidéo

Pour réaliser cette vidéo, j'ai utilisé avec succès les fonctionnalités de montage vidéo d'Aleph afin de supprimer les enseignes lumineuses de la rue et d'ajouter de la brume à une scène. Cependant, lorsque j'ai tenté de modifier l'esthétique d'une des vidéos, cela n'a pas fonctionné.

Par curiosité, j'ai essayé de faire pleuvoir dans l'une des scènes pour voir comment cela fonctionnerait, et cela a très bien fonctionné dès le premier essai.

Dans l'exemple suivant, j'ai demandé d'ajouter du feu à la roue arrière d'une moto. Le feu a bien été ajouté, mais pas à l'endroit prévu :

Voici un dernier exemple où j'ai demandé d'ajouter une vague géante dans une vidéo existante :

Conclusion

Créer des vidéos avec Runway Aleph est tout à fait possible, mais il est essentiel de comprendre que le processus n'est pas aussi simple que de saisir une commande textuelle et d'obtenir une vidéo fluide. Ce parcours exige à la fois créativité et patience, car si la technologie est innovante, elle nécessite encore des conseils et des ajustements pour donner vie à votre vision.

La plupart du temps, j'ai dû adapter mes idées initiales aux résultats obtenus par Runway Aleph. Plutôt que de diriger chaque scène uniquement à l'aide d'indications, cela s'est transformé en un travail collaboratif, où les interprétations uniques de l'outil ont souvent influencé la direction que j'ai finalement prise.

Les exemples présentés dans l'annonce de Runway Aleph représentent probablement ses meilleurs résultats. Bien que le modèle puisse produire des résultats impressionnants, obtenir les effets souhaités nécessite souvent plusieurs tentatives et une volonté d'affiner et d'itérer les résultats.

Dans l'ensemble, Runway Aleph se présente comme un outil passionnant et agréable pour les amateurs, permettant de réaliser des créations vidéo qui, sans cela, resteraient peut-être à l'état de concept. J'ai beaucoup apprécié le processus de création de la vidéo d'anniversaire. Cependant, la concrétisation d'une telle vision souligne qu'il reste encore du chemin à parcourir avant que l'outil puisse traduire parfaitement chaque idée en une réalité visuelle aboutie.