Pista Aleph: Guía con proyecto de demostración

¿Qué es Runway Aleph?

Runway Aleph es un modelo versátil de generación de vídeo mediante IA que lleva la creación de vídeos un paso más allá al permitir entradas de vídeo que se pueden editar mediante un comando de texto.

Las características principales incluyen:

• Capacidad para añadir, eliminar y modificar objetos de forma compleja dentro de una escena.
• Genera diferentes perspectivas o ángulos de un vídeo.
• Ajusta el estilo general y la iluminación para que se adapten a la estética deseada.
• Amplía un vídeo generando la siguiente escena.

Puedes ver muchos ejemplos en el anuncio oficial.

¿Cómo acceder a Runway Aleph?

Runway Aleph está disponible a partir del plan Estándar por 15 $ al mes. A pesar de ser un plan mensual, no ofrece un número ilimitado de usos.

El plan Standard incluye 625 créditos, y cada segundo de Aleph cuesta 15 créditos, lo que significa que se pueden editar unos 41 segundos de vídeo al mes.

Hay un plan ilimitado que incluye 2250 créditos y ofrece uso ilimitado en modo exploración, lo que significa que los vídeos tardan más en generarse porque se ponen en cola y se generan cuando llegan al principio de la cola.

Casi todos los vídeos que he generado aquí los he hecho utilizando el modo explorar, y he observado que los tiempos de espera varían mucho según la hora del día. La mayoría de las veces, no hubo que esperar nada.

¿Cómo se utiliza Runway Aleph?

Para utilizar Runway Aleph, necesitamos un vídeo como entrada. Una vez seleccionado el vídeo, podemos proporcionar un mensaje de texto para editarlo o transformarlo.

Podemos, por ejemplo, pedirle a Aleph que haga que sea de noche:

Ten en cuenta que si el vídeo dura más de 5 segundos, se utilizará una sección de 5 segundos del vídeo. Esta sección se puede seleccionar arrastrando la ventana debajo de la entrada de vídeo.

Planificación del vídeo

Cuando obtuve acceso a Runway Aleph, acababan de pedirme que grabara un vídeo para felicitar el cumpleaños a un amigo. Así que pensé en probar si Aleph podía servir para crear un vídeo de principio a fin. Sentí que el proceso me enseñó mucho sobre sus capacidades y, sobre todo, sobre sus limitaciones.

Este experimento no solo utilizará las capacidades de edición de vídeo de Aleph, sino también las capacidades de generación de vídeo Gen-4 de Runway.

Para los sonidos, utilicé efectos de sonido gratuitos de Pixabay, mientras que las voces se generaron utilizando modelos de texto a voz de OpenAI.

Mi idea era hacer algo con referencias a John Wick, una de tus películas favoritas. Como no tenía ningún vídeo, tuve que crear todo basándome en fotos nuestras y vídeos disponibles en Internet.

Quería que fuera sencillo, así que opté por un vídeo tipo tráiler con un narrador. No tener personajes que hablen es mucho más sencillo cuando se trata de vídeos generados por IA.

Mi guion era algo así:

• Sitúa la escena en Taipéi (donde vivimos).
• Presenta a los dos personajes.
• Los dos personajes se conocen en el hotel «The Continental» (una referencia cinematográfica).
• Te regalo una caja que contiene un rotulador (otra referencia cinematográfica).

Creación de los personajes

Para crear mi personaje, me hice un selfi y utilicé el modo chat de Runway para generar una versión de mí mismo con traje y sosteniendo una caja de madera.

Para mi amigo, no conseguí que Runway generara lo que quería, así que al final lo hice semimanualmente con Photoshop Firefly.

Mientras los generaba, también tuve varios problemas con Runway, que se negaba a generar las imágenes. Creo que, con la generación de imágenes mediante IA en general, es difícil generar personas concretas por motivos de seguridad. Pero eso es algo que hay que tener en cuenta si quieres crear algo con personajes concretos.

Escena 1: Taipei 101 con la luna

La escena inicial con el lapso de tiempo de la luna no está generada por IA. Es un vídeo gratuito de Timo Volz que he encontrado aquí, en Pexels.com.

Intenté modificarlo con Runway Aleph, pero no funcionó. Pensé que sería genial editarlo con una toma aérea desde un dron volando sobre el edificio, pero Aleph me dio esto en su lugar:

Convierte este vídeo en una toma con dron sobrevolando el edificio.

Escena 2: Primer plano de mi amigo

Para la segunda escena, proporcioné la foto que había generado con Photoshop y pedí un primer plano para presentar al personaje.

Me gustó el resultado, pero quería introducir algo de misterio antes de revelar el personaje. Así que le pedí que generara otra imagen con la siguiente indicación: "Primer plano para presentar al personaje. Haz que empiece mirando hacia atrás y luego gira lentamente hacia la cámara.".

Estos son los resultados:

En el segundo ejemplo, Runway Aleph no cumplió con la indicación. Sin embargo, esa foto es la que acabé utilizando. Corté la primera mitad en un programa de edición de vídeo para que la cara del personaje apareciera oculta por el sombrero y solo se viera después.

Escena 3: Caminando por un callejón oscuro

Esta escena fue generada por:

1. Basándote en la foto del personaje, genera una imagen del personaje de espaldas en un callejón oscuro.

2. Utilizando esa imagen, junto con un texto: «El hombre del sombrero camina por el callejón, alejándose de la cámara hasta desaparecer en la distancia. Añade niebla para hacer la escena más misteriosa.

Escena 4: Yo caminando con la caja

Para esta escena, utilicé la imagen de mí mismo que creé anteriormente. Tuve que insistir bastante para que Aleph generara un vídeo en el que aparezco caminando. La indicación era sencilla: «La persona camina hacia el edificio que se ve al fondo».

Ninguno de los cuatro vídeos hizo lo que te pedí. Al final utilicé el cuarto, ya que era el único que se podía usar.

Quería añadir un poco de niebla al vídeo para darle un aspecto más misterioso, así que utilicé las funciones de edición de vídeo de Aleph para crear un efecto brumoso. Esto, por otro lado, funcionó bastante bien.

Para la segunda parte, el primer plano de la caja, primero intenté que Aleph editara el vídeo utilizando la instrucción: «Haz un primer plano centrándote en la mano que sostiene la caja». Sin embargo, eso no funcionó en absoluto.

Hice una captura de pantalla del fotograma que quería animar y la utilicé junto con una indicación para corregirlo.

Por último, para la toma en la que me alejo, Runway generó inicialmente un callejón con luces de neón similar al de una escena anterior. Para que se viera diferente, le pedí a Aleph que editara el vídeo y eliminara las luces de neón, lo cual funcionó muy bien.

Escena 5: Conducir el coche

Esta escena se generó de la misma manera que la tercera escena, generando una imagen fija y transformándola luego en un vídeo.

Sin embargo, el vídeo no quedó exactamente como yo quería:

Cuando utilizo Runway Aleph, tengo la sensación de que solo hay un par de segundos utilizables en el vídeo antes de que empiece a verse raro. Aún así, logré sacar algo en claro:

1. Invirtiendo el vídeo.
2. Conservar solo la parte del vídeo que se centra en el conductor.

Escena 6: Temporizador de tráfico

Esta escena es un vídeo de uso gratuito de Timo Volz tomado de Pexels. He intentado modificar el estilo, pero sin mucho éxito.

Este es el mensaje que utilicé:

«Cambia el estilo de este vídeo a una estética de acción neo-noir inspirada en John Wick: cinematográfica, con iluminación de alto contraste, calles urbanas empapadas por la lluvia en tonos azules, morados y rojos intensos; atmósfera elegante pero peligrosa; interiores modernos y elegantes; ambiente refinado pero descarnado».

Sin embargo, el resultado era inutilizable:

Hice otros experimentos de estilismo en otros vídeos, pero ninguno funcionó.

Escenas finales

Las tres escenas finales también se generaron convirtiendo imágenes en vídeos.

• Esta imagen es de un edificio real en Taipéi, y yo añadí el letrero de neón con Photoshop.
• La imagen en la que aparezco caminando por el pasillo con la caja se generó con Runway, pidiéndole que me situara en un hotel elegante con una alfombra con una «C». La imagen no ha quedado muy bien, ya que la caja parece más bien una maleta, pero no he conseguido arreglarla.
• La imagen final se tomó de una caja de regalo de John Wick y la nota se añadió con Photoshop.

Texto final

El texto final se generó íntegramente con Runway. Utilicé el modo de chat para pedirle que generara el texto «Capítulo 50» como título de una película al estilo de John Wick. Generó esta imagen:

Luego, en el modo de chat, me preguntó si querías que el texto fuera animado, y respondiste que sí. Este es el resultado:

Quería que las letras también estuvieran animadas, así que utilicé Aleph para editar el vídeo. El resultado no es lo que pedí, pero aún así me gustó y pude utilizarlo.

Esto es lo que pedí: «La cámara vuela a través del cero del texto «50» y se desvanece en una pantalla negra».

Aquí está el resultado final:

Más experimentos con Runway Aleph

Generación de la siguiente escena

Intenté ampliar algunas partes del vídeo utilizando Aleph para generar las siguientes escenas de algunas de mis escenas. En primer lugar, no especifiqué cómo quería que fuera la siguiente escena; solo pedí que generara una escena siguiente.

En términos de acción, la escena generada es coherente con la escena anterior, pero hay una pérdida significativa en la coherencia del personaje. No parece la misma persona.

Para comprobarlo, intenté especificar que quería que, en la siguiente escena, el personaje se subiera a una motocicleta. Luego utilicé el resultado y pedí otra escena del personaje alejándose en la motocicleta.

Este es el resultado:

Aleph no entendía por qué el personaje llevaba una caja. También podemos ver algunos artefactos extraños en el vídeo.

Modificar un vídeo

Para crear el vídeo, utilicé con éxito las funciones de edición de vídeo de Aleph para eliminar los letreros luminosos de la calle y añadir niebla a una escena. Sin embargo, cuando intenté cambiar la estética de uno de los vídeos, no lo conseguí.

Por curiosidad, probé a hacer llover en una de las escenas para ver cómo respondía, y funcionó bastante bien al primer intento.

En el siguiente ejemplo, pedí que se añadiera fuego a la rueda trasera de una motocicleta. Se ha añadido fuego correctamente, pero no donde se esperaba:

Aquí tienes un último ejemplo en el que le pedí que añadiera una ola gigante a un vídeo existente:

Conclusión

Crear vídeos con Runway Aleph está sin duda al alcance de todos, pero es fundamental comprender que el proceso no es tan sencillo como escribir un texto y obtener un vídeo perfecto. El viaje requiere una mezcla de creatividad y paciencia, ya que la tecnología, aunque innovadora, todavía necesita orientación y ajustes para hacer realidad la visión de cada uno.

La mayoría de las veces, me veía adaptando mis ideas iniciales a los resultados producidos por Runway Aleph. En lugar de dirigir cada escena únicamente a través de indicaciones, se convirtió en un esfuerzo colaborativo, en el que las interpretaciones únicas de la herramienta a menudo influyeron en la dirección que finalmente tomé.

Los ejemplos mostrados en el anuncio de Runway Aleph probablemente representan sus mejores resultados. Si bien el modelo puede producir resultados impresionantes, lograr los efectos deseados a menudo requiere múltiples intentos y la voluntad de perfeccionar y repetir el proceso.

En general, Runway Aleph se perfila como una herramienta emocionante y divertida para aficionados, que permite crear vídeos que, de otro modo, podrían quedarse en meras ideas. Disfruté mucho del proceso mientras lo utilizaba para crear el vídeo de cumpleaños. Sin embargo, hacer realidad esta visión pone de manifiesto que aún queda mucho camino por recorrer antes de que la herramienta pueda traducir a la perfección todas las ideas en una realidad visual pulida.