Runway Aleph: guida con progetto demo

Che cos’è Runway Aleph?

Runway Aleph è un modello versatile di generazione video con IA che fa un passo avanti nella creazione di video consentendo di fornire un video in input e modificarlo usando un prompt testuale.

Le funzionalità principali includono:

• Possibilità di aggiungere, rimuovere e modificare in modo dettagliato gli oggetti in una scena.
• Generare diverse prospettive o angolazioni di un video.
• Regolare stile e illuminazione complessivi per adattarli a qualsiasi estetica desiderata.
• Estendere un video generando la scena successiva.

Puoi vedere molti esempi nell’annuncio ufficiale di Runway.

Come accedere a Runway Aleph?

Runway Aleph è disponibile a partire dal piano Standard a 15 $ al mese. Nonostante sia un piano mensile, non offre un numero illimitato di utilizzi.

Il piano Standard include 625 crediti e ogni secondo di Aleph costa 15 crediti, il che significa che si possono modificare circa 41 secondi di video al mese.

Esiste un piano Unlimited che include 2250 crediti e offre utilizzo illimitato in modalità explore, il che significa che i video impiegano più tempo a generarsi perché vengono messi in coda ed elaborati quando arrivano in cima alla coda.

Quasi tutti i video che ho generato qui sono stati creati usando la modalità explore e ho riscontrato che i tempi di attesa variano molto a seconda dell’ora del giorno. Nella maggior parte dei casi, non c’è stata alcuna attesa.

Come usare Runway Aleph?

Per usare Runway Aleph, dobbiamo avere un video come input. Una volta selezionato il video, possiamo fornire un prompt testuale per modificarlo o trasformarlo.

Possiamo, per esempio, chiedere ad Aleph di trasformarla in una scena notturna:

Nota che, se il video dura più di 5 secondi, verrà usata una sezione di 5 secondi. Questa sezione può essere selezionata trascinando la finestra sotto l’input video.

Pianificazione del video

Quando ho avuto accesso a Runway Aleph, mi era appena stato chiesto di registrare un video per fare gli auguri di compleanno a un amico. Così ho pensato di verificare se Aleph potesse essere usato per realizzare un video dall’inizio alla fine. Il processo mi ha insegnato molto sulle sue capacità e soprattutto sui suoi limiti.

Questo esperimento non userà solo le capacità di editing video di Aleph, ma anche le capacità di generazione video Gen-4 di Runway.

Per i suoni, ho usato effetti sonori gratuiti da Pixabay, mentre le voci sono state generate con modelli text-to-speech di OpenAI.

La mia idea era di inserire riferimenti a John Wick, uno dei suoi film preferiti. Non avendo girato nulla, ho dovuto creare tutto a partire da foto nostre e video liberamente disponibili su internet.

Volevo mantenerlo semplice, quindi ho optato per un video in stile trailer con un narratore. Non avere personaggi che parlano è molto più semplice quando si lavora con video generati dall’IA.

La mia scaletta era più o meno questa:

• Ambientare la scena a Taipei (dove viviamo)
• Presentare i due personaggi
• I due personaggi si incontrano all’hotel "The Continental" (riferimento al film)
• Gli regalo una scatola contenente un marker (altro riferimento al film)

Creare i personaggi

Per generare il mio personaggio, ho scattato un selfie e ho usato la chat di Runway per creare una mia versione con un abito e una scatola di legno in mano.

Per il mio amico, non sono riuscito a far generare a Runway ciò che volevo, quindi alla fine l’ho fatto in modo semi-manuale usando Photoshop Firefly.

Durante questa fase, mi sono anche imbattuto più volte in rifiuti da parte di Runway nel generare le immagini. Credo che, con la generazione di immagini IA in generale, sia difficile generare persone specifiche per motivi di sicurezza. È qualcosa da tenere a mente se vuoi creare contenuti con persone reali come personaggi.

Scena 1: Taipei 101 con la luna

La scena d’apertura con il timelapse della luna non è generata dall’IA. È un video ad uso gratuito di Timo Volz che ho trovato qui su Pexels.com.

Ho provato a modificarla con Runway Aleph, ma non ha funzionato. Pensavo fosse carino trasformarla in una ripresa da drone con il drone che sorvola l’edificio, ma Aleph mi ha restituito questo:

Trasforma questo video in una ripresa da drone che sorvola l’edificio.

Scena 2: Primo piano del mio amico

Per la seconda scena, ho fornito la foto che avevo generato con Photoshop e ho chiesto un’inquadratura in primo piano per introdurre il personaggio.

Il risultato mi è piaciuto, ma volevo introdurre un po’ di mistero prima di rivelare il personaggio. Quindi ho chiesto di generare un’altra inquadratura con il prompt: "Close-up shot to introduce the character. Make it start facing back and then slowly turn to the camera.".

Ecco i risultati:

Nel secondo esempio, Runway Aleph non ha rispettato il prompt. Tuttavia, è la ripresa che ho poi utilizzato. Ho tagliato la prima metà nel software di montaggio in modo che il volto del personaggio inizi coperto dal cappello e venga rivelato solo dopo.

Scena 3: Camminare in un vicolo buio

Questa scena è stata generata così:

1. Partendo dalla foto del personaggio, genera un’immagine del personaggio di spalle in un vicolo buio.

2. Usando quell’immagine, insieme a un prompt testuale: "The man with the hat walks down the alley, away from the camera until he disappears in the distance. Add mist to make the scene more mysterious."

Scena 4: Io che cammino con la scatola

Per questa scena, ho usato l’immagine di me stesso creata sopra. Ho dovuto insistere parecchio per ottenere da Aleph un video di me che cammino. Il prompt era semplice: "The person walks to the building in the background."

Nessuno dei quattro video ha fatto ciò che chiedevo. Ho finito per usare il quarto perché era l’unico utilizzabile.

Volevo però aggiungere un po’ di foschia per rendere il video più misterioso, quindi ho usato le funzionalità di editing video di Aleph per aggiungerla. Questa parte, invece, ha funzionato piuttosto bene.

Per la seconda parte, l’inquadratura in primo piano della scatola, ho provato prima a far modificare il video ad Aleph con il prompt: "Make a close-up shot focusing on the hand holding the box." Tuttavia, non ha funzionato affatto.

Ho fatto uno screenshot del fotogramma che volevo animare e l’ho usato insieme a un prompt per sistemarlo.

Infine, per la ripresa di me che mi allontano, Runway aveva generato inizialmente un vicolo con luci al neon simile a quello di una scena precedente. Per differenziarlo, ho chiesto ad Aleph di modificare il video rimuovendo le luci al neon, e ha funzionato molto bene.

Scena 5: Alla guida dell’auto

Questa scena è stata generata allo stesso modo della terza: generando un’immagine statica e poi trasformandola in un video.

Tuttavia, il video non è venuto esattamente come volevo:

Usando Runway Aleph, ho spesso la sensazione che ci siano solo un paio di secondi utilizzabili nel video prima che diventi strano. Sono comunque riuscito a cavarne qualcosa:

1. Invertendo il video.
2. Mantenendo solo la parte che si concentra sul conducente.

Scena 6: Timelapse del traffico

Questa scena è un video ad uso gratuito di Timo Volz preso da Pexels. Ho provato a modificarne lo stile ma con scarso successo.

Ecco il prompt che ho usato:

"Change the style of this video to a neo-noir action aesthetic inspired by John Wick—cinematic, high-contrast lighting, rain-soaked neon city streets in deep blues, purples, and reds; elegant yet dangerous atmosphere; sleek modern interiors; refined but gritty mood."

Tuttavia, il risultato era inutilizzabile:

Ho fatto altri esperimenti di styling su altri video, e nessuno ha funzionato.

Scene finali

Le ultime tre scene sono state generate anch’esse trasformando immagini in video.

• Questa immagine è di un edificio reale a Taipei e ho aggiunto l’insegna al neon con Photoshop.
• L’immagine di me che cammino nel corridoio con la scatola è stata generata con Runway chiedendo di mettermi in un hotel di lusso con un tappeto con una "C". L’immagine non è riuscita benissimo perché la scatola sembra più una valigia, ma non sono riuscito a sistemarla.
• L’immagine finale è stata presa da una gift box di John Wick e il biglietto è stato aggiunto con Photoshop.

Testo finale

Il testo finale è stato generato interamente con Runway. Ho usato la modalità chat per chiedere di generare il testo "Chapter 50" come titolo di un film nello stile di John Wick. Ha generato questa immagine:

Poi, in modalità chat, ha chiesto se volessi che il testo fosse animato, e ho detto di sì. Ecco il risultato:

Volevo che anche le lettere fossero animate, quindi ho usato Aleph per modificare il video. Il risultato non è quello che avevo chiesto, ma mi è comunque piaciuto ed è stato utilizzabile.

Ecco cosa ho chiesto: "The camera flies through the zero in the '50' text, fading into a black screen."

Ecco il risultato finale:

Altri esperimenti con Runway Aleph

Generazione della scena successiva

Ho provato a estendere alcune parti del video usando Aleph per generare le scene successive di alcune riprese. All’inizio non ho specificato cosa volessi come scena successiva; ho semplicemente chiesto di generarne una.

In termini di azione, la scena generata è coerente con la precedente, ma c’è una perdita significativa nella coerenza del personaggio. Non sembra la stessa persona.

Per approfondire, ho provato a specificare che volevo che nella scena successiva il personaggio salisse su una moto. Poi ho usato il risultato e ho chiesto un’ulteriore scena con il personaggio che si allontana in moto.

Ecco il risultato:

Aleph ha avuto difficoltà con il fatto che il personaggio portasse una scatola. Si notano anche strani artefatti nel video.

Modificare un video

Per realizzare il video, ho usato con successo le funzionalità di editing di Aleph per rimuovere insegne al neon dalle strade e aggiungere foschia in una scena. Tuttavia, quando ho provato a cambiare l’estetica di uno dei video, non ha funzionato.

Per curiosità, ho testato l’aggiunta della pioggia in una delle scene per vedere come se la cavasse, e ha funzionato molto bene al primo tentativo.

Nel seguente esempio, ho chiesto di aggiungere il fuoco alla ruota posteriore di una moto. Il fuoco è stato aggiunto, ma non dove avrebbe dovuto:

Ecco un ultimo esempio in cui ho chiesto di aggiungere un’onda gigante in un video esistente:

Conclusione

Creare video con Runway Aleph è sicuramente alla portata, ma è fondamentale capire che il processo non è semplice come digitare un prompt e ottenere un risultato perfetto. Il percorso richiede un mix di creatività e pazienza perché la tecnologia, pur innovativa, ha ancora bisogno di guida e aggiustamenti per dare vita alla propria visione.

Molto spesso mi sono ritrovato ad adattare le idee iniziali ai risultati prodotti da Runway Aleph. Più che dirigere ogni scena solo tramite prompt, è diventato un lavoro collaborativo, in cui le interpretazioni uniche dello strumento hanno spesso influenzato la direzione finale.

Gli esempi mostrati nell’annuncio di Runway Aleph probabilmente rappresentano i risultati migliori. Sebbene il modello possa produrre risultati impressionanti, ottenere gli effetti desiderati richiede spesso più tentativi e la disponibilità a raffinare e iterare sull’output.

Nel complesso, Runway Aleph si presenta come uno strumento entusiasmante e divertente per gli appassionati, che consente di creare video che altrimenti resterebbero solo un’idea. Mi sono divertito a usarlo per creare il video di compleanno. Tuttavia, dare forma a una visione di questo tipo mette in luce che c’è ancora strada da fare prima che lo strumento riesca a tradurre ogni idea in una realtà visiva perfettamente rifinita.