Runway Gen 4.5: il miglior modello text-to-video finora?

Nonostante il trailer impressionante, resto sempre scettico: spesso i video usati dalle aziende di AI generativa per mostrare i loro modelli sono selezionati ad arte e la realtà non corrisponde all'hype.

In questo articolo, ti insegnerò come usare Runway 4.5 e mostrerò esempi non filtrati per capire se Runway 4.5 mantiene davvero le promesse.

Che cos'è Runway 4.5?

Runway 4.5 è un modello AI di generazione da testo a video di Runway ML. Mentre Runway 4 era focalizzato sulla generazione di video a partire da immagini, Runway 4.5 si concentra sui prompt testuali. Al momento, il nuovo modello non supporta ancora l'audio, ma secondo Runway dovrebbe arrivare presto.

La mancanza del supporto audio implica anche che i suoni nel trailer di lancio siano stati creati esternamente e non generati da Runway 4.5.

Sebbene il nuovo modello superi gli altri modelli esistenti nei benchmark text-to-video, questo sembra un passo indietro perché le versioni precedenti avevano un buon supporto per suono e immagini. 

Per la mia esperienza, il supporto alle immagini è fondamentale per creare una storia coerente: anche se un modello riesce a rispettare pienamente un prompt testuale, sarebbe impossibile mantenere la coerenza dei personaggi usando solo il testo.

Se sei nuovo su Runway, ti consigliamo di consultare gli altri nostri articoli su Runway ML:

• Runway Gen 4: una guida con esempi pratici
• Che cos'è Runway Gen-3 Alpha? Come funziona, casi d'uso, alternative e altro
• Guida a Runway Act-One: mi sono filmato per metterlo alla prova

Come accedere a Runway 4.5?

Runway 4.5 è accessibile tramite la loro app web.

Non è gratuito e richiede un abbonamento. Per maggiori dettagli, consulta la loro pagina dei prezzi.

Ogni secondo di generazione video con Gen 4.5 costa 25 crediti. L'abbonamento più economico include 625 crediti, che permettono di generare solo 25 secondi di video.

Cosa c'è di nuovo in Runway Gen-4.5?

Vediamo le nuove funzionalità di Runway Gen 4.5:

Aderenza precisa al prompt

Nel loro articolo di lancio affermano che Runway 4.5 può aderire a prompt complessi con un alto grado di accuratezza. In particolare, può:

• Renderizzare scene complesse con più elementi in modo preciso.
• Gestire composizioni dettagliate, consentendo il posizionamento accurato degli oggetti e movimenti fluidi di personaggi e oggetti nella scena.
• Gestire accuratamente interazioni fisiche con collisioni credibili e movimenti naturali.
• Generare personaggi espressivi con emozioni sfumate, gesti naturali e dettagli realistici.

Il video qui sotto è una raccolta di un esempio per ciascuna di queste funzionalità, preso dal loro sito ufficiale:

Controllo stilistico e coerenza visiva

Analogamente ai moderni modelli text-to-video come Veo3.1, Gen-4.5 supporta un ampio spettro di stili visivi, dalle immagini cinematografiche realistiche ad animazioni altamente stilizzate, mantenendo al contempo un'identità visiva coerente e unitaria. In particolare, possiamo:

• Generare video indistinguibili da riprese reali, con dettagli e accuratezza verosimili.
• Creare movimenti stilizzati ed espressivi con libertà artistica non vincolata dal realismo.
• Realizzare video che sembrano e si percepiscono come scene di vita quotidiana.
• Renderizzare video con notevole profondità e finitura cinematografica.

Di seguito alcuni esempi tratti dal loro annuncio ufficiale che mostrano ciascuna delle funzionalità sopra menzionate:

Testare Runway 4.5

Gli esempi mostrati sopra sono stati presi dal sito ufficiale. Sembrano piuttosto impressionanti, ma con i modelli di generazione video AI spesso capita di dover generare un bel po' di video con lo stesso prompt prima di ottenere qualcosa di buono. 

È importante ricordare che, di solito, i risultati che vediamo nell'annuncio di un nuovo modello sono accuratamente selezionati come i migliori tra molti esempi generati.

In questa sezione mostro i risultati dei miei esperimenti con Runway 4.5. Durante questi test non ho selezionato i migliori: per ogni idea che avevo, ho generato un solo video e non ho provato a crearne più versioni finché non ne usciva una accettabile.

Per creare un buon prompt, consiglio di seguire la loro guida ai prompt, che suggerisce la seguente struttura:

[Camera] shot of [a subject/object] [action] in [environment]. [Supporting component descriptions]Offerto da

Accuratezza fisica

Il mio primo test per Runway 4.5 è stato verificare se il modello capisce la fisica. 

Per questo, ho pensato di mettere un elefante e un topo su un'altalena e vedere da che parte si inclina. Non volevo includere nel prompt cosa sarebbe successo, per capire se il modello avesse imparato a generare fisica realistica senza che fosse descritta.

Invece di generare un solo video, ho deciso di generarne due:

1. Il topo è da solo sull'altalena e l'elefante salta dall'altra parte. Mi aspettavo che il topo volasse via.
2. L'elefante è da solo sull'altalena e il topo salta dall'altra parte. Mi aspettavo che non succedesse nulla, dato che l'elefante è molto più pesante.

Ecco i prompt che ho usato:

Side-on static camera shot of a mouse sitting alone on one end of a wooden see-saw as an elephant falls onto the opposite end in an open grassy field. 
The full see-saw and pivot remain visible, the fall completes within the shot, the motion is shown in real-time, and the take is continuous with no cuts.Offerto da

Side-on static camera shot of an elephant sitting alone on one end of a wooden see-saw as a mouse falls onto the opposite end in an open grassy field. 
The full see-saw and pivot remain visible, the fall completes within the shot, the motion is shown in real-time, and the take is continuous with no cuts.Offerto da

Ed ecco il risultato:

Sebbene il risultato non sia esattamente come lo immaginavo, a livello di fisica mi sembra che Runway 4.5 se la cavi piuttosto bene. 

Nel primo video, l'elefante non cade davvero sull'altalena, ma quando ci sale sopra solleva il topo, anche se con qualche piccola incoerenza.

Nel secondo video, come previsto, il topo che cade sull'altalena non ha alcun effetto, il che è positivo.

Emozioni dei personaggi

Poi ho voluto vedere se riuscivo a evocare emozioni forti nei personaggi. Inizialmente volevo capire se poteva generare un momento di imbarazzo facendo fissare due persone negli occhi, senza nulla da fare dopo la fine di una conversazione. Ho usato questo prompt:

Two-shot eye-level camera shot of two people holding eye contact after a conversation ends in a small elevator. 
Neither speaks, the doors remain closed, and the moment extends slightly longer than comfortable in real time.Offerto da

Ecco il video generato da Runway Gen 4.5:

Il video non mi ha trasmesso una sensazione di imbarazzo. So che non ho richiesto esplicitamente quell'emozione nel prompt, e forse è soggettivo pensare che sia l'emozione che nasce da uno sguardo prolungato.

Pur non essendo ciò che mi aspettavo, ho avuto l'impressione che il video restituisse espressioni facciali coerenti con la situazione. A me è sembrato più che i personaggi si stessero preparando ad affrontare una situazione difficile.

Ho fatto un secondo esperimento in cui una donna riceveva un messaggio triste e reagiva. Questo è il prompt che ho usato:

Locked-off close-up camera shot of a young woman reading a very sad message on her phone and slowly lowering it in a quiet subway station. 
Her face remains fully visible, background movement continues naturally, and the moment plays out in a single continuous take.Offerto da

Generazione di scene complesse

Una delle cose in cui vedo fallire costantemente i modelli di AI è la generazione di scene affollate con molte persone. Di solito compaiono molti artefatti, con persone e oggetti che scompaiono o appaiono dal nulla.

Per testare la capacità di Runway 4.5 di generare una scena complessa, gli ho chiesto di creare un video di un mercato notturno affollato usando questo prompt:

A crowded open-air night market just after a sudden rainstorm. 
Steam rises from food stalls while neon signs in different languages reflect in puddles on the ground. 
Dozens of people move through the narrow aisles: vendors cooking, customers eating, children weaving through the crowd, a street musician performing near an intersection. 
Some people carry umbrellas, others shake water from their clothes. 
Plastic tarps flutter overhead, partially blocking strings of warm lights. 
In the background, scooters pass by, and apartment windows glow at different heights. 
The scene feels alive, messy, and authentic, with many small interactions happening at once.Offerto da

Questo è stato il risultato:

Nel complesso, il risultato non è troppo male. Le persone in primo piano restano coerenti e il video include la maggior parte degli elementi richiesti. 

Tuttavia soffre dello stesso problema di altri modelli: fatica a mantenere la coerenza dei movimenti. 

Per esempio, a un certo punto uno scooter sullo sfondo scompare. Lo stesso accade con alcune persone.

Generazione di scene di vita reale

Una delle affermazioni dell'annuncio è la capacità del modello di generare una semplice scena di vita quotidiana. Per testarla, ho chiesto di generare una delle scene più comuni che mi venivano in mente: qualcuno alla cassa del supermercato.

Questo è il prompt che ho usato:

Eye-level handheld camera shot of a customer placing items on a checkout counter and waiting in a small local grocery store. 
The cashier scans items off-screen, the line behind shifts slightly, and ambient motion continues.Offerto da

Anche se il risultato non è troppo male, ho l'impressione che il modello abbia faticato parecchio ad aderire al prompt:

Non c'è una coda visibile di clienti e gli articoli scorrono sul nastro in modo strano, ammassandosi alla fine. La scena mi sembra innaturale e molto "generata dall'AI".

Generazione di mondi fantasy

C'è qualcosa che volevo generare da tempo e che continuava a fallire con tutti i modelli provati, quindi ho deciso di provarci con Runway 4.5. Volevo creare un personaggio con un pennello magico che usa per tirarsi fuori dai guai. 

Per esempio, potrebbe scappare da persone cattive e usarlo per disegnare una scala per fuggire da un vicolo cieco.

Ho chiesto a Runway 4.5 di generare questa scena con questo prompt:

A fantastical world where painted objects can become real. 
A lone character carrying a glowing magical paintbrush runs through a surreal alley as shadowy pursuers close in behind him. 
He reaches a dead end: a tall, blank wall with no exits. 
Panicked but focused, he turns, presses the brush against the wall, and quickly paints a ladder. 
As the final stroke is completed, the painted ladder transforms into a physical object attached to the wall. 
The character climbs the ladder and escapes upward just as the pursuers reach the wall below. 
The environment feels dreamlike and imaginative, with subtle magical effects reinforcing that art and reality blend together in this world.Offerto da

Il video ha alcune incoerenze, come i cattivi che all'inizio corrono via dal protagonista, e i cattivi alla fine che non salgono la scala. Nonostante ciò, dopo aver provato questa idea su altri modelli, devo dire che è la prima volta che ottengo qualcosa anche solo lontanamente vicino a ciò che volevo.

Generazione di video cinematografici

Come ultimo esperimento, ho provato a generare un video con un look and feel cinematografico. Questo è il prompt che ho usato:

A cinematic sequence at dusk in a vast desert landscape. 
A solitary figure walks along a windswept ridge as the sky shifts from deep blue to burning orange. 
The camera begins wide and slowly pushes in, revealing dust catching the light and fabric moving in the wind. 
The character stops, turns toward the horizon, and exhales as distant thunder rolls. 
Subtle lens flares, natural motion blur, and layered sound cues suggest scale and tension. 
The moment feels quiet, dramatic, and intentional, like a scene from a high-budget film.Offerto da

Ecco il risultato:

Per quanto riguarda look and feel, lo trovo molto accurato e davvero cinematografico. L'unica cosa che non mi è piaciuta è che il personaggio correva invece di camminare. Penso che questo cambi l'intero tono del video.

Confronto Runway 4.5 vs Veo 3.1

Ho provato alcuni esempi usando gli stessi prompt sia su Runway 4.5 sia su quello che ritengo il suo concorrente più diretto, Veo 3.1 (nota che i video generati da Veo 3.1 sono leggermente più lunghi).

Sono rimasto un po' sorpreso da quanto meglio abbia performato Runway 4.5 in tutti e tre gli esempi. Ecco un confronto tra i video generati da entrambi i modelli per l'esempio dell'altalena con l'elefante seduto sopra:

Il video di Veo 3.1 ha molti errori. Per esempio, appare dal nulla un secondo topo mentre il topo sta cadendo. Poi sembra che l'altalena colpisca l'elefante, ma subito dopo l'elefante è in realtà davanti ad essa.

Ho provato un ultimo esempio con movimento complesso e interazioni fisiche:

Slow-motion dolly shot of a line of shopping carts colliding one after another in a steep supermarket parking garage. 
Each impact transfers momentum unevenly, carts crumple differently, loose items fly forward, and the final cart barely moves.Offerto da

In questo caso, entrambi i modelli hanno fallito, ma Veo 3.1 è andato peggio:

Conclusione

In questo walkthrough ho mostrato come usare Runway 4.5 e l'ho messo sotto stress con prompt non filtrati su fisica, emozioni, folle complesse, momenti quotidiani, una fuga fantasy e una scena cinematografica. Ho anche confrontato direttamente Runway 4.5 con Veo 3.1. 

Runway 4.5 può certamente generare video belli e coerenti, con una buona aderenza ai prompt e occasionali momenti di spicco, ma niente qui è parso davvero rivoluzionario. 

Runway 4.5 ha ancora limiti evidenti, in particolare la mancanza di audio nativo, che dicono arriverà presto, insieme a quelle persistenti incoerenze che abbiamo visto in interazioni affollate o molto fini. 

Nel complesso, sulla base dei miei esperimenti e dei benchmark pubblicati, Runway 4.5 sembra al momento più forte di Veo 3.1.

Se vuoi approfondire le tecniche usate nella generazione video con AI, ti consiglio la nostra guida ai migliori modelli di generazione video e il nostro percorso di competenze AI Fundamentals.