Pista Gen 4.5: O melhor modelo de conversão de texto em vídeo até agora?

Apesar do trailer impressionante, sempre fico desconfiado de que os vídeos de exemplo que as empresas de geração de IA usam pra mostrar seus modelos são escolhidos a dedo e que a realidade muitas vezes não combina com o hype.

Neste artigo, vou te ensinar como usar o Runway 4.5 e mostrar exemplos sem filtros pra ver se ele realmente cumpre o que promete.

O que é a Runway 4.5?

O Runway 4.5 é um modelo de geração de IA de texto para vídeo da Runway ML. Enquanto Runway 4 se concentrou em gerar vídeos a partir de imagens, o Runway 4.5 se concentra em prompts de texto. O novo modelo ainda não suporta som, mas deve ser lançado em breve, de acordo com a Runway.

A falta de suporte de áudio também quer dizer que os sons no trailer de lançamento foram feitos fora do jogo e não pelo Runway 4.5.

Embora o novo modelo supere outros modelos existentes em testes comparativos de texto para vídeo, isso parece um retrocesso, pois os modelos anteriores tinham um bom suporte de som e imagem. 

Pela minha experiência, o apoio visual é essencial pra criar uma história consistente, porque mesmo que um modelo consiga seguir totalmente um roteiro de texto, seria impossível manter a consistência do personagem só com texto.

Se você é novo no Runway, a gente recomenda que você dê uma olhada nos nossos outros artigos sobre o Runway ML:

• Pista Gen 4: Um guia com exemplos práticos
• O que é o Runway Gen-3 Alpha? Como funciona, casos de uso, alternativas e muito mais
• Guia Runway Act-One: Eu me filmei pra testar isso

Como acessar o Runway 4.5?

O Runway 4.5 pode ser acessado pelo aplicativo web deles.

Usá-lo não é de graça e precisa de uma assinatura. Para mais detalhes, veja a página de preços.

Cada segundo de geração de vídeo para a Gen 4.5 custa 25 créditos. A assinatura mais barata deles vem com 625 créditos, o que só dá pra fazer 25 segundos de vídeo.

O que há de novo no Runway Gen-4.5?

Vamos conferir os novos recursos do Runway Gen 4.5:

Cumprimento preciso e imediato

No artigo de lançamento, eles dizem que o Runway 4.5 consegue seguir instruções complexas com muita precisão. Ou seja, ele pode:

• Renderize cenas complexas com vários elementos com precisão.
• Lida com composições detalhadas, permitindo o posicionamento preciso de objetos e o movimento fluido de personagens e objetos na cena.
• Lidar com precisão com interações físicas com colisões realistas e movimentos naturais.
• Crie personagens expressivos com emoções sutis, gestos naturais e detalhes realistas.

O vídeo abaixo é uma compilação de um exemplo para cada um desses recursos, tirado do site oficial deles:

Controle estilístico e consistência visual

Parecido com os modelos modernos de texto para vídeo, como o Veo3.1, o Gen-4.5 dá suporte a um monte de estilos visuais, desde imagens cinematográficas realistas até animações super estilizadas, mantendo uma identidade visual consistente e unificada. Em particular, podemos:

• Crie vídeos que parecem reais, com detalhes e precisão incríveis.
• Crie movimentos estilizados e expressivos com liberdade artística, sem se preocupar com o realismo.
• Faça vídeos que pareçam e transmitam a sensação do dia a dia.
• Renderize vídeos com profundidade impressionante e acabamento cinematográfico.

Abaixo estão alguns exemplos tirados do anúncio oficial deles, mostrando cada um dos recursos mencionados acima:

Testando a pista 4.5

Os exemplos mostrados acima foram tirados do site oficial. Eles parecem bem impressionantes, mas geralmente acontece com os modelos de geração de vídeo com IA que a gente precisa gerar vários vídeos usando o mesmo prompt antes de conseguir algo bom. 

É importante lembrar que, geralmente, os resultados que vemos no anúncio de um novo modelo são cuidadosamente selecionados como os melhores vídeos entre muitos exemplos gerados.

Nesta seção, mostro os resultados das minhas próprias experiências usando o Runway 4.5. Enquanto fazia esses experimentos, não escolhi a dedo. Para cada ideia que tive, criei um único vídeo e não tentei fazer várias versões até conseguir algo que me agradasse.

Pra criar um bom prompt, eu recomendei seguir o guia de prompts, que sugere a seguinte estrutura:

[Camera] shot of [a subject/object] [action] in [environment]. [Supporting component descriptions]

Precisão física

Meu primeiro teste para o Runway 4.5 foi ver se o modelo entende de física. 

Para isso, tive a ideia de colocar um elefante e um rato numa gangorra e ver para que lado ela se inclinava. Não quis incluir na solicitação o que aconteceria para ver se o modelo aprendeu a gerar física realista sem que ela fosse descrita.

Em vez de criar um único vídeo, decidi criar dois vídeos:

1. O rato tá sozinho na gangorra, e o elefante pula do outro lado. Eu esperava que o rato fosse voar para longe.
2. O elefante tá sozinho na gangorra, e o rato pula do outro lado. Eu não esperava que nada acontecesse, já que o elefante é bem mais pesado.

Aqui estão as instruções que usei:

Side-on static camera shot of a mouse sitting alone on one end of a wooden see-saw as an elephant falls onto the opposite end in an open grassy field. 
The full see-saw and pivot remain visible, the fall completes within the shot, the motion is shown in real-time, and the take is continuous with no cuts.

Side-on static camera shot of an elephant sitting alone on one end of a wooden see-saw as a mouse falls onto the opposite end in an open grassy field. 
The full see-saw and pivot remain visible, the fall completes within the shot, the motion is shown in real-time, and the take is continuous with no cuts.

E aqui está o resultado:

Embora o resultado não seja exatamente o que eu imaginava, sinto que, em termos de física, o Runway 4.5 lida com isso relativamente bem. 

No primeiro vídeo, o elefante não cai de verdade na gangorra, mas quando ele pisa nela, ele levanta o rato, mesmo que haja algumas pequenas inconsistências.

No segundo vídeo, como era de se esperar, o rato que cai na gangorra não causa nenhum efeito, o que é bom.

Emoções dos personagens

Depois, eu queria ver se conseguia despertar algumas emoções fortes nos personagens. No começo, eu queria ver se isso poderia criar um momento estranho, com duas pessoas se olhando sem saber o que fazer depois que a conversa acabasse. Usei este prompt:

Two-shot eye-level camera shot of two people holding eye contact after a conversation ends in a small elevator. 
Neither speaks, the doors remain closed, and the moment extends slightly longer than comfortable in real time.

Aqui está o vídeo gerado pelo Runway Gen 4.5:

O vídeo não me deixou desconfortável. Sei que não pedi explicitamente essa emoção na sugestão, e talvez seja subjetivo dizer que essa emoção vem do olhar fixo.

Mesmo não sendo o que eu esperava, achei que o vídeo mostrou expressões faciais que combinavam com a situação. Pra mim, parecia mais que os personagens estavam se preparando pra lidar com uma situação difícil.

Fiz uma segunda experiência em que uma mulher recebeu uma mensagem de texto triste e reagiu a ela. Esse foi o prompt que usei:

Locked-off close-up camera shot of a young woman reading a very sad message on her phone and slowly lowering it in a quiet subway station. 
Her face remains fully visible, background movement continues naturally, and the moment plays out in a single continuous take.

Criando cenas complexas

Uma das coisas que tenho observado que os modelos de IA sempre deixam a desejar é gerar cenas movimentadas com muitas pessoas. Normalmente, tem muitos artefatos, com pessoas e objetos sumindo ou aparecendo do nada.

Pra testar a capacidade do Runway 4.5 de criar uma cena complexa, pedi pra ele gerar um vídeo de um mercado noturno cheio de gente usando essa instrução:

A crowded open-air night market just after a sudden rainstorm. 
Steam rises from food stalls while neon signs in different languages reflect in puddles on the ground. 
Dozens of people move through the narrow aisles: vendors cooking, customers eating, children weaving through the crowd, a street musician performing near an intersection. 
Some people carry umbrellas, others shake water from their clothes. 
Plastic tarps flutter overhead, partially blocking strings of warm lights. 
In the background, scooters pass by, and apartment windows glow at different heights. 
The scene feels alive, messy, and authentic, with many small interactions happening at once.

Esse foi o resultado:

No geral, o resultado não está tão ruim assim. As pessoas na frente continuam consistentes, e o vídeo inclui a maioria dos elementos solicitados. 

Mas, ele tem o mesmo problema que outros modelos têm de manter a consistência dos movimentos. 

Por exemplo, em algum momento, tem uma scooter no fundo que some. O mesmo rola com algumas pessoas.

Criando cenas realistas

Uma das afirmações do anúncio é que o modelo consegue criar uma cena simples do dia a dia. Pra testar isso, pedi pra ele criar uma das cenas mais comuns do dia a dia que me veio à cabeça: alguém pagando no caixa do supermercado.

Esse foi o prompt que usei:

Eye-level handheld camera shot of a customer placing items on a checkout counter and waiting in a small local grocery store. 
The cashier scans items off-screen, the line behind shifts slightly, and ambient motion continues.

Mesmo que o resultado não seja tão ruim, sinto que o modelo realmente teve dificuldade em seguir a instrução:

Não tem fila de clientes e os produtos descem pela esteira rolante de um jeito estranho e acabam se juntando no final. A cena parece meio estranha e muito gerada por IA pra mim.

Criando mundos de fantasia

Há algo que eu queria criar há um tempo, mas não conseguia com todos os modelos que tentei, então resolvi tentar com o Runway 4.5. Eu queria criar um personagem com um pincel mágico que ele usa para sair de situações difíceis. 

Por exemplo, ele poderia estar fugindo de pessoas más e usar isso para desenhar uma escada para escapar de um beco sem saída.

Pedi ao Runway 4.5 para criar essa cena usando essa sugestão:

A fantastical world where painted objects can become real. 
A lone character carrying a glowing magical paintbrush runs through a surreal alley as shadowy pursuers close in behind him. 
He reaches a dead end: a tall, blank wall with no exits. 
Panicked but focused, he turns, presses the brush against the wall, and quickly paints a ladder. 
As the final stroke is completed, the painted ladder transforms into a physical object attached to the wall. 
The character climbs the ladder and escapes upward just as the pursuers reach the wall below. 
The environment feels dreamlike and imaginative, with subtle magical effects reinforcing that art and reality blend together in this world.

O vídeo tem algumas coisas meio estranhas, tipo os bandidos fugindo do personagem principal no começo e, no final, eles não subindo a escada. Mesmo assim, depois de tentar essa ideia em outros modelos, tenho que dizer que é a primeira vez que consegui algo que chega perto do que eu queria.

Criando vídeos cinematográficos

Como última experiência, tentei criar um vídeo com um visual e uma sensação cinematográficos. Esse foi o prompt que usei:

A cinematic sequence at dusk in a vast desert landscape. 
A solitary figure walks along a windswept ridge as the sky shifts from deep blue to burning orange. 
The camera begins wide and slowly pushes in, revealing dust catching the light and fabric moving in the wind. 
The character stops, turns toward the horizon, and exhales as distant thunder rolls. 
Subtle lens flares, natural motion blur, and layered sound cues suggest scale and tension. 
The moment feels quiet, dramatic, and intentional, like a scene from a high-budget film.

E aí está o resultado:

Em termos de aparência e sensação, acho que é muito preciso e parece muito cinematográfico. A única coisa que não curti foi que o personagem estava correndo em vez de andar. Acho que isso muda completamente a sensação do vídeo.

Comparação entre Runway 4.5 e Veo 3.1

Testei alguns exemplos usando as mesmas instruções no Runway 4.5 e no que considero seu concorrente mais direto, o Veo 3.1 (repare que os vídeos gerados pelo Veo 3.1 são um pouco mais longos).

Fiquei um pouco surpreso com o desempenho muito melhor do Runway 4.5 nos três exemplos. Aqui tá uma comparação entre os vídeos gerados pelos dois modelos para o exemplo da gangorra com o elefante sentado nela:

O vídeo do Veo 3.1 tem muitos erros. Por exemplo, um segundo mouse aparece do nada quando o mouse está caindo. Então parece que a gangorra está batendo no elefante, mas depois disso, o elefante está na frente dela.

Tentei um último exemplo com movimentos complexos e interações físicas:

Slow-motion dolly shot of a line of shopping carts colliding one after another in a steep supermarket parking garage. 
Each impact transfers momentum unevenly, carts crumple differently, loose items fly forward, and the final cart barely moves.

Nesse caso, os dois modelos falharam, mas o Veo 3.1 falhou mais:

Conclusão

Neste passo a passo, mostrei como usar o Runway 4.5 e fiz um teste de estresse com prompts não filtrados sobre física, emoções, multidões complexas, momentos do dia a dia, uma fuga fantástica e uma cena cinematográfica. Também comparei o Runway 4.5 diretamente com o Veo 3.1. 

O Runway 4.5 consegue criar vídeos legais e coerentes, com uma boa aderência às instruções e alguns momentos que se destacam, mas nada aqui pareceu realmente inovador. 

O Runway 4.5 ainda tem algumas limitações, principalmente a falta de som nativo, que eles dizem que deve sair em breve, além das pequenas falhas de consistência que vimos em interações complexas ou detalhadas. 

No geral, com base nos meus experimentos e nos benchmarks publicados, o Runway 4.5 parece ser mais forte que o Veo 3.1 no momento.

Se você quer saber mais sobre as técnicas usadas na geração de vídeos com IA, recomendo dar uma olhada no nosso guia dos principais modelos de geração de vídeos e no nosso programa de habilidades Fundamentos de IA.