Pista Aleph: Um guia com projeto de demonstração

O que é Runway Aleph?

Runway Aleph é um modelo versátil de geração de IA para vídeo que leva a criação de vídeos um passo adiante, permitindo entradas de vídeo que podem ser editadas usando um prompt de texto.

As principais características incluem:

• Capacidade de adicionar, remover e alterar objetos de forma complexa dentro de uma cena.
• Crie diferentes perspectivas ou ângulos de um vídeo.
• Dá um jeito no estilo geral e na iluminação pra combinar com o visual que você quer.
• Aumenta a duração de um vídeo criando a cena seguinte.

Você pode ver vários exemplos no anúncio oficial.

Como acessar o Runway Aleph?

O Runway Aleph tá disponível a partir do plano Standard por US$ 15 por mês. Mesmo sendo um plano mensal, ele não dá direito a usar quantas vezes você quiser.

O plano Standard vem com 625 créditos, e cada segundo do Aleph custa 15 créditos, o que significa que você pode editar cerca de 41 segundos de vídeo por mês.

Tem um plano Ilimitado que inclui 2250 créditos e dá uso ilimitado no modo explorar, o que significa que os vídeos demoram mais pra gerar porque ficam na fila e só são gerados quando chegam na frente da fila.

Quase todos os vídeos que fiz aqui foram feitos usando o modo explorar, e percebi que o tempo de espera varia bastante dependendo da hora do dia. Na maioria das vezes, não tinha tempo de espera.

Como usar o Runway Aleph?

Pra usar o Runway Aleph, a gente precisa de um vídeo como entrada. Depois de escolher um vídeo, a gente pode mostrar uma mensagem pra você editar ou transformar o vídeo.

A gente pode, por exemplo, pedir pro Aleph fazer noite:

Lembre-se que, se o vídeo tiver mais de 5 segundos, só uma parte de 5 segundos vai ser usada. Essa seção pode ser selecionada arrastando a janela sob a entrada de vídeo.

Planejando o vídeo

Quando consegui acesso ao Runway Aleph, tinham acabado de me pedir pra gravar um vídeo pra desejar feliz aniversário pro meu amigo. Então, pensei em ver se o Aleph poderia ser usado pra fazer um vídeo do começo ao fim. Achei que o processo me ensinou muito sobre as capacidades e, principalmente, sobre as limitações do sistema.

Essa experiência não vai só usar as funcionalidades de edição de vídeo do Aleph, mas também as funcionalidades de geração de vídeo Gen-4 do Runway.

Para os sons, usei efeitos sonoros gratuitos do Pixabay, enquanto as vozes foram geradas usando modelos de conversão de texto em fala da OpenAI.

Minha ideia era fazer algo com referências a John Wick, um dos filmes favoritos dele. Como eu não tinha nenhuma filmagem, tive que criar tudo com base em fotos nossas e vídeos disponíveis na internet.

Queria manter a simplicidade, então optei por um vídeo tipo trailer com um narrador. Não ter personagens falando é bem mais simples quando se trata de vídeos gerados por IA.

Meu roteiro era mais ou menos assim:

• Coloque a cena em Taipé (onde a gente mora)
• Apresenta os dois personagens
• Os dois personagens se encontram no hotel “The Continental” (uma referência a um filme).
• Eu dei pra ele uma caixa com um marcador (outra referência a um filme).

Criando os personagens

Pra criar meu personagem, tirei uma selfie e usei o modo de bate-papo do Runway pra gerar uma versão minha de terno e segurando uma caixa de madeira.

Pra minha amiga, não consegui fazer o Runway gerar o que eu queria, então acabei fazendo meio que manualmente usando o Photoshop Firefly.

Enquanto fazia isso, também tive vários problemas com o Runway, que não queria gerar as imagens. Acho que, com a geração de imagens por IA em geral, é difícil criar pessoas específicas por motivos de segurança. Mas é algo pra ter em mente se você quiser criar algo com pessoas específicas como personagens.

Cena 1: Taipei 101 com a lua

A cena inicial com o lapso temporal da lua não foi gerada por IA. É um vídeo gratuito do Timo Volz que eu achei aqui no Pexels.com.

Tentei modificar usando o Runway Aleph, mas não deu certo. Achei que seria legal fazer uma filmagem com um drone voando acima do prédio, mas o Aleph me deu isso:

Transforme este vídeo em uma filmagem feita por um drone sobrevoando o prédio.

Cena 2: Close-up do meu amigo

Pra segunda cena, eu mandei a foto que tinha feito no Photoshop e pedi pra fazerem um close-up pra apresentar o personagem.

Gostei do resultado, mas queria dar um toque de mistério antes de mostrar o personagem. Então, pedi pra ele gerar outra foto com a seguinte instrução: “Close-up para apresentar o personagem. Comece com ele de costas e, em seguida, vire-o lentamente para a câmera.

E aí estão os resultados:

No segundo exemplo, a pista Aleph não seguiu a instrução. Mas, no fim das contas, foi essa foto que eu usei. Cortei a primeira metade no software de edição de vídeo pra que o rosto do personagem ficasse escondido pelo chapéu e só fosse revelado depois.

Cena 3: Andando por um beco escuro

Essa cena foi criada por:

1. Com base na foto do personagem, crie uma imagem dele de costas em um beco escuro.

2. Usando essa imagem, junto com um texto: “O cara de chapéu anda pelo beco, se afastando da câmera até sumir lá longe. Adicione névoa para deixar a cena mais misteriosa.

Cena 4: Eu andando com a caixa

Pra essa cena, usei a imagem que criei de mim mesmo acima. Tive que insistir bastante para que o Aleph gerasse um vídeo de mim andando. A pergunta era simples: “A pessoa caminha em direção ao prédio ao fundo.”

Nenhum dos quatro vídeos fez o que eu pedi. Acabei usando o quarto, porque era o único que dava pra usar.

Eu queria adicionar um pouco de névoa ao vídeo pra deixar mais misterioso, então usei os recursos de edição de vídeo do Aleph pra deixar tudo mais nebuloso. Isso, por outro lado, funcionou muito bem.

Pra segunda parte, a foto em close da caixa, primeiro tentei pedir pro Aleph editar o vídeo usando o comando: “Tira uma foto de perto, focando na mão que tá segurando a caixa.” Mas isso não funcionou mesmo.

Tirei uma captura de tela do quadro que queria animar e usei junto com uma dica pra corrigir.

Por fim, pra cena em que eu tô indo embora, a Runway criou um beco com luzes de néon parecidas com as de uma cena anterior. Pra dar um toque diferente, pedi pro Aleph editar o vídeo e tirar as luzes de néon, o que ficou muito bom.

Cena 5: Dirigindo o carro

Essa cena foi feita do mesmo jeito que a terceira, criando uma imagem parada e depois transformando em vídeo.

Mas o vídeo não ficou bem como eu queria:

Quando uso o Runway Aleph, sinto que muitas vezes só dá pra usar alguns segundos do vídeo antes que ele fique estranho. Ainda consegui tirar algo disso:

1. Invertendo o vídeo.
2. Deixa só a parte do vídeo que mostra o motorista.

Cena 6: Timelapse do trânsito

Essa cena é um vídeo que dá pra usar de graça, feito por Timo Volz , tirado do Pexels. Tentei mudar o estilo, mas não deu muito certo.

Aqui está o prompt que usei:

Muda o estilo desse vídeo pra uma estética de ação neo-noir inspirada em John Wick — cinematográfica, com iluminação de alto contraste, ruas da cidade neon encharcadas pela chuva em tons profundos de azul, roxo e vermelho; uma vibe elegante, mas perigosa; interiores modernos e elegantes; um clima refinado, mas corajoso.

Mas o resultado não deu em nada:

Fiz outras experiências de estilo em outros vídeos, mas nenhuma delas deu certo.

Cenas finais

As três cenas finais também foram feitas transformando imagens em vídeos.

• Essa foto é de um prédio de verdade em Taipei, e eu coloquei o letreiro de néon usando o Photoshop.
• A imagem de mim andando pelo corredor com a caixa foi criada usando o Runway, pedindo pra me colocar num hotel chique com um tapete com um “C”. A imagem não ficou muito boa, porque a caixa parece mais uma mala, mas não consegui corrigir.
• A imagem final foi tirada de uma caixa de presente do John Wick, e a nota foi adicionada usando o Photoshop.

Texto final

O texto final foi totalmente gerado usando o Runway. Usei o modo de chat pra pedir pra ele criar o texto “Capítulo 50” como título de um filme no estilo John Wick. Isso gerou esta imagem:

Depois, no modo de bate-papo, perguntou se eu queria que o texto fosse animado, e eu disse que sim. E aí está o resultado:

Queria que as letras também fossem animadas, então usei o Aleph pra editar o vídeo. O resultado não é o que eu pedi, mas mesmo assim gostei e consegui usar.

Aqui tá o que eu pedi: “A câmera passa voando pelo zero no texto “50” e vai ficando preta até sumir da tela.”

E aí está o resultado final:

Mais experiências com a Runway Aleph

Próxima geração de cena

Tentei estender algumas partes do vídeo usando o Aleph pra gerar as cenas seguintes pra algumas das minhas cenas. Primeiro, eu não disse o que queria que fosse a próxima cena; só pedi pra gerar uma cena seguinte.

Em termos de ação, a cena gerada é consistente com a cena anterior, mas há uma perda significativa na consistência do personagem. Não parece a mesma pessoa.

Pra testar isso melhor, tentei dizer que queria que a próxima cena mostrasse o personagem pulando em uma moto. Depois, usei o resultado e pedi mais uma cena do personagem indo embora na moto.

E aí está o resultado:

Aleph ficou confuso porque o personagem estava carregando uma caixa. Também dá pra ver uns artefatos estranhos no vídeo.

Alterar um vídeo

Pra fazer o vídeo, usei as funções de edição de vídeo do Aleph e consegui tirar os letreiros de néon da rua e colocar névoa na cena. Mas, quando tentei mudar a aparência de um dos vídeos, não deu certo.

Só por curiosidade, tentei fazer chover numa das cenas pra ver como ficava, e funcionou bem na primeira tentativa.

No exemplo a seguir, pedi pra colocar fogo na roda traseira de uma moto. Ele conseguiu adicionar fogo, mas não onde deveria:

Aqui tá um último exemplo em que pedi pra adicionar uma onda gigante num vídeo que já existia:

Conclusão

Criar vídeos com o Runway Aleph é bem possível, mas é importante entender que o processo não é tão simples quanto digitar um texto e obter um vídeo perfeito. A jornada precisa de uma mistura de criatividade e paciência, porque a tecnologia, mesmo sendo inovadora, ainda precisa de orientação e ajustes para dar vida à sua visão.

Na maioria das vezes, acabei adaptando minhas ideias iniciais aos resultados produzidos pelo Runway Aleph. Em vez de dirigir cada cena só com instruções, virou um trabalho em equipe, onde as interpretações únicas da ferramenta muitas vezes influenciaram a direção que acabei tomando.

Os exemplos mostrados no anúncio da Runway Aleph provavelmente são os melhores resultados que eles conseguiram. Embora o modelo possa realmente dar resultados incríveis, pra conseguir os efeitos desejados, muitas vezes é preciso tentar várias vezes e estar disposto a refinar e repetir o processo.

No geral, o Runway Aleph é uma ferramenta legal e divertida pra quem curte fazer vídeos, permitindo criar coisas que, de outra forma, poderiam ficar só na ideia. Gostei muito de usar o aplicativo pra criar o vídeo de aniversário. Mas, pra chegar lá, ainda tem um caminho a percorrer antes que a ferramenta consiga transformar todas as ideias em uma realidade visual perfeita.