Runway Aleph: Panduan dengan Proyek Demo

Apa Itu Runway Aleph?

Runway Aleph adalah model AI generasi video yang serbaguna, yang membawa pembuatan video selangkah lebih maju dengan memungkinkan input video yang dapat diedit menggunakan prompt teks.

Fitur utama meliputi:

• Kemampuan untuk menambahkan, menghapus, dan mengubah objek dalam sebuah adegan secara mendetail.
• Menghasilkan perspektif atau sudut pandang berbeda dari sebuah video.
• Menyesuaikan gaya dan pencahayaan secara keseluruhan agar sesuai dengan estetika yang diinginkan.
• Memperpanjang video dengan menghasilkan adegan berikutnya.

Anda dapat melihat banyak contoh dalam pengumuman resmi Runway.

Bagaimana Cara Mengakses Runway Aleph?

Runway Aleph tersedia mulai dari paket Standard seharga $15 per bulan. Meskipun berupa paket bulanan, ini tidak memberikan jumlah penggunaan tanpa batas.

Paket Standard dilengkapi dengan 625 kredit, dan setiap detik Aleph memerlukan 15 kredit, yang berarti sekitar 41 detik video dapat diedit setiap bulan.

Ada paket Unlimited yang mencakup 2250 kredit dan memberikan penggunaan tanpa batas dalam mode explore, artinya video memerlukan waktu lebih lama untuk dihasilkan karena diantrekan dan diproses saat mencapai giliran di antrean.

Hampir semua video yang saya hasilkan di sini dilakukan menggunakan mode explore, dan saya mendapati waktu tunggu sangat bervariasi tergantung jam. Sebagian besar waktu, tidak ada waktu tunggu sama sekali.

Cara Menggunakan Runway Aleph?

Untuk menggunakan Runway Aleph, kita perlu memiliki video sebagai input. Setelah video dipilih, kita dapat memberikan prompt teks untuk mengedit atau mentransformasikan video.

Kita bisa, misalnya, meminta Aleph untuk menjadikannya malam:

Perhatikan bahwa jika video lebih dari 5 detik, bagian 5 detik dari video akan digunakan sebagai gantinya. Bagian ini dapat dipilih dengan menyeret jendela di bawah input video.

Perencanaan Video

Saat saya mendapatkan akses ke Runway Aleph, saya baru saja diminta untuk merekam video mengucapkan selamat ulang tahun kepada teman saya. Jadi, saya pikir akan melihat apakah Aleph bisa digunakan untuk membuat video dari awal hingga akhir. Saya merasa prosesnya mengajarkan banyak hal tentang kemampuannya dan terutama keterbatasannya.

Eksperimen ini tidak hanya menggunakan kemampuan pengeditan video Aleph, tetapi juga kemampuan pembuatan video Gen-4 dari Runway.

Untuk suara, saya menggunakan efek suara gratis dari Pixabay, sementara suara dihasilkan menggunakan model text-to-speech dari OpenAI.

Ide saya adalah membuat sesuatu dengan referensi ke John Wick, salah satu film favoritnya. Karena saya tidak memiliki rekaman apa pun, saya harus membuat semuanya berdasarkan foto kami dan video yang tersedia bebas di internet.

Saya ingin tetap sederhana, jadi saya memilih video bergaya trailer dengan narator. Tidak adanya karakter yang berbicara jauh lebih sederhana saat berurusan dengan video yang dihasilkan AI.

Naskah saya kira-kira seperti ini:

• Menetapkan latar di Taipei (tempat kami tinggal)
• Memperkenalkan dua karakter
• Kedua karakter bertemu di hotel "The Continental" (referensi film)
• Saya memberinya hadiah sebuah kotak berisi penanda (referensi film lainnya)

Menciptakan karakter

Untuk menghasilkan karakter saya, saya mengambil swafoto dan menggunakan mode chat Runway untuk menghasilkan versi diri saya mengenakan setelan jas dan memegang kotak kayu.

Untuk teman saya, saya tidak berhasil membuat Runway menghasilkan yang saya inginkan, jadi akhirnya saya melakukannya secara semi-manual menggunakan Photoshop Firefly.

Saat membuat ini, saya juga beberapa kali mengalami masalah dengan Runway yang menolak menghasilkan gambar. Saya pikir dengan pembuatan gambar AI secara umum, sulit untuk menghasilkan orang tertentu karena alasan keamanan. Namun itu adalah sesuatu yang perlu diingat jika Anda ingin menghasilkan sesuatu dengan orang tertentu sebagai karakter.

Adegan 1: Taipei 101 dengan bulan

Adegan pembuka dengan timelapse bulan ini bukan hasil AI. Ini adalah video bebas pakai dari Timo Volz yang saya temukan di sini di Pexels.com.

Saya mencoba memodifikasinya menggunakan Runway Aleph, namun gagal. Saya pikir menjadikannya bidikan drone dengan drone terbang di atas gedung bisa menjadi edit yang keren, tetapi Aleph justru menghasilkan ini:

Ubah video ini menjadi bidikan drone yang melintas di atas gedung.

Adegan 2: Close-up teman saya

Untuk adegan kedua, saya menyediakan foto yang saya hasilkan menggunakan Photoshop dan meminta bidikan close-up untuk memperkenalkan karakter.

Saya menyukai hasilnya, tetapi saya ingin menambahkan sedikit misteri sebelum mengungkapkan karakter. Jadi saya memintanya untuk menghasilkan bidikan lain dengan prompt: "Close-up shot to introduce the character. Make it start facing back and then slowly turn to the camera.".

Berikut hasilnya:

Pada contoh kedua, Runway Aleph tidak mengikuti prompt. Namun, bidikan itulah yang akhirnya saya gunakan. Saya memotong paruh pertama di perangkat lunak pengeditan video sehingga wajah karakter awalnya tertutup topi dan baru kemudian terungkap.

Adegan 3: Berjalan di gang gelap

Adegan ini dihasilkan dengan:

1. Berdasarkan foto karakter, menghasilkan gambar karakter membelakangi kamera di gang gelap.

2. Menggunakan gambar tersebut, bersama dengan prompt teks: "The man with the hat walks down the alley, away from the camera until he disappears in the distance. Add mist to make the scene more mysterious."

Adegan 4: Saya berjalan membawa kotak

Untuk adegan ini, saya menggunakan gambar diri saya yang saya buat di atas. Saya harus cukup bersikeras agar Aleph menghasilkan video saya berjalan. Prompt-nya sederhana: "The person walks to the building in the background."

Tidak satu pun dari empat video melakukan apa yang saya minta. Saya akhirnya menggunakan video keempat karena hanya itu yang bisa digunakan.

Saya ingin menambahkan kabut pada video agar terlihat lebih misterius, jadi saya menggunakan kemampuan pengeditan video Aleph untuk membuatnya berkabut. Yang ini, sebaliknya, bekerja cukup baik.

Untuk bagian kedua, bidikan close-up pada kotak, saya pertama kali mencoba agar Aleph mengedit video menggunakan prompt: "Make a close-up shot focusing on the hand holding the box." Namun, itu sama sekali tidak berhasil.

Saya mengambil tangkapan layar dari frame yang ingin saya animasikan dan menggunakannya bersama prompt untuk memperbaikinya.

Terakhir, untuk bidikan saya berjalan menjauh, Runway awalnya menghasilkan gang dengan lampu neon yang terlihat mirip dengan yang ada pada adegan sebelumnya. Agar terlihat berbeda, saya meminta Aleph untuk mengedit video dan menghapus lampu neon, yang bekerja sangat baik.

Adegan 5: Mengemudikan mobil

Adegan ini dihasilkan dengan cara yang sama seperti adegan ketiga, yaitu dengan menghasilkan gambar diam lalu mengubahnya menjadi video.

Namun, videonya tidak benar-benar sesuai dengan yang saya inginkan:

Saat menggunakan Runway Aleph, saya merasa sering kali hanya ada beberapa detik yang dapat digunakan dalam video sebelum menjadi aneh. Saya masih berhasil memanfaatkannya dengan:

1. Membalik arah video.
2. Hanya mempertahankan bagian video yang berfokus pada pengemudi.

Adegan 6: Timelapse lalu lintas

Adegan ini adalah video bebas pakai dari Timo Volz yang diambil dari Pexels. Saya mencoba memodifikasi gayanya tetapi kurang berhasil.

Berikut prompt yang saya gunakan:

"Change the style of this video to a neo-noir action aesthetic inspired by John Wick—cinematic, high-contrast lighting, rain-soaked neon city streets in deep blues, purples, and reds; elegant yet dangerous atmosphere; sleek modern interiors; refined but gritty mood."

Namun, hasilnya tidak dapat digunakan:

Saya melakukan eksperimen penataan gaya lain pada video lain, dan tidak ada yang berhasil.

Adegan Penutup

Tiga adegan terakhir juga dihasilkan dengan mengubah gambar menjadi video.

• Gambar ini adalah gedung asli di Taipei, dan saya menambahkan tanda neon menggunakan Photoshop.
• Gambar saya berjalan di lorong dengan kotak dihasilkan menggunakan Runway dengan memintanya menempatkan saya di hotel mewah dengan karpet bertulisan "C". Gambarnya tidak terlalu bagus karena kotaknya terlihat lebih seperti koper, tetapi saya tidak berhasil memperbaikinya.
• Gambar terakhir diambil dari kotak hadiah John Wick, dan catatan ditambahkan menggunakan Photoshop.

Teks penutup

Teks penutup sepenuhnya dihasilkan menggunakan Runway. Saya menggunakan mode chat untuk memintanya menghasilkan teks "Chapter 50" sebagai judul film dengan gaya John Wick. Ini gambar yang dihasilkannya:

Kemudian, dalam mode chat, ia bertanya apakah saya ingin teksnya dianimasikan, dan saya menjawab ya. Ini hasilnya:

Saya ingin huruf-hurufnya juga dianimasikan, jadi saya menggunakan Aleph untuk mengedit video. Hasilnya tidak sesuai dengan yang saya minta, namun saya tetap menyukainya dan berhasil menggunakannya.

Berikut yang saya minta: "The camera flies through the zero in the '50' text, fading into a black screen."

Berikut hasil akhirnya:

Eksperimen Lanjutan dengan Runway Aleph

Generasi adegan berikutnya

Saya mencoba memperpanjang bagian video dengan menggunakan Aleph untuk menghasilkan adegan berikutnya untuk beberapa adegan saya. Pertama, saya tidak menentukan apa yang saya inginkan untuk adegan selanjutnya; saya hanya memintanya menghasilkan adegan berikutnya.

Dari sisi aksi, adegan yang dihasilkan konsisten dengan adegan sebelumnya, tetapi ada kehilangan konsistensi karakter yang signifikan. Tidak terlihat seperti orang yang sama.

Untuk menguji lebih lanjut, saya mencoba menentukan bahwa saya ingin adegan berikutnya menampilkan karakter menaiki sepeda motor. Lalu saya menggunakan hasilnya dan meminta satu adegan lagi saat karakter berkendara menjauh dengan sepeda motor.

Berikut hasilnya:

Aleph kesulitan dengan fakta bahwa karakter membawa kotak. Kita juga dapat melihat beberapa artefak aneh di video.

Mengubah sebuah video

Untuk membuat video, saya berhasil menggunakan kemampuan pengeditan video Aleph untuk menghapus tanda neon jalanan dan menambahkan kabut ke sebuah adegan. Namun, ketika saya mencoba mengubah estetika salah satu video, hal itu gagal.

Dari rasa penasaran, saya mencoba membuat hujan di salah satu adegan untuk melihat bagaimana kemampuannya, dan itu bekerja cukup baik pada percobaan pertama.

Pada contoh berikut, saya meminta menambahkan api ke roda belakang sepeda motor. Ia memang berhasil menambahkan api, tetapi tidak pada tempat yang semestinya:

Berikut contoh terakhir saat saya memintanya menambahkan gelombang raksasa dalam video yang sudah ada:

Kesimpulan

Membuat video dengan Runway Aleph jelas dapat dilakukan, tetapi penting untuk memahami bahwa prosesnya tidak sesederhana mengetik prompt teks dan mendapatkan keluaran video yang mulus. Perjalanannya membutuhkan perpaduan kreativitas dan kesabaran, karena teknologinya, meski inovatif, tetap memerlukan arahan dan penyesuaian untuk mewujudkan visi Anda.

Sering kali, saya mendapati diri saya menyesuaikan ide awal dengan hasil yang diproduksi oleh Runway Aleph. Alih-alih mengarahkan setiap adegan semata-mata melalui prompt, ini menjadi upaya kolaboratif, di mana interpretasi unik alat ini sering memengaruhi arah yang akhirnya saya ambil.

Contoh yang ditampilkan dalam pengumuman Runway Aleph kemungkinan mewakili hasil terbaiknya. Meskipun model ini tentu dapat menghasilkan hasil yang mengesankan, untuk mencapai efek yang diinginkan sering kali diperlukan beberapa kali percobaan serta kesiapan untuk menyaring dan mengiterasi keluaran.

Secara keseluruhan, Runway Aleph muncul sebagai alat yang menarik dan menyenangkan bagi para hobiis, memungkinkan pembuatan video yang mungkin sebaliknya hanya menjadi konsep. Saya menikmati prosesnya saat menggunakannya untuk membuat video ulang tahun. Namun, mewujudkan visi seperti ini menyoroti bahwa masih ada perjalanan sebelum alat ini dapat menerjemahkan setiap ide menjadi realitas visual yang benar-benar rapi tanpa cela.