Panduan Runway Act-One: Saya Merekam Diri Sendiri untuk Mencobanya

Apa itu Runway Act-One?

Runway Act-One adalah alat yang menganimasikan gambar karakter statis menggunakan masukan video. Mari kita lihat contohnya:

Video ini dibuat dengan menggunakan:

1. Sebuah video aktor manusia; dan
2. Sebuah gambar statis dari karakter animasi.

Runway Act-One kemudian menganimasikan karakter agar meniru gerakan dan ekspresi wajah aktor manusia.

Menganimasikan karakter adalah proses yang canggih dan biasanya hanya bisa dilakukan dari nol oleh profesional berpengalaman. Act-One mencoba mengubah ini dengan memungkinkan siapa pun menganimasikan karakter hanya dengan merekam diri sendiri dan menyediakan gambar statis dari karakter yang ingin dianimasikan.

Dan ini tidak terbatas pada karakter animasi. Ia juga berfungsi pada karakter sinematik dan realistis. Dan kita juga dapat membuat dialog yang menarik dengan membuat beberapa video pendek karakter yang saling berbicara lalu menyatukannya:

Saya Merekam Diri Sendiri untuk Mencoba Runway Act-One

Mari kita coba Runway Act-One sendiri. Ada paket gratis yang menyediakan 125 kredit dan opsi antrean, namun Act-One tidak termasuk dalam paket ini dan memerlukan langganan.

Pertama, buka halaman login Runway lalu masuk atau buat akun. Selanjutnya, berlangganan salah satu paket yang tersedia. Perlu dicatat bahwa meskipun berlangganan, ada batas jumlah video yang dapat kita hasilkan. Saya mencoba langganan bulanan $15 yang memberi saya 625 kredit (ditambah 125 kredit gratis sehingga total 750 kredit).

Cara membuka Runway Act-One

Untuk membuat video dengan Act-One, klik tombol “Try it now” di dasbor.

Antarmuka Act-One cukup mudah digunakan. Pada gambar di bawah, Anda dapat melihat bahwa:

1. Di bagian atas, kita memilih driving video, yaitu video yang digunakan untuk menggerakkan animasi.
2. Di bagian bawah, kita memilih gambar referensi karakter yang ingin dianimasikan.

Menguji Runway Act-One dengan Menganimasikan Diri Saya

Untuk mencobanya, saya merekam diri saya dengan ekspresi terkejut dan mencobanya menggunakan referensi karakter anjing mereka.

Menurut saya, hasil videonya biasa saja. Ekspresi wajahnya tidak terlalu kentara, tetapi masih sesuai dengan ekspresi saya.

Saya melakukan eksperimen lain dengan karakter yang sama, dan Runway Act-One tidak pernah benar-benar mengesankan saya. Dalam beberapa kasus, bahkan tidak ada ekspresi sama sekali. Pada contoh di bawah, anjingnya sama sekali tidak bergerak meskipun ekspresi wajah saya berubah.

Saya bukan aktor, jadi mungkin itu masalahnya. Namun, jika tujuan Act-One adalah memberdayakan siapa pun untuk menganimasikan karakter, masih ada jalan panjang sebelum benar-benar dapat digunakan oleh siapa saja tanpa pengalaman industri.

Saya juga mendapati tidak mungkin menggunakan gambar karakter kustom. Saya membuat sekitar 10 karakter berbeda menggunakan Dall-E 3, dan Runway setiap kali gagal menemukan wajah. Berikut contohnya:

Ini menunjukkan kepada saya bahwa contoh yang ditampilkan mungkin dipilih secara selektif dan modelnya belum siap untuk publik umum. Namun, saya mencobanya dengan karakter manusia dan berhasil. Jadi, mungkin saat ini modelnya belum mendukung karakter animasi kustom.

Berikut contoh dengan karakter manusia:

Hasil dengan wajah manusia jauh lebih baik, dan menurut saya fidelitas keluarannya lebih tinggi. Namun, kasus penggunaan ini terasa kurang berdampak karena kita bisa saja langsung meminta manusia tersebut berakting.

Catatan tentang harga

Durasi video keluaran akan sesuai dengan video masukan, dan kredit akan dipotong tergantung pada lamanya video.

Menggabungkan Act-One dengan Runway Gen-3 Alpha

Awal tahun ini, pada bulan Juni, Runway ML memperkenalkan model Gen-3 Alpha, yang membuat video berdasarkan gambar statis dan prompt teks.

Karena Act-One berfokus pada close-up wajah, kedua model ini saling melengkapi. Act-One bisa digunakan untuk membuat dialog, sementara Gen-3 Alpha dapat menghasilkan adegan di antara dialog.

Membuat video dengan Gen-3 Alpha

Untuk beralih ke Gen-3 Alpha, klik ikon “T” di sebelah kiri (#1 pada gambar di bawah).

Masukan untuk model ini adalah sebuah gambar (#2) dan sebuah prompt teks (#3). Runway menyarankan format prompt teks sebagai berikut:

[camera movement]: [establishing scene]. [additional details].Didukung oleh

Contohnya:

Low-angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.Didukung oleh

Saya mencobanya untuk menganimasikan foto yang baru-baru ini saya ambil. Berikut masukan yang saya gunakan:

Dan berikut hasilnya:

Saya menyukai hasilnya. Pencahayaannya terlihat bagus saat perahu menjauh dari matahari, dan gerakan airnya mulus.

Namun, hasilnya cukup berbeda dari bayangan awal saya. Ini jelas menjadi salah satu masalah utama bagi kreator video: ketidakmampuan mengendalikan setiap detail dalam sebuah adegan, yang dimungkinkan dengan metode pembuatan film tradisional. Jika keterbatasan ini bertahan, sutradara di masa depan yang menggunakan AI mungkin akan terkungkung pada adegan yang dihasilkan AI alih-alih dapat mewujudkan visi aslinya.

Gabungkan dengan close-up dari Act-One

Dalam kasus ini, kita bisa menggabungkan tiga klip video yang berbeda secara kreatif.

Pertama, kita memiliki video perahu yang bergerak di atas air. Klip ini menetapkan latar dan memberikan konteks untuk aksi berikutnya.

Berikutnya, kita bisa menampilkan bidikan close-up seorang karakter yang berdiri di tepi pantai, menatap perahu dengan ekspresi kerinduan.

Terakhir, kita memiliki video perahu yang menjauh dari pantai, dilihat dari sudut pandang si karakter. Klip ketiga ini memberikan kesan gerak dan progresi.

Menggunakan API Runway ML dengan Python

Runway ML juga menyediakan API untuk menggunakan modelnya di luar antarmuka web. Meski sudah mendukung Gen-3 Alpha Turbo, tampaknya Act-One belum tersedia. Panduan ini akan membahas dasar-dasar penggunaan API, yang akan tetap sama saat Act-One tersedia nanti.

Membuat kunci API

Untuk memulai, kita perlu membuat akun pengembang dan menghasilkan kunci API.

Buka halaman pengembang dan klik tombol login. Jika Anda belum punya akun, Anda bisa membuatnya di sana.

Setelah akun dibuat, buka halaman “API Keys” dan klik “New API key”:

Ini akan membuka pop-up yang meminta nama kunci. Kita bisa biarkan kosong dan klik “Create”.

Setelah itu, kunci akan ditampilkan, dan kita bisa menyalinnya. Perlu diingat, demi keamanan, ini adalah satu-satunya waktu kunci tersebut akan ditampilkan, jadi pastikan untuk menyalinnya. Jika hilang, kita selalu bisa menghapusnya dan membuat yang baru.

Harga

API Runway ML tidak menyediakan paket gratis. Untuk bereksperimen, kita harus menambahkan kredit ke akun. Harganya sama dengan antarmuka web: $0,25 untuk video 5 detik dan $0,50 untuk video 10 detik. 

Perlu dicatat bahwa kredit API berbeda dari kredit akun berlangganan, sehingga kredit ini tidak dapat digunakan untuk membuat video melalui antarmuka web dan sebaliknya. 

Penyiapan

Runway ML menyediakan pustaka Python bernama runwayml yang perlu kita pasang untuk berinteraksi dengan API. Untuk memasangnya, gunakan perintah:

pip install runwaymlDidukung oleh

Untuk mengakses API, kunci API harus disetel sebagai variabel lingkungan bernama RUNWAYML_API_SECRET. Kita bisa melakukannya dengan perintah berikut:

export RUNWAYML_API_SECRET=api_key
```Replacing api_key with the key created above.
Generating a videoRecently, I took this photo of the night sky:

Source: Instagram @fran.a.photo
I wanted to try out runwayml to see if it could generate a time-lapse video from the photo. To generate a video from an image using the API, we:
Import and initialize RunwayML client. Note that we don’t need to provide the API key as it is automatically loaded from the environment variable we set up before.Call the image_to_video.create() method from the client, providing the name of the model, the image URL, and the prompt.Store the task into a variable and print its identifier so that we can retrieve the video later. This is important as it seems that their API doesn’t have any way to list the past tasks. Without it, we’ll pay the generation credits but won’t have a way to get our video.```python
from runwayml import RunwayML
url = "https://i.ibb.co/LC7Kfrq/Z72-5415.jpg"
client = RunwayML()
task = client.image_to_video.create(
  model="gen3a_turbo",
  prompt_image=url,
  prompt_text="Camera slowly zooms out: Astrophotography time-lapse featuring shooting stars.",
)
print(task.id)Didukung oleh

Untuk melihat hasilnya, kita perlu menunggu tugas selesai. Kita bisa mengakses status tugas menggunakan task.status. Status akan sama dengan string ”SUCCEEDED” setelah video berhasil dibuat.

Kita bisa mengakses URL video menggunakan task.output. Perlu dicatat bahwa bidang ini adalah daftar keluaran. Secara default, satu video dibuat, jadi URL videonya adalah task.output[0].

Berikut skrip sederhana yang mencetak URL video berdasarkan pengenal tugas:

from runwayml import RunwayML
task_id = "af0a95ed-b0ff-4120-aecd-2473d7a42891"
client = RunwayML()
task = client.tasks.retrieve(id=task_id)
if task.status == "SUCCEEDED":
  print(task.output[0])
else:
  print(f"Video not ready, status={task.status}")Didukung oleh

Ini adalah video yang kami hasilkan dari foto tersebut:

Sekali lagi, saya membayangkan hasilnya akan berbeda. Saya menyukai cara langit berputar, meniru time-lapse malam. Namun, bintang jatuhnya sangat tidak realistis. Latar depan juga semakin kurang realistis seiring berjalannya video. Satu detail yang menarik adalah pantulan di atas air.

Opsi lanjutan

Mari bahas beberapa opsi saat membuat video dengan API. Untuk detail lebih lanjut, lihat halaman dokumentasi Runway.

Runway ML mendukung video berdurasi 5 atau 10 detik. Secara default, ia membuat video 10 detik. Ini dapat diatur menggunakan parameter duration, seperti berikut:

task = client.image_to_video.create(
  model="gen3a_turbo",
  prompt_image=url,
  prompt_text="Camera slowly zooms out: Astrophotography time-lapse featuring shooting stars.",
  duration=5,
)Didukung oleh

Secara default, video dibuat dengan rasio aspek 16:9. Kita juga bisa mengaturnya ke mode potret dengan menentukan rasio 9:16 menggunakan parameter ratio:

task = client.image_to_video.create(
  model="gen3a_turbo",
  prompt_image=url,
  prompt_text="Camera slowly zooms out: Astrophotography time-lapse featuring shooting stars.",
  ratio=”9:16”,
)Didukung oleh

Terkait model, tampaknya saat penulisan ini, satu-satunya model yang tersedia di API adalah gen3a_turbo.

Memuat foto lokal

Pada contoh di atas, kita menggunakan URL gambar untuk menentukan gambar yang ingin digunakan. Kita juga bisa menggunakan berkas lokal di komputer dengan membacanya sebagai data URI.

Di bawah ini adalah fungsi Python yang menggunakan paket base64 dan mimetypes untuk melakukannya. Kedua paket ini sudah bawaan, jadi tidak perlu memasangnya. 

def image_to_data_uri(image_path):
    mime_type, _ = mimetypes.guess_type(image_path)
    with open(image_path, "rb") as img_file:
        img_data = img_file.read()
    b64_encoded = base64.b64encode(img_data).decode("utf-8")
    data_uri = f"data:{mime_type};base64,{b64_encoded}"
    return data_uriDidukung oleh

Berikut contoh cara membuat permintaan menggunakan fungsi image_to_data_uri() untuk memuat gambar:

task = client.image_to_video.create(
  model="gen3a_turbo",
  prompt_image=image_to_data_uri("nightsky.jpg"),
  prompt_text="Camera slowly zooms out: Astrophotography time-lapse featuring shooting stars.",
)Didukung oleh

Kesimpulan

Dalam artikel ini, kita mengeksplorasi Act-One dari Runway ML, alat yang dirancang untuk menyederhanakan animasi karakter. Kita membahas fungsi dasarnya, cara menggunakannya melalui antarmuka web, serta integrasinya dengan API Python. Kita juga menyinggung model Gen-3 Alpha dari Runway untuk membuat video dari gambar statis.

Seperti yang saya sebutkan sebelumnya, eksperimen pribadi saya dengan Act-One tidak sepenuhnya menyamai contoh-polished yang disediakan Runway ML. Hasilnya kurang hidup dan ekspresif seperti yang saya harapkan, menunjukkan bahwa modelnya mungkin masih dalam pengembangan atau memerlukan masukan yang lebih profesional. Selain itu, ketidakmampuan menggunakan karakter animasi kustom menjadi kekurangan yang cukup berarti. 

Terlepas dari keterbatasan tersebut, Act-One dan Gen-3 Alpha dari Runway ML menunjukkan potensi menarik AI dalam pembuatan video dan animasi. Jika Anda ingin membaca lebih lanjut tentang pembuatan video dengan AI, saya merekomendasikan artikel blog berikut:

• Panduan Meta Movie Gen: Cara Kerja, Contoh, Perbandingan
• Apa itu Runway Gen-3 Alpha? Cara Kerja, Use Case, Alternatif
• 7 Generator Video AI Terbaik 2024 dengan Contoh Video
• Apa itu Sora dari OpenAI? Cara Kerja, Use Case, Alternatif