Panduan Meta Movie Gen: Cara Kerja, Contoh, Perbandingan

Refleksi air dalam video tersebut luar biasa. Saya juga menemukan bayangan di wajah kukang cukup menarik. Detail kecil seperti ini, ketika dieksekusi dengan baik, sering luput dari perhatian. Namun, ketika buruk, detail tersebut mencolok dan merusak ilusi.

Model Movie Gen Audio

Movie Gen Audio adalah model dengan 13 miliar parameter yang dapat membuat soundtrack video yang sesuai dengan konten video. Model ini juga dapat menghasilkan audio dari prompt teks.

Model ini menghasilkan audio berkualitas tinggi 48 kHz yang tersinkron dengan video berdurasi beragam, bahkan hingga beberapa menit. Model juga dapat menghasilkan suara ambient yang sesuai dengan sumber yang tidak terlihat di video, efek suara yang selaras dengan aksi, dan musik latar yang cocok.

Berikut contoh musik dan efek suara yang dihasilkan untuk salah satu video menggunakan prompt:

“Gemersik dedaunan dan bunyi ranting patah, dengan trek musik orkestra.”

Perlu dicatat bahwa nuansa trek musik tidak disebutkan dalam prompt. Model mampu menangkap suasana dari konten video.

Model Personalized Movie Gen Video

Model Movie Gen Video dapat menghasilkan video dari seseorang yang dipilih berdasarkan deskripsi teks dan gambar orang tersebut. Video mempertahankan identitas orang itu sambil mengikuti prompt teks.

Contoh berikut dihasilkan dengan menggabungkan swafoto orang tersebut dengan prompt:

“Seorang DJ perempuan memutar piringan di atap gedung di LA. Ia mengenakan jaket merah muda dan headphone raksasa. Ada seekor cheetah di sebelahnya. Latar belakangnya lanskap kota.”

Menurut saya, model ini menonjol sebagai mahkota mereka karena menunjukkan potensi besar jika diintegrasikan ke produk lain, seperti Instagram. Bayangkan pengguna membuat video yang menampilkan diri mereka dalam berbagai skenario, semuanya dihasilkan dari satu gambar dan prompt teks. Ini bisa memicu ledakan konten kreatif dan menarik.

Model Movie Gen Edit

Model Movie Gen Edit memungkinkan kita dengan mudah melakukan perubahan yang detail dan kreatif pada video nyata maupun rekaan hanya dengan instruksi teks.

Model ini berpotensi merevolusi alur kerja penyuntingan video di berbagai industri. Kemampuannya untuk secara akurat memahami dan mengeksekusi instruksi penyuntingan berbasis teks dapat meningkatkan proses penyuntingan secara signifikan, menjadikannya lebih cepat, efisien, dan mudah diakses oleh lebih banyak pengguna. Teknologi ini dapat menguntungkan pembuat film, kreator konten, pendidik, dan siapa pun yang bekerja dengan konten video.

Bagaimana Cara Kerja Movie Gen Video?

Pelatihan model Movie Gen Video melibatkan beberapa komponen kunci: pengumpulan dan penyiapan data, proses pelatihan itu sendiri, fine-tuning untuk peningkatan kualitas, serta teknik upsampling yang digunakan untuk mencapai keluaran beresolusi tinggi. 

Data dan pra-pemrosesan

Model Movie Gen Video dilatih pada dataset masif yang berisi ratusan juta pasangan video-teks dan lebih dari satu miliar pasangan gambar-teks. 

Setiap video dalam dataset menjalani proses kurasi ketat yang melibatkan penyaringan untuk kualitas visual, karakteristik gerak, dan relevansi konten. Proses penyaringan bertujuan memilih video dengan gerakan non-sepele, pengambilan gambar satu bidikan, dan ragam konsep yang luas, termasuk porsi signifikan yang menampilkan manusia.

Sumber: Makalah riset Movie Gen

Keterangan (caption) berkualitas tinggi sangat penting untuk melatih model secara efektif. Movie Gen Video menggunakan model LLaMa3-Video untuk menghasilkan keterangan mendetail yang secara akurat menggambarkan konten video. Keterangan ini melampaui sekadar pelabelan objek; mencakup deskripsi aksi, pergerakan kamera, hingga informasi pencahayaan. Informasi tekstual yang kaya ini membantu model mempelajari pemahaman yang lebih bernuansa tentang penceritaan visual.

Proses pelatihan

Proses pelatihan untuk Movie Gen Video dibagi menjadi beberapa tahap guna meningkatkan efisiensi dan skalabilitas model.

Model terlebih dahulu dilatih pada tugas teks-ke-gambar menggunakan gambar beresolusi lebih rendah. Fase "pemanasan" ini memungkinkan model mempelajari konsep visual dasar sebelum menangani tugas yang lebih kompleks, yaitu generasi video.

Model kemudian dilatih secara bersama pada tugas teks-ke-gambar dan teks-ke-video, dengan peningkatan bertahap pada resolusi data masukan. Pendekatan pelatihan bersama ini membantu model memanfaatkan kelimpahan dan keragaman dataset gambar-teks sekaligus mempelajari kompleksitas generasi video.

Sumber: Makalah riset Movie Gen

Untuk menangani tuntutan komputasi data video, Movie Gen Video menggunakan model Temporal Autoencoder (TAE) untuk mengompresi dan mendekompr esi video secara temporal. Ini dianalogikan dengan men-zip dan mengekstrak file di komputer, memungkinkan model bekerja dengan representasi data video yang lebih mudah ditangani.

Sumber: Makalah riset Movie Gen

Movie Gen Video menggunakan tujuan pelatihan yang disebut Flow Matching. Alih-alih langsung menghasilkan video akhir, flow matching membimbing model untuk secara bertahap mengubah sampel noise acak menjadi keluaran video yang diinginkan, selangkah demi selangkah.

Flow Matching melibatkan prediksi kecepatan sampel di ruang laten alih-alih langsung memprediksi sampelnya. Metode ini lebih efisien dan berkinerja lebih baik dibandingkan metode difusi tradisional.

Fine-tuning

Untuk meningkatkan kualitas dan estetika video yang dihasilkan, model menjalani fine-tuning terawasi menggunakan kumpulan video terkurasi secara manual dengan keterangan berkualitas tinggi. Ini ibarat seniman yang menyempurnakan tekniknya melalui bimbingan ahli, menghasilkan keluaran video yang lebih menarik secara visual dan realistis.

Model Movie Gen Video final dibuat dengan merata-ratakan beberapa model yang dilatih dengan dataset, hiperparameter, dan titik pemeriksaan prapelatihan yang berbeda. Teknik ini membantu menggabungkan kekuatan berbagai model, menghasilkan performa yang lebih tangguh dan andal.

Upsampling

Model menghasilkan video pada resolusi 768 piksel dan menggunakan upsampling untuk menaikkan resolusi ke full HD 1080p, menghasilkan video yang lebih tajam dan lebih menarik secara visual. Pendekatan ini lazim digunakan karena memberikan solusi yang efisien secara komputasi mengingat model dasar dapat memproses lebih sedikit token namun tetap menghasilkan keluaran beresolusi tinggi.

Spatial Upsampler berfungsi sebagai model video-ke-video. Ia mengambil video beresolusi lebih rendah sebagai masukan, meningkatkan resolusinya ke target menggunakan interpolasi bilinear, lalu mengkodekannya ke ruang laten menggunakan Variational Autoencoder (VAE) per bingkai.

Model ruang laten kemudian menghasilkan laten video HD yang dikondisikan pada laten terenkode dari video beresolusi lebih rendah. Terakhir, dekoder VAE mengubah laten video HD tersebut kembali ke ruang piksel, menghasilkan keluaran akhir beresolusi tinggi.

Sumber: Makalah riset Movie Gen

Evaluasi Model Movie Gen

Mengevaluasi model teks-ke-video lebih menantang dibandingkan teks-ke-gambar karena adanya dimensi temporal. Tim Meta menggunakan tiga ukuran utama untuk mengevaluasi model:

• Kesesuaian dengan prompt
• Kualitas dan konsistensi
• Keaslian dan estetika

Parameter-parameter ini dievaluasi secara manual oleh manusia yang memberi nilai pada video sesuai parameter tersebut.

Kesesuaian dengan prompt

Kesesuaian prompt mengukur seberapa baik video yang dihasilkan cocok dengan prompt teks masukan, termasuk deskripsi subjek, gerakan, latar, dan detail lain. Ini diuraikan lebih lanjut menjadi: 

• Kecocokan subjek: Berfokus pada kesesuaian tampilan subjek, latar belakang, pencahayaan, dan gaya.
• Kecocokan gerak: Menilai kesesuaian deskripsi terkait gerakan.

Kualitas dan konsistensi

Kualitas dan konsistensi video yang dihasilkan dievaluasi terlepas dari prompt teks. Ukuran ini dipecah menjadi:

• Konsistensi bingkai: Memeriksa inkonsistensi atau artefak pada tampilan objek, pencahayaan, dan latar di lintas bingkai.
• Kelengkapan gerak: Menilai apakah video memuat jumlah gerak yang memadai, terutama untuk subjek atau aktivitas yang tidak biasa.
• Kealamian gerak: Menilai realisme dan kealamian gerak, mempertimbangkan aspek seperti pergerakan anggota tubuh, ekspresi wajah, dan kepatuhan pada fisika.
• Kualitas keseluruhan: Penilaian holistik yang mempertimbangkan keseimbangan tiga sub-sumbu sebelumnya untuk menentukan kebaikan keseluruhan video.

Keaslian dan estetika

Para evaluator diminta menilai kemampuan model dalam menghasilkan video yang fotorealistik dan sedap dipandang. Kriteria ini dibagi menjadi:

• Keaslian: Menilai seberapa mirip video dengan video nyata, atau untuk prompt fantasi, seberapa baik meniru gaya seni yang realistis.
• Estetika: Menilai daya tarik visual video berdasarkan faktor seperti konten, pencahayaan, warna, dan efek kamera.

Tolok ukur evaluasi

Data tolok ukur dirancang untuk mengevaluasi generasi video secara komprehensif. Terdiri dari 1.000 prompt yang mencakup berbagai aspek pengujian, seperti aktivitas manusia, hewan, alam, fisika, dan subjek atau aktivitas yang tidak biasa. 

Tolok ukur mereka lebih dari tiga kali lebih besar dibandingkan yang digunakan dalam studi sebelumnya. Setiap prompt diberi tag tingkat gerak (tinggi, sedang, rendah) untuk menilai kualitas generasi pada intensitas gerak yang berbeda.

Evaluasi menggunakan seluruh set prompt dan menelaah metrik pengujian spesifik, dengan fokus khusus pada seberapa baik model menangani subjek dan gerak yang tidak biasa untuk menguji kemampuan generalisasi.

Diagram berikut menunjukkan rincian prompt yang digunakan dalam evaluasi. Di kiri, kita diberi distribusi konsep dari prompt. Di kanan, kita melihat nomina dan verba umum yang digunakan dalam prompt (semakin besar kata, semakin sering kemunculannya):

Sumber: Makalah riset Movie Gen

Tabel di bawah menunjukkan hasil evaluasi manusia atas video yang dihasilkan oleh model berbeda pada beberapa kriteria evaluasi. Angka mewakili tingkat kemenangan bersih yang dihitung sebagai (Persen Menang - Persen Kalah). Rentangnya dari -100 (kalah total) hingga 100 (menang total), dengan 0 menunjukkan seri.

Sumber: Makalah riset Movie Gen

Meta Movie Gen vs. Sora vs. Runway Gen 3

Menurut eksperimen mereka, Movie Gen Video memiliki performa kuat dalam generasi teks-ke-video, melampaui beberapa model yang ada, termasuk sistem komersial seperti Runway Gen3 dan LumaLabs, berdasarkan evaluasi manusia menggunakan MovieGen Video Bench. Secara khusus, Movie Gen Video menunjukkan keunggulan signifikan dalam:

• Kualitas keseluruhan: Para evaluator secara konsisten menilai keluaran Movie Gen memiliki kualitas keseluruhan lebih tinggi, khususnya dalam ketepatan visual, kealamian gerak, dan keselarasan dengan prompt teks.
• Kealamian dan konsistensi gerak: Movie Gen menunjukkan keunggulan signifikan dalam menghasilkan video dengan gerak yang alami dan konsisten, melampaui Runway Gen3 dan Sora dari OpenAI pada aspek ini. Kekuatan ini kemungkinan berasal dari kemampuan model mempelajari dan mensimulasikan fisika dunia nyata melalui tujuan pelatihan Flow Matching dan pemanfaatan luas data video selama pelatihan.
• Keaslian dan estetika: Movie Gen juga unggul dalam menghasilkan video dengan keaslian dan daya tarik estetika yang lebih tinggi dibandingkan Runway Gen3, LumaLabs, dan Kling1.5.

Meskipun MovieGen umumnya melampaui model lain, Kling1.5 kadang menghasilkan video dengan magnitudo gerak lebih besar, meski dengan konsekuensi distorsi dan inkonsistensi. Ini menyoroti pertukaran antara kelengkapan gerak dan kualitas visual, di mana Movie Gen Video memprioritaskan menghasilkan gerak yang realistis dan konsisten daripada sekadar memaksimalkan besaran gerak.

Di bawah ini beberapa cuplikan dari presentasi Meta Connect 2024 yang menampilkan beberapa contoh perbandingan prompt generasi video:

Sumber: Makalah riset Movie Gen

Berikut beberapa contoh perbandingan personalisasi video di mana sebuah foto digunakan untuk menghasilkan video yang dipersonalisasi:

Sumber: Makalah riset Movie Gen

Terakhir, cuplikan di bawah menampilkan contoh perbandingan penyuntingan video:

Sumber: Makalah riset Movie Gen

Secara keseluruhan, tampaknya Meta Movie Gen mendorong batas dan menetapkan standar baru pada model teks-ke-video. Prosedur evaluasi yang disorot dalam makalah tampak adil, tetapi tentu saja, sulit untuk memastikan hingga model-model ini tersedia untuk publik dan pihak ketiga yang netral dapat membandingkannya.

Keterbatasan Model

Meskipun Meta Movie Gen terlihat unggul dalam generasi media, masih ada area yang perlu ditingkatkan.

Model terkadang kesulitan dengan adegan kompleks yang melibatkan geometri rumit, manipulasi objek, dan simulasi fisika yang realistis. Misalnya, menghasilkan interaksi antarbenda yang meyakinkan, menggambarkan transformasi keadaan secara akurat (seperti meleleh atau pecah), dan mensimulasikan efek gravitasi atau tumbukan secara realistis masih dapat menjadi tantangan bagi model.

Sinkronisasi audio bisa bermasalah dalam skenario tertentu. Secara khusus, saat berurusan dengan gerakan yang secara visual kecil, terhalang, atau memerlukan pemahaman visual tingkat tinggi untuk menghasilkan suara yang sesuai, model mungkin kesulitan mencapai sinkronisasi sempurna. Contohnya termasuk menyelaraskan langkah kaki secara akurat dengan orang yang berjalan, menghasilkan suara yang tepat untuk objek yang sebagian tersembunyi dari pandangan, dan mengenali gerakan tangan halus pada gitar untuk menghasilkan nada musik yang benar.

Selain itu, model Movie Gen Audio, dalam desain saat ini, belum mendukung generasi suara manusia.

Pertimbangan Keamanan dan Rilis Model

Video realistis yang dihasilkan AI membawa risiko dan tantangan etika signifikan yang harus dipertimbangkan. Risiko ini mencakup manipulasi kepercayaan dan penyebaran misinformasi melalui deepfake, yang dapat merusak reputasi, menyesatkan publik, dan merugikan bisnis.

Di satu sisi, ini bisa menjadi fitur Instagram yang memungkinkan saya membuat video keren dengan diri saya di dalamnya untuk dibagikan kepada teman-teman, namun di sisi lain, fitur yang sama memungkinkan saya membuat video palsu tentang orang lain. Seiring peningkatan teknologi ini, mungkin akan menjadi mustahil membedakannya dari yang asli.

Konten yang dihasilkan AI menimbulkan ancaman privasi, yang berpotensi mengarah pada pemerasan, pemerasan digital, atau perundungan siber.

Selain itu, alat AI ini dapat merusak seni dan hak cipta dengan meniru gaya seni unik tanpa kredit. Solusinya meliputi penyebaran kesadaran dan edukasi literasi media, investasi dalam teknologi deteksi, pembentukan kerangka hukum dan etika, serta menerapkan watermarking untuk autentikasi.

Walau generasi video AI memiliki potensi besar, teknologi ini memerlukan penanganan cermat untuk menjaga kepercayaan dan keaslian.

Meta bersikap terbuka dengan pengembangan AI-nya dengan membuka sumber model Llama. Namun, demi alasan keamanan, model Meta Movie Gen belum akan dirilis. Menurut artikel mereka, diperlukan berbagai peningkatan dan pertimbangan keamanan sebelum penerapan.

Kesimpulan

Dalam postingan blog ini, kami memperkenalkan model Movie Gen dari Meta, serangkaian model AI untuk menghasilkan dan menyunting video menggunakan prompt teks.

Kami mengeksplorasi empat model yang berbeda, kemampuannya, dan cara kerjanya. Melalui analisis perbandingan, kami menampilkan bagaimana posisi Meta Movie Gen dibandingkan alat generasi video AI lainnya.

Walau Meta Movie Gen menetapkan tolok ukur baru di bidang ini, potensi penyalahgunaan teknologi menimbulkan kekhawatiran signifikan. Meta mengakui risiko ini dan mengambil pendekatan hati-hati untuk merilis model-model tersebut.

Untuk mempelajari lebih lanjut tentang ekosistem Meta AI, saya merekomendasikan blog berikut:

• SAM 2: Mulai Menggunakan Segment Anything Model 2 dari Meta
• Fine-Tuning SAM 2 pada Dataset Kustom
• Panduan Llama 3.2: Cara Kerja, Penggunaan & Lainnya
• Apa Itu Llama 3.1 405B dari Meta? Cara Kerja, Penggunaan & Lainnya