OmniHuman dari ByteDance: Panduan dengan Contoh

Apa Itu Omnihuman?

OmniHuman adalah model pembuatan video dari gambar (image-to-video) yang dapat menghasilkan video atau animasi realistis berdasarkan sebuah gambar. Secara teknis, nama lengkapnya adalah OmniHuman-1, yang menyiratkan bahwa ini adalah bagian dari proyek jangka panjang dengan versi-versi lanjutan yang sedang dikembangkan. Demi kemudahan, saya akan menyebutnya OmniHuman sepanjang blog ini.

Melihat contoh-contoh yang disediakan tim riset di balik OmniHuman, model ini unggul dalam menganimasikan subjek sehingga tampak bergerak alami, melakukan gestur, dan bahkan bernyanyi atau memainkan alat musik.

OmniHuman dapat menghasilkan video dengan ukuran input dan proporsi tubuh yang berbeda, mendukung berbagai jenis pengambilan gambar seperti close-up, setengah badan, atau seluruh badan. Model ini juga dapat melakukan sinkronisasi bibir dengan audio.

Perlu dicatat bahwa gambar input untuk sebagian besar contoh video dalam artikel ini adalah frame pertama dari tiap video (ditambah audio). Ini penting untuk diingat agar Anda mendapat gambaran lebih baik betapa mudahnya membuat video seperti ini dengan OmniHuman.

Fitur OmniHuman

Mendukung beragam subjek

OmniHuman dapat menangani beragam input di luar figur manusia. Ini mencakup kartun, objek buatan, hewan, dan bahkan pose-pose sulit yang kerap menantang alat pembuatan video tradisional.

OmniHuman juga mendukung beragam rasio aspek, yang terkadang menjadi keterbatasan model pembuatan video. Video di atas berformat potret (9:16), sementara yang di bawah berformat persegi (1:1).

Berbicara dan bernyanyi

Pada contoh di bawah, kita melihat Ted Talk yang realistis hasil generasi AI. Menurut saya, luar biasa membayangkan ini dihasilkan dari satu gambar saja. Gerakan tubuhnya cukup meyakinkan dan konsisten dengan ucapannya.

Pada contoh kedua ini, kita melihat subjek yang bernyanyi. Contoh ini kurang meyakinkan karena gerakan tangan memetik gitar tidak sesuai dengan lagu gitarnya.

Sinkronisasi bibir

Contoh berikut benar-benar menunjukkan kekuatan OmniHuman dalam sinkronisasi bibir. Berbeda dengan gerakan tangan pada gitar, video ini menampilkan performa yang sangat meyakinkan karena orangnya tampak benar-benar bernyanyi, bahkan konsisten dengan nadanya.

Hal ini juga berlaku untuk pidato biasa, bukan hanya bernyanyi (lihat contoh di bawah). Kekurangan utama video di bawah adalah terlihat beberapa artefak di sekitar rambut saat anak itu bergerak. Selain itu, warna bibir dan putih giginya sangat tidak alami dan tidak cocok dengan subjeknya.

Seluruh badan, setengah badan, dan close-up

Dua contoh berikut menampilkan kemampuan OmniHuman menghasilkan video setengah badan serta close-up. Mari mulai dengan contoh setengah badan:

Sekarang, mari lihat video yang dihasilkan untuk close-up:

Menganimasikan tangan

Salah satu hal yang sering menyulitkan model pembuatan video dan gambar adalah tangan. Entah mengapa, tangan sering menjadi tantangan besar bagi AI, menghasilkan jari tambahan dan gangguan visual. Dari contoh-contoh mereka, OmniHuman tampaknya cukup baik mengatasinya.

Model ini juga tampaknya mampu menangani kasus saat ada objek yang sedang dipegang:

Video driving

Kita telah melihat bahwa OmniHuman mendukung audio driving, yakni ketika audio digunakan untuk mengarahkan pembuatan video agar sesuai dengannya. Namun, OmniHuman juga mendukung input video untuk video driving. Dengan cara ini, model dapat meniru aksi-aksi video tertentu.

Alasan OmniHuman dapat mendukung audio driving (membuat video konsisten dengan audio tertentu) dan video driving adalah cara model ini dilatih, yang akan kita bahas selanjutnya.

Cara Mengakses OmniHuman?

Pada saat artikel ini diterbitkan, informasi detail tentang cara mengakses Omnihuman belum tersedia. Untuk pembaruan resmi atau pengumuman mengenai rilis dan detail akses, pantau kanal resmi ByteDance seperti siaran pers atau situs korporat mereka. Selain itu, karena ByteDance memiliki TikTok, pembaruan juga mungkin muncul di platform yang terkait dengan perusahaan.

Bagaimana Cara Kerja OmniHuman?

Nama OmniHuman berasal dari fakta bahwa, berbeda dengan model-model saat ini, ia mengintegrasikan banyak sinyal kondisi selama fase pelatihan, yang mereka sebut omni-conditions training. Secara sederhana, sinyal-sinyal kondisi ini mengacu pada berbagai jenis informasi yang digunakan untuk membimbing pembuatan video manusia.

Model saat ini sering bergantung pada satu sinyal kondisi, seperti audio atau pose. Misalnya, model yang dikondisikan audio berfokus pada ekspresi wajah dan sinkronisasi bibir, sementara model yang dikondisikan pose menekankan pose seluruh tubuh.

Namun, tidak semua data selaras sempurna dengan sinyal-sinyal spesifik tersebut. Akibatnya, sejumlah besar data yang berpotensi berguna dibuang selama proses penyaringan karena mengandung elemen (misalnya gerakan tubuh yang tidak terkait dengan ucapan pada model berbasis audio) yang tidak sesuai dengan cakupan sempit sinyal pengkondisian.

Bayangkan Anda mencoba membuat animasi seseorang, seperti dalam video gim atau kartun. Untuk membuat animasi terlihat realistis, Anda butuh lebih dari sekadar rupa orang tersebut dalam satu gambar. Anda juga memerlukan detail tentang bagaimana mereka bergerak, apa yang mereka ucapkan, dan bahkan pose yang mungkin mereka lakukan.

OmniHuman menggabungkan tiga jenis kondisi untuk belajar menghasilkan video:

• Teks: Menggunakan kata-kata tertulis atau deskripsi untuk membantu membimbing animasi. Misalnya, jika teks berbunyi, "Orang itu melambaikan tangan," animasi menggunakan informasi ini untuk membuat orang tersebut melambai.
• Audio: Ini adalah suara, seperti suara seseorang atau musik latar. Jika orang dalam animasi sedang berbicara, model menggunakan audio untuk memastikan gerakan bibirnya sesuai dengan kata-kata.
• Pose: Mengacu pada posisi dan gerakan tubuh seseorang. Misalnya, jika Anda ingin menganimasikan seseorang yang menari, pose memberikan panduan tentang bagaimana lengan dan kaki harus bergerak.

Idenya adalah dengan menggabungkan berbagai sinyal ini, model dapat membuat video yang tampak sangat realistis.

Keuntungan lain dari omni-conditions training adalah model dapat mengurangi pemborosan data dibandingkan model lain. Model lain tidak mampu sepenuhnya memanfaatkan data pelatihan karena beberapa alasan berikut:

• Kespesifikan sinyal pengkondisian: Model saat ini sering bergantung pada satu sinyal kondisi, seperti audio atau pose. Misalnya, model yang dikondisikan audio berfokus pada ekspresi wajah dan sinkronisasi bibir, sementara model yang dikondisikan pose menekankan pose seluruh tubuh. Namun, tidak semua data selaras sempurna dengan sinyal-sinyal spesifik tersebut. Akibatnya, sejumlah besar data yang berpotensi berguna dibuang selama proses penyaringan karena mengandung elemen (misalnya gerakan tubuh yang tidak terkait dengan ucapan pada model berbasis audio) yang tidak sesuai dengan cakupan sempit sinyal pengkondisian.
• Penyaringan dan pembersihan data: Untuk meningkatkan efisiensi pelatihan dan akurasi model, metode yang ada menerapkan proses penyaringan dan pembersihan data yang ketat. Misalnya, model berbasis audio menyaring data berdasarkan ketelitian sinkronisasi bibir, sementara model berbasis pose menyaring berdasarkan visibilitas dan kestabilan pose. Proses ini menghapus data yang mungkin berisi pola gerak berguna dan skenario beragam yang dibutuhkan untuk memperluas kapabilitas model.
• Keterterapan yang terbatas: Karena bergantung pada dataset yang sangat terkurasi, model-model ini hanya berlaku untuk rentang skenario yang sempit—seperti menghadap depan dengan latar statis. Hal ini membatasi kemampuan generalisasi model di skenario dunia nyata yang lebih beragam.

Dengan menggunakan omni-conditions training, model OmniHuman dapat memanfaatkan dataset yang lebih besar dan lebih beragam secara efektif, menghasilkan pembuatan video manusia yang lebih realistis dan fleksibel di berbagai kondisi dan gaya.

Data Pelatihan untuk OmniHuman

Dataset yang dikurasi untuk melatih OmniHuman mencakup sekitar 18,7 ribu jam data terkait manusia, dipilih menggunakan kriteria yang esensial untuk pembuatan video, seperti estetika, kualitas gambar, dan amplitudo gerak.

Dari dataset yang sangat besar ini, 13% dialokasikan untuk pelatihan dengan modalitas audio dan pose berdasarkan ketentuan ketat akurasi sinkronisasi bibir dan visibilitas pose. Pendekatan dua lapis ini memastikan hanya data yang paling relevan yang membentuk pemahaman model tentang animasi manusia, sehingga memungkinkan performa efektif di berbagai skenario.

Model tradisional sering berlatih pada dataset yang jauh lebih kecil, biasanya ratusan jam atau kurang, dengan fokus sempit pada bagian tubuh atau jenis animasi tertentu (misalnya animasi wajah atau pose seluruh badan) dalam batasan skena yang kaku. Ini membatasi kemampuan generalisasi dan keterterapan model di berbagai tugas. Dengan menghindari penyaringan berlebih dan merangkul tugas pengkondisian yang lebih lemah beserta datanya, OmniHuman mengurangi keterbatasan yang timbul dari ketergantungan eksklusif pada dataset yang sangat tersaring.

Selain itu, berbeda dengan model end-to-end berbasis satu kondisi yang lazim, OmniHuman menerapkan strategi omni-conditions training untuk memanfaatkan pelatihan data campuran, sehingga mengatasi tantangan inheren yang terlihat pada karya-karya unggulan lain yang berfokus menggunakan video yang sangat spesialis untuk melatih model menghasilkan tipe video tertentu. Model-model tersebut tidak menunjukkan fleksibilitas seperti yang terlihat pada OmniHuman.

Use Case OmniHuman

Mari kita jelajahi beberapa use case yang mungkin dimiliki OmniHuman. Seperti halnya apa pun, selalu ada sisi baik dan buruk.

Use case positif

Berikut beberapa contoh use case positif untuk OmniHuman:

• Pembuatan konten dan keterlibatan: Teknologi seperti ini sangat berharga bagi TikTok dan platform media sosial lainnya. Saya bisa membayangkan OmniHuman diimplementasikan sebagai fitur di TikTok.
• Pemasaran dan periklanan: Merancang iklan yang personal dan imersif dengan karakter yang hidup.
• Demokratisasi pembuatan film: AI membuat pembuatan video jauh lebih mudah. Ini akan memungkinkan individu kreatif yang kekurangan keterampilan teknis, anggaran, atau peralatan untuk mewujudkan ide mereka.
• Hiburan dan media: Hollywood dapat menggunakan teknologi seperti ini untuk menghidupkan kembali aktor yang telah wafat untuk peran baru dalam film.
• Menghidupkan kembali tokoh sejarah: Salah satu contoh mereka menampilkan video Einstein yang berpidato tentang seni. Meski saya tahu itu tidak nyata, saya tetap merasakan sesuatu melihat Einstein seolah hidup kembali. Saya dapat membayangkan ini sangat menarik jika digunakan dalam kuliah tentang Teori Relativitas. Kita juga bisa membayangkan museum menambahkan pengalaman seperti ini dengan tokoh sejarah lainnya.

Use case negatif

Terlepas dari sisi positifnya, OmniHuman juga dapat menjadi alat yang berbahaya dan memicu banyak masalah:

• Disinformasi dan manipulasi politik: Merekayasa video pemimpin politik untuk memicu gangguan pemerintahan atau kekacauan pemilu.
• Penipuan finansial: Menciptakan dukungan palsu oleh selebritas untuk mempromosikan penipuan atau investasi bodong. Baru-baru ini ada kasus seorang wanita Prancis yang kehilangan sekitar $850.000 karena penipuan selebritas deepfake.
• Pelanggaran privasi: Penggunaan gambar pribadi tanpa izin untuk membuat video.
• Pencurian identitas dan social engineering: Menyamar sebagai individu untuk melakukan aktivitas jahat atau penipuan.
• Kerusakan reputasi dan pencemaran nama baik: Membuat video palsu yang dirancang untuk merusak reputasi atau karier seseorang.
• Penggunaan konten yang tidak etis: Menggunakan teknologi untuk menempatkan kemiripan seseorang dalam konten dewasa atau materi lain yang tidak pantas tanpa izin.
• Spionase korporat dan manipulasi pasar: Membuat video para pemimpin bisnis untuk praktik tidak etis seperti insider trading.

Risiko dan Isu Etika OmniHuman

Kita telah menyebutkan beberapa use case negatif yang mungkin dimiliki OmniHuman. Menurut saya, kekhawatiran terbesar adalah potensinya untuk menyepelekan produksi video deepfake yang terlihat nyata tetapi sepenuhnya dibuat-buat.

Seperti yang disebutkan, ini menimbulkan ancaman, misalnya dalam politik, di mana video palsu dapat digunakan untuk menyebarkan informasi salah tentang politisi atau memengaruhi opini publik selama pemilu. Misalnya, deepfake dapat menampilkan seorang politisi mengatakan sesuatu yang tidak pernah ia ucapkan, sehingga menimbulkan kebingungan dan ketidakpercayaan di kalangan pemilih.

Namun, ini bukan masalah yang khusus untuk OmniHuman, karena hal-hal seperti ini sudah terjadi. Yang saya khawatirkan adalah betapa lebih buruknya keadaan jika siapa pun bisa membuat deepfake hanya dengan sekali klik.

Sebuah survei oleh Jumeo, perusahaan verifikasi ID, menemukan bahwa 60% orang menjumpai deepfake dalam setahun terakhir, yang menunjukkan bahwa konten seperti ini semakin meluas.

Survei yang sama mengungkapkan bahwa 72% responden khawatir tertipu oleh deepfake setiap hari. Ini menunjukkan tingkat kekhawatiran publik yang signifikan tentang kemungkinan ditipu oleh konten yang dihasilkan AI.

Laporan dari Deloitte ini menunjukkan bahwa konten yang dihasilkan AI terkait dengan kerugian penipuan lebih dari $12 miliar pada 2023, dengan proyeksi dapat mencapai $40 miliar di AS pada 2027. Ini menegaskan risiko finansial terkait penggunaan teknologi deepfake dalam penipuan.

Risiko-risiko ini menuntut kerangka regulasi yang kuat dan alat deteksi yang efektif untuk memitigasi potensi penyalahgunaan. Seiring evolusi OmniHuman dan teknologi serupa, semakin krusial menyeimbangkan inovasi dengan tanggung jawab, memastikan alat yang kuat seperti ini digunakan secara bijaksana.

Kesimpulan

Dengan asumsi contoh-contoh yang disediakan tim riset OmniHuman tidak dipilih secara selektif, alat pembuat video ini berpotensi mentransformasi pembuatan konten digital di berbagai industri. Dengan mengintegrasikan banyak sinyal pengkondisian—seperti teks, audio, dan pose—OmniHuman menghasilkan video yang sangat realistis dan dinamis, menetapkan standar baru dalam keotentikan dan fleksibilitas.

Namun, meskipun kapabilitas OmniHuman mengesankan, teknologi ini juga menimbulkan kekhawatiran etika dan sosial yang signifikan. Kemudahan menciptakan deep fake realistis dengan teknologi ini memperparah masalah yang sudah ada terkait misinformasi, penipuan, dan pelanggaran privasi.