Wan 2.1 dari Qwen: Panduan dengan Contoh Praktis

Wan2.1 dari Qwen adalah model generasi video open-source yang dirancang agar bertenaga sekaligus mudah diakses, karena dapat dijalankan pada GPU kelas konsumen.

Dengan kinerjanya yang kuat, Wan2.1 bersaing dengan model open-source seperti HunyuanVideo dan SkyReels serta solusi komersial seperti Sora dan Runway. 

Dalam artikel ini, saya akan membahas apa itu Wan2.1, fitur utamanya, dan cara kerjanya. Selain itu, saya akan memandu Anda cara mengaksesnya dan menggunakannya untuk membuat video dari berbagai prompt, sekaligus menampilkan kemampuan nyatanya.

Apa Itu Wan 2.1?

Wan 2.1 adalah model generasi video canggih yang dikembangkan oleh Qwen. Model ini termasuk keluarga model fondasi video skala besar, artinya dapat membuat video berkualitas tinggi dari berbagai jenis masukan, dalam hal ini deskripsi teks dan gambar.

Wan 2.1 menggabungkan kemampuan generasi video yang kuat dengan kemudahan akses. Model ini dapat berjalan pada GPU kelas konsumen, tidak seperti banyak model video AI lain yang memerlukan perangkat keras mahal, sehingga lebih praktis. Selain itu, model ini bersifat open source.

Model ini dibangun di atas teknologi diffusion transformer, pendekatan yang memungkinkannya menghasilkan video yang mulus dan realistis dengan kualitas gerak yang mengesankan. Wan 2.1 juga memperkenalkan Video Variational Autoencoder (VAE) unik, yang membantu menjaga konsistensi dan detail video, bahkan pada resolusi lebih tinggi seperti 1080p.

Berikut fitur utamanya:

1. Performa state-of-the-art (SOTA)

Wan 2.1 melampaui model video AI open-source dan komersial pada berbagai tolok ukur, yang berarti menghasilkan video yang lebih realistis dan berkualitas tinggi dibanding banyak alternatif.

Sumber: GitHub (Wan-Video/Wan2.1)

Pada tabel di atas, kita dapat melihat evaluasi komparatif model generasi video di berbagai dimensi Wan-Bench, menilai kinerja pada aspek kunci seperti pembuatan gerak, stabilitas visual, akurasi objek, dan kepatuhan pada instruksi. Model dengan performa tertinggi di tiap kategori ditandai tebal.

Wan-14B meraih skor tertimbang keseluruhan tertinggi (0,724), menunjukkan kemampuannya yang kuat di berbagai tolok ukur.

2. Berjalan pada GPU kelas konsumen

Dibandingkan sebagian besar model video AI kelas atas yang memerlukan perangkat keras mahal, model T2V-1.3B milik Wan 2.1 hanya membutuhkan 8,19GB VRAM. Artinya, Anda dapat membuat video menggunakan GPU biasa, seperti RTX 4090, dalam hitungan menit tanpa memerlukan superkomputer.

3. Mendukung berbagai tugas dan fitur generasi video

Dengan Wan, Anda bisa melakukan lebih dari sekadar Text-to-Video (T2V). Model ini menawarkan fitur lanjutan untuk meningkatkan pembuatan dan kustomisasi video, termasuk:

• Penyempurnaan prompt:  Jika fitur ini diaktifkan, model akan memperbaiki prompt Anda untuk menghasilkan video yang lebih berkualitas dan presisi.
• Kontrol rasio aspek: Anda dapat memilih rasio aspek terbaik untuk keluaran: 16:9, 9:16, 1:1, 4:3, atau 3:4.
• Mode inspirasi: Fitur ini membantu memperkaya visual dan meningkatkan ekspresivitas. Hasilnya mungkin sedikit menyimpang dari prompt masukan untuk sentuhan yang lebih artistik.
• Efek suara: Anda dapat menghasilkan efek suara yang sesuai untuk video atau membuat musik latar.

Selain itu, Wan mendukung Image-to-Video (I2V) sehingga Anda dapat mengubah gambar diam menjadi video animasi. Anda dapat menambahkan prompt teks opsional untuk kontrol lebih besar atas pembuatan video serta menentukan frame pertama dan terakhir untuk membentuk komposisi dan alur video.

4. Generasi teks visual (Inggris & Mandarin)

Wan 2.1 adalah model video AI pertama yang dapat menghasilkan teks yang terbaca di dalam video dalam bahasa Inggris dan Mandarin. Ini sangat berguna untuk membuat takarir, teks animasi, dan overlay grafis di dalam konten video.

5. Video variational autoencoder (VAE)

Wan 2.1 menggunakan Video Variational Auto Encoder (Wan-VAE) canggih yang memungkinkannya:

• Mengode dan mendekode video 1080p beresolusi tinggi dengan panjang berapa pun sambil mempertahankan gerak yang mulus.
• Menjaga detail dan konsistensi temporal sehingga objek dan karakter tidak berkedip atau terdistorsi antarframe.
• Mengompresi data video secara efisien.

Cara Mengakses Wan 2.1 Secara Online

Ada beberapa cara untuk memulai—Anda bisa mencobanya secara online atau menjalankannya secara lokal di komputer Anda.

Jika Anda ingin bereksperimen dengan Wan 2.1 tanpa menginstal apa pun, Anda dapat mengaksesnya melalui:

1. Ruang Hugging Face: Anda dapat menjalankan model langsung di antarmuka web.

2. Situs WanVideo: Di sini, Anda bisa melakukan lebih dari sekadar membuat video. Situs resmi juga memungkinkan Anda membuat gambar dan menjelajahi koleksi video serta gambar yang dibuat pengguna lain, lengkap dengan prompt yang mereka gunakan.

Opsi ini memungkinkan Anda menguji model dengan cepat tanpa repot pengaturan atau perangkat keras.

Cara Mengatur dan Menjalankan Wan 2.1 Secara Lokal

Jika Anda menginginkan kontrol penuh dan kustomisasi, Anda dapat menginstal Wan 2.1 di mesin Anda sendiri. Mari ikuti langkah demi langkah cara melakukannya:

Pengaturan Awal

Langkah 1: Klon repositori

Pertama, unduh kode Wan 2.1 dari GitHub:

git clone https://github.com/Wan-Video/Wan2.1.git
cd Wan2.1

Langkah 2: Instal dependensi

Pastikan Anda telah memasang Python dan PyTorch (versi 2.4.0 atau lebih baru), lalu instal pustaka yang diperlukan:

pip install -r requirements.txt

Langkah 3: Unduh bobot model

Anda perlu mengunduh file model terlatih dari Hugging Face (lihat info selengkapnya di sini) atau ModelScope (lihat info selengkapnya di sini).Ada beberapa model yang dapat Anda unduh:

Model 1.3B dapat menghasilkan video dalam resolusi 720P, tetapi karena pelatihannya pada kualitas ini lebih sedikit, hasilnya mungkin kurang stabil dibanding 480P. Untuk performa terbaik, disarankan resolusi 480P.

Menjalankan generasi teks-ke-video dengan Wan 2.1

Wan 2.1 memungkinkan Anda membuat video dari deskripsi teks menggunakan dua versi model:

• T2V-14B: lebih besar, lebih bertenaga, mendukung resolusi 480p dan 720p.
• T2V-1.3B: lebih kecil, butuh daya lebih rendah, hanya mendukung 480p.

Jika Anda hanya ingin membuat video dengan cepat, Anda dapat menggunakan perintah berikut, tanpa mengaktifkan penyempurnaan prompt.

Untuk model T2V-14B (kualitas lebih tinggi, model lebih besar):

python generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "A futuristic city with flying cars and neon lights."

Untuk model T2V-1.3B (lebih kecil, berjalan pada GPU kelas bawah):

python generate.py --task t2v-1.3B --size 832*480 --ckpt_dir ./Wan2.1-T2V-1.3B --prompt "A futuristic city with flying cars and neon lights."

Jika komputer Anda kehabisan memori (error OOM), Anda dapat menggunakan --offload_model True dan --t5_cpu untuk mengurangi penggunaan memori.

Menjalankan teks-ke-video dengan Multi-GPU (untuk pemrosesan lebih cepat)

Jika Anda memiliki beberapa GPU, Anda dapat mempercepat pembuatan video dengan menjalankan perintah ini:

torchrun --nproc_per_node=8 generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --dit_fsdp --t5_fsdp --ulysses_size 8 --prompt "A futuristic city with flying cars and neon lights.`

Ini memungkinkan beban kerja dibagi di beberapa GPU, sehingga proses menjadi lebih cepat.

Menggunakan ekstensi prompt (untuk video yang lebih detail dan realistis)

Wan 2.1 dapat menyempurnakan prompt Anda secara otomatis, sehingga video menjadi lebih detail dan menarik secara visual.

Ada dua cara untuk memperluas prompt:

• Menggunakan Dashscope API (memerlukan kunci API).
• Menggunakan model lokal (berjalan di mesin Anda tanpa internet).

Untuk menggunakan Dashscope API:

DASH_API_KEY=your_key python generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "A futuristic city with flying cars and neon lights." --use_prompt_extend --prompt_extend_method 'dashscope'

Untuk menggunakan model lokal Anda sendiri:

python generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "A futuristic city with flying cars and neon lights." --use_prompt_extend --prompt_extend_method 'local_qwen'

Menjalankan Wan 2.1 dengan Diffusers

Jika Anda ingin menggunakan pustaka Diffusers dari Hugging Face alih-alih menjalankan skrip mentah, Anda dapat membuat video dengan Python:

import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
# Available models: Wan-AI/Wan2.1-T2V-14B-Diffusers, Wan-AI/Wan2.1-T2V-1.3B-Diffusers
model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
# Load the autoencoder for video generation
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", torch_dtype=torch.float32)
# Define the scheduler for controlling video motion flow
flow_shift = 5.0  # 5.0 for 720P, 3.0 for 480P
scheduler = UniPCMultistepScheduler(
    prediction_type='flow_prediction', 
    use_flow_sigmas=True, 
    num_train_timesteps=1000, 
    flow_shift=flow_shift
)
# Load the video generation pipeline with the model
pipe = WanPipeline.from_pretrained(model_id, vae=vae, torch_dtype=torch.bfloat16)
pipe.scheduler = scheduler
pipe.to("cuda")
# New prompt
prompt = "A futuristic city at sunset, filled with flying cars and neon lights. The buildings have a sleek, cyberpunk design, and people walk on glowing sidewalks. The scene is full of vibrant colors, reflections, and dynamic movement."
# New negative prompt
negative_prompt = "Dull colors, grainy texture, washed-out details, static frames, incorrect lighting, unnatural shadows, distorted faces, artifacts, low-resolution elements, flickering, blurry motion, repetitive patterns, unrealistic reflections, overly simplistic backgrounds, three legged people, walking backwards."
# Generate the video frames
output = pipe(
     prompt=prompt,
     negative_prompt=negative_prompt,
     height=720,
     width=1280,
     num_frames=81,
     guidance_scale=5.0,
).frames[0]
# Export the generated frames as a video
export_to_video(output, "output.mp4", fps=16)

Skrip dimulai dengan memuat model Wan2.1-T2V-14B-Diffusers, yang digunakan untuk membuat video. Skrip juga memuat VAE (Autoencoder), yang membantu memproses dan meningkatkan frame video. Untuk mengontrol seberapa mulus gerakan dalam video, skrip menggunakan scheduler (UniPCMultistepScheduler). Pengaturan flow_shift menyesuaikan penanganan gerak, dengan 5,0 lebih cocok untuk resolusi lebih tinggi (720P) dan 3,0 untuk resolusi lebih rendah (480P).

Selanjutnya, skrip menyiapkan pipeline pembuatan video (WanPipeline) dan menerapkan scheduler untuk memastikan transisi antarframe lebih mulus. Prompt menggambarkan kota futuristis dengan mobil terbang dan lampu neon menyala, sementara negative prompt membantu menghilangkan efek yang tidak diinginkan, seperti detail buram, warna pudar, dan frame yang berkedip.

Model kemudian membuat 81 frame, yang menghasilkan sekitar 5 detik video pada 16 frame per detik (FPS). guidance_scale diatur ke 5,0, yang membantu model mengikuti prompt sambil tetap memberi ruang kreativitas. Setelah video dibuat, frame digabungkan dan disimpan sebagai "output.mp4" pada 16 FPS.

Negative prompt berperan penting dalam meningkatkan video akhir dengan memberi tahu model apa yang harus dihindari. Ini membantu menyingkirkan hal-hal seperti kualitas gambar buruk, distorsi aneh, atau apa pun yang membuat video terlihat tidak realistis. Dalam kasus ini, negative prompt memastikan adegan futuristis tampak bersih, tajam, dan menarik secara visual.

Menjalankan Wan 2.1 dengan antarmuka Gradio lokal

Jika Anda lebih suka antarmuka web interaktif untuk membuat video alih-alih menggunakan kode, Anda dapat menjalankan Wan 2.1 dengan Gradio:

Untuk ekstensi prompt Dashscope:

DASH_API_KEY=your_key python t2v_14B_singleGPU.py --prompt_extend_method 'dashscope' --ckpt_dir ./Wan2.1-T2V-14B

Untuk ekstensi prompt lokal:

python t2v_14B_singleGPU.py --prompt_extend_method 'local_qwen' --ckpt_dir ./Wan2.1-T2V-14B

Serupa dengan teks-ke-video, gambar-ke-video juga dibagi menjadi proses dengan dan tanpa langkah ekstensi prompt. Untuk detail implementasi lebih lanjut, Anda dapat mengunjungi GitHub resmi. Anda juga bisa bergabung dengan saluran Discord mereka untuk berdiskusi tentang Wan2.1, berbagi karya Anda, mendapatkan pembaruan fitur dan pengembangan terbaru, serta mengunjungi situs resmi untuk menjelajahi contoh yang dihasilkan.

Bagaimana Cara Kerja Wan 2.1?

Wan 2.1 dibangun menggunakan teknik AI canggih untuk menghasilkan video yang realistis dan berkualitas tinggi. Model ini menggunakan pendekatan berbasis difusi dan mengintegrasikan transformer untuk memastikan gerakan yang mulus, konsisten, dan detail di seluruh frame. 

Teknologi diffusion transformer

Wan 2.1 menggunakan teknik bernama diffusion models, yang bekerja dalam dua langkah:

1. Mulai dari noise: Model memulai dari citra acak seperti statis sepenuhnya.
2. Memperbaiki secara bertahap: Melalui banyak langkah, model menghapus noise dan membentuk video frame demi frame, dipandu oleh prompt masukan.

Ibaratnya seperti memproses foto di kamar gelap—gambar awalnya buram dan berbintik, namun menjadi semakin jelas di setiap langkah pemrosesan.

Wan 2.1 menyempurnakan pendekatan ini dengan menggunakan Diffusion Transformer (DiT), yang membantu menjaga detail tajam dan gerakan mulus saat menghasilkan banyak frame video.

Sumber: GitHub (Wan-Video/Wan2.1)

Diagram ini menunjukkan bagaimana Wan 2.1 menghasilkan frame video menggunakan model difusi yang ditingkatkan dengan Diffusion Transformer (DiT). Proses dimulai dengan deskripsi masukan (misalnya, "A panda is holding up a cardboard that says 'Wan2.1'"). Teks ini diproses oleh UMT5, model bahasa yang membantu sistem memahami dan menyempurnakan prompt.

Secara bersamaan, gambar awal yang bernoise diperkenalkan sebagai titik awal. Wan-Encoder kemudian memproses masukan tersebut, mengenkodenya menjadi bentuk yang dapat dimanipulasi model. N x DiT Blocks menyempurnakan gambar secara iteratif.

Model difusi secara progresif menghilangkan noise dari frame, menggunakan cross-attention untuk menyelaraskan keluaran dengan prompt yang diberikan. Timestep (t) menunjukkan langkah progresif dalam denoising, memastikan video berkembang mulus dari waktu ke waktu.

Setelah beberapa kali penyempurnaan, Wan-Decoder merekonstruksi frame video akhir dari data yang telah diproses. Keluaran berupa rangkaian frame yang selaras dengan deskripsi masukan asli, mempertahankan detail tajam, gerakan mulus, dan konsistensi.

Video Variational Autoencoder (VAE) untuk video berkualitas tinggi

Wan 2.1 menampilkan Wan-VAE, alat kompresi bertenaga yang membantu model untuk:

• Menjaga konsistensi antarframe sehingga objek dan orang tidak berubah bentuk secara acak.
• Mempertahankan detail halus, bahkan pada resolusi tinggi seperti 1080p.
• Memproses video lebih panjang tanpa kehilangan informasi sebelumnya.

Ibarat saat Anda mengompresi berkas video: VAE mengompresi dan menyimpan detail kunci, lalu merekonstruksinya secara akurat saat menghasilkan video.

Sumber: GitHub (Wan-Video/Wan2.1)

Bagan ini membandingkan berbagai model kompresi video berdasarkan kualitas video (PSNR) dan efisiensi (seberapa cepat mereka memproses frame). Setiap gelembung mewakili sebuah model, dan ukurannya menunjukkan seberapa besar model tersebut. Sumbu x mengukur efisiensi pemrosesan frame video. Angka lebih tinggi berarti model bekerja lebih cepat. Sumbu y menunjukkan kualitas video, di mana angka lebih tinggi berarti video lebih jelas dan detail.

Wan-VAE, ditampilkan dalam warna oranye, berkinerja lebih baik daripada model lain dengan menyeimbangkan kualitas video tinggi dan pemrosesan cepat sambil tetap relatif kecil (127M parameter). Model lain, seperti Step Video dan Mochi, jauh lebih besar namun tidak memproses frame seefisien itu. Ini berarti Wan-VAE dapat menghasilkan video panjang berkualitas tinggi sambil menjaga detail tetap tajam dan gerakan mulus, tanpa memperlambat.

Kasus Penggunaan Wan 2.1

Wan 2.1 adalah model generasi video AI serbaguna yang dapat digunakan di banyak industri. Pada bagian ini, saya akan mencoba beberapa contoh untuk berbagai kasus penggunaan.

Pembuatan konten & media sosial

Wan 2.1 dapat membantu Anda membuat konten video unik tanpa peralatan mahal atau jam pengeditan yang panjang. Jadi, bayangkan saya seorang influencer gaya hidup dan ingin membuat konten tentang hari yang hangat dan nyaman dalam hidup saya.Saya akan menggunakan prompt berikut untuk membuat sebuah klip untuk video saya:

Animasi time-lapse sebuah kafe yang hangat dan nyaman dari pagi hingga malam, menampilkan orang-orang yang datang dan pergi, kopi yang diseduh, dan matahari terbenam yang terpantul di jendela.

Karena saya menginginkannya se-realistis mungkin, saya juga menggunakan mode inspirasi. Ini hasil yang saya dapatkan: