Qwen'in Wan 2.1'i: Uygulamalı Örneklerle Bir Rehber

Qwen’in Wan2.1’i, tüketici sınıfı GPU’larda çalışabildiği için hem güçlü hem de erişilebilir olacak şekilde tasarlanmış açık kaynaklı bir video üretim modelidir.

Üstün performansıyla Wan2.1, HunyuanVideo ve SkyReels gibi açık kaynaklı modellerle ve Sora ve Runway gibi ticari çözümlerle rekabet eder. 

Bu yazıda Wan2.1’in ne olduğunu, temel özelliklerini ve nasıl çalıştığını inceleyeceğim. Ayrıca, modele nasıl erişeceğinizi ve farklı istemlerden videolar üretmek için nasıl kullanacağınızı adım adım göstererek yeteneklerini uygulamalı olarak ortaya koyacağım.

Wan 2.1 Nedir?

Wan 2.1, Qwen tarafından geliştirilen gelişmiş bir video üretim modelidir. Büyük ölçekli video temel modelleri ailesine aittir; yani bu bağlamda metin açıklamaları ve görseller gibi farklı türde girdilerden yüksek kaliteli videolar üretebilir.

Wan 2.1, güçlü video üretimini erişilebilirlikle birleştirir. Pek çok başka yapay zeka video modelinin aksine pahalı donanım gerektirmez; tüketici sınıfı GPU’larda çalışabilir, bu da onu daha pratik kılar. Üstelik açık kaynaktır.

Difüzyon dönüştürücü (transformer) teknolojisi üzerine kuruludur; bu yaklaşım, etkileyici hareket kalitesiyle akıcı ve gerçekçi videolar üretmesini sağlar. Wan 2.1 ayrıca, 1080p gibi daha yüksek çözünürlüklerde bile videonun tutarlılığını ve detaylarını korumaya yardımcı olan özgün bir Video Değişken Otomatik Kodlayıcı (VAE) sunar.

Öne çıkan başlıca özellikleri şunlardır:

1. En son teknoloji (SOTA) performans

Wan 2.1, çoklu kıyaslamalarda hem açık kaynaklı hem de ticari yapay zeka video modellerini geride bırakır; yani birçok alternatife kıyasla daha gerçekçi, daha yüksek kaliteli videolar üretir.

Kaynak: GitHub (Wan-Video/Wan2.1)

Yukarıdaki tabloda, Wan-Bench’in çeşitli boyutları üzerinden video üretim modellerinin karşılaştırmalı değerlendirmesini görüyoruz; hareket üretimi, görsel kararlılık, nesne doğruluğu ve talimatlara uyum gibi temel yönlerdeki performansları ölçülüyor. Her kategoride en yüksek performans gösteren model kalın olarak vurgulanmıştır.

Wan-14B, birden fazla ölçütte güçlü yetenekler sergileyerek en yüksek toplam ağırlıklı puana (0,724) ulaşır.

2. Tüketici sınıfı GPU’larda çalışır

Pahalı donanım gerektiren çoğu üst düzey yapay zeka video modeliyle karşılaştırıldığında, Wan 2.1’in T2V-1.3B modeli yalnızca 8,19 GB VRAM ister. Bu, bir RTX 4090 gibi standart bir GPU ile birkaç dakika içinde süper bilgisayara ihtiyaç duymadan video üretebileceğiniz anlamına gelir.

3. Farklı video üretim görevleri ve özellikleri destekler

Wan ile yalnızca Metinden Videoya (T2V) yapmakla kalmazsınız. Video üretimini ve özelleştirmeyi geliştirmek için şu ileri özellikleri sunar:

• İstem iyileştirme:  Bu özelliği etkinleştirirseniz model, daha kaliteli ve daha isabetli videolar üretmek için istemlerinizi geliştirir.
• En-boy oranı kontrolü: Çıktınız için 16:9, 9:16, 1:1, 4:3 veya 3:4 gibi en uygun en-boy oranını seçebilirsiniz.
• İlham modu: Bu özellik, görselleri zenginleştirmenize ve ifadeliliği artırmanıza yardımcı olur. Daha sanatsal bir dokunuş için sonuçlar, giriş istemlerinden biraz sapabilir.
• Ses efektleri: Video için uygun ses efektleri üretebilir veya arka plan müziği oluşturabilirsiniz.

Buna ek olarak Wan, Görselden Videoya (I2V) desteği sunar; böylece durağan görselleri animasyonlu videolara dönüştürebilirsiniz. Video üretimi üzerinde daha fazla kontrol için isteğe bağlı metin istemleri ekleyebilir ve videonun kompozisyonunu ve akışını şekillendirmek üzere ilk ve son kareleri tanımlayabilirsiniz.

4. Görsel metin üretimi (İngilizce ve Çince)

Wan 2.1, videoların içinde hem İngilizce hem de Çince okunabilir metin üretebilen ilk yapay zeka video modelidir. Bu, video içeriğinde altyazılar, animasyonlu metinler ve grafik bindirmeler oluşturmak için idealdir.

5. Video değişken otomatik kodlayıcı (VAE)

Wan 2.1, şu imkânları sağlayan gelişmiş bir Video Değişken Otomatik Kodlayıcı (Wan-VAE) kullanır:

• Her uzunlukta 1080p yüksek çözünürlüklü videoları akıcı hareketi koruyarak kodlama ve kod çözme.
• Detayları ve zamansal tutarlılığı muhafaza ederek nesnelerin ve karakterlerin kareler arasında titremesini veya bozulmasını önleme.
• Video verilerini verimli biçimde sıkıştırma.

Wan 2.1’e Çevrimiçi Nasıl Erişilir?

Başlamak için birkaç yol var — çevrimiçi deneyebilir veya yerel bilgisayarınızda çalıştırabilirsiniz.

Hiçbir şey kurmadan Wan 2.1’i denemek isterseniz şu kanallardan erişebilirsiniz:

1. Hugging Face alanı: Modeli doğrudan bir web arayüzünde çalıştırabilirsiniz.

2. WanVideo web sitesi: Burada yalnızca video üretmekle kalmazsınız. Resmi site ayrıca görseller oluşturmanıza ve diğer kullanıcıların ürettiği video ve görselleri, kullandıkları istemlerle birlikte keşfetmenize olanak tanır.

Bu seçenekler, kurulum veya donanım derdi olmadan modeli hızlıca denemenizi sağlar.

Wan 2.1’i Yerelde Kurup Çalıştırma

Tam kontrol ve özelleştirme istiyorsanız Wan 2.1’i kendi makinenize kurabilirsiniz. Bunu adım adım nasıl yapacağınıza bakalım:

İlk Kurulum

Adım 1: Depoyu klonlayın

Önce Wan 2.1 kodunu GitHub’dan indirin:

git clone https://github.com/Wan-Video/Wan2.1.git
cd Wan2.1

Adım 2: Bağımlılıkları yükleyin

Python ve PyTorch’un (sürüm 2.4.0 veya üstü) kurulu olduğundan emin olun, ardından gerekli kütüphaneleri yükleyin:

pip install -r requirements.txt

Adım 3: Model ağırlıklarını indirin

Önceden eğitilmiş model dosyalarını Hugging Face’ten (daha fazla bilgi için buraya) veya ModelScope’tan (daha fazla bilgi için buraya) indirmeniz gerekir.İndirebileceğiniz farklı modeller vardır:

1.3B model 720P çözünürlükte videolar üretebilir; ancak bu kalitede daha az eğitim aldığı için sonuçlar 480P’ye göre daha az stabil olabilir. En iyi performans için 480P önerilir.

Wan 2.1 ile metinden videoya üretim çalıştırma

Wan 2.1, metin açıklamalarından video üretmeyi iki model sürümüyle sağlar:

• T2V-14B: daha büyük, daha güçlü; 480p ve 720p çözünürlük destekler.
• T2V-1.3B: daha küçük, daha az güç gerektirir; yalnızca 480p destekler.

Sadece hızlıca bir video üretmek istiyorsanız, istem iyileştirme etkin değilken şu komutları kullanabilirsiniz.

Şu T2V-14B modeli için (daha yüksek kalite, daha büyük model):

python generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "A futuristic city with flying cars and neon lights."

Şu T2V-1.3B modeli için (daha küçük, daha düşük sınıf GPU’larda çalışır):

python generate.py --task t2v-1.3B --size 832*480 --ckpt_dir ./Wan2.1-T2V-1.3B --prompt "A futuristic city with flying cars and neon lights."

Bilgisayarınızda bellek yetersizliği (OOM hatası) oluşursa, bellek kullanımını azaltmak için --offload_model True ve --t5_cpu kullanabilirsiniz.

Çoklu GPU ile metinden videoya (daha hızlı işlem için)

Birden fazla GPU’nuz varsa, şu komutu çalıştırarak video üretimini hızlandırabilirsiniz:

torchrun --nproc_per_node=8 generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --dit_fsdp --t5_fsdp --ulysses_size 8 --prompt "A futuristic city with flying cars and neon lights.`

Bu, iş yükünün birden fazla GPU’ya bölünmesini sağlar ve süreci hızlandırır.

İstem uzatma kullanma (daha detaylı ve gerçekçi videolar için)

Wan 2.1, isteminizi otomatik olarak iyileştirerek videoyu daha detaylı ve görsel açıdan daha çekici hale getirebilir.

İstemi uzatmanın iki yolu vardır:

• Dashscope API kullanmak (API anahtarı gerekir).
• Yerel bir model kullanmak (internetsiz olarak makinenizde çalışır).

Dashscope API’yi kullanmak için:

DASH_API_KEY=your_key python generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "A futuristic city with flying cars and neon lights." --use_prompt_extend --prompt_extend_method 'dashscope'

Kendi yerel modelinizi kullanmak için:

python generate.py --task t2v-14B --size 1280*720 --ckpt_dir ./Wan2.1-T2V-14B --prompt "A futuristic city with flying cars and neon lights." --use_prompt_extend --prompt_extend_method 'local_qwen'

Wan 2.1’i Diffusers ile çalıştırma

Ham komut dosyaları yerine Hugging Face’in Diffusers kütüphanesini kullanmak isterseniz, Python ile video üretebilirsiniz:

import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
# Available models: Wan-AI/Wan2.1-T2V-14B-Diffusers, Wan-AI/Wan2.1-T2V-1.3B-Diffusers
model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
# Load the autoencoder for video generation
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", torch_dtype=torch.float32)
# Define the scheduler for controlling video motion flow
flow_shift = 5.0  # 5.0 for 720P, 3.0 for 480P
scheduler = UniPCMultistepScheduler(
    prediction_type='flow_prediction', 
    use_flow_sigmas=True, 
    num_train_timesteps=1000, 
    flow_shift=flow_shift
)
# Load the video generation pipeline with the model
pipe = WanPipeline.from_pretrained(model_id, vae=vae, torch_dtype=torch.bfloat16)
pipe.scheduler = scheduler
pipe.to("cuda")
# New prompt
prompt = "A futuristic city at sunset, filled with flying cars and neon lights. The buildings have a sleek, cyberpunk design, and people walk on glowing sidewalks. The scene is full of vibrant colors, reflections, and dynamic movement."
# New negative prompt
negative_prompt = "Dull colors, grainy texture, washed-out details, static frames, incorrect lighting, unnatural shadows, distorted faces, artifacts, low-resolution elements, flickering, blurry motion, repetitive patterns, unrealistic reflections, overly simplistic backgrounds, three legged people, walking backwards."
# Generate the video frames
output = pipe(
     prompt=prompt,
     negative_prompt=negative_prompt,
     height=720,
     width=1280,
     num_frames=81,
     guidance_scale=5.0,
).frames[0]
# Export the generated frames as a video
export_to_video(output, "output.mp4", fps=16)

Komut dosyası, video oluşturmak için kullanılan Wan2.1-T2V-14B-Diffusers modelini yükleyerek başlar. Ayrıca video karelerini işleyip iyileştirmeye yardımcı olan bir VAE (Otokodlayıcı) yükler. Videodaki hareketin ne kadar akıcı görüneceğini kontrol etmek için bir zamanlayıcı (UniPCMultistepScheduler) kullanır. flow_shift ayarı, hareketin nasıl ele alınacağını düzenler; 5,0 daha yüksek (720P), 3,0 ise daha düşük (480P) çözünürlük için uygundur.

Ardından komut dosyası, video üretim hattını (WanPipeline) kurar ve kareler arasında daha akıcı geçişler sağlamak için zamanlayıcıyı uygular. İstem, uçan arabalar ve parlayan neon ışıklarıyla dolu fütüristik bir şehri tanımlar; olumsuz istem ise bulanık detaylar, soluk renkler ve titreşen kareler gibi istenmeyen etkileri azaltmaya yardımcı olur.

Model, 16 kare/saniye’de (FPS) yaklaşık 5 saniyelik videoya karşılık gelen 81 kare oluşturur. guidance_scale 5,0 olarak ayarlanmıştır; bu, modelin isteme uymasına yardımcı olurken bir miktar yaratıcılığa da izin verir. Video üretildikten sonra kareler birleştirilir ve 16 FPS’de "output.mp4" olarak kaydedilir.

Olumsuz istem, modele nelerden kaçınması gerektiğini söyleyerek nihai videonun iyileştirilmesinde önemli rol oynar. Kötü görüntü kalitesi, tuhaf bozulmalar veya videoyu gerçekçi göstermeyecek unsurların giderilmesine yardımcı olur. Bu örnekte, fütüristik sahnenin temiz, keskin ve görsel açıdan çekici görünmesini sağlar.

Yerel bir Gradio arayüzüyle Wan 2.1’i çalıştırma

Kod yerine etkileşimli bir web arayüzüyle video üretmeyi tercih ediyorsanız, Wan 2.1’i Gradio ile çalıştırabilirsiniz:

Dashscope istem uzatma için:

DASH_API_KEY=your_key python t2v_14B_singleGPU.py --prompt_extend_method 'dashscope' --ckpt_dir ./Wan2.1-T2V-14B

Yerel istem uzatma için:

python t2v_14B_singleGPU.py --prompt_extend_method 'local_qwen' --ckpt_dir ./Wan2.1-T2V-14B

Metinden videoya benzer şekilde, görselden videoya süreçleri de istem uzatma adımı olan ve olmayan olarak ayrılır. Uygulama ayrıntıları için resmi GitHub sayfasını ziyaret edebilirsiniz. Ayrıca Wan2.1’i tartışmak, çalışmalarınızı paylaşmak, yeni özellik ve geliştirmelerden haberdar olmak için Discord kanallarına katılabilir ve üretilen örnekleri keşfetmek için resmi web sitesini ziyaret edebilirsiniz.

Wan 2.1 Nasıl Çalışır?

Wan 2.1, yüksek kaliteli ve gerçekçi videolar üretmek için gelişmiş yapay zeka teknikleriyle inşa edilmiştir. Difüzyon tabanlı bir yaklaşımı izler ve kareler arasında hareketlerin akıcı, tutarlı ve detaylı olmasını sağlamak için transformer mimarilerini bütünleştirir. 

Difüzyon transformer teknolojisi

Wan 2.1, iki adımda çalışan difüzyon modeli adı verilen bir teknik kullanır:

1. Gürültüyle başlama: Model tamamen rastgele, karıncalı bir görüntüyle işe başlar.
2. Kademeli olarak iyileştirme: Model, birçok adımda gürültüyü giderir ve girdi istemi tarafından yönlendirilerek videoyu kare kare şekillendirir.

Karanlık odada fotoğraf banyo etmeye benzer — görüntü bulanık ve grenli başlar, her işlem adımıyla netleşir.

Wan 2.1, bu yaklaşımı bir Difüzyon Transformer (DiT) kullanarak geliştirir; bu sayede birden çok video karesi üretirken keskin detayları ve akıcı hareketi korur.

Kaynak: GitHub (Wan-Video/Wan2.1)

Bu diyagram, Difüzyon Transformer (DiT) ile güçlendirilmiş bir difüzyon modeli kullanarak Wan 2.1’in video karelerini nasıl ürettiğini gösterir. Süreç, bir giriş açıklamasıyla (ör. "Bir panda üzerinde 'Wan2.1' yazan bir kartonu tutuyor") başlar. Bu metin, sistemi istemi anlamada ve iyileştirmede destekleyen bir dil modeli olan UMT5 tarafından işlenir.

Eşzamanlı olarak başlangıç noktası olarak ilk gürültülü bir görüntü verilir. Ardından Wan-Encoder bu girdileri işler ve modelin üzerinde çalışabileceği bir temsile dönüştürür. N x DiT Blokları görüntüyü yinelemeli olarak iyileştirir.

Difüzyon modeli, sağlanan istemle çıktıyı hizalamak için çapraz dikkat (cross-attention) kullanarak karelerden gürültüyü kademeli olarak kaldırır. Zaman adımı (t), gürültü giderme sürecindeki kademeli ilerlemeyi gösterir ve videonun zamanla akıcı şekilde gelişmesini sağlar.

Birden çok iyileştirme adımından sonra Wan-Decoder, işlenmiş veriden nihai video karelerini yeniden oluşturur. Çıktı, orijinal giriş açıklamasıyla uyumlu, keskin detaylara, akıcı harekete ve tutarlılığa sahip bir kare dizisidir.

Yüksek kaliteli videolar için Video Değişken Otomatik Kodlayıcı (VAE)

Wan 2.1, modele şu konularda yardımcı olan güçlü bir sıkıştırma aracı Wan-VAE’yi içerir:

• Kareler arasında tutarlılığı koruma; böylece nesneler ve insanlar rastgele şekil değiştirmez.
• İnce detayları muhafaza etme; 1080p gibi yüksek çözünürlüklerde bile.
• Daha uzun videoları işleme; geçmiş bilgiyi kaybetmeden.

Bu, videolar için dosya sıkıştırmaya benzer: Anahtar detayları sıkıştırıp saklar, ardından videoyu üretirken bunları doğru şekilde yeniden oluşturur.

Kaynak: GitHub (Wan-Video/Wan2.1)

Grafik, video kalitesi (PSNR) ve verimlilik (kareleri ne kadar hızlı işledikleri) temelinde farklı video sıkıştırma modellerini karşılaştırır. Her balon bir modeli temsil eder; boyutu modelin büyüklüğünü gösterir. X ekseni bir modelin video karelerini ne kadar verimli işlediğini ölçer; sayı yükseldikçe model daha hızlı çalışır. Y ekseni ise video kalitesini gösterir; yüksek değerler daha net, daha detaylı videolar demektir.

Turuncu renkle gösterilen Wan-VAE, yüksek video kalitesi ile hızlı işlemeyi dengeleyerek ve nispeten küçük boyutta kalmayı (127M parametre) başararak diğer modellerden daha iyi performans sergiler. Step Video ve Mochi gibi diğer modeller çok daha büyüktür ancak kareleri aynı verimlilikte işlemez. Bu, Wan-VAE’nin detayları keskin, hareketi akıcı tutarak uzun, yüksek kaliteli videolar üretebildiği halde yavaşlamadığı anlamına gelir.

Wan 2.1’in Kullanım Alanları

Wan 2.1, pek çok sektörde kullanılabilen çok yönlü bir yapay zeka video üretim modelidir. Bu bölümde farklı kullanım durumları için bazı örnekler deneyeceğim.

İçerik üretimi ve sosyal medya

Wan 2.1, pahalı ekipmanlara veya uzun kurgu saatlerine ihtiyaç duymadan özgün video içerikler üretmenize yardımcı olabilir. Öyleyse, bir yaşam tarzı içerik üreticisi olduğumu ve hayatımdan sıcak, samimi bir güne dair içerik hazırlamak istediğimi hayal edelim.Videom için bir klip oluşturmak üzere şu istemi kullanacağım:

Sabahdan akşama bir kafeyi gösteren, insanların girip çıktığı, kahvenin demlendiği ve gün batımının pencerelere yansıdığı bir time-lapse animasyonu.

Olabildiğince gerçekçi olmasını istediğim için İlham modunu da kullandım. Elde ettiğim sonuç şu: