Meta Movie Gen Rehberi: Nasıl Çalışır, Örnekler, Karşılaştırma

Videodaki su yansımaları dikkat çekici. Ayrıca tembel hayvanın yüzündeki gölgeleri de oldukça ilginç buldum. Bu küçük ayrıntılar iyi uygulandığında çoğu zaman fark edilmez. Ancak kötü yapıldıklarında göze çarpar ve yanılsamayı bozarlar.

Movie Gen Audio modeli

Movie Gen Audio, bir videonun içeriğiyle uyumlu film müzikleri oluşturabilen 13 milyar parametreli bir modeldir. Ayrıca metin isteminden ses de üretebilir.

Farklı uzunluklarda, hatta birkaç dakika süren videolarla senkronize, yüksek kaliteli 48 kHz ses üretir. Model, videoda görünmeyen kaynaklarla eşleşen ortam sesleri, eylemlerle senkronize ses efektleri ve uygun arka plan müziği de üretebilir.

Aşağıda, şu istem kullanılarak videolardan biri için oluşturulan müzik ve ses efektlerine bir örnek yer alıyor:

“Hışırdayan yapraklar ve çıtırdayan dallar, orkestral bir müzik parçasıyla.”

Müzik parçasının ruh hali istemde yer almıyordu. Model, videonun içeriğinden bu ruh halini yakalayabildi.

Personalized Movie Gen Video modeli

Movie Gen Video modeli, bir kişinin görseli ve metin açıklamasına dayanarak o kişiye ait videolar üretebilir. Video, metin istemini takip ederken kişinin kimliğini korur.

Aşağıdaki örnek, kişinin selfie’si ile şu istem birleştirilerek oluşturulmuştur:

“LA’da bir çatı katında bir kadın DJ plak çalıyor. Pembe bir ceket ve kocaman kulaklıklar takıyor. Kadının yanında bir çita var. Arka plan şehir manzarası.”

Bana göre bu model, özellikle Instagram gibi diğer ürünlerine entegre edildiğinde büyük potansiyel gösterdiği için en değerli parçaları olarak öne çıkıyor. Kullanıcıların tek bir görsel ve metin isteminden kendilerini çeşitli senaryolarda gösteren videolar oluşturabildiğini düşünün. Bu, yaratıcı ve ilgi çekici içerik patlamasına yol açabilir.

Movie Gen Edit modeli

Movie Gen Edit modeli, yalnızca metin talimatları kullanarak gerçek ve kurgusal videolarda ayrıntılı ve yaratıcı değişiklikler yapmamıza olanak tanır.

Model, çeşitli sektörlerde video düzenleme iş akışlarını kökten değiştirme potansiyeline sahip. Metin tabanlı düzenleme talimatlarını doğru anlayıp uygulama yeteneği, düzenleme sürecini önemli ölçüde iyileştirerek daha hızlı, verimli ve daha geniş bir kullanıcı kitlesi için erişilebilir hale getirebilir. Bu teknoloji; film yapımcıları, içerik üreticileri, eğitimciler ve video içeriğiyle çalışan herkes için faydalı olabilir.

Movie Gen Video Nasıl Çalışır?

Movie Gen Video modelinin eğitimi; veri toplama ve hazırlama, bizzat eğitim süreci, kaliteyi artırmaya yönelik ince ayar ve yüksek çözünürlüklü çıktılar elde etmek için kullanılan örnekleme (upsampling) teknikleri gibi birkaç temel bileşenden oluşur. 

Veri ve ön işleme

Movie Gen Video modeli; yüz milyonlarca video-metin çifti ve bir milyardan fazla görsel-metin çifti içeren devasa bir veri kümesi üzerinde eğitilmiştir. 

Veri kümesindeki her video; görsel kalite, hareket özellikleri ve içerik ilgililiği açısından filtrelenmeyi içeren titiz bir kürasyon sürecinden geçer. Filtreleme, önemsiz olmayan hareketler, tek plan kamera çalışması ve önemli bir bölümü insan içeren geniş bir kavram çeşitliliği olan videoları seçmeyi amaçlar.

Kaynak: Movie Gen araştırma makalesi

Modeli etkili biçimde eğitmek için yüksek kaliteli altyazılar (captions) çok önemlidir. Movie Gen Video, video içeriğini doğru şekilde tanımlayan ayrıntılı açıklamalar üretmek için LLaMa3-Video modelini kullanır. Bu altyazılar, yalnızca nesne etiketlemenin ötesine geçer; eylemler, kamera hareketleri ve hatta ışıklandırma bilgilerini de içerir. Bu zengin metinsel bilgi, modelin görsel hikâye anlatımını daha incelikli bir şekilde öğrenmesine yardımcı olur.

Eğitim süreci

Movie Gen Video için eğitim süreci, verimliliği ve modelin ölçeklenebilirliğini artırmak üzere birkaç aşamaya ayrılmıştır.

Model önce daha düşük çözünürlüklü görsellerle metinden görsele görevi üzerinde eğitilir. Bu “ısınma” aşaması, modele video üretimi gibi daha karmaşık bir göreve geçmeden önce temel görsel kavramları öğrenme olanağı tanır.

Ardından model, giriş verisinin çözünürlüğünü kademeli olarak artırarak hem metinden görsele hem metinden videoya görevlerinde ortak biçimde eğitilir. Bu ortak eğitim yaklaşımı, modelin görsel-metin veri kümelerinin bolluğundan ve çeşitliliğinden yararlanırken video üretiminin karmaşıklıklarını da öğrenmesine yardımcı olur.

Kaynak: Movie Gen araştırma makalesi

Video verisinin hesaplama gereksinimlerini karşılamak için Movie Gen Video, videoları zamanda sıkıştırıp açan bir Temporal Autoencoder (TAE) modeli kullanır. Bu, bilgisayarda dosyaları zip’leyip açmaya benzer; modelin video verisinin daha yönetilebilir bir temsilini işlemesini sağlar.

Kaynak: Movie Gen araştırma makalesi

Movie Gen Video, Flow Matching adlı bir eğitim amacını kullanır. Nihai videoyu doğrudan üretmek yerine flow matching, modelin rastgele bir gürültü örneğini adım adım istenen video çıktısına dönüştürmesini yönlendirir.

Flow Matching, örneklerin kendilerini doğrudan tahmin etmek yerine gizli uzaydaki (latent space) örneklerin hızını tahmin etmeyi içerir. Bu yöntem, geleneksel difüzyon tabanlı yöntemlerden daha verimli ve performanslıdır.

İnce ayar

Üretilen videoların kalitesini ve estetiğini artırmak için model, yüksek kaliteli altyazılara sahip, elle derlenmiş daha küçük bir video seti üzerinde denetimli ince ayardan geçirilir. Bu, bir sanatçının uzman rehberliğiyle tekniğini geliştirmesine benzer; daha estetik ve gerçekçi video çıktıları sağlar.

Nihai Movie Gen Video modeli, farklı veri kümeleri, hiperparametreler ve ön eğitim kontrol noktalarıyla eğitilmiş birden çok modelin ortalaması alınarak oluşturulur. Bu teknik, farklı modellerin güçlü yönlerini birleştirerek daha sağlam ve güvenilir performans sağlar.

Örnekleme (Upsampling)

Model 768 piksel çözünürlükte videolar üretir ve çözünürlüğü tam HD 1080p’ye yükseltmek için örnekleme kullanır; böylece daha keskin ve görsel olarak çekici videolar elde edilir. Bu yaklaşım yaygındır çünkü temel model daha az token işlerken yüksek çözünürlüklü çıktılar üreterek hesaplama açısından verimli bir çözüm sunar.

Spatial Upsampler, video-üstüne-video üretim modeli gibi çalışır. Daha düşük çözünürlüklü videoyu girdi olarak alır, bilinear enterpolasyonla hedef çözünürlüğe yükseltir ve ardından kare bazlı bir Varyasyonel Otokodlayıcı (VAE) kullanarak gizli uzaya kodlar.

Daha sonra bir gizli uzay modeli, düşük çözünürlüklü videonun kodlanmış gizlileri koşullu olacak şekilde HD videonun gizlilerini üretir. Son olarak, VAE kod çözücü, ortaya çıkan HD video gizlilerini tekrar piksel uzayına dönüştürerek nihai yüksek çözünürlüklü çıktıyı üretir.

Kaynak: Movie Gen araştırma makalesi

Movie Gen Modelinin Değerlendirilmesi

Zamansal boyutun eklenmesi nedeniyle metinden videoya bir modeli değerlendirmek, metinden görsele bir modeli değerlendirmekten daha zordur. Meta ekibi modeli değerlendirmek için üç ana ölçüt kullandı:

• İstemle hizalanma
• Kalite ve tutarlılık
• Gerçeklik ve estetik

Bu parametreler, videoları bu ölçütlere göre notlayan insanlar tarafından elle değerlendirilir.

İstemle hizalanma

İstem hizalaması; özne, hareket, arka plan ve diğer ayrıntıların açıklamaları dahil olmak üzere üretilen videonun giriş metin istemiyle ne kadar örtüştüğünü ölçer. Şu şekilde ayrıştırılır: 

• Özne eşleşmesi: Özne görünümü, arka plan, ışıklandırma ve tarzla hizalanmaya odaklanır.
• Hareket eşleşmesi: Hareketle ilgili açıklamaların hizalanmasını değerlendirir.

Kalite ve tutarlılık

Üretilen videonun kalitesi ve tutarlılığı, metin isteminden bağımsız olarak değerlendirilir. Bu ölçüt şu başlıklara ayrılır:

• Kare tutarlılığı: Kareler arasında nesne görünümü, ışıklandırma ve arka planda tutarsızlıklar veya yapaylıklar olup olmadığını kontrol eder.
• Hareket bütünlüğü: Özellikle alışılmadık özneler veya etkinlikler için videoda yeterli miktarda hareket olup olmadığını değerlendirir.
• Hareket doğallığı: Uzuv hareketleri, yüz ifadeleri ve fiziğe uygunluk gibi unsurları dikkate alarak hareketin gerçekçiliğini ve doğallığını değerlendirir.
• Genel kalite: Videonun genel iyiliğini belirlemek için önceki üç alt eksenin dengesini göz önünde bulunduran bütünsel bir yargı.

Gerçeklik ve estetik

Değerlendiricilerden, modelin foto-gerçekçi ve estetik açıdan hoş videolar üretme yeteneğini puanlamaları istendi. Bu ölçüt şu şekilde ayrılır:

• Gerçeklik: Videonun gerçek bir videoya ne kadar benzediğini ya da fantastik istemlerde, gerçekçi bir sanat tarzını ne kadar iyi taklit ettiğini değerlendirir.
• Estetik: İçerik, ışıklandırma, renk ve kamera efektleri gibi faktörlere dayalı olarak videonun görsel çekiciliğini değerlendirir.

Değerlendirme kıyaslaması

Kıyas verisi, video üretimlerini kapsamlı biçimde değerlendirmek için tasarlandı. İnsan etkinliği, hayvanlar, doğa, fizik ve alışılmadık özne veya faaliyetler gibi çeşitli test yönlerini kapsayan 1.000 istem içerir. 

Kıyasları, önceki çalışmalarda kullanılanlardan üç kattan daha büyüktür. Her istem, farklı hareket yoğunluklarında üretim kalitesini değerlendirmek üzere bir hareket düzeyi (yüksek, orta, düşük) etiketi taşır.

Değerlendirme, istem kümesinin tamamını kullanır ve özellikle modellerin genelleme yeteneklerini test etmek için alışılmadık özneler ve hareketlerle ne kadar iyi başa çıktıklarına odaklanan belirli test metriklerini inceler.

Aşağıdaki diyagram, değerlendirmede kullanılan istemlerin dökümünü göstermektedir. Solda, istemlerin kavram dağılımı veriliyor. Sağda ise istemlerde kullanılan yaygın isim ve fiilleri görüyoruz (kelime ne kadar büyükse o kadar sık):

Kaynak: Movie Gen araştırma makalesi

Aşağıdaki tablo, farklı modeller tarafından üretilen videoların çeşitli değerlendirme ölçütleri üzerinden insan değerlendirmesi sonuçlarını gösterir. Sayılar, (Kazanma % - Kaybetme %) olarak hesaplanan net kazanma oranlarını temsil eder. -100 (tam kayıp) ile 100 (tam kazanma) arasında değişir; 0 beraberliği ifade eder.

Kaynak: Movie Gen araştırma makalesi

Meta Movie Gen vs. Sora vs. Runway Gen 3

Deneylerine göre Movie Gen Video, metinden videoya üretimde güçlü bir performansa sahip; insan değerlendirmelerine dayanan MovieGen Video Bench’e göre Runway Gen3 ve LumaLabs gibi ticari sistemler de dahil olmak üzere çeşitli mevcut modelleri geride bırakıyor. Özellikle Movie Gen Video şu açılarda belirgin avantajlar gösteriyor:

• Genel kalite: Değerlendiriciler, özellikle görsel sadakat, hareket doğallığı ve metin istemleriyle hizalanma bakımından Movie Gen’in çıktılarının genel kalitesini tutarlı biçimde daha yüksek buldu.
• Hareket doğallığı ve tutarlılığı: Movie Gen, doğal ve tutarlı hareketlere sahip videolar üretmede kayda değer bir üstünlük sergiliyor; bu yönlerden Runway Gen3 ve OpenAI’nin Sora’sını geride bırakıyor. Bu güç, muhtemelen modelin Flow Matching eğitim amacı ve eğitim sırasında video verisini kapsamlı kullanımı sayesinde gerçek dünya fiziğini öğrenip simüle etme yeteneğine atfedilebilir.
• Gerçeklik ve estetik: Movie Gen ayrıca Runway Gen3, LumaLabs ve Kling1.5 ile karşılaştırıldığında daha yüksek gerçeklik ve estetik çekiciliğe sahip videolar üretmede de başarılı.

MovieGen genel olarak diğer modelleri geride bıraksa da, Kling1.5 bazen daha büyük hareket büyüklüklerine sahip videolar üretiyor; ancak bu, bozulmalar ve tutarsızlıklar pahasına olabiliyor. Bu durum, hareket bütünlüğü ile görsel kalite arasındaki ödünleşimi vurguluyor; Movie Gen Video, yalnızca hareket büyüklüğünü en üst düzeye çıkarmak yerine gerçekçi ve tutarlı hareket üretimini önceliklendiriyor.

Aşağıda, Meta Connect 2024 sunumundan, video üretim istemlerine ilişkin birkaç karşılaştırma örneğini gösteren bazı ekran görüntüleri yer alıyor:

Kaynak: Movie Gen araştırma makalesi

İşte bir fotoğraf kullanılarak kişiselleştirilmiş video üretimine dair bazı karşılaştırma örnekleri:

Kaynak: Movie Gen araştırma makalesi

Son olarak, aşağıdaki ekran görüntüleri video düzenlemeye ilişkin karşılaştırma örneklerini göstermektedir:

Kaynak: Movie Gen araştırma makalesi

Genel olarak, Meta Movie Gen’in çıtayı yükselttiği ve metinden videoya modellerde yeni bir standart belirlediği görülüyor. Makalede vurgulanan değerlendirme prosedürü adil görünüyor ancak elbette, bu modeller herkese açık hale gelmeden ve tarafsız üçüncü taraflar onları karşılaştırmadan kesin konuşmak zor.

Model Sınırlamaları

Meta Movie Gen medya üretiminde etkileyici görünse de hâlâ iyileştirme alanları var.

Model zaman zaman karmaşık geometriler, nesne etkileşimi ve gerçekçi fizik simülasyonlarını içeren sahnelerde zorlanıyor. Örneğin, nesneler arası ikna edici etkileşimler üretmek, durum dönüşümlerini (erime veya parçalanma gibi) doğru şekilde betimlemek ve yerçekimi veya çarpışmaların etkilerini gerçekçi biçimde simüle etmek hâlâ zorluk teşkil edebiliyor.

Ses senkronizasyonu bazı durumlarda sorunlu olabilir. Özellikle görsel olarak küçük, gizlenen (occluded) veya karşılık gelen sesi üretmek için yüksek düzeyde görsel anlayış gerektiren hareketlerde, modeller mükemmel senkronizasyon sağlamakta zorlanabilir. Bu zorluklara örnek olarak yürüyen bir kişinin adımlarını doğru şekilde senkronize etmek, kısmen gizlenen nesneler için uygun sesler üretmek ve gitarda ince el hareketlerini tanıyıp doğru notaları üretmek verilebilir.

Ayrıca, mevcut tasarımıyla Movie Gen Audio modeli ses (konuşma) üretimini desteklemiyor.

Güvenlik Hususları ve Modelin Yayımı

Gerçekçi yapay zekâ üretimi videolar; riskler ve etik sorunlar doğurur. Bu riskler arasında, deepfake’ler yoluyla güvenin manipüle edilmesi ve yanlış bilginin yayılması yer alır; bu da itibar zedelenmesine, kamuoyunun yanıltılmasına ve işletmelerin zarar görmesine yol açabilir.

Bir yandan, Instagram’da kendimi içeren havalı bir video oluşturmamı sağlayan bir özellik olabilir; öte yandan aynı özellik, başkası hakkında sahte bir video oluşturmamı da mümkün kılar. Bu teknolojiler geliştikçe, gerçeğinden ayırt edilemez hâle gelebilirler.

Yapay zekâ üretimi içerik, gizlilik tehditleri doğurur; şantaj, zorbalık veya siber zorbalığa yol açabilir.

Ayrıca bu yapay zekâ araçları, özgün sanat tarzlarını kredi vermeden taklit ederek sanat ve telif haklarını zedeleyebilir. Çözümler; medya okuryazarlığı konusunda farkındalık ve eğitim yaymayı, tespit teknolojisine yatırım yapmayı, hukuki ve etik çerçeveler oluşturmayı ve kimlik doğrulama için filigranlamayı kullanmayı içerir.

Yapay zekâ video üretimi büyük potansiyel taşısa da güven ve özgünlüğü korumak için dikkatli bir yaklaşım gerektirir.

Meta, Llama modellerini açık kaynak yaparak yapay zekâ geliştirmeleri konusunda şeffaf davrandı. Ancak güvenlik nedenleriyle Meta Movie Gen modelleri henüz yayımlanmayacak. Makalelerine göre, kullanıma almadan önce birden çok iyileştirme ve güvenlik değerlendirmesi gerekiyor.

Sonuç

Bu blog yazısında Meta’nın Movie Gen modellerini; metin istemleriyle video üretip düzenleyen bir yapay zekâ model paketini tanıttık.

Dört farklı modeli, yeteneklerini ve nasıl çalıştıklarını inceledik. Karşılaştırmalı bir analizle Meta Movie Gen’in diğer yapay zekâ video üretim araçları karşısındaki durumunu gösterdik.

Meta Movie Gen alanda yeni bir ölçüt belirlese de teknolojinin kötüye kullanım potansiyeli önemli endişeler doğuruyor. Meta bu riskleri kabul ediyor ve bu modellerin yayımında temkinli bir yaklaşım benimsiyor.

Meta AI ekosistemi hakkında daha fazla bilgi edinmek için şu blogları öneririm:

• SAM 2: Meta’nın Segment Anything Model 2’siyle Başlarken
• SAM 2’yi Özel Bir Veri Kümesi Üzerinde İnce Ayarlama
• Llama 3.2 Rehberi: Nasıl Çalışır, Kullanım Alanları & Daha Fazlası
• Meta’nın Llama 3.1 405B’si Nedir? Nasıl Çalışır, Kullanım Alanları & Daha Fazlası