ByteDance’in OmniHuman’ı: Örneklerle Bir Rehber

OmniHuman Nedir?

OmniHuman, bir görüntüye dayanarak gerçekçi videolar veya animasyonlar üretebilen bir görüntüden videoya üretim modelidir. Teknik olarak tam adı OmniHuman-1’dır; bu da gelecekteki sürümleri geliştirilen daha uzun vadeli bir projenin parçası olduğunu gösterir. Kolaylık olması için bu blog boyunca ona OmniHuman diyeceğim.

OmniHuman’ın arkasındaki araştırma ekibinin sunduğu örneklere bakılırsa, model konuyu doğal şekilde hareket ediyormuş gibi canlandırmada, jestler yaptırmada ve hatta şarkı söylemesini ya da enstrüman çalmasını sağlamada oldukça başarılı.

OmniHuman, farklı giriş boyutları ve vücut oranlarıyla videolar üretebilir; yakın plan, yarım beden veya tam beden gibi çeşitli çekim türlerini destekler. Ayrıca sesle dudak senkronizasyonu da yapabilir.

Bu yazıdaki çoğu video örneği için giriş görüntülerinin, her videonun ilk karesi (artı ses) olduğunu unutmayın. OmniHuman ile bu videoları üretmenin ne kadar kolay olduğuna dair daha iyi bir fikir edinmek için bunu akılda tutmak önemlidir.

OmniHuman Özellikleri

Geniş konu yelpazesi desteği

OmniHuman, sadece insan figürlerinin ötesinde çeşitli girişleri işleyebilir. Buna çizgi film karakterleri, yapay nesneler, hayvanlar ve hatta geleneksel video oluşturma araçlarını zorlayabilecek karmaşık pozlar da dahildir.

OmniHuman, bazen video üretim modellerinin kısıtı olan birden çok en-boy oranını da destekler. Yukarıdaki videonun dikey (9:16) en-boy oranı varken, aşağıdaki video kare (1:1) en-boy oranına sahiptir.

Konuşma ve şarkı söyleme

Aşağıdaki örnekte gerçekçi bir yapay zekâ tarafından oluşturulmuş bir TED konuşması görüyoruz. Bunun tek bir görüntüden üretildiğini düşünmek bile bana çılgınca geliyor. Beden hareketleri oldukça ikna edici ve konuşmayla tutarlı.

İkinci örnekte şarkı söyleyen bir konu görüyoruz. Bu örnek daha az ikna edici çünkü gitar çalan elin hareketi gitar parçasıyla uyuşmuyor.

Dudak senkronizasyonu

Sıradaki örnek, dudak senkronizasyonu söz konusu olduğunda OmniHuman’ın ne kadar güçlü olduğunu gerçekten gösteriyor. Gitar el hareketinin aksine, bu video kişinin gerçekten şarkı söylüyor gibi göründüğü, perdeyle de tutarlı gerçek anlamda inandırıcı bir performans sunuyor.

Bu durum sadece şarkı söylemede değil, normal konuşmada da geçerli (aşağıdaki örneğe bakın). Aşağıdaki videonun başlıca dezavantajı, çocuk hareket ederken saçın etrafında bazı yapaylıklar görebilmem. Ayrıca dudakların rengi ve dişlerin beyazlığı çok doğal değil ve konuya uymuyor.

Tam beden, yarım beden ve yakın planlar

Sıradaki iki örnek, OmniHuman’ın hem yarım beden hem de yakın plan videolar üretebilme yeteneğini sergiliyor. Yarım beden örneğiyle başlayalım:

Şimdi de bir yakın plan için oluşturulmuş bir videoya bakalım:

Ellerin canlandırılması

Video ve görüntü üretim modellerinin sıklıkla zorlandığı alanlardan biri ellerdir. Nedense eller, yapay zekâ için çoğu zaman büyük bir zorluk teşkil eder; fazladan parmaklar ve hatalar görülebilir. Örneklerine bakılırsa OmniHuman, bunlarla oldukça iyi başa çıkıyor gibi görünüyor.

Bir nesnenin elde tutulduğu durumları da yönetebiliyor gibi:

Video sürüşü (video driving)

OmniHuman’ın, videonun üretimini sese uydurmak için sesle yönlendirmeyi desteklediğini gördük. Bununla birlikte OmniHuman, video sürüşü için video girişi de destekler. Bu sayede belirli video eylemlerini taklit edebilir.

OmniHuman’ın hem ses sürüşünü (videoyu verilen sesle tutarlı kılma) hem de video sürüşünü destekleyebilmesinin nedeni, nasıl eğitildiğiyle ilgilidir; bunu şimdi inceleyeceğiz.

OmniHuman’a Nasıl Erişilir?

Bu makalenin yayımlandığı sırada, Omnihuman’a erişimle ilgili ayrıntılı bilgiler mevcut değildir. Yayın ve erişim ayrıntılarına dair resmi güncellemeler veya duyurular için ByteDance’in basın bültenleri ya da kurumsal web sitesi gibi resmi kanallarını takip edin. Ayrıca, ByteDance TikTok’a sahip olduğundan, şirketle ilişkili platformlarda da güncellemeler görülebilir.

OmniHuman Nasıl Çalışır?

OmniHuman adını, mevcut modellerin aksine, eğitim aşamasında birden çok koşul sinyalini entegre etmesinden alır; buna omni-conditions training denir. Basitçe ifade etmek gerekirse, bu koşul sinyalleri, bir insanın videosunun oluşturulmasını yönlendirmek için kullanılan farklı türde bilgilere karşılık gelir.

Mevcut modeller çoğunlukla tek bir koşul sinyaline, örneğin sese veya poza dayanır. Örneğin, sese koşullanan modeller yüz ifadeleri ve dudak senkronizasyonuna odaklanırken, poza koşullanan modeller tam vücut pozlarını vurgular.

Ancak tüm veriler bu belirli sinyallerle mükemmel şekilde hizalı değildir. Sonuç olarak, potansiyel olarak yararlı büyük miktarda veri, filtreleme süreçleri sırasında, dar koşullandırma sinyali kapsamına uymayan unsurlar (ör. sese dayalı modellerde konuşmayla ilgisi olmayan vücut hareketleri) içerdiği için elenir.

Bir kişi için, örneğin bir video oyunu ya da çizgi filmde olduğu gibi bir animasyon oluşturduğunuzu hayal edin. Animasyonun gerçekçi görünmesi için yalnızca kişinin tek bir resimde nasıl göründüğünü bilmek yetmez. Nasıl hareket ettiğine, ne söylediğine ve hatta hangi pozları verebileceğine dair ayrıntılara da ihtiyaç vardır.

OmniHuman, videoları üretmeyi öğrenmek için üç tür koşulu birleştirir:

• Metin: Animasyonu yönlendirmeye yardımcı olmak için yazılı kelimelerin veya açıklamaların kullanılması anlamına gelir. Örneğin metinde “Kişi el sallıyor” yazıyorsa, animasyon bu bilgiyi kullanarak kişiye el sallatır.
• Ses: Birinin sesi veya arka plan müziği gibi seslerdir. Animasyondaki kişi bir şey söylüyorsa, model dudakların kelimelere doğru şekilde eşleşmesini sağlamak için sesi kullanır.
• Poz: Kişinin bedeninin konumu ve hareketidir. Örneğin birini dans ederken canlandırmak istiyorsanız, pozlar kolların ve bacakların nasıl hareket etmesi gerektiğine dair bir kılavuz sağlar.

Buradaki fikir, bu farklı sinyallerin birleştirilmesiyle modelin çok gerçekçi görünen videolar üretebilmesidir.

Omni-conditions eğitiminin bir diğer avantajı, modelin diğer modellere kıyasla veri israfını azaltabilmesidir. Diğer modeller, aşağıdaki nedenlerden ötürü eğitimlerinde kullanılan verilerden tam olarak yararlanamaz:

• Koşullandırma sinyallerinin özgüllüğü: Mevcut modeller çoğunlukla tek bir koşul sinyaline, örneğin sese veya poza dayanır. Örneğin, sese koşullanan modeller yüz ifadeleri ve dudak senkronizasyonuna odaklanırken, poza koşullanan modeller tam vücut pozlarını vurgular. Ancak tüm veriler bu belirli sinyallerle mükemmel şekilde hizalı değildir. Sonuç olarak, potansiyel olarak yararlı büyük miktarda veri, filtreleme süreçleri sırasında, dar koşullandırma sinyali kapsamına uymayan unsurlar (ör. sese dayalı modellerde konuşmayla ilgisi olmayan vücut hareketleri) içerdiği için elenir.
• Veri filtreleme ve temizleme: Eğitim verimliliğini ve model doğruluğunu artırmak için mevcut yöntemler sıkı veri filtreleme ve temizleme süreçleri uygular. Örneğin, sese koşullanan modeller verileri dudak senkronizasyonu doğruluğuna göre filtrelerken, poza koşullanan modeller poz görünürlüğü ve stabilitesine göre filtreler. Bu süreçler, modelin yeteneklerini genişletmek için gerekli olabilecek yararlı hareket kalıpları ve çeşitli senaryolar içeren verileri ortadan kaldırır.
• Sınırlı uygulanabilirlik: Son derece küratörlü veri kümelerine bağımlılıkları nedeniyle bu modeller yalnızca ön yüze bakan, statik arka planlar gibi dar bir senaryo aralığında uygulanabilir. Bu da modellerin daha çeşitli, gerçek dünya senaryolarına genelleme yeteneklerini sınırlar.

Omni-conditions eğitimi kullanarak OmniHuman modeli, daha büyük ve daha çeşitli veri kümelerini etkili bir şekilde kullanabilir; bu da geniş bir koşul ve tarz yelpazesinde daha gerçekçi ve esnek insan videosu üretimiyle sonuçlanır.

OmniHuman için Eğitim Verileri

OmniHuman’ı eğitmek için oluşturulan veri kümesi, estetik, görüntü kalitesi ve hareket genliği gibi video üretimi için önemli ölçütler kullanılarak seçilmiş yaklaşık 18,7 bin saatlik insan odaklı veriden oluşur.

Bu devasa veri setinin %13’ü, sıkı dudak senkronizasyonu doğruluğu ve poz görünürlüğü koşullarına göre ses ve poz kipleriyle eğitim için ayrılmıştır. Bu iki katmanlı yaklaşım, yalnızca en ilgili verilerin modelin insan animasyonunu anlama biçimini beslemesini sağlar ve modelin çeşitli senaryolarda etkili performans göstermesine imkân tanır.

Geleneksel modeller çoğu zaman çok daha küçük veri kümeleriyle, tipik olarak yüzlerce saat ya da daha azıyla eğitilmiştir; katı sahne kısıtları altında belirli vücut parçalarına veya animasyon türlerine (ör. yüz animasyonları veya tam vücut pozları) dar biçimde odaklanırlar. Bu durum, bu modellerin farklı görevler arasında genellenebilirliğini ve uygulanabilirliğini sınırlamıştır. OmniHuman, aşırı filtrelemeden kaçınarak ve ilgili verilerle birlikte daha zayıf koşullandırma görevlerini benimseyerek, yüksek düzeyde filtrelenmiş veri kümelerine münhasıran güvenmenin getirdiği sınırlamaları hafifletir.

Ayrıca, tipik uçtan uca, tek koşullu modellerin aksine OmniHuman, omni-conditions eğitim stratejisini kullanarak karma veri eğitimi uygular ve böylece modeli belirli türde videolar üretmek üzere çok uzmanlaşmış videolarla eğitmeye odaklanan diğer öncü çalışmalarda görülen doğuştan gelen zorlukların üstesinden gelir. Bu modeller, OmniHuman’da görülen çok yönlülüğü sergilemez.

OmniHuman’ın Kullanım Alanları

OmniHuman’ın sahip olabileceği birkaç kullanım alanını keşfedelim. Her şeyde olduğu gibi, iyi ve kötü yanları vardır.

Olumlu kullanım alanları

OmniHuman için olumlu kullanım örneklerinden bazıları şunlardır:

• İçerik oluşturma ve etkileşim: Bu tür bir teknoloji TikTok ve diğer sosyal medya platformları için büyük değer taşır. OmniHuman’ın TikTok’ta bir özellik olarak uygulandığını şimdiden görebiliyorum.
• Pazarlama ve reklamcılık: Gerçekçi karakterlerle kişiselleştirilmiş ve sürükleyici reklamlar hazırlamak.
• Film yapımının demokratikleştirilmesi: Yapay zekâ video oluşturmayı çok daha kolaylaştırır. Bu, teknik becerisi, bütçesi veya ekipmanı olmayan yaratıcı kişilerin fikirlerini hayata geçirmesini sağlayacaktır.
• Eğlence ve medya: Hollywood, bu tür bir teknolojiyi vefat etmiş oyuncuları filmlerde yeni roller için yeniden canlandırmakta kullanabilir.
• Tarihî figürleri hayata döndürme: Örneklerinden biri, Einstein’ın sanat hakkında konuşma yaptığı bir video gösteriyor. Gerçek olmadığını bilsem de Einstein’ı hayata dönmüş görmek bende bir şey uyandırdı. Bu, Görelilik Teorisi üzerine bir derste kullanılsa çok ilgi çekici olabilir. Müzelerin de diğer tarihî kişiliklerle bu tür deneyimler eklediğini hayal edebiliriz.

Olumsuz kullanım alanları

Olumlu yönlerine rağmen, OmniHuman tehlikeli bir araç da olabilir ve birçok soruna yol açabilir:

• Yanlış bilgi ve siyasi manipülasyon: Siyasi liderlerin videolarını uydurarak devlet düzenini sarsmak veya seçim kaosu yaratmak.
• Finansal dolandırıcılık: Ünlülerin sahte onaylarını oluşturarak dolandırıcılık veya sahte yatırımları teşvik etmek. Yakın zamanda, bir Fransız kadının bir ünlü deepfake dolandırıcılığı nedeniyle yaklaşık 850.000 $ kaybettiği bir vaka oldu.
• Gizlilik ihlali: Kişisel görsellerin izinsiz kullanılarak videoların üretilmesi.
• Kimlik hırsızlığı ve sosyal mühendislik: Kişilerin kimliğine bürünerek kötü niyetli faaliyetler veya dolandırıcılık yapmak.
• İtibar zedelenmesi ve iftira: Bireylerin itibarını veya kariyerini zedelemek için tasarlanmış sahte videolar üretmek.
• Etik dışı içerik kullanımı: Kişilerin rızası olmadan benzerliklerini yetişkin içerik ya da başka sakıncalı materyallere yerleştirmek.
• Kurumsal casusluk ve piyasa manipülasyonu: İş dünyası liderlerinin videolarını içeriden öğrenenlerin ticareti gibi etik dışı uygulamalar için oluşturmak.

OmniHuman’ın Riskleri ve Etik Kaygıları

OmniHuman’ın sahip olabileceği bazı olumsuz kullanım alanlarını öne sürdük. OmniHuman ile ilgili en büyük endişenin, gerçek gibi görünen ancak tamamen uydurma deepfake videoların üretimini sıradanlaştırma potansiyeli olduğunu düşünüyorum. 

Belirttiğimiz gibi bu durum, örneğin siyasette bir tehdit oluşturur; sahte videolar, politikacılar hakkında yanlış bilgi yaymak veya seçimler sırasında kamuoyunu etkilemek için kullanılabilir. Örneğin bir deepfake, bir politikacıyı asla söylemediği bir şeyi söylemiş gibi gösterebilir; bu da seçmenler arasında kafa karışıklığına ve güvensizliğe yol açabilir.

Ancak bu, OmniHuman’a özgü bir sorun değildir; zira bunlar zaten yaşanmaktadır. Fakat herkesin tek bir tıklamayla deepfake üretebilmesi hâlinde işlerin ne kadar kötüleşebileceğinden endişe ediyorum.

Jumeo’nun yaptığı bir anket, bir kimlik doğrulama şirketi, insanların %60’ının geçen yıl bir deepfake ile karşılaştığını ortaya koydu; bu da bu tür içeriklerin giderek daha yaygın hâle geldiğine işaret ediyor.

Aynı anket, katılımcıların %72’sinin günlük olarak deepfake’lere kanmaktan endişe ettiğini gösterdi. Bu da kamuoyunun yapay zekâ tarafından oluşturulan içeriklerle aldatılmaya ilişkin kayda değer bir endişe düzeyine sahip olduğunu düşündürüyor.

Deloitte’un bu raporu, yapay zekâ tarafından oluşturulan içeriğin 2023’te 12 milyar dolardan fazla dolandırıcılık kaybıyla bağlantılı olduğunu ve 2027’ye kadar ABD’de 40 milyar dolara ulaşabileceğini öngörüyor. Bu, dolandırıcılıklarda kullanılan deepfake teknolojisiyle ilişkili finansal risklerin altını çiziyor.

Bu riskler, olası kötüye kullanımı azaltmak için sağlam düzenleyici çerçeveler ve etkili tespit araçları gerektirir. OmniHuman ve benzeri teknolojiler geliştikçe, inovasyonla sorumluluk arasındaki dengeyi kurmak ve bu denli güçlü araçların bilinçli şekilde kullanılmasını sağlamak her geçen gün daha kritik hâle geliyor.

Sonuç

OmniHuman araştırma ekibinin sunduğu örneklerin seçmece olmadığını varsayarsak, bu video üretim aracı çeşitli sektörlerde dijital içerik üretimini dönüştürme potansiyeline sahip. Metin, ses ve poz gibi birden çok koşul sinyalini entegre ederek OmniHuman, özgünlük ve çok yönlülükte yeni bir standart belirleyen son derece gerçekçi ve dinamik videolar üretir.

Bununla birlikte, OmniHuman’ın yetenekleri etkileyici olsa da önemli etik ve toplumsal kaygıları da beraberinde getiriyor. Bu teknolojinin gerçekçi deepfake’leri kolayca oluşturabilmesi, yanlış bilgi, dolandırıcılık ve gizlilik ihlali gibi zaten var olan sorunları daha da körüklüyor.