DeepSeek'in Janus Pro'su: Özellikler, DALL-E 3 Karşılaştırması ve Daha Fazlası

DeepSeek-R1'in çıkışı yapay zeka sektörünü sarstı ve NVIDIA ile büyük Amerikan yapay zeka şirketlerinin hisselerinde önemli düşüşlere yol açtı.

DeepSeek şimdi de metin ve görsel üretimi için tasarlanmış en yeni çok modlu modeli Janus-Pro'yu tanıttı. R1 gibi Janus Pro da açık kaynaklı ve güçlü kıyaslama sonuçları sunuyor. Kısacası, çok modlu yapay zeka alanında OpenAI'nin DALL-E 3'üne ve Stability AI'nın Stable Diffusion'ına ciddi bir rakip.

Bu blogda Janus Pro'yu, ne olduğunu, çok modlu yapay zekanın ne anlama geldiğini, nasıl çalıştığını ve nasıl erişileceğini anlatacağım. Ayrıca birkaç istem üzerinde DALL-E 3 ile karşılaştıracağım.

Janus-Pro Nedir?

Janus-Pro, DeepSeek'in hem metin hem de görselleri içeren görevleri üstlenmek üzere tasarlanmış en yeni çok modlu yapay zeka modelidir. Orijinal Janus modeline kıyasla daha iyi eğitim stratejileri, daha büyük veri kümeleri ve ölçeklendirilmiş model boyutları (1B ve 7B parametre sürümleri mevcut) gibi çeşitli iyileştirmeler sunar.

Janus vs. Janus Pro-7b. Kaynak: Janus-Pro'nun yayımlama makalesi.

Yalnızca tek bir tür girdiye odaklanan yapay zeka modellerinden farklı olarak, Janus-Pro gibi çok modlu modeller bu iki kipliği anlamak ve birbirine bağlamak üzere geliştirilmiştir. Örneğin bir görsel yükleyip ona metin tabanlı bir soru sorabilirsiniz—sahnedeki nesneleri tanımlamak, görseldeki metni yorumlamak veya bağlamını analiz etmek gibi.

Janus-Pro ile metin tanıma. Kaynak: Janus-Pro'nun yayımlama makalesi.

Janus-Pro metin istemlerinden yüksek kaliteli görseller üretebilir; örneğin ayrıntılı illüstrasyonlar, ürün tasarımları veya belirli talimatlara dayalı gerçekçi görselleştirmeler oluşturabilir. Ayrıca görsel girdileri analiz ederek bir fotoğraftaki nesneleri tanıyabilir, görseldeki metni okuyup yorumlayabilir ya da bir grafik veya diyagrama ilişkin soruları yanıtlayabilir.

Janus-Pro ile metinden görsele üretim. Kaynak: Janus-Pro'nun yayımlama makalesi.

Janus-Pro, donanımınıza bağlı esneklik sunan iki boyutta gelir—1B ve 7B parametre.

Janus-Pro Nasıl Çalışır?

Janus-Pro, hem metin hem de görselleri anlama ve üretme görevlerini üstlenecek şekilde tasarlanmıştır ve bunu selefine göre bazı akıllı iyileştirmelerle başarır. Ana bileşenlerini sindirmesi kolay bir şekilde açıklayayım.

Ayrıştırılmış görsel kodlama

Janus-Pro'nun öne çıkan özelliklerinden biri, görselleri yorumlama ve üretme işlerini tek bir sistemle yürütmemesidir. Bunun yerine bu süreçleri birbirinden ayırır (ayrıştırılmış görsel kodlama).

Örneğin bir görsel yükleyip onunla ilgili bir soru sorduğunuzda, Janus-Pro görseli "okumak" ve önemli olanı belirlemek için uzmanlaşmış bir sistem kullanır. Öte yandan bir metin açıklamasından görsel üretmesini istediğinizde, görsel üretimine odaklanan farklı bir sisteme geçer. Bu ayrım, tek bir sistemin her şeyi yapmaya zorlandığında ortaya çıkan tavizlerden kaçınarak modelin her iki görevi de daha iyi yapmasını sağlar.

İyileştirilmiş eğitim süreci

Janus-Pro'nun eğitimi, yeteneklerini adım adım geliştirmek üzere tasarlanmış üç aşamaya ayrılmıştır:

1. Görsel temelleri öğrenme: Model, ImageNet gibi veri kümeleri üzerinde eğitime başlayarak nesneleri, metni ve görsel örüntüleri tanımaya odaklanır. Bu aşama Janus-Pro'da uzatılmış, böylece modelin piksel bağımlılıklarını modellemesine ve görsel veriyi etkin biçimde işlemesine daha fazla zaman tanınmıştır.
2. Görseller ve metni bağlama: Bu aşamada Janus-Pro, yüksek kaliteli, betimleyici metinden görsele veri kümeleri üzerinde eğitim alarak metin ve görselleri entegre eder. Önceki sürümlerin aksine, Janus-Pro verimsiz yaklaşımları atlar ve daha iyi sonuçlar için yoğun istemler kullanır.
3. Nihai ince ayar: Bu aşama, eğitim verisinin dengesini—çok modlu, yalnızca metin ve metinden görsele—7:3:10'dan 5:1:4'e ayarlar.

Daha büyük veri ve model ölçekleme

Janus-Pro, yeteneklerini eşit oranda hem gerçek dünya verilerini hem de sentetik verileri kullanarak ölçeklendirir. Bu karışım yalnızca daha yüksek kalite sağlamakla kalmaz, aynı zamanda görsel üretimi gibi görevlerde istikrarı da artırır.

Janus-Pro vs. DALL-E 3

Bu bölümde, çok modlu anlama ve metinden görsele üretimde Janus-Pro-7B ile DALL-E 3'ü karşılaştıracağım. Bu karşılaştırma, bu modellerin pratikte nasıl işlediğine dair bir fikir vermeyi amaçlıyor; ancak sistematik kıyaslama ölçümlerinin derinliğinin yerini tutmaz.

Çok modlu anlama

Aşağıdaki görseli yükledim ve hem Janus-Pro-7B'ye hem de DALL-E 3'e şu soruyu sordum:

“Tek cümlede, bu görselin ana mesajı nedir?”

Kaynak: Janus-Pro'nun GitHub sayfası.

Yanıtlar şöyleydi:

Janus-Pro: Bu görselin ana mesajı, Janus modelinin çok modlu anlama görevlerinde en yüksek ortalama performansa ulaştığı ve ayrıca metinden görsele üretimde yönerge izleme kıyaslamalarında yüksek doğruluk gösterdiğidir.

DALL-E 3: Janus-Pro modelleri, özellikle Janus-Pro-7B, hem anlama hem de yönerge izleme kıyaslamalarında diğer çok modlu modelleri geride bırakarak metin ve görsel görevleri genelinde güçlü yetenekler sergiliyor.

Her iki model de grafiği iyi özetlese de Janus-Pro, Janus-Pro'dan ayırt edemeyerek yanlış biçimde “Janus modeli”ne atıfta bulunuyor. DALL-E 3 ise “Janus-Pro modelleri, özellikle Janus-Pro-7B” diyerek bağlamsal anlayışta daha iyi performans gösteriyor.

Bu yalnızca tekil bir örnek; genel bir yargıya varamayız.

Metinden görsele üretim

Pratikte gerçekten işe yarayabilecek bir şey olabileceği için şu istemi denedim:

“Ortak çalışma istasyonları, özel toplantı kabinleri ve doğal aydınlatmaya sahip modern bir ofis alanı tasarımı, 3B tarzında bir görselle sunulsun”

DALL-E 3, aşağıdaki görseli üretti; istemdeki tüm unsurları karşılıyor: modern ofis alanı, ortak çalışma istasyonları, özel toplantı kabinleri, doğal ışık ve 3B tarzı görselleştirme. Ancak yakından bakınca şu tür epey yapaylıklar fark ediliyor:

1. Sol üstteki cam panellerde yansımalar hafifçe bozulmuş; özellikle dairesel aydınlatma elemanı.
2. Bazı masa eşyalarının (lambalar, kağıtlar ve bilgisayarlar) kenarları bulanık ya da doğallıktan uzak; olası yapay zeka birleştirme hatalarına işaret ediyor.
3. Ofis sandalyeleri, özellikle ortadaki, biraz deforme görünüyor; ayaklar ve zemine temas biçimi sorunlu (kolçak pedleri de doğru konumda değil).

Janus-Pro-7B'yi Hugging Face üzerinde istemledim. Model beş görsel üretti ve hepsi oldukça kötü görünüyor: