Llama 3.2 Rehberi: Nasıl Çalışır, Kullanım Alanları ve Daha Fazlası

Meta'nın örneklerine göre, modeller belgelerde gömülü grafikleri analiz edip temel eğilimleri özetleyebiliyor. Ayrıca haritaları yorumlayabilir, bir yürüyüş parkurunun en dik bölümünü belirleyebilir veya iki nokta arasındaki mesafeyi hesaplayabilirler.

Llama görsel modellerinin kullanım alanları

Metin ve görsel akıl yürütmenin bu entegrasyonu, şu alanlar dahil geniş bir uygulama yelpazesi sunar:

• Belge anlama: Bu modeller, görseller, grafikler ve diyagramlar içeren belgelerden bilgi çıkarıp özetleyebilir. Örneğin, bir işletme, görsel olarak sunulan satış verilerini otomatik olarak yorumlamak için Llama 3.2'yi kullanabilir.
• Görsel soru yanıtlama: Hem metni hem de görselleri anlayarak, Llama 3.2 modelleri bir sahnedeki nesneyi tanımlama ya da bir görselin içeriğini özetleme gibi görsel içeriğe dayalı soruları yanıtlayabilir.
• Görsel altyazılama: Modeller görseller için altyazılar üretebilir; bu da görsel içeriğin anlaşılmasının önemli olduğu dijital medya veya erişilebilirlik gibi alanlarda faydalıdır.

Açık ve özelleştirilebilir

Llama 3.2'nin görsel modelleri açık ve özelleştirilebilirdir. Geliştiriciler, Meta'nın ince ayar çerçevesi Torchtune ile bu modellerin hem önceden eğitilmiş hem de hizalanmış sürümlerini ince ayar yapabilir.

Ayrıca bu modeller Torchchat aracılığıyla yerelde dağıtılabilir; böylece bulut altyapısına bağımlılık azalır ve Yapay zekâ sistemlerini dağıtmak isteyen ve kurum içi ya da kısıtlı kaynaklı ortamlarda çözüm arayan geliştiriciler için bir seçenek sunar.

Görsel modellere, Meta'nın akıllı asistanı Meta AI üzerinden test amaçlı da erişilebilir.

Llama 3.2 görsel modelleri nasıl çalışır

Llama 3.2 görsel modellerinin hem metni hem de görselleri anlamasını sağlamak için Meta, önceden eğitilmiş bir görsel kodlayıcıyı özel adaptörler kullanarak mevcut dil modeline entegre etti. Bu adaptörler, görsel veriyi modelin metin işleme kısımlarıyla ilişkilendirerek her iki tür girdiyi de ele almasını sağlıyor.

Eğitim süreci Llama 3.1 dil modeliyle başladı. Önce, modele metin açıklamalarıyla eşleştirilmiş büyük görsel kümeleri üzerinde eğitim verilerek ikisi arasındaki bağlantıyı kurması öğretildi. Ardından, görsel içeriği anlama ve üzerinde akıl yürütme becerisini geliştirmek için daha temiz ve daha spesifik verilerle rafine edildi.

Son aşamalarda Meta, modelin faydalı yanıtlar vermesini ve güvenli davranmasını sağlamak için ince ayar ve sentetik veri üretimi gibi teknikler kullandı.

Kıyaslamalar: Güçlü ve zayıf yönler

Llama 3.2 görsel modelleri, grafik ve diyagram anlama alanında öne çıkıyor. AI2 Diagram (92,3) ve DocVQA (90,1) gibi kıyaslamalarda Llama 3.2, Claude 3 Haiku'yu geride bırakıyor. Bu da onu, belge düzeyinde anlama, görsel soru yanıtlama ve grafiklerden veri çıkarma gibi görevler için mükemmel bir seçenek haline getiriyor.

Çok dilli görevlerde (MGSM) de Llama 3.2 iyi performans gösteriyor; 86,9 puanla GPT-4o-mini'ye neredeyse yetişiyor ve birden çok dille çalışan geliştiriciler için sağlam bir seçenek sunuyor.

Kaynak: Meta AI

Llama 3.2, görsel tabanlı görevlerde iyi performans sergilese de diğer alanlarda zorluklarla karşılaşıyor. Görsel veriler üzerinde matematiksel akıl yürütmeyi test eden MMMU-Pro Vision'da GPT-4o-mini, 33,8 puan alan Llama 3.2'yi 36,5 puanla geride bırakıyor.

Benzer şekilde, MATH kıyaslamasında GPT-4o-mini'nin performansı (70,2), Llama 3.2'yi (51,9) belirgin şekilde aşıyor; bu da Llama'nın matematiksel akıl yürütme görevlerinde hâlâ gelişim alanı olduğunu gösteriyor.

Llama 3.2 1B ve 3B Hafif Modeller

Llama 3.2'deki bir diğer önemli ilerleme, uç ve mobil cihazlar için tasarlanmış hafif modellerin sunulmasıdır. 1 milyar ve 3 milyar parametreli bu modeller, daha küçük donanımlarda çalışacak şekilde optimize edilmiştir ve performansta makul bir denge sağlar.

Cihaz Üzerinde Yapay Zekâ: Gerçek zamanlı ve özel

Bu modeller, verilerin buluta gönderilmesine gerek kalmadan hızlı, yerel işlem sağlayarak mobil cihazlarda çalışacak şekilde tasarlanmıştır. Modelleri uç cihazlarda yerelde çalıştırmanın iki temel faydası vardır:

• Daha hızlı yanıt süreleri: Modeller cihaz üzerinde çalıştığından, istekleri neredeyse anında işleyip yanıt üretebilir. Bu, hızın kritik olduğu gerçek zamanlı etkileşimler için özellikle faydalıdır.
• Gelişmiş mahremiyet: Yerel işlemle birlikte kullanıcı verilerinin cihazdan çıkması gerekmez. Bu da kişisel mesajlar veya takvim etkinlikleri gibi hassas bilgilerin buluta gönderilmesi yerine, güvenli şekilde kullanıcının kontrolünde kalmasını sağlar.

Llama 3.2'nin hafif modelleri Arm işlemcileri için optimize edilmiştir ve bugün birçok mobil ve uç cihaza güç veren Qualcomm ve MediaTek donanımında etkinleştirilmiştir.

Llama 3.2 1B ve 3B'nin uygulamaları

Hafif modeller, cihaz üzerinde şu tür pratik uygulamalar için tasarlanmıştır:

1. Özetleme: Kullanıcılar e-postalar veya toplantı notları gibi büyük metinleri bulut hizmetlerine ihtiyaç duymadan doğrudan cihazlarında özetleyebilir.

2. Yapay zekâ kişisel asistanı: Modeller doğal dildeki talimatları yorumlayıp yapılacaklar listesi oluşturma veya toplantı planlama gibi görevleri gerçekleştirebilir.

3. Metin yeniden yazma: Bu modeller metni anında iyileştirip değiştirebilir; böylece otomatik düzenleme veya yeniden ifade etme araçları gibi uygulamalar için kullanışlıdır.

Llama 3.2 hafif modelleri nasıl çalışır

Llama 3.2 hafif modelleri (1B ve 3B), güçlü performansı korurken mobil ve uç cihazlara verimli şekilde sığacak biçimde oluşturuldu. Bunu başarmak için Meta iki temel teknik kullandı: budama ve damıtma.

Kaynak: Meta AI

Budama: Modeli küçültmek

Budama, mümkün olduğunca çok bilgiyi korurken ağın daha az kritik kısımlarını çıkararak orijinal Llama modellerinin boyutunu azaltmaya yardımcı olur. Llama 3.2'nin 1B ve 3B modellerinde bu süreç, daha büyük Llama 3.1 8B önceden eğitilmiş modeliyle başladı.

Sistematik budama ile Meta AI ekibi, performansta önemli bir kayıp olmadan daha küçük ve verimli model sürümleri oluşturabildi. Yukarıdaki diyagramda, 8B önceden eğitilmiş modelin (mor kutu) budanıp rafine edilerek daha küçük Llama 3.2 1B/3B modellerinin temeli haline geldiği gösteriliyor.

Damıtma: Küçük modellere öğretmek

Damıtma, daha büyük ve güçlü bir modelden (“öğretmen”) daha küçük bir modele (“öğrenci”) bilgi aktarma sürecidir. Llama 3.2'de, daha büyük Llama 3.1 8B ve Llama 3.1 70B modellerinden elde edilen logitler (tahminler), küçük modellere öğretmek için kullanıldı.

Bu sayede daha küçük 1B ve 3B modeller, küçültülmüş boyutlarına rağmen görevleri daha etkili şekilde öğrenebildi. Yukarıdaki diyagram, bu sürecin ön eğitim sırasında 1B ve 3B modelleri yönlendirmek için büyük modellerden gelen logit verilerini nasıl kullandığını gösteriyor.

Nihai iyileştirme

Budama ve damıtmadan sonra 1B ve 3B modeller, önceki Llama modellerine benzer bir sonradan eğitimden geçti. Bu, denetimli ince ayar, reddetme örneklemesi ve doğrudan tercih optimizasyonu gibi teknikleri içererek modellerin çıktılarının kullanıcı beklentileriyle hizalanmasını sağladı.

Ayrıca özetleme, yeniden yazma ve talimat izleme gibi geniş bir görev yelpazesini karşılayabilmelerini sağlamak için sentetik veriler üretildi.

Diyagramda gösterildiği gibi, nihai Llama 3.2 1B/3B instruct modelleri budama, damıtma ve kapsamlı sonradan eğitimin bir sonucudur.

Kıyaslamalar: Güçlü ve zayıf yönler

Llama 3.2 3B, özellikle akıl yürütme içeren görevlerde belirli kategorilerde öne çıkıyor. Örneğin ARC Challenge'da 78,6 puan alarak Gemma'yı (76,7) geride bırakıyor ve Phi-3.5-mini'nin (87,4) biraz gerisinde kalıyor. Benzer şekilde Hellawag kıyaslamasında da 69,8 puanla iyi bir sonuç elde ederek Gemma'yı geçiyor ve Phi ile rekabetçi kalıyor.

BFCL V2 gibi araç kullanımı görevlerinde de Llama 3.2 3B, 67,0 puanla rakiplerinin önünde yer alıyor. Bu, 3B modelinin talimat izleme ve araçla ilgili görevleri etkili şekilde ele aldığını gösteriyor.

Kaynak: Meta AI

Llama Stack Distribution

Llama 3.2'nin yayınına eşlik etmek üzere Meta, Llama Stack'i tanıtıyor. Geliştiriciler için Llama Stack'i kullanmak, büyük modellerin kurulumu veya dağıtımının karmaşık ayrıntılarıyla uğraşmaları gerekmediği anlamına gelir. Uygulamalarını inşa etmeye odaklanabilir ve ağır işlerin büyük kısmını Llama Stack'in üstleneceğine güvenebilirler.

Llama Stack'in temel özellikleri şunlardır:

• Standartlaştırılmış API'ler: Geliştiriciler, her şeyi sıfırdan inşa etmeye gerek kalmadan Llama modelleriyle etkileşim kurmak için kullanabilir.
• Her yerde çalışır: Llama Stack farklı platformlarda çalışacak şekilde tasarlanmıştır:
• Tek düğüm: Llama modellerinin tek bir bilgisayarda çalıştırılması.
• Kurum içi: Modellerin kendi sunucularınızda veya özel bulutunuzda kullanılması.
• Bulut: Llama modellerinin AWS veya Google Cloud gibi bulut sağlayıcıları üzerinden dağıtılması.
• Mobil ve uç cihazlar: Llama modellerinin buluta bağımlı olmadan telefonlarda veya küçük cihazlarda çalıştırılabilmesini sağlamak.
• Hazır çözümler: Llama Stack, belge analizi veya soru yanıtlama gibi yaygın görevler için hazır kurulumlara benzeyen “anahtar teslim” çözümler sunar. Bunlar geliştiricilere zaman ve emek kazandırabilir.
• Entegre güvenlik: Stack ayrıca, dağıtım sırasında yapay zekânın sorumlu ve etik şekilde davranmasını sağlayan yerleşik güvenlik özelliklerini içerir.

Kaynak: Meta AI

Llama 3.2 Güvenliği

Meta, Llama 3.2 ile sorumlu yapay zekâ odağını sürdürüyor. Llama Guard 3, Llama 3.2'nin yeni çok modlu yeteneklerini destekleyen görüş yetenekli bir sürümü içerecek şekilde güncellendi. Bu, yeni görüntü anlama özelliklerini kullanan uygulamaların güvenli kalmasını ve etik yönergelerle uyumlu olmasını sağlar.

Ek olarak, Llama Guard 3 1B daha kısıtlı kaynaklı ortamlarda dağıtım için optimize edilerek önceki sürümlerden daha küçük ve verimli hale getirildi.

Llama 3.2 Modellerine Nasıl Erişilir ve İndirilir

Llama 3.2 modellerine erişmek ve onları indirmek oldukça kolaydır. Meta, bu modelleri kendi web siteleri ve yapay zekâ modellerini barındırıp paylaşmak için yaygın olarak kullanılan Hugging Face dahil birden fazla platformda kullanıma sundu.

Llama 3.2 modellerini doğrudan resmî Llama web sitesinden indirebilirsiniz. Meta, geliştiricilerin kullanımı için hem daha küçük, hafif modelleri (1B ve 3B) hem de daha büyük, görüş yetenekli modelleri (11B ve 90B) sunuyor.

Hugging Face, Llama 3.2 modellerinin bulunduğu bir diğer platformdur. Kolay erişim sağlar ve yapay zekâ topluluğundaki geliştiriciler tarafından yaygın olarak kullanılır.

Llama 3.2 modelleri, AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake ve diğerleri dahil geniş ortak platform ekosistemimizde anında geliştirme için kullanılabilir.

Sonuç

Meta'nın Llama 3.2 sürümü, serideki ilk çok modlu modelleri tanıtıyor ve iki kilit alana odaklanıyor: görüş yetenekli modeller ve uç ile mobil cihazlar için hafif modeller.

11B ve 90B çok modlu modeller artık hem metin hem de görsel işlemede görev alabiliyor; 1B ve 3B modeller ise daha küçük cihazlarda verimli yerel kullanım için optimize edilmiştir.

Bu yazıda, bu modellerin nasıl çalıştığı, pratik uygulamaları ve onlara nasıl erişebileceğiniz gibi temel noktaları ortaya koydum.