Meta'nın Llama 3.1 405B'si Nedir? Nasıl Çalışır, Kullanım Alanları ve Daha Fazlası

Llama 3.1 405B Nedir?

Llama 3.1, Llama 3'e yönelik bir ara sürümdür (Nisan 2024'te duyuruldu). Llama 3.1 405B, adından da anlaşılacağı gibi 405 milyar parametreye sahip modelin amiral gemisi sürümüdür.

Kaynak: Meta AI

LMSys Chatbot Arena Sıralamasında Llama3.1 405B

405 milyar parametreye sahip olması, onu kör kullanıcı oylarından elde edilen puanlarla performans ölçen LMSys Chatbot Arena Sıralaması'nda üst sıralar için aday yapıyor.

Son aylarda birincilik, OpenAI GPT-4 sürümleri, Anthropic Claude 3 ve Google Gemini arasında el değiştirdi. Şu anda GPT-4o zirvede, ancak daha küçük olan Claude 3.5 Sonnet ikinci sırada ve yakında çıkacak Claude 3.5 Opus, eğer OpenAI GPT-4o'yu güncellemeden önce yayımlanabilirse birinciliği alabilir.

Bu da üst seviyede rekabetin zorlu olduğu anlamına geliyor ve Llama 3.1 405B'nin bu rakiplerle nasıl karşılaştırılacağını görmek ilginç olacak. Llama 3.1 405B sıralamada yerini alana kadar, yazının ilerleyen kısımlarında bazı kıyaslamalar verilmiştir.

Çok dilli yetenekler

Llama 3'ten Llama 3.1'e ana güncelleme, İngilizce dışı dillere daha iyi destektir. Llama 3'ün eğitim verilerinin %95'i İngilizceydi, bu nedenle diğer dillerde zayıf performans gösterdi. 3.1 güncellemesi Almanca, Fransızca, İtalyanca, Portekizce, Hintçe, İspanyolca ve Tayca için destek sunuyor.

Daha uzun bağlam

Llama 3 modellerinin bağlam penceresi—aynı anda üzerinde akıl yürütebileceği metin miktarı—8k belirteçti (yaklaşık 6 bin kelime). Llama 3.1 bunu daha modern bir değer olan 128k'ya çıkararak diğer son teknoloji LLM'lerle rekabetçi hâle getiriyor.

Bu, Llama ailesi için önemli bir zayıflığı gideriyor. Uzun belgelerin özetlenmesi, büyük bir kod tabanından bağlam içeren kod üretilmesi veya uzun destek sohbetleri gibi kurumsal kullanım senaryolarında, yüzlerce sayfalık metni saklayabilen uzun bir bağlam penceresi kritik önemdedir.

Açık model lisans anlaşması

Llama 3.1 modelleri, Meta'nın özel Açık Model Lisans Anlaşması kapsamında sunulmaktadır. Bu esnek lisans, araştırmacılara, geliştiricilere ve işletmelere modeli hem araştırma hem de ticari uygulamalar için kullanma özgürlüğü tanır.

Önemli bir güncellemede, Meta ayrıca geliştiricilerin 405B modeli de dahil olmak üzere Llama modellerinin çıktılarından diğer modelleri iyileştirmek için yararlanmasına izin vermek üzere lisansı genişletti.

Özetle, anlaşmada belirtilen koşullara uyulduğu sürece herkes, çalışmalarını ilerletmek, yeni uygulamalar oluşturmak ve yapay zekânın sunduğu imkânları keşfetmek için modelin yeteneklerinden yararlanabilir.

Llama 3.1 405B Nasıl Çalışır?

Bu bölüm, mimarisi, eğitim süreci, veri hazırlığı, hesaplama gereksinimleri ve optimizasyon teknikleri dâhil olmak üzere Llama 3.1 405B'nin nasıl çalıştığına ilişkin teknik ayrıntıları açıklar.

İnce ayarlarla Transformer mimarisi 

Llama 3.1 405B, birçok başarılı büyük dil modelinde yaygın olan standart, yalnızca kod çözücü Transformer mimarisi üzerine inşa edilmiştir.

Çekirdek yapı tutarlı kalırken, Meta eğitim sırasında modelin kararlılığını ve performansını artırmak için küçük uyarlamalar yapmıştır. Özellikle, eğitim sürecinde kararlılık ve ölçeklenebilirliği önceliklendirmek için Mixture-of-Experts (MoE) mimarisi bilinçli olarak hariç tutulmuştur.

Kaynak: Meta AI

Diyagram, Llama 3.1 405B'nin dili nasıl işlediğini gösterir. Giriş metni önce daha küçük birimler olan belirteçlere (token) ayrılır ve ardından belirteç gömmelerine adı verilen sayısal temsillere dönüştürülür.

Bu gömmeler daha sonra birden çok öz-dikkat katmanından geçirilir; model burada farklı belirteçler arasındaki ilişkileri analiz ederek girişteki önemlerini ve bağlamlarını anlar.

Öz-dikkat katmanlarından elde edilen bilgiler daha sonra ileri beslemeli bir ağdan geçirilir; bu ağ bilgileri daha da işleyip birleştirerek anlam çıkarır. Öz-dikkat ve ileri beslemeli işleme süreci, modelin kavrayışını derinleştirmek için defalarca tekrarlanır.

Son olarak model bu bilgileri kullanarak yanıtı belirteç belirteç üretir; önceki çıktılar üzerine inşa ederek tutarlı ve ilgili bir metin oluşturur. Otoregresif kod çözme olarak bilinen bu yinelemeli süreç, modelin girdi istemine akıcı ve bağlama uygun bir yanıt üretmesini sağlar.

Çok aşamalı eğitim süreci

Llama 3.1 405B'nin geliştirilmesi çok aşamalı bir eğitim sürecini içerdi. İlk aşamada model, trilyonlarca belirteci kapsayan, geniş ve çeşitli veri kümeleri üzerinde ön eğitimden geçirildi. Bu devasa metin miktarına maruz kalmak, modelin karşılaştığı örüntüler ve yapılar yoluyla dil bilgisi, olgular ve akıl yürütme yeteneklerini öğrenmesini sağlar.

Ön eğitimden sonra model, denetimli ince ayar (SFT) ve doğrudan tercih optimizasyonu (DPO) için yinelemeli turlardan geçer. SFT, modelin arzu edilen çıktıları üretmesini sağlamak üzere insan geri bildirimi ile belirli görevler ve veri kümeleri üzerinde eğitilmesini içerir.

DPO ise insan değerlendiricilerden toplanan tercihlere dayanarak modelin yanıtlarını iyileştirmeye odaklanır. Bu yinelemeli süreç, modelin talimatları takip etme becerisini, yanıt kalitesini ve güvenliği aşamalı olarak artırır.

Veri kalitesi ve miktarı

Meta, eğitim verilerinin kalitesi ve miktarına güçlü bir vurgu yaptığını iddia ediyor. Llama 3.1 405B için bu, veri kümelerinin genel kalitesini artırmak üzere kapsamlı filtreleme ve temizleme dâhil titiz bir veri hazırlama sürecini içerdi.

Dikkat çekici olarak, 405B modelinin kendisi sentetik veri üretmek için kullanılıyor ve bu veriler, modelin yeteneklerini daha da geliştirmek üzere eğitim sürecine dâhil ediliyor.

Hesaplamayı ölçeklendirme

Llama 3.1 405B gibi büyük ve karmaşık bir modeli eğitmek, muazzam miktarda hesaplama gücü gerektirir. Karşılaştırma yapmak gerekirse, Meta bu modeli verimli bir şekilde eğitmek için NVIDIA'nın en güçlü GPU'larından H100'lerin 16.000'den fazlasını kullandı.

Ayrıca, projenin devasa ölçeğini kaldırabilmesini sağlamak için tüm eğitim altyapılarında önemli iyileştirmeler yaptılar ve modelin etkili bir şekilde öğrenip gelişmesini mümkün kıldılar.

Çıkarım için niceleme

Llama 3.1 405B'yi gerçek dünya uygulamalarında daha kullanışlı kılmak için Meta, modelin ağırlıklarını 16 bit hassasiyetten (BF16) 8 bit hassasiyete (FP8) dönüştürmeyi içeren niceleme adlı bir teknik uyguladı. Bu, yüksek çözünürlüklü bir görüntüden biraz daha düşük çözünürlüğe geçmeye benzer: temel ayrıntıları korurken dosya boyutunu azaltır.

Benzer şekilde, niceleme modelin dahili hesaplamalarını basitleştirir; tek bir sunucuda çok daha hızlı ve verimli çalışmasını sağlar. Bu optimizasyon, başkalarının modelin yeteneklerinden yararlanmasını kolaylaştırır ve maliyetleri düşürür.

Llama 3.1 405B Kullanım Alanları

Llama 3.1 405B, açık kaynak doğası ve büyük kapasitesi sayesinde çeşitli potansiyel uygulamalar sunar.

Sentetik veri üretimi

Modelin insan diline çok benzeyen metinler üretme yeteneği, büyük miktarda sentetik veri oluşturmak için kullanılabilir.

Bu sentetik veriler, diğer dil modellerinin eğitimi, veri çoğaltma tekniklerinin (mevcut veriyi daha çeşitli hâle getirme) geliştirilmesi ve çeşitli uygulamalar için gerçekçi benzetimler geliştirilmesi açısından değerli olabilir.

Model damıtma

405B modelinde gömülü bilgi, damıtma adı verilen bir süreçle daha küçük ve verimli modellere aktarılabilir.

Model damıtmayı, bir öğrencinin (daha küçük bir yapay zekâ modeli) bir uzmanın (daha büyük Llama 3.1 405B modeli) bilgisini öğrenmesi gibi düşünebilirsiniz. Bu süreç, daha küçük modelin, daha büyük modelle aynı karmaşıklık veya hesaplama kaynaklarına ihtiyaç duymadan görevleri öğrenip yerine getirmesini sağlar.

Bu da, özgün modelin eğitildiği güçlü sunucularla karşılaştırıldığında sınırlı güce sahip akıllı telefonlar veya dizüstü bilgisayarlar gibi cihazlarda gelişmiş yapay zekâ yeteneklerinin çalıştırılmasını mümkün kılar.

Model damıtmaya yakın tarihli bir örnek, GPT-4o'nun damıtılmış sürümü olan OpenAI’nin GPT-4o mini modelidir.

Araştırma ve deney

Llama 3.1 405B, bilim insanlarının ve geliştiricilerin doğal dil işleme ve yapay zekâda yeni ufukları keşfetmesine imkân tanıyan değerli bir araştırma aracıdır.

Açık doğası, deney ve işbirliğini teşvik ederek keşif hızını artırır.

Sektöre özel çözümler

Model, sağlık, finans veya eğitim gibi belirli sektörlere ait verilere uyarlanarak bu alanların kendine özgü zorluk ve gereksinimlerini karşılayan özel yapay zekâ çözümleri oluşturulabilir.

Llama 3.1 405B'de Güvenliğe Vurgu

Meta, Llama 3.1 modellerinin güvenliğini sağlamaya önemli ölçüde odaklandığını belirtiyor.

Kaynak: Meta AI

Llama 3.1 405B'yi yayımlamadan önce, kapsamlı “kırmızı ekip” (red teaming) çalışmaları yürüttüler. Bu çalışmalarda, kurum içi ve dışı uzmanlar birer rakip gibi davranarak modelin zararlı veya uygunsuz şekilde davranmasına yol açmanın yollarını arar. Bu da model davranışındaki potansiyel risk veya açıklıkları ortaya çıkarmaya yardımcı olur.

Dağıtımdan önceki testlere ek olarak, Llama 3.1 405B güvenlik odaklı ince ayardan geçer. Bu süreç, modelin yanıtlarını insan değerleri ve tercihleriyle uyumlu hâle getirmeyi öğrenmesini sağlayan İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF) gibi teknikleri içerir. Bu, zararlı veya önyargılı çıktıları azaltmaya yardımcı olarak modeli gerçek dünya kullanımı için daha güvenli ve güvenilir kılar.

Meta ayrıca, Llama 3.1 405B tarafından üretilen zararlı veya uygunsuz içeriği filtrelemek ve işaretlemek üzere tasarlanmış yeni bir çok dilli güvenlik modeli olan Llama Guard 3'ü tanıttı. Bu ek koruma katmanı, model çıktılarının etik ve güvenlik yönergelerine uygun olmasını sağlamaya yardımcı olur.

Kaynak: Meta AI

Bir diğer güvenlik özelliği, Prompt Guard olup istem enjeksiyonu saldırılarını önlemeyi amaçlar. Bu saldırılar, modelin davranışını manipüle etmek için kullanıcı istemlerine kötü niyetli talimatlar eklemeyi içerir. Prompt Guard, bu tür talimatları filtreleyerek modeli olası kötüye kullanımlara karşı korur.

Kaynak: Meta AI

Buna ek olarak Meta, Llama 3.1 405B tarafından üretilen kodun güvenliğine odaklanan bir özellik olan Code Shield'ı dâhil etti. Code Shield, çıkarım süreci sırasında güvensiz kod önerilerini gerçek zamanlı olarak filtreler ve yedi programlama dili için güvenli komut yürütme koruması sunar; tüm bunları ortalama 200 ms gecikmeyle yapar. Bu, istismar edilebilecek veya güvenlik tehdidi oluşturabilecek kod üretilmesi riskini azaltmaya yardımcı olur.

Kaynak: Meta AI

Llama 3.1 405B Kıyaslamaları

Meta, Llama 3.1 405B'yi 150'den fazla çeşitli kıyaslama veri kümesinde titizlikle değerlendirdi. Bu kıyaslamalar, genel bilgi ve akıl yürütmeden kodlamaya, matematiğe ve çok dilli yeteneklere kadar geniş bir dil görevleri ve beceriler yelpazesini kapsar.

Kaynak: Meta AI

Llama 3.1 405B, birçok kıyaslamada GPT-4, GPT-4o ve Claude 3.5 Sonnet gibi önde gelen kapalı kaynaklı modellerle rekabetçi bir performans sergiliyor. Özellikle, ARC Challenge'da 96,9 ve GSM8K'da 96,8 puan alarak akıl yürütme görevlerinde belirgin bir güç gösteriyor. Ayrıca, HumanEval kıyaslamasında 89,0 puanla kod üretiminde de başarılı.

Otomatik kıyaslamalara ek olarak, Meta AI, Llama 3.1 405B'nin gerçek dünya senaryolarındaki performansını değerlendirmek için kapsamlı insan değerlendirmeleri de gerçekleştirdi.

Kaynak: Meta AI

Llama 3.1 405B bu değerlendirmelerde rekabetçi olsa da diğer modelleri tutarlı biçimde geride bırakmıyor. GPT-4-0125-Preview (OpenAI'nin 2024 başında ön gösterim için yayımlanan GPT-4 modeli) ve Claude 3.5 Sonnet ile başa baş performans gösteriyor; değerlendirmelerin yaklaşık aynı yüzdesini kazanıp kaybediyor. GPT-4o'nun ise biraz gerisinde kalarak karşılaştırmaların yalnızca %19,1'ini kazanıyor.

Llama 3.1 405B'ye Nereden Erişebilirim?

Llama 3.1 405B'ye iki ana kanaldan erişebilirsiniz:

1. Meta'dan doğrudan indirme: Model ağırlıkları Meta'nın resmi Llama web sitesinden doğrudan indirilebilir: llama.meta.com
2. Hugging Face: Llama 3.1 405B ayrıca makine öğrenimi modellerinin paylaşılıp erişildiği popüler bir merkez olan Hugging Face platformunda da mevcuttur.

Modeli kolayca erişilebilir kılarak Meta, araştırmacıların, geliştiricilerin ve kuruluşların yeteneklerinden çeşitli uygulamalar için yararlanmasını ve yapay zekâ teknolojisinin ilerlemesine katkıda bulunmasını amaçlıyor—Meta’nın açık kaynak yapay zekâya ilişkin ilkeleri hakkında daha fazlasını Mark Zuckerberg’in mektubunda okuyun.

Llama 3.1 Model Ailesi

Llama 3.1 405B boyutuyla manşetleri süslerken, Llama 3.1 ailesi farklı kullanım durumları ve kaynak kısıtlarına hitap edecek diğer modelleri de sunuyor. Bu modeller, 405B sürümündeki gelişmeleri paylaşmakla birlikte belirli ihtiyaçlara göre uyarlanmıştır.

Llama 3.1 70B: Çok yönlü

Llama 3.1 70B modeli, performans ve verimlilik arasında denge kurar; bu da onu geniş bir uygulama yelpazesi için güçlü bir aday yapar.

Uzun biçimli metin özetleme, çok dilli sohbet ajanları oluşturma ve kodlama desteği sağlama gibi görevlerde öne çıkar.

405B modelinden daha küçük olsa da, çeşitli kıyaslamalarda benzer boyuttaki diğer açık ve kapalı modellerle rekabetçi kalır. Daha küçük boyutu, standart donanımda dağıtımı ve yönetimi de kolaylaştırır.

Kaynak: Meta AI

Llama 3.1 8B: Hafif ve verimli

Llama 3.1 8B modeli hız ve düşük kaynak tüketimini önceliklendirir. Uç cihazlara, mobil platformlara dağıtım veya sınırlı hesaplama kaynaklarına sahip ortamlarda olduğu gibi bu etkenlerin kritik olduğu senaryolar için idealdir.

Daha küçük boyutuna rağmen, çeşitli görevlerde benzer boyuttaki modellere kıyasla rekabetçi performans sunar (yukarıdaki tabloya bakın).

Llama 3.1 8B'yi ince ayarlamakla ilgileniyorsanız, Metin Sınıflandırma için Llama 3.1’in İnce Ayarı konulu bu öğreticiyi okuyun.

Tüm Llama 3.1 modellerinde ortak geliştirmeler

Tüm Llama 3.1 modelleri birkaç temel iyileştirmeyi paylaşır:

• Genişletilmiş bağlam penceresi (128K belirteç): Modelin aynı anda dikkate alabileceği metin miktarını ifade eden bağlam penceresi, 128.000 belirtece önemli ölçüde artırıldı. Bu, modellerin çok daha uzun girdileri işlemesine ve uzun konuşmalar veya belgeler boyunca bağlamı korumasına imkân tanır.
• Çok dilli destek: Tüm modeller artık sekiz dili destekliyor: İngilizce, Almanca, Fransızca, İtalyanca, Portekizce, Hintçe, İspanyolca ve Tayca. Bu daha geniş dil desteği, küresel bir kitleye uygulanabilirliği artırır.
• Geliştirilmiş araç kullanımı ve akıl yürütme: Modeller, araç kullanımı ve akıl yürütme yetenekleri açısından geliştirildi; bu da onları daha çok yönlü ve karmaşık görevleri ele almada daha yetkin hâle getiriyor.
• Geliştirilmiş güvenlik: Potansiyel riskleri azaltmak ve sorumlu yapay zekâ kullanımını teşvik etmek için tüm Llama 3.1 modellerine sıkı güvenlik testleri ve ince ayar uygulandı. Buna önyargıları ve zararlı çıktıları azaltmaya yönelik çabalar da dâhildir.

Büyük vs. Küçük LLM'ler: Tartışma

Ölçeği etkileyici olsa da Llama 3.1 405B'nin piyasaya sürülmesi, güncel yapay zekâ ortamında dil modelleri için en uygun boyutun ne olduğuna dair bir tartışmayı tetikliyor.

Girişte kısaca belirtildiği gibi, Mistral ve Falcon gibi rakipler daha küçük modelleri tercih ederek daha pratik ve erişilebilir bir yaklaşım sunduklarını savunuyor. Bu daha küçük modeller genellikle daha az hesaplama kaynağı gerektirir; bu da onları belirli görevlere dağıtmayı ve ince ayarlamayı kolaylaştırır.

Buna karşın, Llama 3.1 405B gibi büyük modellerin savunucuları, salt büyüklüklerinin daha derin ve geniş bilgi yakalamalarına imkân tanıdığını ve bu sayede daha geniş bir görev yelpazesinde üstün performans sağladığını öne sürüyor. Ayrıca bu büyük modellerin, daha küçük, uzmanlaşmış modellerin damıtma yoluyla üzerine inşa edilebileceği “temel modeller” olarak hizmet edebileceğine işaret ederler.

Büyük ve küçük LLM'ler arasındaki tartışma nihayetinde yetenekler ile pratiklik arasındaki bir ödünleşime dayanır. Daha büyük modeller gelişmiş performans için daha fazla potansiyel sunarken, artan hesaplama talepleri ve enerji tüketimlerinden kaynaklanan olası çevresel etkilerle birlikte gelir. Öte yandan daha küçük modeller, erişilebilirlik ve dağıtım kolaylığı uğruna bir miktar performanstan ödün verebilir.

Meta'nın 405B'nin yanı sıra 70B ve 8B gibi daha küçük varyantları da yayımlaması, bu ödünleşimi kabul ettiklerini gösteriyor. Farklı model boyutları sunarak yapay zekâ topluluğu içindeki çeşitli ihtiyaç ve tercihlere hitap ediyorlar.

Nihayetinde büyük ve küçük LLM'ler arasındaki seçim, belirli kullanım durumuna, mevcut kaynaklara ve istenen performans özelliklerine bağlı olacaktır. Alan gelişmeye devam ettikçe, her iki yaklaşımın da bir arada var olmaya devam etmesi ve her birinin yapay zekâ uygulamalarının çeşitli manzarasında kendi nişini bulması muhtemeldir.

Sonuç

Özellikle 405B modeliyle Llama 3.1 ailesinin yayımlanması, açık kaynaklı büyük dil modelleri alanına kayda değer bir katkı niteliğindedir.

Performansı her zaman tüm kapalı modelleri geride bırakmasa da yetenekleri ve Meta'nın şeffaflık ile işbirliğine bağlılığı, yapay zekâ geliştirme için yeni bir yol sunuyor.

Birden çok model boyutunun ve ortak geliştirmelerin bulunması, araştırmacılar, geliştiriciler ve kuruluşlar için potansiyel uygulamaları genişletiyor.

Bu teknolojiyi açıkça paylaşarak Meta, alandaki ilerlemeyi hızlandırabilecek ve gelişmiş yapay zekâyı daha erişilebilir kılabilecek işbirlikçi bir ortamı teşvik ediyor.

Llama 3.1'in yapay zekânın geleceğine etkisi zamanla görülecek olsa da, yayımlanması, sorumlu ve faydalı yapay zekâ teknolojilerinin peşinde açık kaynak girişimlerinin artan önemini vurguluyor.