One week. 700+ courses for $0. No credit card needed.
Start Now
Alıştırma and program your progress.
Google ile devam edinDevam ederek, Kullanım Koşullarımızı ve Gizlilik Politikamızı kabul etmiş ve verilerinizin ABD'de saklandığını onaylamış olursunuz.Büyük dil modellerini (LLM) ölçeklendirmenin en büyük zorluklarından biri, dönüştürücü blokları içindeki ileri besleme katmanlarının hesaplama ve bellek gereksinimleridir. MoE, bu katmanları görevin farklı yönlerinde uzmanlaşan, seyrek etkinleştirilen uzman modüllerle değiştirerek bunu ele alır. Bu yaklaşım, belirli bir girdi için yalnızca ilgili uzmanları etkinleştirerek hesaplama yükünü azaltır ve verimliliği artırır.
Mevcut MoE yaklaşımlarının, yeni uzmanlar eklendiğinde yeniden ayarlanması gereken sabit yönlendiriciler gibi sınırlamaları vardır. Bu nedenle, sabit yönlendiricinin öğrenilen bir dizinle değiştirildiği yeni bir yönlendirme yaklaşımı tanıtılır.
Parametre Verimli Uzman Getirme (PEER), MoE katmanındaki etkin parametre sayısını azaltarak, ön eğitim ve çıkarım sırasında hesaplama ve aktivasyon belleği tüketimini etkiler.
PEER, doğru getirme ve yönlendirme mekanizmaları uygulanarak MoE’nin milyonlarca uzmana ölçeklenebileceğini ve çok büyük dil modellerinin eğitimi ile sunumunun maliyet ve karmaşıklığının azaltılabileceğini gösterir.

Yukarıdaki diyagramda, girdi sorgusu başlangıçta en iyi k uzmanı belirlemek için ürün anahtarı getirmeden geçer. Seçilen bu uzmanlar girdiyi kendi uzmanlık alanlarına göre işler ve çıkarım aşamasında çıktıları birleştirilerek nihai model çıktısı üretilir.
PEER’in temel yeniliği, ürün anahtarı getirmeyi kullanmasıdır. Amaç, geleneksel MoE’de olduğu gibi, verilen görev için en uygun en iyi k uzmanı bulmaktır. Ancak çok büyük sayıda uzmanla (potansiyel olarak bir milyonu aşan) önceki teknikler hesaplama açısından pahalı veya verimsiz hâle gelir.
N uzmanın bulunduğu bir senaryoyu düşünün; her biri d boyutlu bir vektörle temsil edilir. En iyi k uzmanı doğrudan hesaplamak, girdi sorgusu ile tüm N uzman anahtarı arasındaki benzerliği hesaplamayı gerektirir ve bu da zaman karmaşıklığını O(Nd) yapar. N çok büyük olduğunda (ör. N ≥ 10^6), bu maliyet yasaklayıcı hâle gelir.
PEER bunu akıllıca bir stratejiyle ele alır: N bağımsız d boyutlu uzman anahtarları kullanmak yerine, her anahtarı boyutu d/2 olan iki bağımsız alt kümeye böler. Benzer şekilde, sorgu vektörü de iki alt sorguya ayrılır. Ardından bu alt sorgular ile alt anahtarlar arasındaki iç çarpımlara en iyi k işlemi uygulanır.
Anahtarların bu Kartezyen çarpım yapısı, hesaplama karmaşıklığını O(Nd) seviyesinden O((N^.5+ k2)d) seviyesine dramatik biçimde düşürerek, uzman sayısı çok büyük olsa bile en iyi k uzmanın verimli biçimde belirlenmesini mümkün kılar.
Parametre Verimli Uzman Getirme (PEER) katmanı, yönlendiricide ürün anahtarları ve uzmanlar olarak tek nöronlu MLP’ler kullanan bir MoE mimarisidir.
Bir PEER katmanı üç bileşenden oluşur:
Nasıl çalıştığı şu şekildedir:
Özetle, PEER katmanı belirli bir girdi için en ilgili uzmanları verimli şekilde belirler; böylece çok sayıda uzmanın hesaplanabilirliği koruyarak etkin kullanımını sağlar. Bu yenilik, MoE modellerini milyonlarca uzmana ölçeklemenin kilit bir unsurudur ve daha güçlü, daha verimli LLM’lerin önünü açar.
PEER, MoME mimarisiyle birlikte, LLM yeteneklerinin sınırlarını zorlayarak geleneksel MoE yaklaşımlarına kıyasla çeşitli etkileyici avantajlar sunar:
Uzman Karışımı, sektörde hâlihazırda yaygın olarak kullanılan bir model paradigmasıdır ve YouTube gibi şirketler bunu öneri sistemlerine entegre etmiştir. MoME’nin geleceği de benzer görünüyor; Nvidia’nın GTC 2024 etkinliğinde GPT’nin 1,8 trilyonluk modelinden bahsettiklerinde buna dair ipuçları verilmişti.

PEER mimarisiyle Bir Milyon Uzmanın Karışımı (MoME), geniş bir bilgi tabanı ve hızlı yanıt getirme gerektiren karmaşık NLP görevleri için özellikle umut vericidir. Çok büyük dil modellerinin eğitim ve sunumunda doğası gereği bulunan ölçeklenebilirlik zorluklarını ele alır ve bilgisayarlı görü, içerik üretimi, öneri sistemleri ve akıllı bilişim gibi alanlarda kullanım için yeni olanaklar açar.
Bir modeli bir milyon uzmana kadar ölçeklendirmek verimlilik açısından umut verici görünse de bu kadar büyük bir ağı yönetmek bazı zorluklar barındırır. Bunlardan bazılarını inceleyelim:
Bu yazıda, büyük dil modelleri için ölçeklenebilir bir yaklaşım olan Bir Milyon Uzmanın Karışımı (MoME) tekniğini inceledik.
MoME, verimliliği ve performansı artırmak için uzmanlaşmış uzman ağlarından ve PEER yönlendirme mekanizmasından yararlanır.
Temel bileşenlerini, faydalarını ve olası uygulamalarını ele aldık. Daha derinlemesine bir inceleme için teknik ayrıntılar ve karşılaştırma sonuçları adına araştırma makalesine bakın.
Daha fazla bilgi için teknik ayrıntılar ve karşılaştırma sonuçları adına araştırma makalesine başvurun.
GenAI ve veri bilimi üzerine bilgi paylaşarak 20 milyon görüntüleme elde etmiş Kıdemli GenAI Mühendisi ve İçerik Üreticisi.

blog
blog
Eğitim
Yapay zekâ uygulamaları geliştirin!
Program
OpenAI API, Hugging Face ve LangChain dahil olmak üzere en yeni yapay zeka geliştirici araçlarıyla yapay zeka destekli uygulamalar oluşturmayı öğrenin.
Kurs
AI’den iş değeri yaratmayı keşfedin. Fırsatları belirleyin, POC’ler oluşturun, çözümleri uygulayın ve bir AI stratejisi geliştirin.
Alıştırma and program your progress.
Google ile devam edinDevam ederek, Kullanım Koşullarımızı ve Gizlilik Politikamızı kabul etmiş ve verilerinizin ABD'de saklandığını onaylamış olursunuz.
Yıllar boyunca, yapay zekâ modellerini ölçeklendirmek çoğunlukla daha fazla parametre ve eğitim verisi eklemek anlamına geliyordu.
Bu yaklaşım performansı artırsa da hesaplama maliyetlerini de önemli ölçüde yükseltir. Mixture of Experts (MoE), bu zorluğa yanıt olarak, geleneksel yoğun ileri beslemeli katmanlar yerine seyrek etkinleştirilen uzman modülleri kullanan umut verici bir çözüm olarak ortaya çıktı.
MoE, görevleri konuya ilişkin uzmanlıklarına göre farklı uzmanlara devrederek çalışır. Her uzman belirli bir amaca hizmet etmek üzere belirli bir veri kümesi üzerinde yoğun şekilde eğitilir ve bu görevlerin dağıtımından sorumlu başka bir bileşen olan geçit (gating) ağı bulunur.
MoE modelleri, İleri Beslemeli Katmanlara sahip geleneksel modelleri geride bıraksa da, sabit sayıda eğitim belirteci kullanılmasının getirdiği sınırlamalar nedeniyle model boyutu büyüdükçe verimlilik plato yapabilir.
Bu sorunu çözmek, çok sayıda uzmana sahip yüksek ayrıntı düzeyinde mimariler gerektirir. Ancak on binlerce uzmana destek veren tek mevcut mimari olan Mixture of Word Experts (MoWE), dile özeldir ve sabit bir yönlendirme şemasına dayanır.
Bir Milyon Uzmanın Karışımı (MoME), bu makalede tanıtıldığı üzere, Parametre Verimli Uzman Getirme (PEER) mimarisini sunarak bu zorluğun üstesinden gelir; bu mimari, çok sayıda uzmana verimli yönlendirme için ürün anahtarı getirmeyi kullanır.