Küçük Dil Modelleri: Örneklerle Bir Rehber

Küçük Dil Modelleri Nedir?

Küçük dil modelleri, son dönemde çokça duyduğumuz devasa büyük dil modellerinin daha kompakt ve son derece verimli sürümleridir. GPT-4o gibi LLM'lerin yüz milyarlarca parametresi bulunur; SLM'ler ise çok daha az—genellikle milyonlardan birkaç milyara kadar—parametre kullanır.

SLM'lerin temel özellikleri şunlardır:

1. Verimlilik: SLM'ler, LLM'lerin ihtiyaç duyduğu devasa hesaplama gücüne ihtiyaç duymaz. Bu da onları akıllı telefonlar, tabletler veya IoT cihazları gibi sınırlı kaynaklara sahip aygıtlarda kullanım için ideal kılar—bu konuda daha fazla bilgi için uç yapay zekâ blog yazısını inceleyin.
2. Erişilebilirlik: Sınırlı bütçeye sahip kişiler, üst düzey altyapıya ihtiyaç duymadan SLM'leri hayata geçirebilir. Ayrıca, her zaman bulut tabanlı altyapıya dayanmadıkları için gizlilik ve veri güvenliğinin çok önemli olduğu kurum içi dağıtımlar için de uygundurlar.
3. Özelleştirme: SLM'leri ince ayar yapmak kolaydır. Daha küçük boyutları, niş görevler ve uzmanlaşmış alanlara hızla uyum sağlamalarına olanak tanır. Bu da onları müşteri desteği, sağlık veya eğitim gibi belirli uygulamalar için çok uygun kılar (buna az sonra daha detaylı değineceğiz!). 
4. Daha hızlı çıkarım: SLM'lerin işlenecek parametre sayısı daha az olduğundan yanıt süreleri daha kısadır. Bu da onları, sohbet botları, sanal asistanlar veya hızlı kararların kritik olduğu her türlü sistem gibi gerçek zamanlı uygulamalar için mükemmel kılar. Yanıtları beklemek zorunda kalmazsınız; bu da düşük gecikmenin şart olduğu ortamlarda büyük avantaj sağlar.

Küçük Dil Modeli Örnekleri

2019'dan 2024'e kadar SLM'lerin gelişimi hızlı oldu; daha verimli yapay zekâ ihtiyacını karşılamak için birçok yeni model ortaya çıktı. 2019'da GPT-2 ile başladı ve yıllar içinde modeller daha odaklı ve hızlı hâle geldi. 2022'ye gelindiğinde Bloom ve Galactica gibi modeller çok dilli içeriği ve bilimsel verileri işleyebiliyordu; 2023'te Pythia ve Cerebras-GPT gibi modeller kodlama ve mantıksal düşünme gibi görevlere yönelik tasarlandı.

2024'te LaMini-GPT, MobileLLaMA ve TinyLlama gibi, mobil cihazlar ve diğer düşük güçlü sistemlerde iyi çalışacak şekilde tasarlanmış daha da fazla SLM yayımlandı. Meta, Google ve Microsoft gibi şirketler bu modellerin geliştirilmesine öncülük ediyor; bazıları kamuya açıkken bazıları özel tutuluyor.

Kaynak: Lu ve ark., 2024

Uygulayıcılar, hafif, hızlı ve çalıştırmak için çok fazla kaynağa ihtiyaç duymadıkları için SLM'leri birçok sektörde kullanır. İşte bu modellerden bazıları, parametreleri ve öne çıkan özellikleriyle:

*Kullanım kısıtlamalarıyla

**Yalnızca araştırma amaçlı

Bu modeller hakkında daha fazla bilgiyi, yazdığım ayrı bir makalede bulabilirsiniz: en iyi küçük dil modelleri.

SLM'ler Nasıl Çalışır

Küçük dil modellerinin nasıl çalıştığına bakalım.

Sonraki kelime tahmini

LLM'ler gibi SLM'ler de bir metin dizisinde sonraki kelimeyi tahmin ederek çalışır. SLM'ler, eğitildikleri metinlerden öğrendikleri kalıpları kullanarak sırada neyin geleceğini kestirir. Bu, tüm dil modellerinin merkezinde yer alan basit ama güçlü bir kavramdır.

Örneğin şu girdi verildiğinde: "Harry Potter serisinde, ana karakterin en iyi arkadaşının adı Ron..." Bir SLM bu bağlamı analiz eder ve en olası sonraki kelimeyi tahmin eder—bu durumda "Weasley".

Transformer mimarisi

Transformer mimarisi, LLM'lerin ve SLM'lerin dili anlaması ve üretmesinde kilit öneme sahiptir. Transformer'lar dil modellerinin beyni gibi düşünülebilir. Cümle içindeki hangi kelimelerin birbirleriyle daha ilgili olduğunu bulmak için öz-dikkat mekanizmasını kullanırlar. Bu, modelin bağlamı anlamasına yardımcı olur—örneğin, "Paris"in bir şehri mi yoksa iş yerinden tanıdığınız kişiyi mi ifade ettiğini ayırt etmek gibi.

Boyut ve performans dengesi

SLM'lerin gücü, boyut ile performans arasında denge kurabilmelerinde yatar. LLM'lere kıyasla önemli ölçüde daha az parametre kullanırlar; LLM'lerde yüz milyarlar varken bunlarda genellikle milyonlardan birkaç milyara kadar değişir.

Daha az parametre ile SLM'ler eğitilmek için daha az hesaplama gücü ve veriye ihtiyaç duyar; bu da sınırlı kaynaklarınız varsa onları daha erişilebilir kılar. SLM'lerin kompakt boyutu, girdiyi işlemelerini ve çıktı üretmelerini hızlandırır; bu da mobil klavyeler veya sesli asistanlar gibi gerçek zamanlı uygulamalar için son derece önemlidir.

SLM'ler, büyük modeller kadar çok yönlü veya derin kavrayışlı olmayabilir; ancak belirli görevleri iyi yürütürler. Örneğin, hukuk metinlerini analiz etmek üzere eğitilmiş bir SLM, o alanda genel amaçlı bir LLM'den daha iyi performans gösterebilir.

SLM'ler Nasıl Oluşturulur: Teknikler ve Yaklaşımlar

SLM'ler, daha küçük, daha hızlı ve daha verimli hâle gelmek için damıtma, budama ve kuantizasyon gibi teknikleri kullanır.

Damıtma

Bu, daha büyük bir "öğretmen" modelden daha küçük bir "öğrenci" modele bilgi aktarılarak SLM oluşturma tekniğidir. Amaç, öğretmen modelin öğrendiklerini, performanstan çok fazla ödün vermeden öğrenci modele sıkıştırmaktır.

Bu süreç, SLM'lerin daha yönetilebilir boyut ve hesaplama gereksinimleriyle, büyük modellerin doğruluğunun önemli bir kısmını korumasını sağlar. Bu teknikle küçük model, sadece öğretmenin nihai tahminlerini değil, altta yatan kalıpları ve nüansları da öğrenir.

Bilgi damıtmanın birkaç yöntemi vardır:

• Yanıt tabanlı: Öğrenci model, çoğu zaman daha nüanslı bilgi için "yumuşak hedefler" kullanarak, öğretmen modelin nihai çıktı katmanını kopyalamayı öğrenir.
• Özellik tabanlı: Öğretmen modelin ara katmanlarının kopyalanmasına odaklanır; bu da öğrencinin veriden benzer kalıplar çıkarmasına yardımcı olur.
• İlişki tabanlı: Öğrenciyi, öğretmen modelin farklı kısımları arasındaki ilişkileri anlaması için eğitir; böylece karmaşık akıl yürütme süreçlerini taklit eder.

Budama

Budama, ihtiyaç olmayan kısımları kırpmaya benzer. Budama sırasında, genel performansa fazla katkı sunmayan nöronlar veya parametreler gibi modelin daha önemsiz kısımları çıkarılır. Bu teknik, doğruluğu anlamlı ölçüde etkilemeden modeli küçültmeye yardımcı olur. Ancak budama biraz hassastır; fazla agresif olursanız, çok fazla kesip model performansına zarar verme riski vardır.

Budama, model boyutunu önemli ölçüde azaltırken özgün performansın büyük bölümünü koruyabilir; bu da onu SLM oluşturmak için etkili bir teknik yapar.

Kuantizasyon

Kuantizasyon, modeldeki sayıların daha az bit ile saklanmasını içerir. Normalde bir model 32 bit sayılar kullanabilir; fakat bu yöntemle bu sayılar çok daha küçük olan 8 bit değerlere indirgenir. Bu, modelin kapladığı alanı azaltır ve daha hızlı çalışmasını sağlar. En iyi yanı ise, sayılar daha az hassas olsa bile modelin yalnızca küçük bir doğruluk kaybıyla iyi çalışmaya devam etmesidir.

Bir hava durumu uygulamasında sıcaklık değerlerini depoladığınızı düşünün. Bunları yüksek hassasiyetle (örneğin 32 bit sayılarla) tutmak ihtiyacınızın ötesindedir. Hassasiyeti 8 bite düşürerek bazı ayrıntıları kaybedebilirsiniz; ancak uygulama daha hızlı çalışırken daha az bellek kullanarak hâlâ kullanışlı olur.

Bu yaklaşım özellikle akıllı telefonlar veya uç cihazlar gibi sınırlı bellek ve hesaplama gücüne sahip aygıtlarda yapay zekâyı dağıtmak için yararlıdır.

Kuantizasyon, bellek gereksinimlerini azaltıp çıkarım hızını artırdığı için, kaynakları sınırlı aygıtlarda modelleri dağıtmak adına özellikle etkilidir.

Küçük Dil Modellerinin Kullanım Alanları

SLM'lerin güzelliği, devasa altyapılara veya sürekli internet bağlantısına ihtiyaç duymadan güçlü yapay zekâ sunabilmeleridir; bu da pek çok kullanım alanının önünü açar.

Cihaz üzerinde yapay zekâ

Günlük hayatınızı kolaylaştıran, telefonunuzdaki sesli asistanları düşünün. Bunu mümkün kılan SLM'lerdir. Verileri buluta göndermeye gerek kalmadan gerçek zamanlı metin tahmini, sesli komutlar ve hatta çeviri sağlarlar. Her şey yerelde yapılır; bu da daha hızlı yanıtlar ve gizliliği daha çok gözeten etkileşimler demektir.

Örneğin SwiftKey ve Gboard, bağlamsal olarak isabetli metin önerileri sunmak için SLM'leri kullanır; bu da yazma hızını ve doğruluğunu artırır.

Bu, çevrimdışı uygulamalara da uzanır; böylece yapay zekâ, internet bağlantısı olmadan da çalışabilir ve sınırlı bağlantının olduğu bölgelerde kullanışlı hâle gelir. 

Örneğin Google Çeviri, SLM'ler tarafından desteklenen çevrimdışı çeviri yetenekleri sunarak, internet erişiminin kısıtlı olduğu yerlerde iletişimi kolaylaştırır.

Kişiselleştirilmiş yapay zekâ

SLM'lerin harika yanlarından biri de belirli görevler veya kullanıcı tercihleri için özelleştirilebilmeleridir. İşinizde müşteri hizmetlerine özel olarak ince ayar yapılmış bir sohbet botuna ya da önceki etkileşimlerinize göre size tam olarak nasıl yardımcı olacağını bilen bir yapay zekâya sahip olduğunuzu hayal edin. Bu modeller daha küçük olduğundan, farklı sektörlerde ince ayar yapmak ve dağıtmak çok daha kolaydır.

Bazı örneklere bakalım:

• Sağlık: SLM'ler, akıllı giyilebilirlerde gerçek zamanlı sağlık takibi ve tavsiye için tıbbi metin analizine özel olarak uyarlanabilir. Sürekli bulut bağlantısından bağımsız çalışırlar.
• Akıllı ev cihazları: Akıllı ev sistemlerine gömülü SLM'ler, sıcaklık ve aydınlatma için bireysel tercihleri öğrenebilir ve günün farklı saatlerine veya özel durumlara göre ayarları otomatik olarak düzenleyebilir.
• Eğitim: SLM kullanan eğitim uygulamaları, bireysel öğrenme stillerine ve hızlarına uyum sağlayarak öğrencilere kişiselleştirilmiş rehberlik ve destek sunabilir.

Nesnelerin İnterneti

SLM'ler, akıllı ev sisteminiz veya diğer aygıtlar gibi gündelik cihazlarda arka planda sessizce çalışır. Bu cihazların sizi doğrudan internet bağlantısına ihtiyaç duymadan anlamasına ve yanıt vermesine yardımcı olarak onları daha hızlı ve daha akıllı hâle getirir.

Diğer uygulamalar

SLM'ler, çok sayıda başka alanda da kullanım buluyor:

• Gerçek zamanlı dil çevirisi: SLM'ler anlık çeviriyi mümkün kılar; bu da küresel iletişim için önemlidir. Bazı seyahat uygulamaları artık SLM'leri kullanarak tabelaları, menüleri veya sesli yönlendirmeleri gerçek zamanlı çevirir. Bu, kullanıcıların yabancı dillerde yolunu bulmasına yardımcı olur.
• Otomotiv sistemleri: Araçlarda SLM'ler, gerçek zamanlı trafik güncellemeleri sağlayıp en iyi rotaları önererek akıllı navigasyon sunar. Ayrıca sürücülerin ellerini kullanmadan müzik kontrolü, arama yapma veya mesaj gönderme gibi işlemler için sesli komutları iyileştirirler.
• Eğlence sistemleri: Akıllı TV'ler ve oyun konsolları, sesli kontrol ve daha önce izlediklerinize veya oynadıklarınıza göre dizi/oyun önerileri için SLM'leri kullanır.
• Müşteri hizmetleri: SLM'ler, şirketlerin müşteri sorularını daha verimli yönetmesine yardımcı olur. Perakende mağazaları, ürünler, sipariş durumu veya iade politikaları hakkında soruları yanıtlamak için SLM kullanır. Bu da insan destek ihtiyacını azaltır.

LLM'ler ve SLM'ler

Şimdi, ne zaman LLM'lerle büyümek, ne zaman SLM'leri tercih etmek gerektiğinden bahsedelim.

Görev karmaşıklığı

Derin kavrayış, uzun içerik üretimi veya zorlu problemleri çözme gibi son derece karmaşık görevlerde, GPT-4o gibi büyük modeller, genelde SLM'lerden daha iyi performans gösterir. Bu görevleri, daha ayrıntılı yanıtlar sunmak için çok büyük miktarda veriden yararlanarak yerine getirebilirler. Ancak bu düzeydeki yetkinlik, çok fazla hesaplama gücü ve zaman gerektirir.

Örneğin, farklı konuları ve karmaşık sorguları ele alması gereken genel amaçlı bir sohbet botu geliştiriyorsanız, bir LLM daha uygun olacaktır. Ancak belirli bir ürün hattına odaklanan uzmanlaşmış bir müşteri hizmetleri botu için bir SLM fazlasıyla yeterli olabilir ve odaklı eğitimi sayesinde bir LLM'yi bile geride bırakabilir.

Kaynak kısıtları

Kaynak kısıtlarının olduğu durumlarda SLM'ler öne çıkar. Eğitmek ve dağıtmak için çok daha az hesaplama gücü gerektirirler. Kaynakların sınırlı olduğu ortamlarda çalışıyorsanız harika bir seçenektirler. 

Mobil cihazlar veya uç bilişim gibi hesaplama gücünün sınırlı olduğu durumlarda SLM'ler, performans ve verimliliği iyi harmanladıkları için çoğunlukla daha iyi seçenektir.

Dağıtım ortamı

Kaynakların sorun olmadığı bir bulut sunucusunda yapay zekâ dağıtıyorsanız, özellikle yanıtlarda yüksek doğruluk ve akıcılık istiyorsanız LLM tercih edilebilir. Ancak CPU veya GPU gücü sınırlı aygıtlarda, örneğin IoT cihazları veya mobil uygulamalarda çalışıyorsanız SLM'ler biçilmiş kaftandır.

Dağıtım ortamını değerlendirirken internet bağlantısı, gecikme gereksinimleri ve gizlilik endişeleri gibi faktörleri dikkate almak gerekir. Çevrimdışı çalışması veya en az gecikmeyle yanıt vermesi gereken uygulamalar için, cihaz üzerinde ya da uçta dağıtılan SLM'ler genellikle daha iyi tercihtir.

LLM'ler ile SLM'ler arasında seçim, görevin karmaşıklığına, sahip olduğunuz kaynaklara ve nerede dağıtmak istediğinize bağlıdır. LLM'ler, yüksek doğruluk gerektiren karmaşık görevler için harikadır; SLM'ler ise verimlidir ve daha fazla yerde çalışabilir.

Sonuç

SLM'ler, yapay zekâyı çok daha erişilebilir kılıyor. Çok fazla hesaplama gücüne ihtiyaç duyan büyük dil modellerinin aksine SLM'ler, daha az kaynakla çalışır. Bu da küçük şirketlerin, bireysel geliştiricilerin ve hatta girişimlerin, devasa sunuculara veya büyük bütçelere ihtiyaç duymadan onları kullanabilmesi anlamına gelir.

Küçük dil modelleri hakkında daha fazla bilgi edinmek için şu iki kaynağı öneririm:

• En İyi Küçük Dil Modelleri
• Torchchat ile Android Telefonda Llama 3.2 1B Nasıl Çalıştırılır