İç İçe Öğrenme: Felaket Unutmaya Çözüm

İç İçe Öğrenme Nedir?

İç İçe Öğrenme, tek bir modeli ayrı bir optimizör tarafından eğitilen bir mimari olarak değil, her biri kendi hızında öğrenen iç içe optimizasyon problemleri kümesi olarak ele alan bir makine öğrenimi paradigmasıdır. Model mimarisini ve eğitim algoritmasını, aynı anda çalışan ve uyarlanan farklı öğrenme seviyeleri olarak yeniden çerçeveler.

Bir makine öğrenimi sistemini farklı zaman ölçeklerinde çalışan birden çok öğrenme düzeyine organize eder. 

• Parametre düzeyi binlerce eğitim adımı boyunca yavaş öğrenir. 
• Bellek düzeyi son girdiler arasında hangi bilginin tutulacağına karar verir. 
• Optimizör düzeyi aşağıdaki düzeylerin nasıl güncelleneceğini öğrenir. 

Üst düzeyler, alt düzeylerin davranışını etkileyebilir; bu da yapıyı yalnızca modüler değil hiyerarşik kılar.

İç içe öğrenmenin temel ilkeleri

İç içe öğrenme şu dört temel ilkeyi izler:

• Mimari ve optimizasyon aynı öğrenme sisteminin parçasıdır. İç İçe Öğrenmede optimizör, öğrenme sürecinin bir parçası olur ve zamanla uyum sağlayabilir.
• Farklı bileşenler farklı hızlarda öğrenir. Bir modelin çekirdek parametreleri binlerce örnek boyunca yavaşça güncellenirken, kısa vadeli bağlam mekanizması her yeni girişle güncellenir; bellek sistemi ise ikisinin arasında bir yerde güncellenir.
• Derinlik, iç içe öğrenme süreçlerinden gelir. Geleneksel derin öğrenmede derinlik, katman ekleyerek oluşturulur. İç İçe Öğrenmede derinlik, parametrelerin, bellek sistemlerinin, optimizörlerin ve güncelleme mekanizmalarının farklı zaman ölçeklerinde öğrenebildiği, çoklu öğrenme ve uyarlama düzeylerinin istiflenmesiyle oluşur.
• Öğrenme, dağıtımdan sonra da sürebilir. Bellek sistemleri ve öğrenme mekanizmaları gibi bileşenler, çıkarım sırasında da uyum sağlamaya devam edebilir.

İç içe öğrenme ve geleneksel derin öğrenme

Yıllardır, veri bir sinir ağından akarken modelin tahminlerinin ne kadar hatalı olduğunu ölçtüğümüz (kayıp olarak adlandırılır) ve bu hatayı azaltmak için modelin parametrelerini ayarlayan bir optimizör çalıştırdığımız derin öğrenme mimarisine güvendik. 

Bunu model yeterince iyi olana kadar tekrarlarsınız. Sonra parametreleri dondurur ve modeli dağıtırsınız. Bu noktadan sonra model yeni girdilerden öğrenmez, verideki kaymalara uyum sağlamaz ve kullanım ile gelişmez.

İç İçe Öğrenme bunu değiştirir. Modelin parametreleriyle birlikte bellek modülleri, optimizörler ve diğer bileşenler de zaman içinde öğrenmeye devam eder.

İç İçe Öğrenmenin Önemi

Bir model, parametrelerini güncelleyerek yeni bilgiler öğrenir; ancak aynı güncellemeler daha önce öğrendiği bilgileri de silebilir. Bu olguya felaket unutma denir.

Araştırmacılar, yeni görevleri öğrenirken önceki bilgileri korumak için katmanları dondurma, Elastic Weight Consolidation (EWC) gibi düzenlileştirme yöntemleri ve tekrar oynatma tamponları gibi teknikler geliştirdiler. Ancak bu yaklaşımlar, öğrenmenin kendisini kökten değiştirmekten ziyade modeli unutmaya karşı korumak için tasarlanmıştır.

İç İçe Öğrenme, bu tek zaman ölçekli yaklaşımın sürekli öğrenmenin bu kadar zor olmasının nedenlerinden biri olduğunu öne sürer. Her yeni bilgiyi tek bir parametre kümesinin emmesine bel bağlamak yerine uyarlamayı birden çok öğrenme düzeyine yayar. 

Farklı düzeyler farklı hızlarda uyum sağlar; böylece yeni bilgileri, daha eski bilgileri sürekli yeniden yazmadan dâhil etmek mümkün olur. Bu fikir kısmen insan bilişinden esinlenmiştir. Sonuçta tüm öğrenme aynı hızda gerçekleşmez:

• Refleksler neredeyse anında uyum sağlayabilir. 
• Kısa süreli anılar dakika veya saatler içinde oluşur. 
• İnançlar, alışkanlıklar ve uzmanlık aylar ya da yıllar içinde gelişir.

İç İçe Öğrenme Nasıl Çalışır

İç İçe Öğrenme, bir makine öğrenimi sistemini her biri kendi rolüne ve güncelleme hızına sahip, ayrı bir öğrenme süreci olan düzeylere ayırır. Nasıl çalıştıklarını anlamak için her birini ve aralarındaki bağlantıları adım adım görmek faydalıdır.

Parametre düzeyi

Parametreler, modelin eğitim verilerinden öğrendiklerini saklayan sinir ağındaki ağırlıklardır. Eğitim sırasında optimizör, her yığın sonrası bu ağırlıkları hesaplanan gradyanları kullanarak günceller. 

Her güncelleme küçüktür; bu nedenle anlamlı değişiklikler çok sayıda eğitim adımı boyunca yavaşça gerçekleşir. Sonuç olarak parametre düzeyi, istikrarlı uzun vadeli bilgi öğrenir ancak yeni bilgilere yavaş uyum sağlar.

Bellek düzeyi

Bellek düzeyi, parametre düzeyinin öğrenmekte yavaş kaldığı son girdilerden bilgileri yakalar. 

Her gördüğünü depolamak yerine en faydalı bilgileri tutar, geri kalanını eler. Bu, modelin uzun vadeli bilgisini hemen güncellemeden yeni bir bağlama uyum sağlamasına olanak tanır.

Optimizör düzeyi

Optimizör, eğitim sırasında modelin parametrelerinin nasıl güncelleneceğine karar verir. Modelin tahminlerinden hesaplanan gradyanları kullanarak her güncellemenin büyüklüğünü ve yönünü belirler.

Adam gibi uyarlamalı optimizörler, yalnızca mevcut gradyanı kullanmakla kalmaz. Yakın geçmişteki gradyanları da izler ve bir sonraki parametre güncellemesini hesaplarken bu geçmişten yararlanır.

Madem Adam zaten bunu yapıyor, İç İçe Öğrenme ne katıyor?

Fark, neyin öğrenilebildiğinde yatar. Standart derin öğrenmede, Adam’ın durumunu nasıl güncellediğini yöneten kurallar eğitim başlamadan önce sabitlenir ve asla değişmez. Adam parametreleri uyarlar, ancak hiçbir şey Adam’ı uyarlamaz. 

İç İçe Öğrenme, optimizörün üzerinde, optimizörün performansını değerlendirebilen ve kurallarını zaman içinde değiştirebilen bir meta-öğrenme süreci tanıtır. Optimizör sabit altyapı olmaktan çıkar ve kendisi de gelişebilen bir şeye dönüşür.

Düzeyler nasıl etkileşir

Bu farklı düzeyler bağımsız çalışmaz. Aralarında bilgi akışı vardır ve her düzey, diğerlerinin zaman içindeki öğrenmesini etkiler. 

• Parametre düzeyi eğitim yoluyla uzun vadeli bilgiyi kademeli olarak inşa eder. 
• Bellek düzeyi, sistemin yeni bilgilere daha hızlı tepki vermesine yardımcı olan güncel bağlamı sağlar. 
• Optimizör, parametrelerin nasıl güncelleneceğini belirler. 

Birlikte bu düzeyler, modelin kısa vadeli uyarlama ile uzun vadeli öğrenmeyi dengelemesini sağlar.

Hope Mimarisi

Hope, iç içe öğrenmenin pratikte gerçekten işe yarayıp yaramadığını test etmek için Google’ın geliştirdiği Titans mimarisinin kendi kendini değiştiren bir çeşidi olan, makaledeki kavram kanıtlama mimarisidir. Gelecekteki güncelleme kurallarını da yeniden yazabilen bir bellek ile Süreklilik Bellek Sistemi’ni eşler; böylece eğitimden sonra donmak yerine farklı hızlarda öğrenmeye devam edebilir.

Kendi kendini değiştiren Titans

Titans, modelin şaşırtıcı ya da önemli bulduğu bilgileri depolamak için bellek modülleri içerir. Yalnızca parametrelerine bel bağlamak yerine model, faydalı bilgileri bu bellek modülleri aracılığıyla ileri taşır.

Hope bir adım daha ileri gider. Yeni veriler geldikçe bellek modülleri güncellenmeye devam eder. Sistem ayrıca gelecekteki güncellemeler için kullandığı kuralları da ayarlar. Bu nedenle mimariye kendi kendini değiştiren adı verilir.

Süreklilik Bellek Sistemi

Çoğu bellek mimarisi belleği iki kovaya ayırır: kısa vadeli ve uzun vadeli. Bilgi ya hızlı, geçici bir depoda yaşar ya da istikrarlı uzun vadeli depolamaya dönüştürülür. Hope bu ikili ayrımı bir süreklilik ile, farklı hızlarda güncellenen bellek modüllerinden oluşan bir spektrum ile değiştirir.

Bazı bellek bileşenleri hızla güncellenir ve güncel bilgileri yakalar. Diğerleri daha yavaş değişir ve daha uzun dönemlerde biriken istikrarlı bilgiyi korur. Bu, yeni bilginin hızlı güncellenen katmanlardan içeri girerken daha yavaş ve istikrarlı belleği hemen bozmayacağı anlamına gelir.

Hope nasıl performans gösteriyor

Makale, Hope’u dil modelleme, uzun bağlamlı akıl yürütme, sürekli öğrenme ve bilgi dâhil etme üzerinde, farklı görevler için farklı taban çizgileri kullanarak değerlendirdi. Dil modelleme ve sağduyu akıl yürütme, Titans, Samba ve standart bir dönüştürücüye karşı kıyaslanırken; uzun bağlamlı geri çağırma görevlerinde Hope ve Titans, TTT ve Mamba2 ile karşılaştırıldı.

Dil modelleme ve sağduyu akıl yürütme kıyaslarında Hope, üç taban çizgisinin tümüne göre daha düşük belirsizlik ve daha yüksek doğruluk elde etti.

Daha açıklayıcı sonuçlar, modelin uzun bir bağlam içine gömülü belirli bir bilgiyi geri çağırmasını gerektiren görevlerden geldi. Makale, artan zorlukta birden fazla varyantı test etti: anahtar kelime geri çağırma, sayı geri çağırma ve en zor varyant olan sözcük düzeyi geri çağırma. Hope tüm varyantlarda taban çizgilerini geride bıraktı; özellikle CMS tasarımı uzun bağlam kazanımlarına katkı sağladı.

Mimari, sürekli öğrenme kıyaslarında da iyi performans gösterir. Genellikle felaket unutmaya yol açan görev dizileriyle eğitildiğinde, Hope makalede raporlanan karşılaştırma modellerine kıyasla daha fazla önceki bilgiyi korur.

İç İçe Öğrenme ve Diğer Sürekli Öğrenme Yaklaşımları

İç İçe Öğrenme, felaket unutmayı ele almaya yönelik ilk girişim değildir. Yıllardır araştırmacılar, modellerin yeni görevleri öğrenirken daha önce öğrendikleri bilgileri korumasını sağlamak için sürekli öğrenme teknikleri öneriyor. Önerilen yaklaşımlar arasındaki temel farklara bakalım.

EWC, İlerlemeli Sinir Ağları ve Deneyim Tekrarı gibi yöntemler; eğitim sırasında unutmayı yavaşlatan sinir ağlarıdır. Temel mimari büyük ölçüde aynı kalır. 

İç İçe Öğrenme, mimarinin kendisini yeniden düşünür; böylece öğrenme birden çok düzey ve zaman ölçeğine yayılır: Hızla değişen bellek son deneyimi işlerken, daha yavaş değişen parametreler uzun vadeli bilgiyi yakalar.

Uygulamada İç İçe Öğrenme

GitHub’da resmî olmayan topluluk çoğaltmaları görünmeye başladı; bu da araştırmacılara mimariyle denemeler yapma ve yayımlanan sonuçları yeniden üretme imkânı veriyor.

Bununla birlikte, İç içe öğrenmenin büyük derin öğrenme çerçeveleriyle resmî bir entegrasyonu yok ve basitçe pip install ile kurup mevcut bir PyTorch veya JAX projesine ekleyemezsiniz. Bu modelleri oluşturmak ve değerlendirmek hâlâ doğrudan araştırma koduyla çalışmayı gerektirir.

Ancak yönelim topluluk benimsemesine odaklı. Bu nedenle Hope veya Süreklilik Bellek Sistemi (CMS) modüllerinin ana akım çerçevelere entegre edilmesine ve üretim sistemlerinde benimsenmesine dikkat edin.

Son Düşünceler

İç İçe Öğrenme, modern derin öğrenmenin temel varsayımlarından birine meydan okur. Modelleri daha yetenekli kılmak için daha fazla katman yığmak yerine, farklı zaman ölçeklerinde işleyen birden çok öğrenme sürecinden zekânın doğup doğamayacağını araştırır.

Bu değişim, optimizasyona bakışımızı da dönüştürür. Geleneksel derin öğrenme, model mimarisini ve öğrenme algoritmasını ayrı bileşenler olarak ele alır. İç İçe Öğrenme, öğrenmenin kendisini hiyerarşik kılma amacıyla onları birbirine yaklaştırır.

Henüz erken günler. İç İçe Öğrenme, hâlen etkin bir araştırma alanıdır ve ana akım makine öğreniminin parçası haline gelmeden önce pek çok fikrinin daha geniş çapta doğrulanması gerekecektir. İç içe öğrenmenin arkasındaki kavramlarda —sinir ağları, optimizasyon ve bellek mekanizmaları dâhil— sağlam bir temel oluşturmak isterseniz kapsamlı Python ile Derin Öğrenme programımıza göz atmanızı öneririm.