Meta Öğrenme: Makineler Öğrenmeyi Nasıl Öğrenir

Tarihsel olarak, birçok makine öğrenimi modeli, her yeni görev için büyük veri kümeleri gerektiren, göreve özgü öğrenme için tasarlanıyordu. Dönemin teknik sınırlamaları göz önüne alındığında, en etkili yaklaşım, makine öğrenimi modellerini devasa, göreve özgü bir veri kümesiyle eğitmekti. Sonuç olarak, en yeni modeller, eğitildikleri problemin sonucunu tahmin etmede son derece etkiliydi. Ancak bu modeller, yine de önceki deneyimlerimize dayanarak yeni görevleri öğrenmedeki şaşırtıcı insan kapasitesinden oldukça uzaktı.

Uyarlanabilir öğrenme stratejilerini makine öğrenimi modellerine eklemek, yeni görevleri verimli bir şekilde nasıl öğrendiklerini iyileştirmeye odaklanan makine öğreniminin bir alt alanı olan meta öğrenmenin temel misyonudur. Meta öğrenme, modelleri sınırlı yeniden eğitim ve insan müdahalesiyle hızla uyum sağlamaya ve zaman içinde performansı artırmaya odaklanır.

Bu yazıda, meta öğrenmeye ve makine öğrenimini nasıl dönüştürdüğüne dair bir giriş sunacağız. Meta öğrenme modellerinin teknik ayrıntılarını, en yaygın yaklaşım ve uygulamaları ile faydaları ve zorlukları ele alacağız. Ardından, AI Fundamentals beceri yolumuzu deneyerek AI içindeki farklı ve ilişkili kavramlar hakkında yetkin bir şekilde konuşma becerisi kazanmanızı öneririm.

Meta Öğrenme Nedir?

Meta öğrenme araştırmaları 1980’lere kadar uzanır, ancak alan 2010’larda sinir ağlarının yükselişiyle ve daha yakın zamanda üretken yapay zekânın gelişimiyle önem kazandı. Makine öğreniminin bir alt alanı olarak meta öğrenme, modellere yeni görevleri hızlı ve verimli bir şekilde nasıl öğreneceklerini öğretmeye odaklanır. Bir bakıma insanların “öğrenmeyi öğrenme” becerisinden esinlenmiştir.

Hızla matematik problemleri çözmeyi öğrenmek istediğinizi hayal edin. Geleneksel bir yaklaşım, birçok farklı problemin çözümünü ezberlemek olurdu; böylece tanıdık bir problem gördüğünüzde yanıtı hemen hatırlayabilirsiniz. Ancak, yepyeni bir problemle karşılaştığınızda bu yaklaşım zorlanır.

Bunun yerine, belirli çözümleri ezberlemek yerine genel olarak problem çözme stratejilerini öğrenmeye odaklansaydınız? Problem çözme tekniklerini inceleyebilir, kalıpları belirleyebilir ve yeni zorluklara yaklaşmak için bir sezgi geliştirebilirsiniz. Böylece, daha önce tam olarak o problemle karşılaşmamış olsanız bile yeni bir problemle yüz yüze geldiğinizde hızla uyum sağlayıp doğru yöntemi uygulayabilirsiniz.

Bu, meta öğrenmenin özüdür. Geleneksel makine öğrenimi, tek bir görev için büyük veri kümelerinden kalıpları ezberlerken; meta öğrenme, etkili bir şekilde nasıl öğrenileceğini öğrenerek modellere yeni görevlere hızla uyum sağlamayı öğretir.

Meta Öğrenme Nasıl Çalışır

Meta öğrenme modellerini, önceki öğrenme bölümlerinden veya farklı görevlerden elde edilen deneyimden yararlanarak dinamik olarak uyarlanan bir öğrenme alt sistemi içeren bir sistem olarak düşünebilirsiniz. 

Sabit ve büyük bir veri kümesiyle tek bir görevi ele alan geleneksel makine öğrenimi modellerinin aksine, meta modeller genelleştirilebilir kalıplar çıkarmak için bir dizi göreve maruz bırakılır. Genellikle, her problem daha küçük, göreve özgü bir eğitim veri kümesiyle ilişkilidir.

Meta eğitim sürecinin amacı, modelin az miktarda yeniden eğitimle yeni görevleri ele alma yeteneğini geliştirmek için bireysel görevlerdeki öğrenme sürecine dair genel bilgileri çıkarmaktır.

Meta öğrenme modellerinin geliştirilmesi, geleneksel makine öğreniminin eğitim sürecini yeniden örnekleyen iki adımlı bir süreci izler:

• Meta eğitim. Bu aşamada, model birden fazla görev üzerinde eğitilir; her görev bir eğitim veri örneğinden (birlikte meta eğitim veri kümesini oluştururlar) ve çoğu durumda model parametreleri ve performans ölçütleri gibi model metaverilerinden oluşur. Amaç, modeli yeni görevlerde kullanılabilecek geniş bilgiyle donatmak üzere ortak, genelleştirilebilir kalıpları ortaya çıkarmaktır.  
• Meta test. Meta test sırasında, model eğitim sırasında hiç karşılaşmadığı yeni görevlere maruz bırakılır. Amaç, yeni ortam ve görevlere ne kadar iyi ve ne kadar hızlı uyum sağladığını ölçerek performansını değerlendirmektir.

Meta eğitim ve meta test süreci aşağıdaki görselde gösterilmektedir.

Görüntü sınıflandırma için meta öğrenme. Kaynak: Dida

Meta öğrenme, ister denetimli öğrenme, ister denetimsiz öğrenme, isterse pekiştirmeli öğrenme olsun, her türlü makine öğrenimi problemine uygulanabilir.

Meta Öğrenmeye Yaygın Yaklaşımlar

Meta öğrenmeye birden fazla yaklaşım vardır. Aşağıda en yaygın üç tanesini bulabilirsiniz:

Model tabanlı meta öğrenme

Model tabanlı meta öğrenme modelleri, birkaç eğitim adımıyla parametrelerini hızla güncelleyebilen, yani hızlı öğrenme için özel olarak tasarlanmıştır.  Bu hızlı güncelleme, modelin iç mimarisiyle sağlanabileceği gibi başka bir meta öğrenici model tarafından da kontrol edilebilir.

En yaygın model tabanlı meta öğrenme stratejilerinin bir listesi şöyledir:

• Hafıza Artırmalı Sinir Ağları (MANNs). Google araştırmacıları tarafından 2016 tarihli bir makalede sunulan MANN’ler, harici bir bellek modülüyle donatılmış sinirsel modellerdir; bu sayede yeni bilgileri hızla kodlayıp geri çağırabilir ve yalnızca birkaç örnek sonrasında doğru tahminler yapabilirler. Modele yeni veri beslendikçe, bu ağlar ağırlık güncellemeleriyle önyargılarını değiştirir, aynı zamanda bellek depolarında temsilleri hızla önbelleğe almayı öğrenerek çıktıları da modüle ederler.
• Meta Ağlar. Meta Networks ya da MetaNets, Munkhdalai ve Yu tarafından 2017 tarihli bir makalede önerilen bir meta öğrenme modelidir. Meta ağlar iki modelden oluşur: bir meta öğrenici ve bir temel öğrenici. Temel öğrenici geleneksel bir sinir ağı gibi çalışır: bir girdi görevi alır ve mevcut görev uzayına ilişkin meta bilgileri meta öğreniciye iletir. Meta öğrenici bu bilgiyi, modelin ağırlıklarını hızla güncellemek için kullanır.

Metrik tabanlı meta öğrenme

Metrik tabanlı meta öğrenme, veri noktaları çiftleri arasındaki benzerlik veya farklılığı hesaplayan bir uzaklık metriğini öğrenmeye odaklanır. Nesneler benzer olduğunda yüksek, görüntüler veya nesneler farklı olduğunda düşük bir skor döndürülür. 

Bu yaklaşımın temel fikri, veri noktaları arasındaki mesafeyi kullanarak sınıflandırma veya kümelendirme yapan K-NN veya K-means gibi en yakın komşu algoritmalarına benzer.

Çok fazla eğitim verisinin gerekli olduğu geleneksel sınıflandırma problemleriyle karşılaştırıldığında, metrik tabanlı modeller yalnızca birkaç örnekle çalışabilir.

Metrik tabanlı meta öğrenme stratejilerinden yararlanan en yaygın modellerden bazıları şunlardır:

• Evrik (Siamese) Evrişimsel Sinir Ağı. Evrik ağlar, yüz doğrulama gibi benzerlik ölçümü veya metrik öğrenme içeren görevler için tasarlanmış bir sinir ağı türüdür. Model, iki özdeş ağdan oluşur ve çıktıları, girdi veri örnekleri çiftleri arasındaki ilişkiyi öğrenmek üzere üstte ortaklaşa eğitilen bir işlevle birleştirilir. İkiz ağlar, aynı ağırlıkları ve ağ parametrelerini paylaşarak benzer yapılardır.
• Eşleştirme ağları. Google araştırmacıları tarafından 2016 tarihli bir makalede geliştirilen eşleştirme ağları, sınıflandırma yapmak için iki örnek arasındaki kosinüs benzerliği adlı bir metrik mesafeyi kullanır. Eşleştirme ağı mimarisi, belleğe erişim için bir dikkat mekanizması içeren harici bellekten oluşan, hafıza artırmalı sinir ağlarını kullanır.
• Prototipik ağlar. Snell ve arkadaşlarının 2017 tarihli bir makalesinde sunulan prototipik ağlar, sınıflandırmanın her sınıfın prototip temsilcilerine olan mesafeler hesaplanarak gerçekleştirilebildiği bir metrik uzayı öğrenir. Her sınıf için birkaç noktanın tek bir prototip temsil etrafında kümelendiği bir gömlem (embedding) bulunduğu öncülüne dayanırlar. 

Optimizasyon tabanlı meta öğrenme

Sinir ağları, model hatasını kademeli olarak azaltmak ve performansı artırmak için gradyanların geri yayılımını kullanır. Optimizasyon işlevi, ağın ağırlıklarını ve önyargılarını yeniden hesaplamanın en etkili yolunu bulmaktan sorumludur. Ancak en popüler optimizasyon işlevleri, küçük veri kümelerinden ziyade çok büyük miktarda eğitim verisini ele almak üzere tasarlanmıştır.

Optimizasyon tabanlı meta öğrenme, modelin parametrelerini küçük bir eğitim veri kümesiyle güncelleyebilen ve böylece yeni görevlere hızla uyum sağlayabilen yenilikçi optimizasyon işlevleri tasarlamaya odaklanır.

En popüler optimizasyon tabanlı meta öğrenme modelleri arasında şunlar bulunur:

• LSTM meta öğrenici. Ravi ve Larochelle tarafından 2017’de sunulan bu yaklaşım, uzun-kısa süreli bellek (LSTM) ağlarını kullanarak, başka bir öğrenici sinir ağı sınıflandırıcısını eğitmekte kullanılan optimizasyon algoritmasını öğrenebilen bir meta öğrenici eğitir; böylece sınırlı eğitim verisine sahip yeni görev senaryolarında hızlı eğitim yakınsaması için parametre güncellemelerini hızlandırır.
• Modelden Bağımsız Meta Öğrenme (MAML). Finn ve arkadaşları tarafından 2017 tarihli bir makalede sunulan MAML, gradyan inişiyle eğitilen herhangi bir modelle uyumludur ve sınıflandırma, regresyon ve pekiştirmeli öğrenme dahil çeşitli öğrenme problemlerine uygulanabilir. MAML, modelin başlangıç parametrelerinin yalnızca birkaç gradyan güncellemesiyle eğitilmesinin yeni bir görevde hızlı öğrenmeyle sonuçlanacağı varsayımına dayanır. Amaç, bir görevdeki değişikliklere duyarlı, bu nedenle küçük değişikliklerin görev kayıp fonksiyonunda büyük iyileşmelere yol açtığı model parametrelerini belirlemektir. 
• Reptile. OpenAI tarafından geliştirilen Reptile, birinci mertebeden gradyan tabanlı bir meta öğrenme algoritmasıdır. Bir görevi tekrar tekrar örnekler, üzerinde stokastik gradyan inişi uygular ve başlangıç parametrelerini o görevde öğrenilen son parametrelere doğru günceller. Reptile, Kısayol İnişi algoritmasının meta öğrenme bağlamına uygulanmış hâlidir ve matematiksel olarak MAML’a benzerdir; benzer hesaplama verimliliği ve performans sunar.

Meta Öğrenme ve Diğer Öğrenme Türleri

Geniş miktarda veri gerektiren geleneksel denetimli öğrenme yöntemlerinin aksine meta öğrenme, AI modellerini görevler arasında genelleme yapmaya, en az veriyle hızla uyum sağlamaya ve zaman içinde performansı iyileştirmeye yetkilendirerek bir paradigma değişimi sunar.

En umut verici uygulamalardan bazılarını inceleyelim:

Az örnekli öğrenme (few-shot learning)

Az örnekli öğrenme, modellerin sınırlı sayıda eğitim örneğine dayanarak kalıpları tanımayı ve tahmin yapmayı öğrendiği bir makine öğrenimi alt alanıdır. Az örnekli öğrenme, geniş kapsamlı ince ayar ihtiyacını sorgulayarak ezberden çok genellemeye vurgu yapar. Bu yaklaşımın savunucularına göre kilit nokta, bir kategoriyi tanımlayan temel yapı ve özellikleri ayırt edebilme becerisidir.

Az örnekli öğrenme, sağlanan örnek sayısına dayanan çeşitli teknikleri kapsayan daha geniş n-shot öğrenme şemsiyesi altına girer: 

• Sıfır örnekli öğrenme (zero-shot): Hiç örnek verilmez; model yalnızca önceki bilgiye veya açıklamalara dayanır. 
• Tek örnekli öğrenme (one-shot): Sınıf başına yalnızca bir örnek sağlanır. 
• İki örnekli öğrenme (two-shot): Eğitim için sınıf başına iki örnek kullanılır. 
• Az örnekli öğrenme: Her sınıf için genellikle 3 ile 10 arasında değişen az sayıda örnek mevcuttur.

Sıfır örnekli, tek örnekli ve az örnekli öğrenme örnekleri. Kaynak: LinkedIn

Transfer öğrenme

Transfer öğrenme, bir görev için eğitilen bir modelin, çoğu zaman önceden eğitilmiş bir modelin ince ayarı yapılarak, farklı ancak ilişkili bir görev için yeniden kullanılmasına olanak tanır. Meta öğrenme ise, modellere en az yeniden eğitimle yeni görevlere hızla nasıl uyum sağlayacaklarını öğretmeye odaklanır. Meta öğrenme, bazı durumlarda hiperparametreleri optimize ederek veya en iyi ince ayar stratejisini seçerek transfer öğrenmeyi geliştirebilse de transfer öğrenmenin zorunlu bir bileşeni değildir. Birçok transfer öğrenme yaklaşımı, meta öğrenme yerine yalnızca geleneksel ince ayar tekniklerine dayanır.

Öneri sistemleri

Öneri sistemleri, kullanıcıların geri bildirimlerini kullanarak onlar için veya benzer geçmiş tercihlere sahip diğerleri için yeni ilgili öğeleri bulur; varsayım, geçmişte benzer tercihlerde bulunan kullanıcıların gelecekte de benzer tercihlere sahip olacağıdır.

Bir öneri sisteminin amacı, kullanıcıların tercihleri ve geçmiş davranışlarına dayalı kişiselleştirilmiş öneriler sağlamaktır. Meta öğrenme, her kullanıcı için öneri algoritmasını nasıl optimize edeceğini öğrenerek bu hedefe ulaşmaya yardımcı olabilir. 

Meta öneri sistemleri iki katmandan oluşur: temel bir önerici sistem ve meta düzeyde bir optimize edici. Temel önerici sistem, kullanıcıların geçmiş davranışlarına dayanarak öneriler üretirken meta düzey optimize edici, temel önerici sistemi her kullanıcı için nasıl optimize edeceğini öğrenir.

Otomatik makine öğrenimi (AutoML)

Otomatik makine öğrenimi, yani AutoML, makine öğrenimi modellerinin oluşturulmasına yönelik uçtan uca sürecin otomatikleştirilmesi işlemidir. Buna veri ön işleme, özellik mühendisliği, model seçimi ve hiperparametre ayarlaması gibi görevler dahildir.

Meta öğrenme teknikleri, örneğin hiperparametre optimizasyonu ve uyarlamasını otomatikleştirerek veya belirli bir görevi çözmek için en uygun modeli bularak bu süreçleri destekleyebilir.

Meta Öğrenmenin Faydaları ve Zorlukları

Makine öğrenimi araştırmacılarının, modellerini geliştirmek için meta öğrenme stratejilerine giderek daha fazla yönelmelerinin birkaç güçlü nedeni vardır.

• Eğitim verimliliği: Meta öğrenme, modelleri devasa veri kümeleriyle eğitme ihtiyacını azaltarak eğitim süresini kısaltır ve sınırlı verilerle ince ayara izin verir.

• Operasyonel maliyetlerin düşürülmesi: Meta öğrenme, modelleri sıfırdan eğitme ihtiyacını ortadan kaldırarak maliyetleri azaltır; zira hem veri edinimi hem de modeli eğitmek için hesaplama kaynaklarını kullanmak pahalı olabilir. 

• Gelişmiş uyarlanabilirlik ve yeniden kullanılabilirlik: Meta öğrenme, modellerin birden fazla senaryo ve göreve uyum sağlamasına olanak tanıyan kilit bir tekniktir; böylece potansiyellerini ve kullanılabilirliklerini artırır.

• Model performansı: Uyarlanabilirliği artırmanın yanı sıra meta öğrenme, mevcut makine öğrenimi modellerinin doğruluğunu da iyileştirebilir.

Bununla birlikte, meta öğrenme her derde deva bir strateji değildir. Dikkatle ele alınması gereken sınırlamaları ve potansiyel tuzakları vardır. Meta öğrenmedeki en yaygın zorluklardan bazıları şunlardır:

• Alan uyumsuzluğu: Meta öğrenme, kaynak ve hedef görevlerin bir ölçüde ilişkili olduğu durumlarda daha iyi çalışır. Yeni görev çok farklıysa, aktarılan genelleştirilebilir bilgi yeni görevi doğru şekilde gerçekleştirmek için yeterli olmayabilir ve hatta tüm görevlerde performansı düşürebilir.

• Veri kıtlığı: Her zaman belirli bir miktar eğitim verisine ihtiyaç vardır. Eğitim verisi son derece sınırlıysa veya veri kalitesi zayıfsa, model muhtemelen yetersiz öğrenmeden (underfitting) muzdarip olacaktır.

• Aşırı uyum (overfitting): Meta öğrenme de aşırı uyuma karşı bağışık değildir. Model bir görev üzerinde çok fazla ince ayar yapılırsa, yeni verilere iyi genelleşmeyen göreve özgü özellikleri öğrenebilir.

• Karmaşıklık ve maliyet: Bazen hedef görev o kadar karmaşıktır ki, ince ayar süreci zorlayıcı, hesaplama açısından maliyetli ve zaman alıcı olabilir. 

Gelecek Yönelimler ve Araştırma Fırsatları

Meta öğrenme, sinir ağlarının verimliliğini ve potansiyelini artırmaya yönelik kritik bir tasarım yaklaşımıdır. Bugünkü yapay zekâ devriminin, mevcut birçok transfer öğrenme tekniği olmadan mümkün olmayacağını söylemek abartı olmaz. 

Alan hızla evriliyor ve daha fazla araştırma gerektiren bazı başlıklar şunları içeriyor:

• Örnek verimliliği. Bir modelin yeni görevlerde etkili hâle gelmesi için ne kadar veriye ihtiyaç vardır? Bu, meta öğrenmede temel bir sorudur. Az örnekli öğrenme stratejileri, bir modelin sınırlı verilerle öğrenmesinin mümkün olduğunu gösterse de, modelleri daha verimli ve çok yönlü kılmak için hâlâ geniş bir iyileştirme alanı vardır. 
• Görev çeşitliliği. Meta öğrenme teknikleri, eldeki görevler bir şekilde ilişkili olduğunda daha iyi çalışma eğilimindedir. Ancak, aşırı uyum olmadan geniş bir görev yelpazesinde genelleme yapabilen meta öğrenme modellerini ilerletmek için daha fazla araştırma hayati önem taşır.
• İleri teknikler. Meta öğrenme, bugünlerin en umut verici ve değerli teknolojilerinden bazıları olan pekiştirmeli öğrenme, robotik ve transformer’larda inovasyonun merkezi bir katalizörüdür.

Sonuç

Makine öğrenimi modelleri büyüyüp karmaşıklaştıkça, onları daha verimli ve daha esnek kılacak yeni teknikler bulmak, yapay zekâ endüstrisinin vaatlerini yerine getirmesi, ekonomik olarak sürdürülebilir olması ve sektörde sürdürülebilirliği ilerletmesi için kritik önem taşır.

Meta öğrenmenin bu bağlamda söyleyecek çok sözü var. Bu araştırma alanı hızla gelişiyor ve yapay zekâ yeteneklerinin ilerletilmesinde kritik öneme sahip bir dizi teknik ve strateji sunuyor. Meta öğrenme, yapay zekâ ve çok daha fazlasındaki en son haberler için DataCamp’i takipte kalın:

• Az Örnekli Öğrenme Nedir? Sınırlı Verilerle İçgörülerin Kilidini Açma

• Derin Öğrenme Nedir? Yeni Başlayanlar İçin Bir Öğretici

• Süper Uyumlamayı Anlamak: Yapay Zekâyı İnsan Değerleriyle Uyumlu Hale Getirme

• Yapay Zekâ Uyumlaması Nedir? Yapay Zekânın İnsanlık İçin Çalışmasını Sağlamak

• Yapay Zekâda Transfer Öğrenme Nedir? Örneklerle Giriş Rehberi

• Üretken Yapay Zekâ Kavramları