Sıfır-Örnek Öğrenme: Örneklerle Bir Rehber

Sıfır-Örnek Öğrenme Nedir?

Sıfır-örnek öğrenme (ZSL), modellerin hiç karşılaşmadıkları görevlerle başa çıkmasına veya nesneleri tanımasına olanak tanıyan bir makine öğrenimi tekniğidir. Bunu, halihazırda bildiklerini yeni durumlarla ilişkilendirerek, onlar için özel bir eğitim olmadan yapar.

Diyelim ki bir model hayvanları tanıyacak şekilde eğitildi ancak eğitim aşamasında zebralar hakkında hiç öğretilmedi. ZSL ile model, bir açıklamadan yararlanarak yine de zebranın ne olduğunu anlayabilir. Peki nasıl? Konuyu biraz basitleştirmeme (az sonra daha teknik ayrıntılara gireceğiz) ve açıklamama izin verin:

• Model, "dört bacağı vardır", "savanada yaşar" veya "çizgilidir" gibi hayvanlar ve onların özellikleri hakkında bilgi sahibidir.
• Kendisine yeni bir tanım verilir: "Afrika çayırlarında yaşayan siyah beyaz çizgili, at benzeri bir hayvan."
• Model, hayvan özelliklerine dair anlayışını ve verilen açıklamayı kullanarak, daha önce hiç görmemiş olsa bile görüntünün büyük olasılıkla bir zebrayı temsil ettiğini çıkarabilir.
• Model bu çıkarımı, bilinen hayvan özellikleri ile yeni açıklama arasındaki noktaları birleştirerek yapar.

Sıfır-Örnek Öğrenme Nasıl Çalışır?

Sıfır-örnek öğrenme iki aşamalı bir süreçtir (eğitim ve çıkarım) ve üç temel bileşen kullanır: önceden eğitilmiş modeller, ek bilgiler ve bilgi aktarımı.

Önceden eğitilmiş modeller

ZSL, çok miktarda veri üzerinde eğitilmiş önceden eğitilmiş modellere dayanır. Örneğin, GPT ailesi (dil için) veya CLIP (görüntü-metin bağlantıları için). Bu modeller, genel bilgi için sağlam bir temel sunar.

Ek bilgiler

Ek bilgiler, modelin yeni şeyleri anlamasına yardımcı olur. Buna şunlar dâhil olabilir:

• Metin açıklamaları.
• Öznitelikler veya özellikler.
• Sözcük çağrışımları veya vektörleri.

Bilgi aktarımı

ZSL, hem bilinen hem de yeni sınıfları karşılaştırılabilecekleri ortak bir "anlamsal uzay"a eşler. Sıklıkla şu teknikleri kullanır:

• Anlamsal gömmeler: Hem bilinen hem de bilinmeyen kategorileri temsil etmek için ortak bir yol.
• Transfer öğrenimi: Benzer görevlerden elde edilen bilginin yeni görevleri ele almak için yeniden kullanılması.
• Üretken modeller: Modelin öğrenmesine yardımcı olmak için görülmeyen sınıfların sahte örneklerini oluşturma.

Eğitim ve çıkarım

ZSL, iki aşamalı bir süreç olarak kavramsallaştırılabilir:

1. Eğitim: Model, etiketli veri örnekleri ve bunların öznitelikleri hakkında bilgi edinir.
2. Çıkarım: Edinilen bilgi, sağlanan yardımcı bilgiler kullanılarak yeni sınıflara genişletilir. Bu, üç adımda gerçekleşir:
• Model, yeni girdiyi (örneğin bir görüntü) anlamsal bir temsile dönüştürür.
• Bu temsili, bilinen sınıfların veya açıklamaların temsilleriyle karşılaştırır.
• Benzerliğe göre en yakın eşleşmeyi seçer.

Bu yaklaşım, ZSL modellerinin zaman içinde yalnızca açıklamalar veya anlamsal bilgiler kullanarak, ek etiketli eğitim verisine ihtiyaç duymadan, açık uçlu bir yeni kavramlar kümesini dinamik olarak tanımasına olanak tanır.

Hayvan sınıflandırma örneğimize geri dönelim.

Örnek: Hayvanları Sınıflandırma

Görüntü-metin çiftlerinden oluşan dev bir veri kümesi üzerinde önceden eğitilmiş CLIP modelini kullandığımızı hayal edin. Bu önceden eğitilmiş model, zebralar üzerinde açıkça eğitilmemiş olsa bile hayvanlar hakkında genel bir bilgi temeli sağlar.

Zebra örneğimizde, yardımcı veriler (ek bilgiler) şu tür metin açıklamalarını içerir: “Afrika çayırlarında yaşayan siyah beyaz çizgili, at benzeri bir hayvan.” ve "dört bacağı vardır", "çizgilidir", "savanada yaşar" gibi öznitelikler. Bu açıklamalar ve öznitelikler, modelin bildikleri (genel hayvan özellikleri) ile görülmeyen sınıf (zebra) arasında köprü kurar.

Daha sonra model, görülen sınıfları (ör. at, kaplan) ve görülmeyen sınıfı (zebra) ortak bir anlamsal uzaya haritalar. Model, zebra açıklamasını ("siyah beyaz çizgiler, at benzeri") bilinen hayvanlarla aynı uzaya kodlar ve atlar ile kaplanlar gibi hayvanlara ilişkin anlayışını zebralar hakkında akıl yürütmek için kullanır.

Model, zebranın gömmesini bilinen hayvanların ve açıklamaların gömmeleriyle (ör. at, kaplan, "siyah beyaz çizgiler") karşılaştırır. Benzerlik puanlarını kullanarak, modeli şu açıklamayla en yakından eşleşen olarak zebrayı tanımlar: "Afrika çayırlarında yaşayan siyah beyaz çizgili, at benzeri bir hayvan."

Sıfır-Örnek Öğrenme vs. Az-Örnek Öğrenme

Sıfır-örnek öğrenme (ZSL) ve az-örnek öğrenme (FSL), veri çok az ya da hiç yokken bile modellerin yeni görevler veya nesnelerle başa çıkmasına yardımcı olan iki yöntemdir. Ancak aralarında bazı farklılıklar vardır. Her iki tekniğe ve temel farklarına genel bir bakış atalım:

Hangisini seçmeli?

Elinizde hiç etiketli veri olmadığında ZSL en iyisidir. Modelin eğitilmediği yeni kategori veya görevlerin ortaya çıktığı ve etiketli örnek toplamaya zaman ya da kaynak olmadığı durumlar için kullanışlıdır.

Örneğin, bir çevrimiçi mağaza yeni ürün kategorileri ekleyebilir ve model, etiketli örneklere ihtiyaç duymadan açıklamalara göre bu öğeleri düzenleyebilir.

ZSL, esnekliğe ihtiyaç duyduğunuzda ve etiketli veri toplamak çok pahalı, yavaş veya imkânsız olduğunda idealdir.

Öte yandan, FSL genellikle 1-5 adet olmak üzere az sayıda etiketli örnek sağlayabildiğiniz ve modelin daha iyi doğrulukla hızlı öğrenmesini istediğiniz durumlarda iyi çalışır.

Örneğin, bir sohbet botu “Aboneliğimi nasıl iptal ederim?” gibi yeni bir soru türü almaya başlarsa, bu sorgu türünden yalnızca birkaç örnek göstermek benzerlerini doğru şekilde sınıflandırmasına yardımcı olabilir.

FSL, birkaç etiketli örnek sağlayabildiğiniz ve özellikle müşteri desteği veya tıbbî görüntüleme gibi doğruluğun önemli olduğu görevlerde modelin iyi performans göstermesini istediğiniz durumlar için harikadır.

Sıfır-Örnek Öğrenmenin Uygulamaları

ZSL'in faydalı olduğu çok sayıda alan vardır. Birkaçına bakalım.

Metin ve dil işleme

ZSL, metin sınıflandırmada yaygın olarak kullanılır ve modellerin önceden eğitim olmadan metni yeni etiketlere ayırmasına olanak tanır.

Örneğin, etiketli örneklere gerek kalmadan, kategorilerin açıklamalarına dayanarak e-postaları spam veya spam değil olarak ayırabilir. Bu yetenek, sohbet botlarının da her olası sorgu üzerinde eğitilmeye ihtiyaç duymadan kullanıcı isteklerini anlamasına yardımcı olur.

Duygu analizinde, ZSL, modellerin bir incelemenin olumlu mu olumsuz mu olduğunu yalnızca etiket anlamlarını yorumlayarak belirlemesini sağlar. Ayrıca sosyal medya moderasyonunda da rol oynar; model daha önce böyle vakalarla hiç karşılaşmamış olsa bile, “yanlış tıbbî iddialar yayma” olarak etiketlenen dezenformasyonu tespit etmek gibi metin açıklamalarına dayanarak zararlı veya yanıltıcı içeriği saptar.

Görüntü ve görsel tanıma

Görüntü sınıflandırmada, ZSL, görüntüleri metin açıklamalarıyla ilişkilendirerek modellerin hiç görmedikleri nesneleri tanımasına olanak tanır. CLIP gibi araçlar, “kızıl panda” gibi tanıdık olmayan nesneleri tanımlayabilir ve görüntüleri metinle hizalayarak görsel arama motorlarının kullanıcı açıklamalarına göre görüntü getirmede daha etkili olmasını sağlar.

ZSL, etiketli eğitim verisi olmadan uydu görüntülerindeki değişiklikleri tespit ettiği çevresel izleme alanında da değerlidir. Örneğin, açıkça ormansızlaşma kalıpları üzerinde eğitilmemiş olsa bile, “ormanlık bölgelerde önemli örtü kaybı” olarak tanımlanan alanları tanıyarak yasadışı ağaç kesimini belirleyebilir.

Perakende ve öneriler

Perakendede ZSL, yalnızca metinsel açıklamaları kullanarak yeni ürünleri envanter kategorilerine sınıflandırmaya yardımcı olur. Bir model, eğitim sırasında bu kategori yer almamış olsa bile yeni öğeleri “çevre dostu materyaller” gibi etiketlere otomatik olarak atayabilir.

Ayrıca öneri sistemlerindeki soğuk başlangıç problemini, önceki kullanıcı verisi olmadan ürün veya içerik önererek çözer. ZESRec gibi algoritmalar, daha önce görülen verilerle hiçbir örtüşmesi olmayan tamamen yeni bir veri kümesinden öğeler önerebilir.

Sıfır-Örnek Öğrenmenin Zorlukları

ZSL esnek olup yeni görevlere genelleyebilse de, çeşitli zorluklarla karşılaşır.

Bilgi temsili

ZSL modelleri, ayrıntılı veya ince farkları temsil etmekte zorlanır. Örneğin, bir model leoparı ve çitayı karıştırabilir; çünkü her ikisi de "benekli büyük kediler" olarak tanımlanır ve bu açıklamalar daha ince farkları yakalamaz.

Alan boşlukları

ZSL modelleri, yeni görev veya veriler, eğitildiklerinden çok farklı olduğunda başarısız olabilir. Örneğin, ev eşyalarını tanımaya yönelik eğitilmiş bir model, çok farklı oldukları için tıbbî araçları tanımlamada başarısız olabilir.

Performans

ZSL, belirli görevler için genellikle denetimli öğrenmeye (modelin etiketli veri üzerinde eğitildiği) göre daha az doğrudur. Bu zorluğa bir çözüm, esnekliği korurken doğruluğu artırmak için ZSL'i belirli veriler üzerinde biraz ince ayarla birleştirmektir.

Önyargı

ZSL, önyargılar içerebilecek önceden eğitilmiş verilere dayanır. Bu da sıklıkla adil olmayan tahminlere yol açabilir. ZSL kullanan bir işe alım modelini düşünün. Önceden eğitilmiş veride cinsiyet veya ırka dayalı önyargılar varsa belirli demografileri kayırabilir. Bir azaltma stratejisi, verideki önyargıları önceden tespit edip azaltmak veya modeli daha adil kılmak için adversaryal önyargı giderme gibi yöntemler kullanmaktır.

Yorumlanabilirlik

Özellikle karmaşık akıl yürütme kullandığında, bir ZSL modelinin kararları nasıl verdiğini anlamak zor olabilir. Örneğin, nadir bir hastalığı teşhis ederken, eğitim verisi örnekleri olmadan modelin neden o teşhisi seçtiği belirsiz olabilir. 

Ölçeklenebilirlik

Yeni görev veya kategori sayısı arttıkça, ZSL modelleri yavaş ve verimsiz hâle gelebilir. ZSL tabanlı bir öneri sistemi, farklı kategorilerde milyonlarca yeni ürünü yönetmekte zorlanabilir. Verileri düzenleme ve getirme için daha iyi yöntemler kullanmak, örneğin verimli indeksleme veya benzer görevleri gruplama, bazı durumlarda bu sorunu çözebilir.

Sonuç

Sıfır-örnek öğrenme, büyük ve etiketli veri kümelerine olan ihtiyacı ortadan kaldırır, zaman ve para kazandırır ve metin sıralama, görüntü tanıma, sağlık sorunlarını teşhis etme ve kişiselleştirilmiş öneriler sunma gibi birçok alanda iyi çalışır.

ZSL mükemmel olmasa da—bazen karmaşık fikirlerde veya doğrulukta zorlanır—esnekliğin kritik olduğu ve verinin çok pahalı ya da kıt olduğu senaryolar için harikadır.