LIME ile Model Tahminlerini Anlamak

Önceki model yorumlanabilirliği yazımda, makine öğrenimi modellerini incelemek için yaygın olarak kullanılan tekniklere genel bir bakış sundum. Bu blog yazısında, LIME hakkında daha kapsamlı bir açıklama sağlayacağım.

Yorumlanabilirlik Yöntemlerini Anlamak Neden Gerekli?

Modelinizin tahminlerini açıklamak için bir tekniğe güveniyorsanız, bu tekniğin altında yatan mekanikleri ve beraberinde gelebilecek olası sakıncaları anlamak önemlidir. Yorumlanabilirlik teknikleri kusursuz değildir ve yöntemi iyi anlamadan yapılan çıkarımların hatalı olma olasılığı yüksektir.

Benzer ancak çok daha kapsamlı bir inceleme, rastgele orman önem dereceleri üzerine aşağıdaki blog yazısında yapılmıştır. Özellik önemleri, model tahminlerinde hangi özelliklerin önemli rol oynadığını belirlemek için sıklıkla kullanılır. Rastgele ormanlar, veri kümesindeki en önemli özellikleri belirlemek için kutudan çıkar çıkmaz bir yöntem sunar ve pek çok kişi bu önem derecelerine, veri kümesinin ‘nihai açıklaması’ olarak güvenmektedir.

Yazarlar, iki rastgele orman (RF) uygulamasını ve bunların sağladığı standart özellik önem ölçümlerini inceledi. Değişkenler güçlü şekilde korele olduğunda, permütasyon öneminin rastgele orman önemlerine kıyasla daha sağlam tahminler sunduğunu gösterdiler. Bulguları derinlemesine anlamak için yazılarını okumanızı şiddetle tavsiye ederim.

LIME

LIME, modelden bağımsızdır; yani herhangi bir makine öğrenimi modeline uygulanabilir. Teknik, veri örneklerinin girdilerini bozarak (pertürbasyon uygulayarak) tahminlerin nasıl değiştiğini inceleyerek modeli anlamaya çalışır.

Modele özgü yaklaşımlar, kara kutu makine öğrenimi modelini iç bileşenlerini ve bunların etkileşimlerini analiz ederek anlamayı amaçlar. Derin öğrenme modellerinde örneğin aktivasyon birimleri incelenebilir ve iç aktivasyonlar girdiye geri bağlanabilir. Bu, ağın derinlemesine anlaşılmasını gerektirir ve diğer modellere ölçeklenmez.

LIME yerel model yorumlanabilirliği sağlar. LIME, tek bir veri örneğinin özellik değerlerini değiştirerek çıktıya olan etkisini gözlemler. Çoğu zaman bu, bir modelin çıktısını incelerken insanların ilgilendiği şeye de karşılık gelir. En sık sorulan soru muhtemelen şudur: Bu tahmin neden yapıldı ya da hangi değişkenler bu tahmine yol açtı?

Diğer model yorumlanabilirliği teknikleri, yukarıdaki soruyu yalnızca tüm veri kümesi perspektifinden yanıtlar. Özellik önemleri, veri kümesi düzeyinde hangi özelliklerin önemli olduğunu açıklar. Bu, hipotezlerinizi doğrulamanıza ve modelin gürültüye aşırı uyum sağlayıp sağlamadığını görmenize imkân tanır; ancak belirli model tahminlerini teşhis etmek zordur.

LIME’ın Ardındaki Sezgi

LIME için temel bir gereklilik, insanlara anlaşılır, yorumlanabilir bir girdi temsiliyle çalışmaktır. Yorumlanabilir temsil örnekleri arasında, örneğin NLP için BoW vektörü veya bilgisayarla görü için bir görüntü sayılabilir. Öte yandan yoğun gömlemeler yorumlanabilir değildir ve LIME uygulamak muhtemelen yorumlanabilirliği artırmayacaktır.

LIME’ın çıktısı, bir veri örneğinin tahminine her özelliğin katkısını yansıtan bir açıklama listesidir. Bu, yerel yorumlanabilirlik sağlar ve ayrıca hangi özellik değişikliklerinin tahmin üzerinde en büyük etkiye sahip olacağını belirlemeye imkân tanır.

Bir açıklama, altta yatan modeli yerel olarak yorumlanabilir bir modelle yaklaştırarak oluşturulur. Yorumlanabilir modellere örnek olarak güçlü düzenlileştirmeli doğrusal modeller, karar ağaçları vb. verilebilir. Yorumlanabilir modeller, orijinal örneğin küçük pertürbasyonları üzerinde eğitilir ve yalnızca iyi bir yerel yaklaşım sunmalıdır. ‘Veri kümesi’ örneğin sürekli özelliklere gürültü ekleyerek, kelimeleri çıkararak veya görüntünün bazı kısımlarını gizleyerek oluşturulur. Kara kutuyu yalnızca yerelde (veri örneğinin komşuluğunda) yaklaştırmak görevi önemli ölçüde basitleştirir.

Olası Tuzaklar

LIME’ın genel fikri basit görünse de, birkaç olası sakınca vardır.

Mevcut uygulamada, yerel davranışı yaklaştırmak için yalnızca doğrusal modeller kullanılır. Veri örneğinin etrafındaki çok küçük bir bölgede bu varsayım belirli ölçüde doğrudur. Ancak bu bölge genişletildiğinde, doğrusal bir modelin orijinal modelin davranışını açıklamak için yeterince güçlü olmaması mümkündür. Yerel bölgelerde doğrusal olmama, karmaşık ve yorumlanamaz modeller gerektiren veri kümelerinde ortaya çıkar. LIME’ın bu senaryolarda uygulanamaması kayda değer bir tuzaktır.

İkinci olarak, uygun açıklamalar elde etmek için veride yapılması gereken değişiklik türleri genellikle kullanım senaryosuna özeldir. Yazarlar makalelerinde şu örneği vermiştir: Örneğin, sepya tonlu görüntüleri retro olarak tahmin eden bir model, süper piksel varlığı veya yokluğuyla açıklanamaz.

Çoğu zaman basit pertürbasyonlar yeterli değildir. İdeal olarak, pertürbasyonların veri kümesinde gözlenen varyasyon tarafından yönlendirilmesi gerekir. Pertürbasyonları elle yönlendirmek ise muhtemelen iyi bir fikir değildir; zira model açıklamalarına önyargı katma olasılığı yüksektir.

Sonuç

LIME, makine öğrenimi sınıflandırıcılarının (veya modellerinin) ne yaptığını açıklamak için harika bir araçtır. Modelden bağımsızdır, basit ve anlaşılır fikirlerden yararlanır ve çalıştırması fazla çaba gerektirmez. Her zaman olduğu gibi, LIME kullanırken bile çıktıyı doğru yorumlamak önemlidir.

Makine öğreniminde yorumlanabilirlik hakkında sorularınız varsa, onları yorumlarda okumaktan memnuniyet duyarım. Blog yazılarımdan haberdar olmak isterseniz Medium veya Twitter üzerinden beni takip edin!

Modelleme hakkında daha fazla bilgi edinmekle ilgileniyorsanız, DataCamp'in R ile İstatistiksel Modellemenin Temelleri kursuna göz atın.