Kernel Hilesi Açıklandı: SVM’ler Doğrusal Olmayan Örüntüleri Nasıl Öğrenir

Doğrusal modeller basit ve sezgiseldir, ancak verileriniz doğrusal olarak ayrılabilir olmadığında işe yaramaz.

Ve çoğu gerçek dünya verisi böyledir. Ağırlıkları nasıl ayarlarsanız ayarlayın, düz bir karar sınırı iyi bir uyum sağlamaz - sınıflar ya üst üste biner ya da hiçbir doğrunun hatasız bölemeyeceği örüntüler oluşturur. Modelin iş için fazla basit olduğunu biliyor, ancak doğrudan bir sinir ağına atlamak istemiyorsanız, iyi bir orta yol var.

Destek Vektör Makineleri bir “hile” sunar. Verilerinizi daha yüksek boyutlu bir uzaya yansıtabilirsiniz ve ayrılmaz görünen şey çoğu zaman ayrılabilir hale gelir. Kernel hilesi, SVM gibi kernel tabanlı modellerin, veriler sanki dönüştürülmüş gibi çalışmasına olanak tanıyan, ancak dönüşümü açıkça yapmadan bunu sağlayan hesaplamalı bir kestirme yoldur.

Bu yazıda kernel hilesinin SVM’lerin içinde tam olarak nasıl çalıştığını, hangi kernel fonksiyonlarını bilmeniz gerektiğini ve kernel yöntemlerine ne zaman başvurmanın mantıklı olduğunu öğreneceksiniz.

Peki SVM tam olarak nedir? Algoritmayı ve nasıl uygulanacağını öğrenmek için Scikit-learn ile Destek Vektör Makineleri blog yazımızı okuyun.

Kernel Hilesi Nedir?

Kernel hilesi, verileri açıkça oraya eşlemeden, daha yüksek boyutlu bir özellik uzayında iç çarpımları hesaplama yöntemidir.

Yani, aslında veri noktalarınızı dönüştürüp sonra onların üzerinde matematik yapmıyorsunuz. Bunun yerine, bir kernel fonksiyonu kullanarak o matematiğin sonucunun ne olacağını, doğrudan orijinal girdiler üzerinde hesaplıyorsunuz.

Aklınızda tutmanız gereken, kernel hilesinin yalnızca veri noktaları arasındaki noktasal çarpımlara dayanan modellere uygulanabildiğidir. Bu genel amaçlı bir ML tekniği değildir. Bir model dahili olarak noktasal çarpımları kullanmıyorsa, kernel hilesi geçerli değildir. Çoğu model kullanmaz.

SVM’ler, Gauss süreçleri ve kernel PCA, kernel hilesinin çalışacağı iyi örneklerdir. Ancak bunun “çoğu ML modelinin kullandığı” bir şey olduğunu kimse size söylemesin.

Kernel Hilesinin Varlık Nedeni

Doğrusal modeller yalnızca doğrusal karar sınırlarını öğrenebilir. Bu, onları anlaşılır ve yorumlanabilir kılan katı bir kısıttır.

Ancak çoğu gerçek dünya veri kümesi doğrusal olarak ayrılabilir değildir. Sınıfları temizce ayıracak bir doğru (veya hiper düzlem) yoktur. Kernel hilesiyle, veriyi daha yüksek boyutlu bir uzaya yansıttığınızda aynı veri ayrılabilir hale gelebilir.

Bunu ele almanın bariz yolu, yeni özellikler yaratarak veriyi açıkça dönüştürmek, her noktayı daha yüksek boyutlu uzaya eşlemek ve modelinizi oradan eğitmektir. Bu işe yarar, ancak maliyet ölçeklenir. Binlerce boyutlu bir uzaya eşleme yapıyorsanız, bu dönüştürülmüş vektörleri depolamak ve üzerinde hesaplama yapmak pahalı hale gelir.

Kernel hilesinde, her veri noktası için tam dönüşümü φ(x) hesaplamak yerine, size aynı iç çarpım sonucunu doğrudan veren bir kernel fonksiyonu K(x, x′) hesaplanır.

Destek Vektör Makinelerinde Kernel Hilesi

Bir SVM, iki sınıf arasındaki marjini maksimize eden karar sınırını bulur.

Bu sınırı bulmak için SVM bir optimizasyon problemi çözer. Ve çift (dual) formunda, optimizasyon veri noktalarının kendilerine değil, sadece aralarındaki noktasal çarpımlara bağlıdır. Çift amaç fonksiyonu şöyle görünür:

Çift amaç fonksiyonu

Burada α_i öğrenilen ağırlıklar, y_i sınıf etiketleri ve ⟨x_i, x_j⟩ iki veri noktası arasındaki noktasal çarpımdır. SVM’nin ihtiyacı olan sadece veri noktaları arasındaki ikili benzerliklerdir.

Eğer SVM’nin sadece noktasal çarpımlara ihtiyacı varsa, ona orijinal uzayda hesaplanan noktasal çarpımları vermek zorunda değilsiniz. ⟨x_i, x_j⟩ yerine bir kernel fonksiyonu K(x_i, x_j) koyarsınız:

Kernel fonksiyonlu formül

SVM tam olarak aynı şekilde çalışır. Sadece daha zengin bir özellik uzayında çalıştığını “zanneder”.

Kernel hilesinin özü budur.

Kernel Hilesi Nasıl Çalışır (Kavramsal Bakış)

Standart yaklaşım, her veri noktasını daha yüksek boyutlu bir uzaya dönüştüren bir eşleme φ(x) tanımlamak ve sonra orada noktasal çarpımlar hesaplamaktır:

Eşleme

Ancak φ(x)’i açıkça hesaplamak pahalı olabilir ve bazı durumlarda eşlenmiş uzay binlerce hatta sonsuz boyuta sahip olabilir.

Kernel hilesi bu adımı atlar.

φ(x)’i hesaplayıp sonra noktasal çarpım almak yerine, doğrudan şu koşulu sağlayan bir kernel fonksiyonu K(x, x′) hesaplanır:

Kernel fonksiyonunun hesaplanması

Sonuç aynıdır, ancak maliyet daha düşüktür.

K(x, x′)’i bir benzerlik fonksiyonu olarak düşünün. Orijinal uzaydaki iki veri noktasını alır ve ne kadar benzer olduklarını yansıtan bir sayı döndürür - ancak bunu, onları çok daha zengin bir uzayda karşılaştırmaya karşılık gelecek şekilde yapar. Model, veri dönüştürülmüş gibi davranır. Aslında böyle bir dönüşüm yapılmamıştır.

Yaygın Kernel Fonksiyonları

Tüm kernel fonksiyonları aynı şekilde çalışmaz. Her biri veri noktaları arasında farklı bir benzerlik anlayışı tanımlar; bu da her birinin farklı türde bir karar sınırına sahip olduğu anlamına gelir. Birkaçını göstereyim.

Doğrusal kernel

Doğrusal kernel

Doğrusal kernel, standart bir noktasal çarpımdır. Model orijinal özellik uzayında kalır ve doğrusal bir sınır öğrenir; bu da onu standart bir doğrusal SVM’ye eşdeğer kılar.

Veriniz zaten doğrusal olarak ayrılabilir olduğunda bu kerneli kullanın. En hızlı ve yorumlaması en kolay seçenektir.

Polinom kernel

Polinom kernel

Burada c sabit, d ise polinom derecesidir.

Polinom kernel, özellikler arası etkileşimleri yakalar. Örneğin derece-2 bir kernel, tüm ikili özellik birleşimlerini dikkate alır. Bu, bu etkileşim terimlerini elle oluşturmak zorunda kalmadan modelin eğrisel sınırlar öğrenmesini sağlar.

Daha yüksek dereceler daha ifade gücü yüksek sınırlar anlamına gelir, ancak aşırı uyum riskini de artırır.

RBF (Gauss) kernel

RBF kernel

RBF (Radyal Taban Fonksiyonu) kernel, pratikte en yaygın kullanılan kerneldir. Benzerliği mesafeye göre ölçer. Birbirine yakın iki nokta yüksek bir skor alır, birbirinden uzak iki nokta ise sıfıra yakın bir skor alır.

Onu ilginç kılan, verileri örtük olarak sonsuz boyutlu bir uzaya eşlemesidir. Bu, diğer kernel’lerin baş edemediği karmaşık, doğrusal olmayan sınırları anlamak için yeterli esnekliği sağlar.

Sigmoid kernel

Sigmoid kernel

Sigmoid kernel, RBF veya polinom kernel’lere kıyasla daha az kullanılır ve parametre seçimlerine bağlı olarak her zaman geçerli bir kernel fonksiyonu için gereken matematiksel koşulları sağlamaz.

Zaman zaman eski literatürde karşınıza çıkar, ancak pratikte başlangıç noktası olarak neredeyse her zaman RBF daha iyidir.

SVM Ötesinde Kernel Hilesi

Kernel hilesi için en yaygın algoritma SVM’dir, ancak tek seçenek değildir.

Aynı fikri kullanan bazı diğer modeller şunlardır:

• Kernel ridge regression, açık özellikler yerine bir kernel fonksiyonu kullanarak daha yüksek boyutlu bir uzayda ridge regresyonu uygular
• Gauss süreçleri, veri noktaları arasındaki kovaryansı tanımlamak için kernel fonksiyonları kullanır. Kernel, öğrenmeye çalıştığınız fonksiyonun pürüzsüzlüğü ve şekli hakkında varsayımları kodlar
• Kernel PCA, dönüştürülmüş bir özellik uzayında asal bileşenler bularak standart PCA’yı doğrusal olmayan yapılara genişletir

Hepsinde ortak olan, modelin yalnızca noktasal çarpımlara ihtiyaç duymasıdır; bu sayede bir kernel fonksiyonunu devreye alarak geri kalan matematiği değiştirmeden doğrusal olmayan davranış elde edebilirsiniz.

Ancak SVM hâlâ en net örnektir ve sezginizi geliştirmeniz için en iyi başlangıç noktasıdır.

Kernel Hilesi ve Özellik Mühendisliği

Her iki yaklaşım da özelliklerinizin yeterince ifade gücüne sahip olmaması sorununu çözer. Ancak bunu farklı yollarla yaparlar.

Özellik mühendisliğinde, mevcut özelliklerden açıkça yeni özellikler yaratırsınız. Hangi birleşimlerin önemli olduğuna siz karar verir, bunları hesaplarsınız, veri kümenize eklersiniz ve genişletilmiş özellik seti üzerinde eğitirsiniz. Modele neyin girdiğini tam olarak görürsünüz.

Kernel hilesi ise o ek özellikleri hiç tanımlamadan veya depolamadan, örtük olarak daha yüksek boyutlu bir uzayda çalışır. Dönüşüm kernel fonksiyonu tarafından tanımlanır.

Tercih, yorumlanabilirlik ile esneklik arasındadır.

Özellik mühendisliği her şeyi şeffaf tutar; her özelliğin neyi temsil ettiğini bilirsiniz. Kernel hilesi size daha ifadeli yetenekler kazandırır, ancak örtük özellik uzayı çoğu zaman incelemek veya açıklamak zordur.

Kullanım durumunuz için yorumlanabilirlik önemliyse, özellik mühendisliği daha güvenli bir seçenektir. Karmaşık örüntüleri anlamaya ihtiyaç duyuyor ve modelin verdiği her kararı açıklamak zorunda değilseniz, kernel hilesi sizi daha hızlı sonuca götürür.

Kernel Hilesinin Avantajları

En barizi, doğrusal modellerin doğrusal olmayan sınırlar öğrenmesini sağlamasıdır. Olmadan, bir SVM yalnızca sınıfları düz bir hiper düzlemle ayırabilir. Onunla, aynı model eğrisel ve karmaşık karar sınırlarını ele alabilir.

Ayrıca açıkça yüksek boyutlu hesaplamanın maliyetinden kaçınır. Ek boyutları depolamadan veya hesaplamadan daha zengin bir özellik uzayının ifade gücünü elde edersiniz. Örtük özellik uzayının binlerce veya sonsuz boyuta sahip olduğu problemler için, yaklaşımı mümkün kılan şey budur.

Kernel yöntemleri orta ölçekli veri kümelerinde de iyi çalışır. Milyonlarca örneğiniz yoksa ancak veriniz doğrusal olarak ayrılabilir değilse, iyi bir kernel’e sahip bir SVM genellikle sağlam ve güvenilir bir seçimdir.

Kernel Hilesinin Sınırlamaları

En büyük sorun ölçektir. Bir kernel SVM’yi eğitmek, eğitim kümesindeki her veri çifti için K(x_i, x_j) hesaplamayı gerektirir. Bu bir O(n²) işlemdir - ve belleği de hesaba kattığınızda daha da kötüleşir. Büyük veri kümelerinde bu sert bir darboğaza dönüşebilir.

Kernel seçimi de kolay değildir. RBF iyi bir varsayılandır, ancak her zaman doğru seçim değildir. Yanlış kernel’i - ya da bir kernel için yanlış hiperparametreleri - seçmek, başladığınızdan daha kötü performansla sonuçlanabilir.

Yorumlanabilirlik de bir diğer sorundur. Özellik mühendisliğinde her özelliğin ne anlama geldiğini bilirsiniz. Kernel hilesinde ise örtük özellik uzayı net değildir. Model çalışır, ancak belirli bir kararı neden verdiğini açıklamak zordur.

Ve birçok alanda derin öğrenme baskın hale geldi. Sinir ağları büyük veri kümelerini ele alır, kendi özellik gösterimlerini öğrenir ve genellikle kernel yöntemlerinden daha iyi performans gösterir; hem de elle kernel seçimi gerektirmeden. Görüntü sınıflandırma, NLP veya çok büyük miktarda verinin olduğu herhangi bir görev için kernel yöntemleri artık nadiren ilk tercihtir.

Kernel Yöntemleri Ne Zaman Kullanılmalı

Kernel yöntemleri 2026’da geçerliliğini yitirmedi, ancak eskisine kıyasla daha uzmanlık gerektiren alanlara kaydı.

RBF kernel’li bir SVM gibi bir kernel yöntemine şu durumlarda yönelmelisiniz:

• Verinizde doğrusal bir modelin anlayamayacağı doğrusal olmayan yapı varsa
• Veri kümeniz küçük ila orta ölçekli ise - milyonlar değil, binlerce örnek düşünün
• Tek tek tahminleri açıklamanız gerekmiyorsa, yani daha düşük yorumlanabilirlik kabul edilebilir bir değiş tokuş ise

Sınırlı verinizin olduğu, iyi genelleşme isteyen yapılandırılmış, tablo tipi veri problemleri için uygundurlar. Bu durumlarda bir kernel SVM hâlâ daha karmaşık modelleri geride bırakabilir.

Ancak veri kümeniz büyükse veya açıklanabilir tahminlere ihtiyaç duyuyorsanız, kernel yöntemleri en iyi çözüm değildir.

Örnek: Bir Kernel ile ve Kernsiz SVM

Kernel hilesinin gerçekten ne yaptığını görmenin en iyi yolu, bir doğrusal SVM’nin başarısız olmasını izlemek ve bunu bir kernel ile düzeltmektir.

Aşağıdaki örnekte, biri iç halka, diğeri dış halka oluşturan iki eşmerkezli çemberden oluşan basit bir veri kümesi var. Onları ayırabilecek düz bir çizgi yoktur. Doğrusal bir SVM her seferinde başarısız olur

Bir RBF kernel ile aynı SVM, sınıfları ayıran dairesel bir sınır çizer. Değişen tek şey kernel fonksiyonudur.

İşte tam örnek:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.datasets import make_circles

# Generate concentric circles dataset
np.random.seed(42)
X, y = make_circles(n_samples=300, noise=0.1, factor=0.4)

# Train both SVMs
svm_linear = SVC(kernel="linear", C=1)
svm_rbf = SVC(kernel="rbf", C=1, gamma="scale")
svm_linear.fit(X, y)
svm_rbf.fit(X, y)

print(f("Linear SVM accuracy: {svm_linear.score(X, y):.0%}"))
print(f("RBF SVM accuracy:    {svm_rbf.score(X, y):.0%}"))

Doğrusal ve RBF SVM doğruluk karşılaştırması

Doğrusal SVM, verinin ortasından düz bir sınır çizer. Düzlemi iki yarıya böler; bu da problemin gerçek yapısıyla hiç uyuşmaz. Buna karşılık RBF kernel, verinin şekline uyan dairesel bir sınır üretir.

Doğrusal ve RBF SVM görselleştirmesi

Sonuç olarak, model daha karmaşık bir yapıyı öğrenmedi - sadece yapının bulunmasının daha kolay olduğu bir uzayda çalıştı.

Kernel Hilesi Hakkında Yaygın Yanılgılar

Kernel hilesi hakkında yeterince sık karşılaşılan birkaç yanılgı var, burada onlara değinelim.

"Kernel hilesi tüm modeller için çalışır." Hayır. Kernel hilesi yalnızca optimizasyonunda veri noktaları arasındaki noktasal çarpımlara dayanan modellere uygulanır. Modellerin çoğu - karar ağaçları, rastgele ormanlar, sinir ağları, doğrusal regresyon - noktasal çarpımları bu şekilde kullanmaz, dolayısıyla kernel hilesi onlar için geçerli değildir.

"Veriyi kelimenin tam anlamıyla dönüştürür." Açıkça değil. Orijinal veri noktalarınız olduğu gibi kalır. Kernel fonksiyonu, daha yüksek boyutlu bir uzayda noktasal çarpımın ne olacağını hesaplar; ancak pratikte herhangi bir dönüşüm gerçekleşmez. Veri asla genişletilmez veya farklı şekilde depolanmaz.

"Her zaman performansı artırır." Duruma bağlıdır. Küçük ve orta ölçekli, doğrusal olmayan problemler için iyi bir kernel fark yaratabilir. Büyük veri kümelerinde, hesaplama maliyeti faydanın önüne geçer. Ve veriniz zaten doğrusal olarak ayrılabilir ise, kernel eklemek sadece karmaşıklık katar.

Kernel Hilesi Neden Hâlâ Önemli

Kernel hilesi şu anda ML’de en çok konuşulan fikir değil. Çoğu kıyaslamada derin öğrenme zirvede ve kernel yöntemleri nadiren gündeme geliyor.

Ancak hâlâ anlaşılmaya değer temel bir kavramdır.

SVM’ler ve kernel hilesi, sınırlı örnekli yapılandırılmış, tablo tipi verilerde iyi çalıştıkları ve arkalarındaki matematik net ve iyi anlaşıldığı için klasik ML’nin merkezindeydi. Benzerlik temelli öğrenmenin nasıl çalıştığını veya optimizasyonda noktasal çarpımların neden önemli olduğunu anlamak istiyorsanız, kernel hilesi incelenebilecek en net örneklerden biridir.

Ayrıca hâlâ gerçek kullanım alanları vardır. Küçük veri kümeleri, biyoinformatik gibi uzmanlaşmış alanlar veya el yapımı özelliklerle metin sınıflandırma ve az veriyle iyi genelleşen modellere ihtiyaç duyulan problemler - bunlar kernel yöntemlerinin hâlâ geçerli olduğu alanlardır.

Kernel, ölçek ve ham veri hacminin en çok önemsendiği alanlarda yerini başkalarına bıraktı. Doğru bağlamda, hâlâ iyi bir araçtır.

Sonuç

Kernel hilesi belirli bir sorunu çözer: yalnızca noktasal çarpımlarla çalışmayı bilen bir modelden doğrusal olmayan davranış elde etmek. Yanıt, bu noktasal çarpımları, daha zengin bir özellik uzayında aynı sonucu hesaplayan bir kernel fonksiyonuyla değiştirmektir - oraya aslında gitmeden.

Bunu anlamak en çok SVM bağlamında faydalıdır; burada çift formülasyon, ikamenin net ve açık olmasını sağlar. Buna alıştıktan sonra kernel yöntemlerinin daha geniş ailesi çok daha anlamlı gelmeye başlayacaktır.

Bugünlerde ilgi çoğunlukla derin öğrenmede ve büyük ölçekli problemler için bu yerindedir. Ancak kernel hilesi, geometri ve benzerliğe dayalı farklı bir düşünme biçimini temsil eder. Anlamaya değerdir; fakat uzmanlaşmış bir alanda çalışmıyorsanız pratikte pek sık kullanmazsınız.

Peki derin öğrenme neden tam olarak baskın hale geldi? Sinir ağlarının ölçekli bir şekilde karmaşık modeller kurmanıza nasıl imkân verdiğini görmek için Python’da Derin Öğrenme eğitim yolumuza kaydolun.