Overfitting vs. Underfitting: Model Tanılamaya Yönelik Pratik Bir Rehber

Modelinizin eğitim verisinde %99 doğruluk elde edip üretimde tek bir şeyi doğru tahmin edememesinin nedenini biliyor musunuz?

Ezberleyen bir model ile öğrenen bir model arasında fark vardır. Genelleme, makine öğreniminin özüdür — yalnızca eğitimde kullandığınız verilerde değil, modelin hiç görmediği verilerde de ayakta kalan tahminler istersiniz. Bu olmadığında, sorun neredeyse her zaman iki yönden birine gider.

Bu iki yön overfitting ve underfitting’dir. Düzeltmeden önce hangisiyle uğraştığınızı bilmeniz gerekir.

Bu yazıda, overfitting ve underfitting’i nasıl tanıyacağınızı, neden ortaya çıktıklarını ve dengeyi sağlamanıza yardımcı olacak pratik adımları anlatacağım.

Underfitting Nedir?

Underfitting, modeliniz veride gerçekte olanı temsil etmek için fazla basit kaldığında ortaya çıkar.

Tek bir kuralla konut fiyatlarını tahmin etmeye çalıştığınızı düşünün: "Her ev 300.000 $ tutar." Bu kural neredeyse her yerde yanlış olur. Mahalleleri, metrekareyi, yatak odası sayısını, garaj alanını veya inşa yılını göremez. Modelin deseni takip edecek esnekliği yoktur.

Underfitting’i her seferinde aynı şekilde yakalayabilirsiniz. Eğitim doğruluğu düşüktür, test doğruluğu da düşüktür. Her iki sayı da kötüdür, ancak kilit nokta birlikte kötü olmalarıdır.

Klasik bir durum, eğri bir veriye düz bir çizgi uydurmaktır. Çizgi ortadan geçer ve şekli ıskalar. Ne kadar ek eğitim verisi eklerseniz ekleyin işe yaramaz; çünkü model ilişkinin kendisini temsil edemez.

Underfitting örneği

Overfitting Nedir?

Overfitting bunun tam tersidir. Model fazla karmaşıktır.

Genel deseni öğrenmek yerine eğitim kümesini ezberler. Verideki her gürültü noktası, tuhaf aykırı değer, her tepe ve vadi, her rastlantı sanki gerçek bir desenmiş gibi dikkate alınır. Model, eğitildiği veriler için neredeyse kusursuz hale gelir.

Overfitting’in iyi yanı, kolay fark edilmesidir. Eğitim doğruluğu harikadır, ancak test doğruluğu berbattır.

Soruları kelimesi kelimesine ezberleyen ama konunun özünü öğrenmeyen bir öğrenciyi düşünün. Deneme sınavında iyi puan alır, gerçeğinde muhtemelen başarısız olur.

Overfitting örneği

Overfitting vs Underfitting: Temel Farklar

İkisini de gördüğünüze göre farkı saptamak daha kolay. Underfitting modeller, gördükleri veride bile iyi performans gösteremez. Overfitting modeller ise görmedikleri veride başaramaz.

Eğitim sırasında görünümleri farklıdır:

• Underfitting, her yerde düz ve vasat bir performans olarak ortaya çıkar — model hiçbir şeyden pek bir şey öğrenmez
• Overfitting, eğitim skorları artmaya devam ederken test skorlarının durduğu veya zamanla kötüleştiği bir fark (gap) olarak görünür

Nedenleri de birbirini yansıtır. Underfitting, çok az şey yapmaktan gelir: basit modeller ve eksik özellikler. Overfitting, çok fazla şey yapmaktan gelir: karmaşık modeller ve çok sayıda özellik.

İşte ikisinin bir özeti:

Underfitting ve overfitting karşılaştırması

Overfitting ve Underfitting Nasıl Tespit Edilir

Underfitting ve overfitting’in teoride nasıl göründüğünü bilmek bir şeydir, bunları kendi modellerinizde yakalamak başka.

Burada yapılacak en kolay şey, eğitim hatasıyla test hatasını karşılaştırmak ve öğrenme eğrilerine bakmaktır.

Eğitim vs test hatası

En hızlı kontrol, verinizi bir eğitim ve bir test kümesine ayırmak, modeli eğitmek ve her birindeki hataya bakmaktır.

Underfitting’te her iki hata da yüksek olur. Model eğitim verisini iyi öğrenmemiştir ve hiç görmediği veride daha iyi performans göstermeyecektir. Her iki tarafta da aynı kötü sonucu alırsınız.

Overfitting’te eğitim hatası çok düşükken test hatası yüksek kalır. Model eğitim verisini ezberlemiştir ama bu bilgi aktarılmaz.

Eğitim vs test hatası görselleştirmesi

Bu iki sayı arasındaki farkı analiz etmek istersiniz. Yüksek hatalarla küçük bir fark underfitting’e işaret eder. Düşük eğitim hatası ve yüksek test hatasıyla büyük bir fark overfitting’e işaret eder. Her ikisinin de düşük olduğu küçük bir fark hedeflenir; çünkü bu, modelin gerçek veri temsilini öğrendiği anlamına gelir.

Öğrenme eğrileri

Öğrenme eğrileri, eğitim ve doğrulama hatasını eğitim kümesi boyutuna veya eğitim yinelemelerine karşı çizer. Model öğrenirken neler olduğunu gösterirler.

Underfit bir modelde her iki eğri de hızla yüksek bir hata seviyesinde yataylaşır. Daha fazla veri eklemek yardımcı olmaz; çünkü model deseni baştan temsil edemez. Her iki eğri de yüksek kalır.

Underfit model eğrileri

Overfit bir modelde, eğitim eğrisi neredeyse sıfıra düşerken doğrulama eğrisi yüksek kalır. Eğitim sürdükçe aradaki fark genişler. Bu büyüyen fark, grafikte overfitting’in görüntüsüdür.

Overfit model eğrileri

Sağlıklı bir modelde her iki eğri de düşer ve düşük bir hata seviyesinde küçük bir farkla buluşur.

Overfitting ve Underfitting Neden Olur

Bunları nasıl saptayacağınızı bildiğinizde, bir sonraki soru neden ortaya çıktıklarıdır. Her ikisi de model ile problem arasındaki uyumsuzluktan kaynaklanır, ancak zıt yönlerde.

Underfitting’in nedenleri

Underfitting neredeyse her zaman üç şeyden birine dayanır.

• Model fazla basit: Doğrusal bir model, eğrisel bir ilişkiyi temsil edemez. Model, problemin gerçekten ihtiyaç duyduğu kapasiteye sahip değildir.
• Özellikler yetersiz: Yetkin bir model bile yanlış girdilerle underfitting yapar. Sadece posta kodundan ev fiyatı tahmin etmek mantıklı değildir ve metrekare, yatak odası sayısı, durum, yaş ve arsa büyüklüğünü kaçırır. Modelin işe yarar bir girdi seti yoktur.
• Yetersiz eğitim: Model iyi bir çözüme ulaşacak kadar derinlik, yineleme, epoch veya öğrenme oranı ayarı görmemiştir. Eğitim çok erken durmuştur.

Overfitting’in nedenleri

Overfitting, modele verinin ihtiyaç duyduğundan daha fazla özgürlük vermekten kaynaklanır.

• Model fazla karmaşık: Milyonlarca parametreli derin bir sinir ağı, küçük bir veri kümesi üzerinde kolayca ezber yapabilir. Kapasite, problemin ihtiyacını aşar.
• Aşırı sayıda özellik: Veride anlamlı desenlerden daha fazla özellik olduğunda, model yalnızca eğitim örnekleminde var olan ama genellenmeyen korelasyonları öğrenir.
• Veri kümesi çok küçük: Sınırlı eğitim verisiyle, orta düzeydeki bir model karmaşıklığı bile tüm seti ezberleyebilir. Modelin genelleme yapacağı yeterince örnek yoktur.
• Eğitim çok uzadı: Model, gerçek deseni öğrendikten sonra da ağırlıkları ayarlamayı sürdürmüş ve bu kez gürültüyü uydurmaya başlamıştır. O noktadan sonra daha fazla eğitim işleri kötüleştirir.

Bias-Variance Dengesi

Bias-variance dengesi, model performansının, modelinizin eğitim setine aşırı uydurmadan ve problemi aşırı basitleştirmeden, görülmeyen verilere iyi genelleme yaptığı tatlı noktayı bulmakla ilgili olduğunu açıklar.

Yüksek bias

Bias, modelin veri hakkında yaptığı varsayımlardan kaynaklanan hatadır. Yüksek bias’lı bir modelin güçlü, basitleştirici varsayımları vardır. Veride olup bitenin gerçek karmaşıklığını temsil edemez.

Bu, underfitting’in ta kendisidir. Model kalıplara uyacak kadar esnek değildir, bu yüzden ne kadar veri verirseniz verin hatalı tahminler üretir.

Yüksek bias’lı bir modeli farklı örneklemler üzerinde 100 kez eğitirseniz, bu 100 versiyon benzer hatalar yapar. Tahminleri yanlış cevabın etrafında toplanır.

Yüksek varyans

Varyans, modelin eğitildiği belirli veriye aşırı duyarlı olmasından kaynaklanan hatadır. Yüksek varyanslı bir model, genellikle gürültü olan her küçük deseni yakalar.

Bu, overfitting’tir. Model eğitim setine çok yakından uyar, ancak eğitim verisindeki küçük değişiklikler çok farklı tahminlere yol açar.

Yüksek varyanslı bir modeli farklı örneklemler üzerinde 100 kez eğitirseniz 100 çok farklı model elde edersiniz. Aynı girdide bile tahminleri dağılır gider.

Denge

Ne bias’ı ne de varyansı tamamen ortadan kaldıramazsınız; yalnızca aralarında denge kurabilirsiniz.

Modeli daha karmaşık hale getirerek bias’ı azaltırsınız, varyans artar. Modeli sadeleştirerek varyansı azaltırsınız, bias artar. Hedef, toplam hatanın en düşük olduğu orta noktayı bulmaktır.

Bias-variance dengesi örneği

Underfitting Nasıl Düzeltilir

Underfitting’i teşhis ettiğinizde, bunu düzeltmenin birkaç yolu vardır. Hepsi, modelin verinizdeki kalıpları temsil etmesi için daha fazla kapasite sağlar.

• Model karmaşıklığını artırın: Daha esnek bir modele geçin. Doğrusal regresyondan polinomsal regresyona veya sığ bir ağaçtan daha derin bir ağaca geçin.
• Daha fazla özellik ekleyin: gerçekten değer katan yeni girdiler ekleyin. Etkileşim terimleri, polinomsal özellikler veya modelin erişemediği alan-özel özellikler oluşturun.
• Daha uzun süre eğitin: Modelin yakınsamaya yeterli zamanı olmamış olabilir. Daha fazla epoch verin veya farklı bir öğrenme oranı planı uygulayın.
• Düzenlileştirmeyi azaltın: Düzenlileştirme bir modeli basit tutar; bu, underfitting’in ihtiyaç duyduğunun tersidir. Modele daha fazla özgürlük vermek için düzenlileştirme gücünü düşürün veya tamamen kaldırın.

Birkaç iyi özellik, mimari değişimlerinden daha etkili olabilir. Modele dokunmadan önce oradan başlayın.

Overfitting Nasıl Düzeltilir

Overfitting’i düzeltmek ters yaklaşım gerektirir. Modeli kısıtlamak, eğitim verisini ezberlemeyi bırakmasını sağlamak istersiniz.

• Daha fazla veri toplayın: Daha büyük bir veri kümesi, modelin ezber yapmasını çok zorlaştırır. Daha fazla örnek, modeli yalnızca birkaç satırda değil, tüm kümede geçerli olan desenleri bulmaya zorlar.
• Düzenlileştirme uygulayın: L1 ve L2 düzenlileştirme büyük ağırlıkları cezalandırır ve modelin tek bir özelliğe aşırı yaslanmasını engeller. En güvenilir çözümlerden biridir.
• Model karmaşıklığını azaltın: Model veri için çok büyükse küçültün. Daha az parametre, daha sığ ağaçlar veya daha küçük ağlar kullanın.
• Çapraz doğrulama kullanın: Çapraz doğrulama, modelin görülmeyen verilerde nasıl performans göstereceğine dair daha dürüst bir okuma sağlar. Tek bir veri kümesinden daha fazla eğitim-test bölmesi verir.
• Sinir ağları için dropout uygulayın: Dropout, eğitim sırasında nöronların bir yüzdesini rastgele devre dışı bırakır. Bu, ağın yedekli temsiller öğrenmesini zorlayarak tek bir nörona aşırı güveni azaltır.
• Eğitimi erken durdurun: Doğrulama hatasını izleyin ve artmaya başladığında, eğitim hatası hala düşse bile durdurun. Buna erken durdurma (early stopping) denir ve uygulaması en kolay değişikliklerden biridir.

Düzenlileştirme ve erken durdurma genellikle ilk denenmesi gerekenlerdir. Maliyetsizdir ve neredeyse her zaman yardımcı olur.

Farklı Modellerde Overfitting ve Underfitting

Farklı model aileleri underfitting ve overfitting’i kendilerine özgü şekillerde gösterir. Üç yaygın modelde her iki yönde nasıl başarısız olunabileceği şöyle:

Doğrusal modeller

• Underfit: Doğrusal modeller düz bir ilişki varsayar. Gerçek desen eğrildiğinde, ne kadar veri verirseniz verin model bunu takip edemez.
• Overfit: Yeterince polinomsal veya etkileşim terimi eklendiğinde, doğrusal regresyon bile gürültüyü ezberleyebilir. Ridge ve Lasso gibi düzenlileştirme yöntemleri esasen bunu yönetmek için vardır.

Karar ağaçları

• Underfit: Sığ bir ağaç yalnızca birkaç bölme yapabilir. İki veya üç kararla, daha fazla nüans gerektiren kalıpları temsil edemez.
• Overfit: Derin ağaçlar overfitting’e yatkındır. Her yaprak tek bir eğitim örneği içerecek şekilde bölmeye devam eden bir ağaç, mükemmel eğitim doğruluğu ve zayıf test doğruluğu üretir. Bu yüzden max_depth, min_samples_split ve budama (pruning) gibi parametreler vardır.

Sinir ağları

• Underfit: Probleme göre çok küçük ağlar underfitting yapar. Çok erken durdurulan eğitimler veya alt-optimal bir çözümde takılan optimize ediciler de aynı sonucu verir.
• Overfit: Bu, derin öğrenmede daha yaygındır. Milyonlarca parametreli bir ağ, yeterli epoch verildiğinde büyük veri kümelerini bile ezberleyebilir. Dropout, ağırlık bozunumu (weight decay), veri artırma (data augmentation) ve erken durdurma bunu önlemek için vardır.

Overfitting vs Underfitting’e Ek Örnekler

Şimdi bu kalıpları görmeyi kolaylaştıracak kodlarla iki klasik örneği adım adım anlatacağım.

Polinomsal regresyon

Gürültülü bir sinüs dalgası iyi bir test örneğidir. Farklı derecelerde polinomlar uydurduğunuzda, model davranışının nasıl değiştiğini görebilirsiniz.

import numpy as np

# Data
np.random.seed(7)
X = np.linspace(0, 1, 30)
y_true = np.sin(2 * np.pi * X)
y = y_true + np.random.normal(0, 0.2, X.shape)

# Fit polynomials of three degrees
X_smooth = np.linspace(0, 1, 300)
degrees = [1, 3, 15]

for degree in degrees:
    coefs = np.polyfit(X, y, deg=degree)
    y_pred = np.polyval(coefs, X_smooth)

Polinomsal regresyon örneği

Derece 1 düz bir çizgidir ve underfitting yapar. Eğriyi hiç takip edemez. Derece 3 gerçek şekli temsil eder. Biraz gürültüyü emer ama gerçeğe yakın kalır. Derece 15, her eğitim noktasının arasından kıvrılarak geçer ve aralarda büyük salınımlar üreterek overfitting yapar.

Farklı derinliklerde karar ağaçları

Aynı hikâye karar ağaçlarında da görülür. Aynı veri üzerinde artan derinliklerde ağaçlar eğitip hem eğitim hem test setinde hatayı ölçebilirsiniz.

import numpy as np
from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# Data
np.random.seed(11)
X = np.linspace(0, 10, 250).reshape(-1, 1)
y = np.sin(X).ravel() + np.random.normal(0, 0.3, 250)

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=0
)

depths = range(1, 21)
train_errors = []
test_errors = []

for depth in depths:
    tree = DecisionTreeRegressor(max_depth=depth, random_state=0)
    tree.fit(X_train, y_train)
    train_errors.append(mean_squared_error(y_train, tree.predict(X_train)))
    test_errors.append(mean_squared_error(y_test, tree.predict(X_test)))

Karar ağacı örneği

Ağaç derinleştikçe eğitim hatası azalır ve her yaprak yalnızca tek bir eğitim noktasını içerdiğinde nihayetinde sıfıra yaklaşır. Test hatası, ağaç verideki gerçek ilişkileri yakaladıkça başlangıçta düşer, sonra daha derin bölmeler gürültüyü uydurmaya başladıkça tekrar yükselir. Minimum, ikisi arasındaki dengeyi kuran derinlikte oluşur.

Model Performansını Tanılarken Yapılan Yaygın Hatalar

Doğru metriği seçseniz bile yanlış sonuçlara varmak kolaydır. İşte model performansını değerlendirirken yapmamanız gerekenler:

• Yalnızca eğitim doğruluğunu değerlendirmek: Eğitim doğruluğu, modelin zaten gördüğü veriye ne kadar iyi uyduğunu gösterir. Modelin yeni girdilerde nasıl performans göstereceği hakkında bir şey söylemez. Sonuç çıkarmadan önce mutlaka ayrı bir kümede ölçüm yapın.
• Doğrulama verisini yok saymak: Doğrulama verisi; mimari, hiperparametreler ve durdurma noktası gibi seçimleri ayarlamak için kullanılır. Aynı test setini çok kez kullandığınızda model hem eğitime hem teste overfit edecektir.
• Daha fazla karmaşıklığın her zaman daha iyi olduğunu varsaymak: Daha büyük bir model otomatik olarak daha yetkin bir model demek değildir. Veriniz küçükse veya verideki ilişkiler basitse, karmaşıklık yalnızca performansı düşürür. Basit başlayın ve yalnızca tanılamalar gerektirdiğinde kapasite ekleyin.
• Gürültüyü sinyalle karıştırmak: Eğitim verisindeki her desen öğrenilmeye değer değildir. Rastgele dalgalanmalar, örnekleme yanlılıkları, aykırı değerler ve toplama artifaktları esnek bir modele anlamlıymış gibi görünebilir. Bir ilişkinin neden var olması gerektiğini açıklayamıyorsanız, temkinli yaklaşın.

Bir modele karar vermeden önce bu dördünü de mutlaka kontrol edin. Üretimdeki başarısızlıkların çoğu bunlardan biri (veya birkaçı) ile ilgilidir.

Sonuç

Underfitting ve overfitting, bir modelin genellemede başarısız olmasının iki yoludur. Biri deseni öğrenemeyecek kadar basit kalır. Diğeri veri kümenizdeki her noktayı öğrenmeye çalışır.

Eğitimin gerçek hedefi, bias ve varyansın dengelendiği ve toplam hatanın en düşük olduğu ikisinin arasında bir yere ulaşmaktır.

Doğrulama performansı size nerede olduğunuzu söyleyen metriktir. Eğitimi izlerken onu takip edin ve eğitim ile doğrulama hatası arasındaki farkın kararlarınızı yönlendirmesine izin verin. Eğitim hatası düşmeye devam ederken doğrulama hatası iyileşmeyi bırakıyor veya artıyorsa, tatlı noktayı geçmişsinizdir. Her ikisi de yüksek kalıyorsa, henüz oraya ulaşmadınız demektir.

2026’da daha ileri düzey veri bilimi kavramlarını öğrenmek ve işe hazır hale gelmek mi istiyorsunuz? Machine Learning Engineer kariyer yolumuza kaydolun; temelden MLOps’a uzanın.