Artık Grafikler Açıklandı: Regresyon Modeli Varsayımları Nasıl Kontrol Edilir

Bir regresyon modeli kurdunuz, R^² fena görünmüyor ve katsayılar sezgisel olarak mantıklı. Ancak iyi görünen bir özet tablo, kötü belirlenmiş bir modeli gizleyebilir. Sayıların gözden kaçırdığını çoğu zaman tek bir saçılım grafiği yakalar: artık (residual) grafiği.

Bu makale, artık grafiklerin ne olduğunu, nasıl okunacağını, bilinmeye değer desenleri ve hem Python hem R'de nasıl oluşturulacağını ele alıyor. Çoğu yeni başlayan teşhis adımını tamamen atlar. Yazının sonunda siz atlamayacaksınız.

Artık Grafiği Nedir?

Artık, modelinizin öngördüğü ile gerçekte olan arasındaki farktır: artık = gözlenen − tahmin edilen. Bir artık grafiği bu farkları görünür kılar. x ekseni ya tahmin edilen (uydurulmuş) değerleri ya da bir açıklayıcı değişkeni, y ekseni ise artıkları gösterir. Sıfırda yatay bir referans çizgisi yer alır; bu, kusursuz tahmini temsil eder.

Sıfırın etrafında rastgele saçılım: sağlıklı bir artık grafiği. Görsel: Yazar. 

Temel fikir şu: Model ilişkinin özünü iyi yakaladıysa, artıklar gürültü gibi görünmelidir. Sıfırın etrafında rastgele dağılmış, belirgin bir desen yok. Bir şekil belirdiği anda, model katsayılarla söyleyemediklerini size anlatıyor demektir.

Artık Grafiği Nasıl Yorumlanır

Desen arayın. İdeal olarak belirgin bir desen olmamalı. Kuralın özü bu. İlginç olan kısım, artıkların konumu, yayılımı ve şeklinin neyi ortaya çıkardığıdır.

Konum: Saçılım sıfırın etrafında mı merkezlenmiş?

Uydurulmuş değerlerin bazı bölgelerinde artıkların sıfırın üstünde, bazılarında altında yer alması modelin yanlı olduğunu gösterir. Belirli bölgelerde sürekli olarak fazla ya da eksik tahmin yapıyor demektir. Bu genellikle eksik bir değişkene veya doğrusal bir çizgi modelinin yakalayamayacağı doğrusal olmayan bir ilişkiye işaret eder.

Yayılım: Varyans kabaca sabit mi kalıyor?

Soldan sağa tarayın. Artıkların yayılımı tüm uydurulmuş değerler boyunca kabaca aynıysa bu iyi bir işarettir. Uydurulmuş değerler arttıkça noktalar dışa doğru yelpaze gibi açılıyorsa varyans değişiyor demektir. Buna heteroskedastisite denir. Katsayı tahminlerini bozmaz, ancak standart hataları güvenilmez hale getirir; bu da herhangi bir hipotez testi yapıyorsanız önemlidir.

Şekil: Bir eğri ya da trend var mı?

İstediğiniz şey düz ve desensiz bir görünüm. U veya yay biçimi, modelin doğrusal olmayan bir terimi kaçırdığını söyler. Kümeler veya bantlar, modelin tek bir grup olarak ele aldığı alt grupları ima eder. Her şeyden uzak tek bir nokta da araştırmaya değerdir.

Yaygın Artık Grafik Desenleri ve Ne Anlama Geldikleri

Model sorunlarını işaret eden dört artık grafik deseni. Görsel: Yazar.

Sıfırın etrafında rastgele saçılım

İyi sonuç. Noktaların sıfır çizgisinin üstünde ve altında kabaca eşit dağılması, belirgin bir trend olmaması genellikle modelin ilişkiyi makul şekilde yakaladığını gösterir. Bir miktar rastgelelik beklenir.

Eğrisel desen

Eğri ya da yay biçimindeki bir desen genellikle modellenmemiş doğrusal olmayan bir ilişki anlamına gelir. Model, bükülen verilerin içinden düz bir çizgi geçiriyordur. Çözüm tipik olarak bir polinom terimi (x^² gibi) eklemek veya yordayıcıya bir dönüşüm uygulamaktır. Bu, özellikle konut fiyatları veya biyolojik büyüme gibi şeyleri modellendiğinde uygulamada daha yaygın desenlerden biridir.

Huni ya da yelpaze şekli

Uydurulmuş değerler arttıkça artıkların daha geniş yayılması: bu heteroskedastisitedir, yani varyans sabit değildir. Sonuç büyüklüğüyle birlikte tahmin hatalarının doğal olarak ölçeklendiği finansal verilerde yaygındır. Yanıt değişkenine log dönüşümü genellikle makul bir ilk adımdır; ağırlıklı en küçük kareler bir diğer seçenektir.

Kümeler veya gruplar

Artık grafikte belirgin gruplar görünmesi, verilerin modelin hesaba katmadığı alt popülasyonlar içerdiğini genellikle gösterir. Muhtemelen modele dahil edilmesi gereken bir kategorik değişken (bölge, tedavi grubu, ürün türü) vardır. İki ya da üç sıkı nokta bandı görürseniz, işe oradan başlayın.

Büyük, izole artıklar

Diğerlerinden çok uzakta duran tek bir nokta incelemeyi hak eder. Gerçek bir aykırı değer, veri girişi hatası veya alışılmadık özelliklere sahip bir gözlem olabilir. Otomatik olarak silmeyin. Önce anlayın. Tutup tutmama bağlama, kolaylığa değil, bağlama bağlıdır.

Bu desenlerin her biri için, artık grafiği bir semptomu belirtir; teşhis koymaz. Bir şeylerin ters gittiğini söyler; nedenini hâlâ sizin bulmanız gerekir.

Artık Grafikler Hangi Regresyon Varsayımlarını Kontrol Edebilir?

Bu desenleri akılda tutarak, bir artık grafiğinin hangi regresyon varsayımlarını değerlendirip hangilerini değerlendiremeyeceğini netleştirmekte fayda var.

• Doğrusallık: Yordayıcılarla sonuç arasındaki ilişki gerçekten doğrusal ise, artıklar uydurulmuş değerlere karşı çizildiğinde bir trend göstermemelidir. Bir eğri ya da yay, doğrusallığın sağlanmadığının doğrudan görsel işaretidir.
• Sabit varyans: Huni deseni heteroskedastisitenin ta kendisidir. Yayılım uydurulmuş değerlerle artıyorsa eşit varyans varsayımı ihlal edilmiştir. Artıklar–uydurulmuş değerler grafiği bunu yakalamak için muhtemelen en yaygın araçtır.
• Bağımsızlık: Gözlemlerinizin doğal bir sırası varsa (zaman, mekân, denek kümeleri) artıkları bu sıraya karşı çizerek desenleri kontrol edebilirsiniz. Zaman sırasına göre artan/azalan artıklar otokorelasyonu düşündürür. Ancak düz bir artıklar–uydurulmuş değerler grafiği bunu her zaman göstermez; bazen özel bir artıklar–sıra grafiğine ihtiyaç duyarsınız.
• Aykırı ve etkili gözlemler: Büyük, izole artıklar, modelin kötü tahmin ettiği gözlemleri işaretler. Özellikle regresyon doğrusunu orantısız biçimde çeken gözlemler (etki), Temsil Gücü (Leverage)–Artıklar grafiği temel artık grafiğinden daha bilgilendiricidir.

Artık grafiklerin güvenilir biçimde değerlendiremeyeceği bir şey normal dağılımdır. Düz bir artıklar–uydurulmuş değerler grafiği hataların normal dağıldığını doğrulamaz. Bunun için bir Q-Q grafiği gerekir. Bu yaygın bir kafa karışıklığı kaynağıdır ve akılda tutmaya değerdir.

Python'da Artık Grafiği Nasıl Oluşturulur

Standart iş akışı, modeli uyarlamak ve artıkları hesaplamak için scikit-learn, görselleştirmek için matplotlib kullanır. İşte konut verileri üzerinde basit doğrusal regresyonla tam bir örnek:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# Sample data: square footage predicting home price
sqft = np.array([800, 1000, 1200, 1500, 1800, 2000, 2200, 2500, 3000, 3500])
price = np.array([150, 180, 210, 260, 300, 330, 370, 420, 500, 560])

# Reshape for sklearn and fit the model
X = sqft.reshape(-1, 1)
model = LinearRegression()
model.fit(X, price)

# Generate predictions and calculate residuals
predicted = model.predict(X)
residuals = price - predicted

# Plot residuals against fitted values
plt.figure(figsize=(8, 5))
plt.scatter(predicted, residuals, color='steelblue', edgecolors='white', s=80)
plt.axhline(y=0, color='red', linestyle='--', linewidth=1.2)
plt.xlabel('Fitted Values')
plt.ylabel('Residuals')
plt.title('Residual Plot')
plt.tight_layout()
plt.show()

Kilit satır residuals = price - predicted. axhline() çağrısı sıfır referans çizgisini ekler; bu çizgi olmadan grafik çok daha zor okunur. Çıktı kabaca desensiz görünüyorsa durumunuz fena değildir. Uydurulmuş değerler yükseldikçe artıkların büyüdüğüne dikkat edin. Sadece 10 noktayla kesin konuşmak zor, ancak bu, daha önce tartıştığımız yelpaze şekline dair bir ipucu veriyor.

Python'da regresyona daha derin bir bakış için Python ile statsmodels'e Giriş kursumuz, model kurma, varsayım kontrolü ve yorumlamayı ayrıntılı olarak ele alır.

R'de Artık Grafiği Nasıl Oluşturulur

R bunu kutudan çıktığı haliyle biraz daha kolaylaştırır. lm() ile bir model kurduktan sonra, yerleşik plot() fonksiyonu otomatik olarak artıklar–uydurulmuş değerler grafiği de dahil tam bir teşhis paneli üretir.

# Same housing data in R
sqft <- c(800, 1000, 1200, 1500, 1800, 2000, 2200, 2500, 3000, 3500)
price <- c(150, 180, 210, 260, 300, 330, 370, 420, 500, 560)

# Fit the model and view diagnostics
housing_model <- lm(price ~ sqft)
plot(housing_model, which = 1) # which = 1 gives residuals vs. fitted

which = 1 argümanı sadece artıklar–uydurulmuş değerler grafiğini getirir. Bunu belirtmezseniz, dört standart teşhis grafiğinin tamamını alırsınız: artıklar–uydurulmuş, Q-Q, ölçek–konum ve artıklar–temsil gücü. Hızlıca tam bir resim istediğinizde kullanışlıdır. R ayrıca en uçtaki üç noktayı indeksleriyle etiketler; bu da aykırı değerleri elle arama zahmetini ortadan kaldırır.

R'de regresyona baştan sona bir bakış için R ile Regresyona Giriş kursumuz model kurma ve teşhisleri temelden itibaren kapsar.

Artık Grafikleri ve Diğer Regresyon Teşhis Grafikleri

Artıklar–uydurulmuş değerler grafiği başlangıç noktasıdır; tam resim değildir. İlgili birkaç grafik farklı soruları yanıtlar.

Artık grafiği ve Q-Q grafiği

Artıklar–uydurulmuş değerler grafiği doğrusallığı ve sabit varyansı kontrol eder. Q-Q grafiği ise normal dağılımı, yani artıkların normal dağılıma uyup uymadığını kontrol eder. Bunlar ayrı sorulardır. Temiz görünen bir artık grafiği normalliği garanti etmez ve bir Q-Q grafiği de size varyans hakkında bir şey söylemez. Genellikle her ikisini de istersiniz.

İki farklı grafik, modeliniz hakkında iki farklı soru. Görsel: Yazar.

Artık grafiği ve ölçek–konum grafiği

Ölçek–konum grafiği (yayılım–konum olarak da adlandırılır) uydurulmuş değerlere karşı, mutlak standartlaştırılmış artıkların karekökünü çizer. Heteroskedastisiteyi tespit etmek için tasarlanmıştır ve artıkların işaretini kaldırıp tamamen yayılıma odaklandığı için çoğu zaman huni desenini ham artık grafiğine göre daha kolay fark ettirir.

Artık grafiği ve artıklar–temsil gücü grafiği

Temsil gücü (leverage), bir gözlemin yordayıcı değerlerinin ne kadar sıra dışı olduğunu ölçer; modelin onu ne kadar kötü tahmin ettiğini değil. Yüksek temsil gücü ile büyük artık bir araya geldiğinde potansiyel olarak etkili bir gözlem söz konusudur. Artıklar–temsil gücü grafiği bu kombinasyonları belirler ve genellikle en sorunlu noktaları adıyla vurgular. Etkili gözlemlerin modelinizi bozmasından endişe ediyorsanız bu grafiği kontrol edin.

Artık Grafiği Sorun Gösterdiğinde Ne Yapmalı

Artık grafiği bir teşhistir, hüküm değil. Bir desen görmek modelin işe yaramaz olduğu anlamına gelmez. Yaygın desenlerin olası sonraki adımlarla eşleşmesi şöyle:

• Eğrisel desen: Bir polinom terimi eklemeyi veya bir yordayıcıyı dönüştürmeyi düşünün. x'in log dönüşümü ya da x² terimi çoğu zaman durumu düzeltir.
• Huni şekli: Yanıt değişkenine log ya da karekök dönüşümü deneyin. Bu işe yaramazsa, ağırlıklı en küçük kareler daha gürültülü gözlemlere daha az ağırlık verir.
• Büyük, izole artıklar: Gözlemi araştırın. Önce veri girişi hatalarını kontrol edin. Nokta meşruysa, onu sıra dışı kılan şeyi modelinizin hesaba katması gerekip gerekmediğini düşünün.
• Kümeler veya gruplar: Dahil etmediğiniz bir kategorik değişken arayın. Ayrı alt grup modelleri bazen doğru yanıttır.

Artık grafik semptomları gösterir. Size tam nedeni söylemez ve tek bir desen bazen birden fazla açıklamaya sahip olabilir. Bunu, daha iyi sorular sormanız için bir başlangıç noktası olarak kullanın.

Artık Grafiklerini Okurken Yapılan Yaygın Hatalar

• Mükemmel rastgele bir grafik beklemek: Gerçek veriler dağınıktır. Birkaç uyumsuz nokta, küçük asimetri, uçlarda biraz kümelenme: bunlar normaldir. Soru, grafiğin mükemmel şekilde rastgele olup olmadığı değil; daha iyi bir modelin ortadan kaldıracağı sistematik bir desen olup olmadığıdır.
• Her aykırı değeri kötü veri sanmak: Büyük bir artık, modelin o gözlemi kötü tahmin ettiği anlamına gelir. Gözlemin yanlış olduğu anlamına gelmez. Bazen aykırı değer, veri kümesindeki en ilginç noktadır. Ne olduğunu anladıktan sonra kaldırın.
• Artık grafiğinin normalliği kanıtladığını sanmak: Kanıtlamaz. Temiz bir artıklar–uydurulmuş değerler grafiği size doğrusallık ve sabit varyans hakkında bilgi verir. Normallik için Q-Q grafiği gerekir. Bu iki teşhis yöntemi birbirini tamamlar, birbirinin yerine geçmez.
• Bağlamı dikkate almadan grafiğe bakmak: Zaman serisi modelinden gelen bir artık grafiği, kesitsel bir veri setinden gelen grafikten farklı okunmalıdır. Endişe verici bir desenin ne sayılacağı veri yapısına, örneklem büyüklüğüne ve modelin ne için kullanıldığına bağlıdır. Tahmin modelinde düzeltmeye değer bir desen, keşifsel bir analizde göz ardı edilebilir olabilir.

Sonuç

Bir model kur, özeti kontrol et, R^² hakkında iyi hisset: çoğu kişi burada durur. Artık grafiği bundan sonra bakacağınız şeydir ve sık sık farklı bir hikâye anlatır. İstediğiniz şey sıfırın etrafında rastgele saçılımdır. Eğriler, huniler, kümeler ve aşırı, izole noktalar, modelin hesaba katmadığı bir şeyi işaret eder.

Tek bir grafik size tam resmi vermez. Artıklar–uydurulmuş değerler grafiğini normallik için bir Q-Q grafiği, varyans için bir ölçek–konum grafiği ve etkili gözlemler endişeyse bir temsil gücü grafiğiyle eşleştirin. Her biri farklı bir soruyu yanıtlar.

Daha ileri gitmek isterseniz, Python ile Orta Düzey statsmodels Regresyonu kursumuz, teşhislerin bir sorunu işaret ettiğinde nasıl yanıt verileceği de dahil olmak üzere varsayım kontrollerini derinlemesine ele alır. Regresyon varsayımları ve model değerlendirmesine daha geniş bir temel için, Python'da Doğrusal Regresyon Varsayımları eğitimimiz doğal bir sonraki okumadır.