Çok Değişkenli Doğrusal Regresyon: Birden Fazla Sonucu Modellemede Kılavuz

Bazen aynı verileri kullanarak hem satışları hem de müşteri kaybını tahmin etmek gibi, aynı anda birden fazla şeyi öngörmeniz gerekir.

Bu yazıda, bunu nasıl çok görevli yapacağınızı göstereceğim. Size çok değişkenli doğrusal regresyonu anlatacağım. Ne olduğunu, nasıl çalıştığını, ne zaman kullanmanız gerektiğini ve pratikte nasıl uygulayacağınızı öğreneceksiniz. Sonunda, gerçek dünya problemlerine uygulamaya hazır olacaksınız. 

Regresyona yeniyseniz, önce R ile Regresyona Giriş veya Python'da statsmodels ile Regresyona Giriş içeriğimize göz atmak isteyebilirsiniz.

Çok Değişkenli Doğrusal Regresyon Nedir?

Çok değişkenli doğrusal regresyon, birden fazla bağımsız değişken ile birden fazla bağımlı değişken arasındaki ilişkiyi modelleyen istatistiksel bir tekniktir. İsmi benzer olduğu için bazen çoklu doğrusal regresyon ile karıştırılır; ben de daha önce karıştırmıştım. Ancak çoklu doğrusal regresyon, birden fazla yordayıcıyı kullanarak tek bir sonucu tahmin ederken, çok değişkenli doğrusal regresyon aynı anda birden fazla sonucu tahmin etmeniz gereken durumlar için tasarlanmıştır.

Kuramsal Temeller ve Model Kurulumu

Az önce çok değişkenli regresyonun ne olduğuna ve ne zaman kullanılacağına dair bir çerçeve verdim. Şimdi modelin nasıl yapılandığına ve hangi varsayımlara dayandığına geçeyim.

Matris gösterimi

Çok değişkenli regresyon, aynı anda birden fazla sonucu modellemek için matrise dayalı bir kurulum kullanır:

Burada:

• Y, n×p boyutunda bağımlı değişkenler matrisidir (n gözlem, p yanıt değişkeni)
• X, sabiti de içeren n×(k+1) boyutunda bağımsız değişkenler matrisidir
• B, (k+1)×p boyutunda regresyon katsayıları matrisidir
• E, n×p boyutunda hata terimleri matrisidir

Bu yaklaşım, farklı yanıt değişkenlerinin hata terimlerinin korelasyonlu olabileceğini kabul eder; bu da ayrı tek değişkenli modellere göre daha verimli parametre tahminlerine yol açabilir. 

Varsayımlar

Modeli kullanmadan önce, sağlanması gereken varsayımları—ve sağlanmıyorsa ne yapılacağını—anlamak önemlidir.

• Doğrusallık: Her yordayıcı her bir sonuçla doğrusal ilişki kurmalıdır. Doğrusal olmayan ilişkiler sonuçlarınızı saptırır. 
• Bağımsızlık: Gözlemleriniz bağımsız olmalıdır. Değilse (zaman serileri veya kümelenmiş veriler aklıma geliyor), standart hatalar güvenilmez hale gelir.
• Çok değişkenli normallik: Hata terimleri çok değişkenli normal dağılımı izlemelidir. Bu tam olarak doğru olmasa bile, katsayı tahminleriniz yanlı değildir; ancak güven aralıklarının ve hipotez testlerinin doğruluğu zedelenebilir. Shapiro–Wilk testi her bir sonuç için tek tek normalliği değerlendirebilse de, artıklar arasındaki korelasyonları hesaba katan Mardia testi gibi özel testler çok değişkenli normalliği değerlendirmede daha uygundur.
• Homoskedastisite: Hata varyansı yordayıcılar ve sonuçlar genelinde sabit olmalıdır. Aksi halde model daha az verimli olur. 
• Kusursuz çoklu doğrusal bağlantı olmamalı: Yordayıcılarınız kusursuz şekilde korelasyonlu olmamalıdır. 

Bu varsayımlar sağlanmıyorsa, uyarlama yapmanız gerekir. Örneğin, doğrusal olmama veya normallik sorunlarını gidermek için değişkenleri dönüştürmeyi deneyin, heteroskedastisiteyi ele almak için ağırlıklı en küçük karelere geçin veya çoklu doğrusal bağlantı problemleri için ridge regresyon kullanın.

Kategorik değişkenlerin ele alınması

Kategorik değişkenlerle çalışıyorsanız, önce bunları kukla (dummy) değişkenlere dönüştürmeniz gerekir. 

k kategorili bir değişken için k-1 kukla değişken oluşturun. Bu, kukla değişken tuzağı olarak bilinen fazlalığı önler. Dışarıda bırakılan kategori referans düzeyi olur. Katsayılarınız, bu temel düzeye göre farkı yansıtacaktır. Bu nedenle, yorumu kolaylaştıracak bir referans seçmek değerlidir.

Tahmin Teknikleri ve Verimlilik

Model yapısı ve varsayımlar yerindeyken, katsayıların nasıl tahmin edildiğine ve farklı yöntemlerin verimlilik ve doğruluk açısından nasıl karşılaştırıldığına bakalım.

En küçük kareler (OLS)

OLS varsayılan başlangıç noktasıdır ve doğal olarak çok değişkenli ortama genişler. Varsayımlar sağlandığı sürece yanlı olmayan katsayı tahminleri verir. Bireysel tahminler ayrı ayrı regresyonlar çalıştırmakla aynı olsa da, burada artıkların paylaşılıyor olması sayesinde sonuçlar arasında ortak hipotezleri test edebilirsiniz.

Sonuçlar korelasyonlu olduğunda, çok değişkenli OLS bu ilişkileri yakalar ve çoğu zaman (ama her zaman değil) genel tahmin kalitesini iyileştirir. 

Gauss–Markov teoremi

OLS'nin neden bu kadar yaygın kullanıldığını merak ediyor olabilirsiniz. Gauss–Markov teoremi bunu açıklar: Belirli varsayımlar altında OLS, En İyi Doğrusal Yanlı Olmayan Tahmin Edici'dir (BLUE). Yani, çoklu doğrusal bağlantı olmaması, doğrusal ilişkiler ve sabit varyans gibi olağan koşullar sağlandığında, tüm yanlı olmayan doğrusal tahmin ediciler arasında mümkün olan en küçük varyansı verir.

Ağırlıklı en küçük kareler (WLS)

Peki bu koşullar sağlanmıyorsa, özellikle sabit varyans koşulu bozuluyorsa? Bu durumda WLS'yi düşünürüm. Daha düşük hata varyansına sahip gözlemlere daha fazla, daha gürültülü olanlara daha az ağırlık verir.

WLS, bir ağırlık matrisi ekleyerek OLS sürecini ayarlar. Ağırlıkları, bir OLS modelinden elde edilen artıklar kullanılarak ya da verinizin hata yapısı hakkındaki kuramsal bilgilere dayanarak tahmin edebilirsiniz.

Büzülme (shrinkage) yöntemleri

Şimdi de yüksek boyutlu veriler veya çoklu doğrusal bağlantı içeren senaryolara dönelim. Büzülme yöntemleri burada faydalıdır. Varyansı azaltmak adına bir miktar yanlılığa izin verirler; bu da çoğu zaman tahmine yardımcı olur.

Ridge regresyon, bir L2 cezası (λ||B||²) ekleyerek tüm katsayıları sıfıra doğru küçültür. Her yordayıcının bir katkısı olabileceği durumlarda kullanışlıdır. LASSO, bazı katsayıları tamamen sıfırlayabilen L1 cezası uygular—değişken seçimi için yararlıdır. Elastic net ikisini harmanlayarak, yordayıcılar korelasyonlu olduğunda da seçim yaparken iyi performans gösterir.

Model Değerlendirmesi ve Çıkarım

Tahmini ele aldığımıza göre, şimdi modelinizin ne kadar iyi performans gösterdiğini değerlendirmeye ve ondan nasıl anlamlı sonuçlar çıkaracağınıza bakalım.

Uyum iyiliği

Çok değişkenli R-kare, modelinizin tüm sonuçlar genelindeki toplam varyasyonun ne kadarını açıkladığına dair bir fikir verir. Ancak tek değişkenli sürümün aksine, burada genellikle artık kovaryans matrisinin determinantı kullanılır ve her zaman 0 ile 1 arasında kalmayabilir.

Düzeltilmiş R-kare, birden fazla sonuçla birlikte parametre sayınız hızla arttığı için çok değişkenli ortamlarda özellikle önemlidir. Karmaşıklığı cezalandırarak aşırı uyumu önlemeye yardımcı olur.

Güven elipsleri gibi görsel araçlar da faydalı olabilir. Bu elipsler, tahminlerdeki belirsizliği ve sonuç değişkenlerinin birbirleriyle nasıl ilişkili olduğunu gösterir. Dairesel elipsler bağımsızlığa, uzamış elipsler güçlü korelasyonlara işaret eder.

Hipotez testi

Modelinizin sadece gürültüyü uydurmanın ötesine geçip geçmediğini bilmek istediğinizde, hipotez testi kilittir.

Wilks' Lambda, belirli yordayıcıların sonuçlar kümesi genelinde anlamlı etkileri olup olmadığını test eder. Belirli yordayıcıları çıkarmanın açıklanamayan varyansı anlamlı şekilde artırıp artırmayacağını belirlemek için tam model ile azaltılmış modelin hata kovaryans matrislerini karşılaştırır. 

Hotelling’in T² testi çok değişkenli bir t-test gibi çalışır. Belirli bir yordayıcının, sonuçlar arasındaki korelasyonları dikkate alarak, en az bir sonucu etkileyip etkilemediğini değerlendirir.

Birden çok hipotezi aynı anda test ederken yanlış pozitif riskini yönetmeye ortak testler yardımcı olur. Bu, çok değişkenli regresyonda, çoklu karşılaştırmaların hızla kontrolden çıkabileceği durumlarda faydalıdır.

Model karşılaştırması

Modeller arasında karar vermek için AIC ve BIC kriterleri kullanışlıdır. Her ikisi de karmaşıklık için ayarlama yapar; bu, birden fazla sonucu modelliyorsanız özellikle önemlidir. AIC daha çok öngörü gücüne odaklanırken, BIC daha basit modelleri tercih etme eğilimindedir.

İç içe (iç içe geçmiş) modelleri karşılaştırmak için olabilirlik oranı testlerini de kullanabilirsiniz. Bunlar, yordayıcılar eklemenin model uyumunu anlamlı ölçüde iyileştirip iyileştirmediğini kontrol eder.

İleri Düzey Konular ve Kullanım Alanları

Standart çok değişkenli regresyon birçok problem için iyi çalışır, ancak bazen özel yaklaşımlar gerektiren durumlarla karşılaşırsınız. Belki yüzlerce yordayıcıyla uğraşıyorsunuz ya da değişkenleriniz standart varsayımları ihlal edecek şekilde birbirlerini etkiliyor. Bu daha zorlu senaryoların (bazılarını) şu şekilde ele alabilirsiniz.

Özellik seçimi

Çok sayıda yordayıcıyla çalışırken, özellik seçimi hem performans hem de yorumlanabilirlik için gerekli hale gelir. LASSO ('Least Absolute Shrinkage and Selection Operator'ın kısaltmasıdır) burada öne çıkar; çünkü modeli kurarken alakasız yordayıcıları otomatik olarak sıfıra indirebilir.

Tüm katsayıları sıfıra doğru küçülten ama hepsini tutan ridge regresyonun aksine, LASSO seyrek çözümler üreten bir L1 cezası kullanır. Bu da yalnızca bir alt kümenin gerçekten önemli olduğundan şüphelendiğiniz durumlarda onu çok başarılı kılar.

Endojenlikle başa çıkma

Bazen yordayıcılarınız, sonuçlarınızı etkilerken aynı zamanda onlardan da etkilenir. Eğitimin geliri etkilediği, ancak gelirin de eğitime erişimi etkilediği durumu düşünüyorum. Bu, standart regresyon tahminlerini güvenilmez kılan endojenlik denen durumu yaratır.

Araç değişkenler (instrumental variables) bunu iki aşamalı bir süreçle çözer. Önce bir "araç" bulursunuz; yani sorunlu yordayıcınızı etkileyen, ancak sonucunuzu doğrudan etkilemeyen bir değişken. Ardından bu aracı kullanarak yordayıcınızın temiz kısmını tahmin eder ve bu tahminleri nihai regresyonunuzda kullanırsınız. Bu, döngüsel ilişkiyi kırmalı veya azaltmalı ve güvenilir ya da daha güvenilir tahminler vermelidir.

Yazılımda uygulama

Çoğu istatistik paketi çok değişkenli regresyonu destekler, ancak farklı güçlü yönlerle. Python'da sklearn.linear_model.LinearRegression gerçek çok değişkenli regresyon için yerel olarak birden fazla sonucu destekler. Bana göre statsmodels hipotez testleri dahil daha ayrıntılı istatistiksel çıktı sağlar. R dilini tercih eden programcılardansanız, temel çok değişkenli modeller için yerleşik lm() işlevini kullanabilir veya daha gelişmiş tanılama için car paketini tercih edebilirsiniz.

PLS gibi alternatifler

Kısmi En Küçük Kareler (PLS), gözlemlerden daha fazla yordayıcıya sahip olduğunuzda veya çoklu doğrusal bağlantı sorun yarattığında işe yarar. Tüm yordayıcıları doğrudan kullanmak yerine, PLS, sonuçlarınızı tahmin etmek için en ilgili bilgiyi yakalayan örtük değişkenler oluşturur. Bu yaklaşım, yüzlerce veya binlerce yordayıcıya ancak nispeten az gözleme sahip olabildiğiniz kemometri ve biyoinformatik gibi alanlarda özellikle iyi çalışır.

PLS, yordayıcı uzayınızda hem yordayıcı varyansını hem de sonuç kovaryansını açıklayan yönleri bulur. Yorumlamadan ziyade tahmin doğruluğunun daha önemli olduğu durumlarda özellikle faydalıdır. Standart DDR, çok sayıda korelasyonlu yordayıcıyla kararsız hale gelebilirken, PLS zorlu durumlarda bile dengeli kalır.

Güven elipsleri

Basit güven aralıkları, sonuçlar arasındaki korelasyonları göz ardı ettikleri için çok değişkenli tahminlerde iyi çalışmaz. Güven elipsleri, sonuç çiftleri için ortak belirsizliği gösterir ve farklı yanıt değişkenleri arasında tahmin hatalarının nasıl korelasyonlu olduğunu ortaya koyar. Bu elipsler, tahminlerinizdeki ilişki yapısı hakkında bilgi verir. Dairesel elipsler, sonuçlarınızın bağımsız olarak tahmin edildiğini; uzamış elipsler ise güçlü korelasyonları gösterir.

Uzamış elipslerin yönelimi, sonuçların hangi doğrusal birleşimlerinde belirsizliğin en fazla ve en az olduğunu gösterir. Bunları tekil tahminler veya parametre tahminleri için çizebilirsiniz; sonuçları sunarken faydalıdırlar çünkü tahminlerinizin farklı yönlerine ne kadar güvenmeniz gerektiğini sezgisel bir görsel olarak sunarlar.

Pratik Hususlar ve Python'da Örnek

Kuramdan pratiğe geçmek, dağınık verilerle uğraşmak ve modelinizin gerçekten çalıştığından emin olmak demektir. Çok değişkenli regresyonun pratik tarafını şöyle yönetebilirsiniz.

Ön işleme

Herhangi bir çok değişkenli modeli kurmadan önce verinizi uygun hale getirmeniz gerekir. Yordayıcılar farklı birimlere sahip olduğunda ölçekleme ve merkezleme özellikle önemlidir. Standardizasyon olmadan geliri (binlerle) yaşla (yıl) karşılaştırmaya çalıştığınızı düşünün. Çoğu algoritma, özellikler benzer ölçeklerde olduğunda daha iyi çalışır.

Eksik değerler başka bir zorluktur. Eksik verili satırları düşürebilirsiniz; ancak bu, bilgiyi israf eder ve yanlılık yaratabilir. Daha iyi yaklaşımlar arasında sayısal değişkenler için ortalama ile atama veya birden çok olası veri kümesi oluşturan ve bunlar arasında sonuçları birleştiren çoklu atama gibi daha sofistike yöntemler bulunur.

Model doğrulama

Çapraz doğrulama, modelinizin eğitim verilerinin ötesine ne kadar iyi genelleştiğini anlamanıza yardımcı olur. Çok değişkenli regresyon için k-katlı çapraz doğrulama, verinizi k gruba bölerek, k-1 grup üzerinde eğitim yapıp kalan grup üzerinde test ederek çalışır. Bunu k kez tekrarlayın ve performansın sağlam bir tahminini elde etmek için sonuçların ortalamasını alın.

Bootstrapping ise özellikle parametre belirsizliğini anlamak için faydalı bir başka doğrulama yaklaşımıdır. Orijinal verinizden yerine koyarak örnekleme ile yeni veri kümeleri oluşturur, her bootstrap örneğine modeller kurar ve parametre tahminlerinin dağılımını inceler. Bu, katsayılarınızın ne kadar kararlı olduğunu gösterir ve güven aralıkları oluşturmaya yardımcı olur.

Vaka çalışması

Bir malzeme test verisi setini kullanarak somut bir örneğe bakalım. Mühendisler genellikle betonun basınç dayanımı ve işlenebilirlik gibi birden fazla özelliğini, çimento miktarı, su oranı ve agrega türü gibi karışım bileşenlerine göre tahmin etmeye ihtiyaç duyar. Bu, sonuçlar ilişkili ama farklı olduğu için çok değişkenli regresyon için oldukça uygundur.

Analiz, karışım bileşenleri ile sonuçlar arasındaki korelasyonları keşfetmek, yordayıcılar arasında çoklu doğrusal bağlantıyı kontrol etmek ve ilişkilerin doğrusal görünüp görünmediğini incelemekle başlar. Ön işlemden (karışım oranlarını ölçeklendirme ve eksik ölçümleri ele alma) sonra, çok değişkenli modeli kurar ve yeni beton karışımlarında tahminlerin geçerliliğini sağlamak için çapraz doğrulama ile doğrularsınız.

Kod örneği

Python ile temel adımları gösteren basit bir iş akışı burada. Önce verimizi kuralım ve ön işlemi halledelim:

import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_score
from sklearn.metrics import mean_squared_error

# Load and prepare data (assuming concrete dataset)
# X: mixture components (cement, water, aggregate, etc.)
# y: multiple outcomes (strength, workability, durability)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)Altyapı:

Bu ön işleme adımı, tüm yordayıcıları ortalaması sıfır ve varyansı bir olacak şekilde standartlaştırır; bu da sayısal kararlılığa ve yorumlamaya yardımcı olur.

Sırada çok değişkenli modeli kurmak ve sonuçları incelemek var:

# Fit multivariate regression
mlr_model = LinearRegression()
mlr_model.fit(X_scaled, y)

# Get coefficients for each outcome
for i, outcome in enumerate(['strength', 'workability', 'durability']):
   coeffs = mlr_model.coef_[:, i]
   print(f"{outcome} coefficients: {coeffs}”)Altyapı:

LinearRegression modeli, tüm sonuçlar arasındaki korelasyonları aynı anda dikkate alan tek bir çok değişkenli regresyon kurar. Katsayılar, her bir karışım bileşeninin her beton özelliğini nasıl etkilediğini gösterir.

Son olarak, modelin güvenilirliğini kontrol etmek için doğrulayalım:

# Cross-validation for each outcome
cv_scores = cross_val_score(mlr_model, X_scaled, y, 
                           cv=5, scoring='neg_mean_squared_error')
print(f"Average CV score: {-cv_scores.mean():.3f}")

# Make predictions on new data
y_pred = mlr_model.predict(X_scaled)
mse_per_outcome = [mean_squared_error(y[:, i], y_pred[:, i]) 
                   for i in range(y.shape[1])]
print(f"MSE per outcome: {mse_per_outcome}")Altyapı:

Çapraz doğrulama, modelin görülmemiş verilerde ne kadar iyi performans gösterdiğine dair dürüst bir tahmin verir. Sonuç başına MSE puanları, hangi beton özelliklerinin daha kolay ya da daha zor doğru tahmin edildiğini anlamanıza yardımcı olur.

Sınırlamalar ve Alternatifler

Çok değişkenli doğrusal regresyon birçok problem için iyi çalışsa da belirgin sınırları vardır. En büyük sınırlama adında gizlidir—yordayıcılar ile sonuçlar arasında doğrusal ilişkiler varsayar. İlişkiler eğrisel, etkileşim ağırlıklı veya başka şekilde doğrusal değilse, DDR yanlı sonuçlar verir. Yüksek boyutluluk başka bir sorun yaratır: Gözlemlere kıyasla çok sayıda yordayıcı bulunduğunda, model kararsızlaşır ve aşırı uyuma eğilimli olur.

Bu sınırlamaları daha iyi ele alabilen çeşitli alternatifler var. Genelleştirilmiş Doğrusal Modeller (GLM), çerçeveyi normal olmayan sonuçlara genişletir ve farklı bağ fonksiyonlarına izin verir. ANCOVA, hem sürekli hem de kategorik yordayıcıların etkileşim etkileriyle bulunduğu durumlarda iyi çalışır. Aşırı uyum sorunları için ridge ve LASSO gibi düzenlileştirme yöntemleri yardımcı olur; ayrıca doğrusal olmayanlık ve yüksek boyutları daha doğal şekilde ele alan rastgele ormanlar gibi topluluk yöntemlerini de deneyebilirsiniz.

Sonuç

Çok değişkenli doğrusal regresyon, birbiriyle ilişkili birden fazla sonucu aynı anda modellemek için sağlam bir yöntem sunar ve ayrı tek değişkenli modellerin kaçıracağı ilişkileri yakalar. Başlıca güçlü yönleri; yorumlanabilirlik, istatistiksel test kabiliyetleri ve korelasyonlu sonuçları verimli şekilde ele alma yeteneğidir. 

Standart DDR ile mi kalacağınız yoksa düzenlileştirilmiş regresyon, kısmi en küçük kareler ve topluluk yöntemleri gibi yaklaşımlara mı yöneleceğiniz; veri özelliklerinize, örneklem büyüklüğünüze ve belirli probleminizde tahmin mi yoksa yorumlamanın mı daha önemli olduğuna bağlıdır.

Becerilerinizi geliştirmek isterseniz, Python'da statsmodels ile Orta Düzey Regresyon kursumuz, birden fazla açıklayıcı değişkeni ve etkileşim etkilerini kapsar; R'da Genelleştirilmiş Doğrusal Modeller ise binom dağılımı ve sayım verileri için Poisson dağılımı gibi normal olmayan dağılımları ele almak üzere araç setinizi genişletir.