Adımlı regresyon, ileri, geri ve iki yönlü aramayla yordayıcı seçimini otomatikleştirir; ancak basitliği, kararlılık ve aşırı uyum açısından ödünler getirir.
Hiç 20 yordayıcılı bir regresyon veri setine bakıp, hangilerini modele dahil etmeniz gerektiğini merak ettiniz mi?
Hepsini eklerseniz, model muhtemelen sinyalle birlikte gürültüyü de uyduracaktır. Elle seçerseniz, iki analist aynı veriye bakıp iki farklı model önerebilir. Üstelik söylemeye gerek yok, sadece 20 yordayıcıyla bile karşılaştırılacak bir milyondan fazla olası alt küme vardır.
Adımlı regresyon bu aramayı otomatikleştirir; p-değeri veya AIC gibi bir istatistiksel ölçüte göre her seferinde bir yordayıcı ekler ya da çıkarır. Yaygın olarak öğretilir ve kullanılır, ancak bazı istatistiksel sınırlamaları da vardır; bu yüzden varsayılan bir özellik seçimi yöntemi olarak görmemelisiniz.
Bu yazıda sizi üç temel yaklaşımdan geçireceğim: ileriye doğru seçim, geriye doğru eleme ve iki yönlü adımlı seçim.
Daha fazla özellik seçimi tekniği mi arıyorsunuz? Konuya yeni başlayanlar için Python Özellik Seçimi Eğitimi yazımızı okuyun.
Adımlı Regresyon Nedir?
Adımlı regresyon, hangi yordayıcıların bir regresyon modeline gireceğini seçmek için kullanılan otomatik bir prosedürdür.
Tek bir model uydurmaz; bunun yerine bir aday modeller dizisi uydurur ve her adımda bir seçim ölçütüne göre bir yordayıcı ekler veya çıkarır. Arama, hiçbir değişikliğin ölçüte göre modeli iyileştirmediği noktada biter.
Diyelim ki bir müşterinin yılda ne kadar harcayacağını tahmin etmek istiyorsunuz. Beş aday yordayıcınız var:
income
age
education
location
years_experience
Adımlı regresyon income ile başlayıp, ardından age modelin iyileşip iyileşmediğini, sonra education vb. test edebilir. Diğer üçü ölçütü yeterince iyileştirmiyorsa, nihai model yalnızca income ve education değişkenlerini tutabilir.
Unutulmaması gereken önemli bir ayrım, adımlı regresyonun ayrı bir regresyon modeli türü olmadığıdır.
Bu, genellikle doğrusal regresyon olmak üzere halihazırda bildiğiniz bir modelin üzerine çalıştırdığınız bir değişken seçimi prosedürüdür. Çıktı hâlâ sıradan bir regresyon modelidir; adımlı yöntem yalnızca hangi yordayıcıların seçileceğine karar verir.
Adımlı Regresyon Nasıl Çalışır
Her adımlı prosedür aynı döngüden geçer:
Başlangıç modeli: Hiç yordayıcı içermeyebilir, hepsini içerebilir ya da arada bir yerde olabilir
Bir değişiklik önerin: Bir yordayıcı ekleyin veya birini çıkarın
Yeni modeli puanlayın: Önceden tanımlı bir ölçütle değerlendirin
Değişikliği tutun veya reddedin: Yalnızca ölçüt yeni modelin daha iyi olduğunu söylüyorsa tutun
Tekrarlayın: Modeli iyileştiren bir değişiklik kalmayana kadar 2. adıma geri dönün
Adımlı regresyon döngüsü
Algoritma hiçbir zaman bir adımdan fazlasını öngörmez. Yalnızca bir sonraki tek değişikliğin yardımcı olup olmadığını sorar.
Ölçüt, "daha iyi"nin ne anlama geldiğine karar verir. En sık göreceğiniz dört ölçüt şunlardır:
P-değerleri: Bir yordayıcının p-değeri giriş eşiğinin altına düşerse modele girer, çıkarma eşiğinin üstüne çıkarsa modelden çıkar
AIC: Akaike bilgi ölçütü model uyumunu ödüllendirir ve her ekstra parametreyi cezalandırır; daha düşük değerler daha iyidir
BIC: Bayesçi bilgi ölçütü AIC gibi çalışır, ancak parametre başına cezası örneklem büyüklüğüyle artar, bu yüzden genellikle daha küçük modellerle sonuçlanır
Ayarlanmış R-kare: Normal R-kare bir yordayıcı eklediğinizde asla azalmaz, bu yüzden ayarlanmış sürüm, yordayıcı sayısını telafi eder ve daha yüksek değerler daha iyidir
Kesin prosedür, arama yönüne ve ölçüte bağlıdır. İleriye doğru seçim yalnızca yordayıcı ekler, geriye doğru eleme yalnızca çıkarır, iki yönlü seçim ise her ikisini yapar. Ayrıca aynı veri seti, seçtiğiniz ölçüte bağlı olarak farklı nihai modeller üretebilir.
Bu yüzden biri adımlı regresyon çalıştırdığını söylediğinde, sorulacak ilk iki soru yön ve ölçütün hangisi olduğudur.
Adımlı Regresyon Türleri
Üç tür adımlı regresyon vardır ve tek bir konuda farklılık gösterirler: aramanın yönü.
İleriye doğru seçim
İleriye doğru seçim küçük başlar ve oradan inşa eder.
Yalnızca sabit terimli bir modelle başlarsınız ya da ne olursa olsun modelde olmasını istediğiniz birkaç yordayıcıyla. Algoritma daha sonra kalan her yordayıcı için bir aday model uydurur; her biri o tek yordayıcının eklendiği bir modeldir. Ölçütü en çok iyileştiren yordayıcı modele girer.
Döngü daha sonra daha büyük model yeni temel olarak alınarak tekrar eder. Örneğin hiçbir ekleme AIC’yi düşürmediğinde, kalan hiçbir yordayıcı seçim kuralını karşılamadığında durur.
İleriye doğru seçim, tam modeli uydurmaya hiç ihtiyaç duymadığı için aday yordayıcı sayısı gözlem sayısından fazla olduğunda bile başlayabilir. Tuzak şu ki, bir yordayıcı bir kez modelde yer aldığında, daha sonraki eklemeler onu gereksiz kılsa bile modelde kalır.
Geriye doğru eleme
Geriye doğru eleme ters yönde ilerler.
Tüm aday yordayıcıları içeren tam modelle başlarsınız. Algoritma her seferinde bir yordayıcıyı çıkarmayı dener ve çıkarılması ölçütü en çok iyileştiren yordayıcıyı bırakır. Sonra daha küçük modeli yeniden uydurur ve tekrarlar. Hiçbir çıkarma ölçütü iyileştirmediğinde arama durur.
Bu yaklaşım, tam modelin tahmin edilebilir olması gerektiği anlamına gelir. Parametre sayısından fazla gözleme ihtiyacınız vardır ve hiçbir yordayıcı diğerlerinin tam lineer birleşimi olamaz. 50 yordayıcı ve 40 satırınız varsa, geriye doğru eleme başlayamaz bile.
Ve ileriye doğru seçimin ayna görüntüsü olan bir sorun taşır: Bir yordayıcı bir kez çıktı mı, bir daha geri dönmez.
İki yönlü adımlı seçim
İki yönlü seçim, ikisini birden birleştirir. Her eklemeden sonra algoritma, modelde zaten bulunan bir yordayıcının artık çıkarılması gerekip gerekmediğini kontrol eder.
Bu önemlidir çünkü bir yordayıcının değeri, modelde başka neler olduğuna bağlıdır. Diyelim ki bedrooms ev büyüklüğüyle ilişkili olduğu için önce giriyor. Daha sonra square_feet girdiğinde, bedrooms ona neredeyse hiçbir şey eklemeyebilir. İki yönlü seçim bu noktada onu çıkarabilirken, ileriye doğru seçim onu tutar.
Bedeli, adım başına daha fazla model uyumudur. İki yönlü seçime boş bir modelden de tam bir modelden de başlayabilirsiniz.
Üçünün karşılaştırması şöyle:
İleriye doğru seçim
Geriye doğru eleme
İki yönlü seçim
Başlangıç modeli
Yalnızca sabit terim veya küçük bir temel küme
Tüm adayların olduğu tam model
Boş ya da tam model
İzin verilen işlemler
Yalnızca ekleme
Yalnızca çıkarma
Ekleme veya çıkarma
Dikkat edilmesi gerekenler
Yordayıcılar gözlemlerden fazla olduğunda başlayabilir, ancak erken eklemeler yeniden gözden geçirilmez
Tahmin edilebilir bir tam modele ihtiyaç duyar ve çıkarılan yordayıcılar geri gelmez
Adım başına daha fazla model uyumu gerekir, ancak önceki kararları geri alabilir
Adımlı regresyon türleri
Adımlı Regresyon Örneği
Bunu daha somut hâle getirelim.
200 evden oluşan sentetik bir veri seti oluşturdum ve price değişkenini beş aday yordayıcıdan tahmin etmek istiyorum:
square_feet
bedrooms
age_years
distance_km (şehir merkezine uzaklık)
lot_size_sqft
Ölçüt olarak AIC ile ileriye doğru seçimi kullanacağım; daha düşük AIC daha iyidir. Aynı veriyi Python bölümünde tekrar göreceksiniz.
Yalnızca sabit terimli modelin AIC’si 5057.0. Her adımda olanlar şöyle — her hücre, o yordayıcıyı mevcut modele eklediğinizde elde edeceğiniz AIC’yi gösterir:
Aday
Adım 1
Adım 2
Adım 3
Adım 4
Adım 5
square_feet
4955.1
in model
in model
in model
in model
distance_km
5020.3
4855.6
in model
in model
in model
age_years
5050.2
4926.4
4841.4
in model
in model
lot_size_sqft
5057.9
4955.1
4844.4
4839.8
in model
bedrooms
4993.4
4950.0
4885.1
4842.0
4840.8
Mevcut model AIC
5057.0
4955.1
4885.6
4841.4
4839.8
AIC karşılaştırması
Her adımda olanlar şunlardır:
Adım 1:square_feet AIC’yi yaklaşık 102 puan düşürür, bu yüzden ilk giren odur. bedrooms ev büyüklüğü ile ilişkili olduğundan ikinci sırada gelir
Adım 2:distance_km en büyük düşüşü sağlar. bedrooms artık zar zor yardımcı olur, çünkü square_feet halihazırda bilgisinin çoğunu taşır
Adım 3:age_years girer
Adım 4:lot_size_sqft AIC’yi yalnızca 1.6 puan düşürür, ama düşük düşük demektir; bu yüzden girer
Adım 5:bedrooms eklemek AIC’yi 4840.8’e yükselteceğinden arama durur
Nihai model square_feet, distance_km, age_years ve lot_size_sqft değişkenlerini kullanır.
Bu makul bir sonuç. Verileri, bedrooms değişkeninin fiyat üzerinde doğrudan etkisi olmayacak şekilde ürettim ve prosedür onu dışarıda bıraktı.
Aynı veride geriye doğru eleremeyi çalıştırırsanız, 4840.8’deki tam modelle başlar, bedrooms değişkenini çıkarır ve aynı dört yordayıcıda durur. İleri ve geri yöntemler her zaman anlaşmayabilir, ama burada anlaşıyorlar.
Her ileri seçim adımından sonra mevcut modelin AIC’si
Adımlı Regresyonda Değişkenler Nasıl Seçilir
Aramanın yönü algoritmanın nasıl davrandığını belirler. Ölçüt ise ne zaman duracağını.
P-değeri temelli seçim
Bu en eski yaklaşımdır ve iki eşik kullanır:
Giriş eşiği: Bir adayın p-değeri bu değerin altındaysa modele girer; örneğin 0,05
Çıkarma eşiği: Bir yordayıcı p-değeri bu değerin üstüne çıkarsa modelden çıkar; örneğin 0,10
Çıkarma eşiği genellikle giriş eşiğinden daha yüksek ayarlanır, böylece bir yordayıcı her adımda modele girip çıkmaz. Her iki değer de kural değil, konvansiyondur.
Her p-değeri, önceden planladığınız tek bir testi çalıştırdığınızı varsayar. Adımlı yöntem her adımda bir dizi test çalıştırır ve en küçük p-değerini tutar. Eğer etkisi olmayan yordayıcılarda 0,05 düzeyinde 20 bağımsız test çalıştırırsanız, en az birinin anlamlı görünme olasılığı 1 − 0.95^20, yani yaklaşık %64’tür. Seçilen yordayıcılar gerçekte olduklarından daha güçlü görünecektir; nedenini sorunlar bölümünde ele alacağım.
Ev fiyatı örneğinde, lot_size_sqft 4. adımda yaklaşık 0,063’lük bir p-değerine sahiptir. 0,05 giriş eşiğiyle, ileriye doğru seçim üç yordayıcıda durur.
AIC
Akaike bilgi ölçütü, model uyumu ile karmaşıklığı dengeler:
AIC formülü
Burada k tahmin edilen parametre sayısıdır ve L̂ modelin en çoklaştırılmış olabilirliğidir. İkinci terim uyumu ödüllendirir, ilk terim her parametre için 2 puan maliyet yazar.
Yeni bir yordayıcı olabilirliği asla düşürmez, bu yüzden uyum terimi yalnızca iyileşebilir. Soru, 2 puanlık maliyetten daha fazla iyileşip iyileşmediğidir. Tek bir ek parametre için, bu yaklaşık 0,157 p-değeri eşiğine sahip bir olabilirlik oranı testine denktir.
Bu nedenle lot_size_sqft AIC altında içeri girdi ama 0,05 p-değeri kuralı altında girmedi. AIC daha esnektir ve tahmini iyileştiren daha zayıf yordayıcıları tutma eğilimindedir.
BIC
Bayesçi bilgi ölçütü aynı yapıya sahiptir, ancak farklı bir cezaya:
BIC formülü
Bu formülde n gözlem sayısıdır. Her parametre artık 2 yerine ln(n) puana mal olur, bu nedenle 8 veya daha fazla gözlem olduğunda BIC, AIC’ye göre karmaşıklığı daha fazla cezalandırır. Ve fark, örneklem büyüklüğüyle artar.
200 evle, ln(200) yaklaşık 5,3’tür; bu da tek bir ek parametre için yaklaşık 0,021’lik örtük bir p-değeri eşiğine karşılık gelir. Ev verisinde BIC ile ileriye doğru seçim üç yordayıcıda durur ve lot_size_sqft değişkenini dışarıda bırakır.
Ayarlanmış R-kare
Sıradan R-kare, bir seçim ölçütü olarak işe yaramaz.
Doğrusal bir regresyon modeline bir yordayıcı eklediğinizde, rastgele gürültü sütunu bile olsa asla azalmaz. R-kareye göre seçerseniz, tam model her zaman en iyisidir.
Ayarlanmış R-kare, yordayıcı sayısı için bir ceza ekler:
Ayarlanmış R-kare formülü
Burada p yordayıcı sayısıdır ve daha yüksek değerler daha iyidir. Ceza hafiftir. Yeni bir yordayıcı, t-istatistiğinin mutlak değeri 1’in üzerinde olduğunda ayarlanmış R-kareyi artırır; bu nedenle dördü arasında en esnek olan ölçüttür.
Ev verisinde ayarlanmış R-kare, lot_size_sqft değişkenini tutar ve bedrooms değişkenini beşinci ondalık basamakta bir farkla reddeder.
Her iki dil de adımlı regresyon çalıştırabilir, ancak bunu farklı şekillerde yaparlar. Her ikisinde de yukarıdaki örnekteki aynı ev fiyatı verisini kullanacağım.
Python’da adımlı regresyon
Python’un standart bir adımlı regresyon fonksiyonu yoktur.
Ne statsmodels ne de scikit-learn, AIC veya p-değerleriyle yordayıcı seçen R’deki step() fonksiyonunun eşdeğerine sahiptir. Bu yüzden en şeffaf seçenek, döngüyü statsmodels üzerine kendiniz yazmaktır. Yaklaşık 25 satırdır ve verdiği her kararı görebilirsiniz.
Açık olmak gerekirse, aşağıdaki forward_selection() işlevi benim yardımcı fonksiyonumdur; bir statsmodels özelliği değildir. statsmodels yalnızca modelleri uydurur ve onların .aic ve .bic özniteliklerini raporlar.
Önce veri setini üretin ve kaydedin; böylece R bölümü aynı satırları kullanabilsin:
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
rng = np.random.default_rng(42)
n =200
square_feet = rng.normal(1800,450, n).clip(700,3500)
bedrooms = np.clip(np.round(square_feet /600+ rng.normal(0,0.6, n)),1,6)
age_years = rng.uniform(0,60, n)
distance_km = rng.uniform(1,30, n)
lot_size_sqft = rng.normal(6000,1500, n).clip(2000,12000)# Bedrooms has no direct effect on price, lot size has a small one
price =(60000+140* square_feet
-1200* age_years
-3500* distance_km
+4* lot_size_sqft
+ rng.normal(0,45000, n))
house = pd.DataFrame({"square_feet": square_feet,"bedrooms": bedrooms,"age_years": age_years,"distance_km": distance_km,"lot_size_sqft": lot_size_sqft,"price": price,})
house.to_csv("house_prices.csv", index=False)Altyapı:
Sırada seçim döngüsü var. Yalnızca sabit terimli modelden başlar, kalan her aday için bir model uydurur ve ölçüt değeri en düşük olan eklemeyi tutar:
defforward_selection(data, target, candidates, criterion="aic"):
selected =[]
remaining =list(candidates)# Score the intercept-only model first
null_model = smf.ols(f"{target} ~ 1", data=data).fit()
current_score =getattr(null_model, criterion)print(f"Start: {criterion.upper()} = {current_score:.1f}")while remaining:# Fit one model per remaining candidate
scores ={}for candidate in remaining:
formula =f"{target} ~ {' + '.join(selected +[candidate])}"
scores[candidate]=getattr(smf.ols(formula, data=data).fit(), criterion)
best =min(scores, key=scores.get)# Stop when the best addition doesn't lower the criterionif scores[best]>= current_score:print(f"Stop: adding {best} gives {scores[best]:.1f}")break
selected.append(best)
remaining.remove(best)
current_score = scores[best]print(f"Add {best}: {criterion.upper()} = {current_score:.1f}")return selected
candidates =["square_feet","bedrooms","age_years","distance_km","lot_size_sqft"]
aic_predictors = forward_selection(house,"price", candidates, criterion="aic")print()
bic_predictors = forward_selection(house,"price", candidates, criterion="bic")Altyapı:
Python’da ileri seçim
Bunlar, örnek tablodakiyle aynı AIC değerleridir. AIC dört yordayıcıyla biter ve BIC, lot_size_sqft daha büyük cezasını aşamadığı için üçte durur.
Bir paket kullanmayı tercih ederseniz, scikit-learn’de SequentialFeatureSelector vardır. İleri veya geri seçimi çalıştırır, ancak her adayı AIC veya p-değerleri yerine çapraz doğrulama ile puanlar:
from sklearn.feature_selection import SequentialFeatureSelector
from sklearn.linear_model import LinearRegression
X = house.drop(columns="price")
y = house["price"]
sfs = SequentialFeatureSelector(
LinearRegression(),
n_features_to_select="auto",
tol=0.001,
direction="forward",
scoring="r2",
cv=5,)
sfs.fit(X, y)print(list(X.columns[sfs.get_support()]))Altyapı:
Python’da seçilen özellikler
n_features_to_select="auto" ile, arama çapraz doğrulamalı R-kare tol değerinden daha az iyileştiğinde durur. Bu veride, AIC ile aynı dört yordayıcıyla biter.
R’da adımlı regresyon
R’da adımlı regresyon yerleşik olarak vardır.
step() fonksiyonu, temel R’nin stats paketiyle gelir; yani kurulum gerekmez. Ona bir başlangıç modeli, dikkate alabileceği en büyük modeli tanımlayan bir kapsam (scope) ve bir yön verirsiniz:
# Load the same data generated in the Python section
house <- read.csv("house_prices.csv")# Intercept-only model and full model
null_model <- lm(price ~1, data = house)
full_model <- lm(
price ~ square_feet + bedrooms + age_years + distance_km + lot_size_sqft,
data = house
)# Forward selection with AIC
aic_model <- step(null_model, scope = formula(full_model), direction ="forward")# Forward selection with BIC
bic_model <- step(
null_model,
scope = formula(full_model),
direction ="forward",
k = log(nrow(house)))
formula(aic_model)
formula(bic_model)Altyapı:
R’da AIC ve BIC formülleri
step() fonksiyonunun en aza indirdiği ölçüt tek bir argümanla kontrol edilir — k.
-2 log-likelihood + k * edf hesaplar; burada edf tahmin edilen katsayı sayısıdır. Varsayılan k = 2 size AIC verir. k = log(n) ayarlarsanız BIC elde edersiniz, ancak yazdırılan iz hâlâ değerleri "AIC" olarak etiketler; bu sizi şaşırtmasın.
Geriye doğru eleme için, tam modelden başlayın:
backward_model <- step(full_model, direction ="backward")Altyapı:
Bu veride bedrooms değişkenini çıkarır ve ileri AIC ile aynı dört yordayıcıda durur. Bir scope geçirir ve direction belirtmezseniz, step() varsayılan olarak iki yönlü seçimi çalıştırır.
Adımlı Regresyon vs. Diğer Özellik Seçimi Yöntemleri
Adımlı regresyon yordayıcı seçmenin tek yolu değildir. İşte üç popüler alternatife göre karşılaştırması.
Adımlı regresyon vs. en iyi alt küme seçimi
Adımlı regresyon bir açgözlü aramadır. Her adımda en iyi tek hamleyi yapar ve iki yönlü çalıştırmadığınız sürece geri dönüp bakmaz.
En iyi alt küme seçimi, yordayıcıların her olası kombinasyonunu uydurur ve ölçüt değeri en iyi olanı tutar. 5 yordayıcıyla 32 modeldir. 20 ile bir milyondan fazladır, 40 ile trilyonları aşar. R’nin leaps paketindeki dal-kes (branch-and-bound) gibi algoritmalar işin çoğunu atlayabilir; ancak maliyet yine de yordayıcı sayısıyla hızla artar.
Ev fiyatı verisinde, AIC ile en iyi alt küme seçimi ileriye doğru seçimle aynı dört yordayıcıyı seçer. Bu her zaman böyle olmayacaktır; aklınızda bulundurun.
Adımlı regresyon vs. Lasso regresyonu
Adımlı regresyon evet-hayır kararları verir. Bir yordayıcı ya modeldedir ve en küçük kareler katsayısı tamdır ya da modelde değildir ve katsayısı sıfırdır.
Lasso regresyonu tüm yordayıcıları aynı anda uydurur ve mutlak katsayı değerlerinin toplamına bir ceza ekler. Bu ceza her katsayıyı sıfıra doğru küçültür ve en zayıfları tamamen sıfıra iter; böylece seçim ve tahmin tek adımda gerçekleşir.
Verideki küçük bir değişiklik Lasso katsayılarını azıcık oynatırken, adımlı bir kararı modelde var-yok olarak çevirebilir. Ceza gücünü çapraz doğrulamayla belirlersiniz; örneğin scikit-learn’de LassoCV ya da R’da cv.glmnet() ile.
Küçültülmüş katsayılar kasıtlı olarak sıfıra doğru yanlıdır. Bu, daha kararlı tahminler ve örneklem dışı daha iyi öngörüler için yaptığınız bir değiş-tokuştur.
Adımlı regresyon vs. yinelemeli özellik eleme
Yinelemeli özellik eleme (RFE), geriye doğru elemeye benzer görünür. Tüm özelliklerle bir model uydurur, en zayıf olanları çıkarır, yeniden uydurur ve tekrarlar.
Fark, "en zayıf"ın ne anlama geldiğidir. Geriye doğru eleme AIC veya p-değeri gibi istatistiksel bir ölçüt kullanır. RFE ise modelin kendi önem puanlarını kullanır; katsayı büyüklükleri veya ağaç tabanlı özellik önemleri gibi.
Bu, RFE’yi öncelikle bir makine öğrenmesi aracı yapar. Özellik önemi olan herhangi bir modelle çalışır; rastgele ormanlar ve destek vektör makineleri dahil. Genellikle scikit-learn’de RFECV ile çapraz doğrulama eşliğinde kullanırsınız. İyi tahmin yapan bir özellik kümesi elde edersiniz; ancak olabilirlik temelli bir ölçüt veya p-değerleri yoktur.
Adımlı Regresyonla İlgili Sorunlar
Adımlı regresyonu çalıştırmak ve açıklamak kolaydır. Tam da bu nedenle sorunları gözden kaçırmak da kolaydır.
İstatistikçiler yöntemi onlarca yıldır eleştiriyor — Frank Harrell’ın Regression Modeling Strategies kitabı ve Whittingham vd. (2006), Journal of Animal Ecology içindeki makale iyi bilinen iki örnektir. 2018’de Journal of Big Data’da Gary Smith, potansiyel açıklayıcı değişken sayısı arttıkça adımlı regresyonun daha az etkili olduğunu, dolayısıyla çok fazla yordayıcı sorununu çözmediğini savunuyor.
Kararsız değişken seçimi
Verideki küçük değişiklikler, elde ettiğiniz yordayıcıları değiştirebilir.
Birkaç satırı kaldırırsanız veya aynı popülasyondan yeni bir örnek toplarsanız, adımlı yöntem farklı bir model döndürebilir. Seçilme eşiğine yakın yordayıcılar en kırılgan olanlardır. Ev fiyatı örneğinde lot_size_sqft gibi gerçek ama küçük bir etkiye sahip bir yordayıcı bir örnekte girebilir, bir sonrakinde dışarıda kalabilir. bedrooms gibi etkisi olmayan bir yordayıcı, örneklemin tesadüfen onu desteklediği durumlarda içeri sızabilir.
Bu önemlidir çünkü siz yalnızca tek bir örnek görürsünüz. Adımlı yöntemin size verdiği model, olası modeller aralığından yalnızca biridir ve çıktı bu aralığın ne kadar geniş olduğunu söylemez.
Yanlı katsayı tahminleri
Adımlı yöntem, yordayıcıları seçmek ve katsayılarını tahmin etmek için aynı veriyi kullanır.
Zayıf bir yordayıcı, çoğunlukla etkisinin gerçekte olduğundan daha güçlü göründüğü örneklemlerde modele girer. Daha zayıf göründüğü örneklemlerde ise dışarıda kalır. Bu yüzden seçim sonrası gördüğünüz katsayılar ortalamada fazla büyüktür.
Basitçe söylemek gerekirse, adımlı regresyon kazananları rapor eder ve kazananlar gerçekte olduklarından daha iyi görünür.
Yanıltıcı p-değerleri ve güven aralıkları
Bir regresyon özetindeki p-değerleri, modeli veriye bakmadan önce seçtiğinizi varsayar.
Adımlı yöntem bunun tersini yapar. Bir dizi test çalıştırır, eşiği geçen yordayıcıları tutar ve sonra bu yordayıcılar sanki test ettiğiniz tek yordayıcılarmış gibi p-değerleri rapor eder. Dolayısıyla p-değerleri çok küçük, güven aralıkları ise çok dardır.
Sorun, çok sayıda adayın etkisi olmadığında daha da büyüktür. David Freedman, 1983’te The American Statistician’da bunu gösterdi — saf gürültü yordayıcılarını tarayıp modeli yeniden uydurduğunda, ortada bulunacak bir şey olmamasına rağmen sonuç istatistiksel olarak anlamlı görünüyordu. Smith de aynı noktaya değinir: gereksiz değişkenler tesadüfen anlamlı olabilirken, gerçek olanlar eşiği kaçırabilir.
Bu p-değerlerini kanıt olarak raporlarsanız, gürültüyü rapor ediyor olabilirsiniz.
Aşırı uyum
Aşırı uyum aynı sorunun tahmin tarafıdır.
Her aday yordayıcı, adımlı yönteme yalnızca örneklemde var olan bir desene uyma şansı daha verir. Seçilen model, üzerinde kurulduğu veride iyi görünür; ancak bu desenler yeni veride tekrarlanmaz. Sonuç olarak model, örneklem içinde iyi uyum sağlayabilir ama örneklem dışında kötü performans gösterebilir.
Ve ne kadar çok aday yordayıcı verirseniz, orada olmayan desenleri bulmak için o kadar fazla şans tanımış olursunuz.
İlişkili yordayıcılar
İki yordayıcı benzer bilgi taşıdığında, adımlı yöntem aralarında seçim yapmak zorunda kalır ve seçim, örneklemdeki küçük farklara göre belirlenir.
square_feet ve bedrooms ev verisinde hafif bir örnektir — square_feet modelde bir kez yer aldığında, bedrooms neredeyse hiçbir şey eklemez. Daha güçlü korelasyonda, seçim neredeyse rastgele hâle gelir. Bir örneklem değişken A’yı, sonraki değişken B’yi tutar ve her model, sonucu neyin yönlendirdiğine dair farklı bir hikâye anlatır.
Hiçbiri güvenilir değildir. Adımlı yöntem size iki yordayıcının birbirinin yerine geçebildiğini söyleyemez, bu yüzden yalnızca birini seçer.
Açgözlü arama
Adımlı yöntem bir seferde bir karar verir ve her karar öncekilere bağlıdır.
Bu, en iyi modeli kaçırabileceği anlamına gelir. Diyelim ki iki yordayıcı tek başına işe yaramaz, ancak birlikte güçlüdür; bu, her birinin diğerindeki gürültüyü telafi etmesi durumunda olabilir. İleriye doğru seçim, tek bir adımda hiçbiri modeli iyileştirmediği için bunlardan herhangi birini asla eklemez.
Geriye doğru eleme ve iki yönlü seçim bu riski azaltır, ama ortadan kaldırmaz. Üçünden hiçbiri tüm kombinasyonları kontrol etmez; bu nedenle seçilen ölçüte göre en iyi modeli vaat edemezler.
Adımlı Regresyonu Ne Zaman Kullanmalısınız?
Adımlı regresyon dar bir işe yarayan bir araçtır.
Şu durumlar için iyi bir seçimdir:
Keşifsel analiz: Sonucu bir hipotez olarak ele aldığınız sürece hangi yordayıcıların önemli olabileceğine hızlı bir ilk bakış sağlar
Değişken seçimi öğretimi: Adım adım iz, model seçimi fikrini — sorunları dâhil — görmeyi kolaylaştırır
Aday kümesini daraltma: Sonucu kararlılık açısından kontrol etmek kaydıyla uzun bir yordayıcı listesini daraltabilir
Otomatik temel modeller: Daha özenli modellere kıyasla hızlı bir karşılaştırma modeli sağlar
Doğrulayıcı çıkarımlar ve nedensel analiz için yanlış bir seçimdir.
Amacınız bir yordayıcının etkisi olup olmadığını test etmekse, adımlı seçim sonrası p-değerleri bu soruyu yanıtlayamaz. Amacınız nedenselse, doğru değişken kümesi, verinin nasıl üretildiğinden gelir — AIC’yi hangi değişkenlerin düşürdüğünden değil. Adımlı yöntem hangi değişkenin hangisine neden olduğunu bilmez.
Tahmin için daha iyi seçenekleriniz var. Düzenlileştirme yöntemleri olan Lasso ve elastik ağ daha kararlıdır ve çapraz doğrulamalı özellik seçimi, modelleri görmedikleri veriler üzerinde değerlendirir.
Adımlı Regresyon için En İyi Uygulamalar
Adımlı regresyon kullanmaya karar verirseniz, bu adımlar sonuçları daha dürüst kılabilir:
Makuldür yordayıcılarla başlayın: Algoritmaya eklediğiniz her ekstra aday, gürültüyü seçmesi için ona bir şans daha verdiğinden, yalnızca alan bilgisiyle gerekçelendirebileceğiniz adayları dahil edin
Ölçütü bilinçli seçin: AIC öngörüye, BIC daha küçük modellere meyleder ve p-değeri eşikleri konvansiyondur; bu yüzden amacınızla uyumlu olanı seçin ve bunu çalıştırmadan önce karar verin
Seçilen p-değerlerini olduğu gibi kabul etmeyin: Onları kanıt değil, betimleyici olarak ele alın; çünkü seçim zaten dayandıkları veriyi kullandı
Görülmeyen veride doğrulayın: Yalnızca nihai modeli değil, tüm prosedürü, bir ayırma setinde ya da çapraz doğrulamayla değerlendirin
Çoklu-bağlantıyı kontrol edin: Adaylar arasındaki korelasyonlara ve varyans şişirme faktörlerine bakın; böylece hangi seçimlerin rastgeleye yakın olabileceğini bilirsiniz
Kararlılığı test edin: Seçimi bootstrap örneklemlerinde yeniden çalıştırın ve her yordayıcının ne sıklıkla seçildiğini raporlayın
Diğer modellere karşı karşılaştırın: Bir Lasso modeli ve alan bilgisine dayalı bir model kurun ve adımlı yöntemin ayrılmış veride daha iyi yapıp yapmadığına bakın
Prosedürü raporlayın: Aday kümesini, yönü, ölçütü ve eşikleri yazın ki başkaları sonucu yeniden üretebilsin ve değerlendirebilsin
Sonuç
Adımlı regresyon yordayıcı seçimini otomatikleştirir. Bir seferde bir değişken ekler ya da çıkarır ve seçtiğiniz ölçütle hiçbir değişiklik modeli iyileştirmediğinde durur.
İleriye doğru seçim boş başlar ve yalnızca ekler. Geriye doğru eleme tam modelle başlar ve yalnızca çıkarır. İki yönlü seçim her ikisini yapar; böylece önceki bir kararı geri alabilir.
Ancak bu basitlik, seçilen yordayıcıların örneklemden örnekleme değişebileceği, modelin gürültüyü uydurabileceği ve seçim sonrası p-değerlerinin ve güven aralıklarının güvenilir olmadığı anlamına gelir. Bunu akılda tutmak gerekir. Bu yüzden adımlı regresyonu bir model seçimi tekniği olarak ele alın. Bir regresyon modeli kurmanın varsayılan yolu değildir.
Hırvatistan merkezli Kıdemli Veri Bilimci. 700’ün üzerinde yayımlanmış makaleyle 10 M+ görüntüleme elde eden, önde gelen bir teknoloji yazarı. TPOT ile Makine Öğrenimi Otomasyonu kitabının yazarı.
Adımlı Regresyon SSS
Adımlı regresyon nedir?⌄
Adımlı regresyon, hangi yordayıcıların bir regresyon modeline gireceğini seçmek için kullanılan otomatik bir prosedürdür. Her seferinde bir yordayıcı ekler veya çıkarır ve her değişikliği, AIC, BIC veya bir p-değeri eşiği gibi bir ölçütü iyileştiriyorsa tutar. Ayrı bir regresyon türü değildir; çünkü nihai sonuç hâlâ sıradan bir regresyon modelidir.
İleriye doğru seçim ile geriye doğru eleme arasındaki fark nedir?⌄
İleriye doğru seçim boş bir modelle başlar ve her adımda en faydalı yordayıcıyı ekler. Geriye doğru eleme tüm aday yordayıcılarla başlar ve her adımda en az faydalı olanı çıkarır. Geriye doğru elemenin başlayabilmesi için tam modelin tahmin edilebilir olması gerekir; bu yüzden yordayıcı sayısının gözlem sayısından fazla olduğu durumlarda başlayamaz.
Adımlı regresyon hâlâ iyi bir yöntem mi?⌄
Keşif, öğretim ve hızlı temel modeller için uygundur. Ancak kararsız yordayıcı setleri, yanlı katsayılar ve gerçekte olduklarından daha güçlü görünen p-değerleri üretir. Tahmin için genellikle Lasso gibi düzenlileştirme yöntemleri daha iyi bir seçimdir; nedensel sorular için ise yordayıcılar alan bilgisinden gelmelidir.
AIC ve BIC neden farklı modeller seçer?⌄
Her iki ölçüt de model uyumunu ödüllendirir ve ekstra parametreleri cezalandırır; ancak ceza farklıdır. AIC parametre başına 2 puan keserken, BIC ln(n) keser; bu da 8 veya daha fazla gözlem olduğunda daha büyüktür. Bu nedenle BIC genellikle, özellikle büyük veri setlerinde, daha küçük modellerle sonuçlanır.
Adımlı regresyonla seçilen bir modeldeki p-değerlerine güvenebilir miyim?⌄
Hayır, olduğu gibi güvenmeyin. P-değerleri, modeli veriye bakmadan önce seçtiğinizi varsayar; ancak adımlı yöntem hangi yordayıcıların tutulacağına karar vermek için aynı veriyi kullanır. Bu yüzden raporlanan p-değerleri çok küçük, güven aralıkları ise çok dardır.
Algoritmalar, sistem tasarımı ve davranışsal senaryoları kapsayan bu temel sorularla teknik mülakat sürecine hakim olun. Uzman cevapları, kod örnekleri ve kanıtlanmış hazırlık stratejileri edinin.
Git deponuzu temiz tutmak için .gitignore’u nasıl kullanacağınızı öğrenin. Bu eğitim; temelleri, yaygın kullanım durumlarını ve başlamanıza yardımcı olacak pratik örnekleri kapsar!
Hiç 20 yordayıcılı bir regresyon veri setine bakıp, hangilerini modele dahil etmeniz gerektiğini merak ettiniz mi?
Hepsini eklerseniz, model muhtemelen sinyalle birlikte gürültüyü de uyduracaktır. Elle seçerseniz, iki analist aynı veriye bakıp iki farklı model önerebilir. Üstelik söylemeye gerek yok, sadece 20 yordayıcıyla bile karşılaştırılacak bir milyondan fazla olası alt küme vardır.
Adımlı regresyon bu aramayı otomatikleştirir; p-değeri veya AIC gibi bir istatistiksel ölçüte göre her seferinde bir yordayıcı ekler ya da çıkarır. Yaygın olarak öğretilir ve kullanılır, ancak bazı istatistiksel sınırlamaları da vardır; bu yüzden varsayılan bir özellik seçimi yöntemi olarak görmemelisiniz.
Bu yazıda sizi üç temel yaklaşımdan geçireceğim: ileriye doğru seçim, geriye doğru eleme ve iki yönlü adımlı seçim.
Daha fazla özellik seçimi tekniği mi arıyorsunuz? Konuya yeni başlayanlar için Python Özellik Seçimi Eğitimi yazımızı okuyun.
Adımlı Regresyon Nedir?
Adımlı regresyon, hangi yordayıcıların bir regresyon modeline gireceğini seçmek için kullanılan otomatik bir prosedürdür.
Tek bir model uydurmaz; bunun yerine bir aday modeller dizisi uydurur ve her adımda bir seçim ölçütüne göre bir yordayıcı ekler veya çıkarır. Arama, hiçbir değişikliğin ölçüte göre modeli iyileştirmediği noktada biter.
Diyelim ki bir müşterinin yılda ne kadar harcayacağını tahmin etmek istiyorsunuz. Beş aday yordayıcınız var:
incomeageeducationlocationyears_experienceAdımlı regresyon
incomeile başlayıp, ardındanagemodelin iyileşip iyileşmediğini, sonraeducationvb. test edebilir. Diğer üçü ölçütü yeterince iyileştirmiyorsa, nihai model yalnızcaincomeveeducationdeğişkenlerini tutabilir.Unutulmaması gereken önemli bir ayrım, adımlı regresyonun ayrı bir regresyon modeli türü olmadığıdır.
Bu, genellikle doğrusal regresyon olmak üzere halihazırda bildiğiniz bir modelin üzerine çalıştırdığınız bir değişken seçimi prosedürüdür. Çıktı hâlâ sıradan bir regresyon modelidir; adımlı yöntem yalnızca hangi yordayıcıların seçileceğine karar verir.
Adımlı Regresyon Nasıl Çalışır
Her adımlı prosedür aynı döngüden geçer:
Adımlı regresyon döngüsü
Algoritma hiçbir zaman bir adımdan fazlasını öngörmez. Yalnızca bir sonraki tek değişikliğin yardımcı olup olmadığını sorar.
Ölçüt, "daha iyi"nin ne anlama geldiğine karar verir. En sık göreceğiniz dört ölçüt şunlardır:
Kesin prosedür, arama yönüne ve ölçüte bağlıdır. İleriye doğru seçim yalnızca yordayıcı ekler, geriye doğru eleme yalnızca çıkarır, iki yönlü seçim ise her ikisini yapar. Ayrıca aynı veri seti, seçtiğiniz ölçüte bağlı olarak farklı nihai modeller üretebilir.
Bu yüzden biri adımlı regresyon çalıştırdığını söylediğinde, sorulacak ilk iki soru yön ve ölçütün hangisi olduğudur.
Adımlı Regresyon Türleri
Üç tür adımlı regresyon vardır ve tek bir konuda farklılık gösterirler: aramanın yönü.
İleriye doğru seçim
İleriye doğru seçim küçük başlar ve oradan inşa eder.
Yalnızca sabit terimli bir modelle başlarsınız ya da ne olursa olsun modelde olmasını istediğiniz birkaç yordayıcıyla. Algoritma daha sonra kalan her yordayıcı için bir aday model uydurur; her biri o tek yordayıcının eklendiği bir modeldir. Ölçütü en çok iyileştiren yordayıcı modele girer.
Döngü daha sonra daha büyük model yeni temel olarak alınarak tekrar eder. Örneğin hiçbir ekleme AIC’yi düşürmediğinde, kalan hiçbir yordayıcı seçim kuralını karşılamadığında durur.
İleriye doğru seçim, tam modeli uydurmaya hiç ihtiyaç duymadığı için aday yordayıcı sayısı gözlem sayısından fazla olduğunda bile başlayabilir. Tuzak şu ki, bir yordayıcı bir kez modelde yer aldığında, daha sonraki eklemeler onu gereksiz kılsa bile modelde kalır.
Geriye doğru eleme
Geriye doğru eleme ters yönde ilerler.
Tüm aday yordayıcıları içeren tam modelle başlarsınız. Algoritma her seferinde bir yordayıcıyı çıkarmayı dener ve çıkarılması ölçütü en çok iyileştiren yordayıcıyı bırakır. Sonra daha küçük modeli yeniden uydurur ve tekrarlar. Hiçbir çıkarma ölçütü iyileştirmediğinde arama durur.
Bu yaklaşım, tam modelin tahmin edilebilir olması gerektiği anlamına gelir. Parametre sayısından fazla gözleme ihtiyacınız vardır ve hiçbir yordayıcı diğerlerinin tam lineer birleşimi olamaz. 50 yordayıcı ve 40 satırınız varsa, geriye doğru eleme başlayamaz bile.
Ve ileriye doğru seçimin ayna görüntüsü olan bir sorun taşır: Bir yordayıcı bir kez çıktı mı, bir daha geri dönmez.
İki yönlü adımlı seçim
İki yönlü seçim, ikisini birden birleştirir. Her eklemeden sonra algoritma, modelde zaten bulunan bir yordayıcının artık çıkarılması gerekip gerekmediğini kontrol eder.
Bu önemlidir çünkü bir yordayıcının değeri, modelde başka neler olduğuna bağlıdır. Diyelim ki
bedroomsev büyüklüğüyle ilişkili olduğu için önce giriyor. Daha sonrasquare_feetgirdiğinde,bedroomsona neredeyse hiçbir şey eklemeyebilir. İki yönlü seçim bu noktada onu çıkarabilirken, ileriye doğru seçim onu tutar.Bedeli, adım başına daha fazla model uyumudur. İki yönlü seçime boş bir modelden de tam bir modelden de başlayabilirsiniz.
Üçünün karşılaştırması şöyle:
Adımlı regresyon türleri
Adımlı Regresyon Örneği
Bunu daha somut hâle getirelim.
200 evden oluşan sentetik bir veri seti oluşturdum ve price değişkenini beş aday yordayıcıdan tahmin etmek istiyorum:
square_feetbedroomsage_yearsdistance_km(şehir merkezine uzaklık)lot_size_sqftÖlçüt olarak AIC ile ileriye doğru seçimi kullanacağım; daha düşük AIC daha iyidir. Aynı veriyi Python bölümünde tekrar göreceksiniz.
Yalnızca sabit terimli modelin AIC’si 5057.0. Her adımda olanlar şöyle — her hücre, o yordayıcıyı mevcut modele eklediğinizde elde edeceğiniz AIC’yi gösterir:
square_feetdistance_kmage_yearslot_size_sqftbedroomsAIC karşılaştırması
Her adımda olanlar şunlardır:
Adım 1:
square_feetAIC’yi yaklaşık 102 puan düşürür, bu yüzden ilk giren odur.bedroomsev büyüklüğü ile ilişkili olduğundan ikinci sırada gelirAdım 2:
distance_kmen büyük düşüşü sağlar. bedrooms artık zar zor yardımcı olur, çünkü square_feet halihazırda bilgisinin çoğunu taşırAdım 3:
age_yearsgirerAdım 4:
lot_size_sqftAIC’yi yalnızca 1.6 puan düşürür, ama düşük düşük demektir; bu yüzden girerAdım 5:
bedroomseklemek AIC’yi 4840.8’e yükselteceğinden arama dururNihai model
square_feet,distance_km,age_yearsvelot_size_sqftdeğişkenlerini kullanır.Bu makul bir sonuç. Verileri,
bedroomsdeğişkeninin fiyat üzerinde doğrudan etkisi olmayacak şekilde ürettim ve prosedür onu dışarıda bıraktı.Aynı veride geriye doğru eleremeyi çalıştırırsanız, 4840.8’deki tam modelle başlar,
bedroomsdeğişkenini çıkarır ve aynı dört yordayıcıda durur. İleri ve geri yöntemler her zaman anlaşmayabilir, ama burada anlaşıyorlar.Her ileri seçim adımından sonra mevcut modelin AIC’si
Adımlı Regresyonda Değişkenler Nasıl Seçilir
Aramanın yönü algoritmanın nasıl davrandığını belirler. Ölçüt ise ne zaman duracağını.
P-değeri temelli seçim
Bu en eski yaklaşımdır ve iki eşik kullanır:
Çıkarma eşiği genellikle giriş eşiğinden daha yüksek ayarlanır, böylece bir yordayıcı her adımda modele girip çıkmaz. Her iki değer de kural değil, konvansiyondur.
Her p-değeri, önceden planladığınız tek bir testi çalıştırdığınızı varsayar. Adımlı yöntem her adımda bir dizi test çalıştırır ve en küçük p-değerini tutar. Eğer etkisi olmayan yordayıcılarda 0,05 düzeyinde 20 bağımsız test çalıştırırsanız, en az birinin anlamlı görünme olasılığı
1 − 0.95^20, yani yaklaşık %64’tür. Seçilen yordayıcılar gerçekte olduklarından daha güçlü görünecektir; nedenini sorunlar bölümünde ele alacağım.Ev fiyatı örneğinde,
lot_size_sqft4. adımda yaklaşık 0,063’lük bir p-değerine sahiptir. 0,05 giriş eşiğiyle, ileriye doğru seçim üç yordayıcıda durur.AIC
Akaike bilgi ölçütü, model uyumu ile karmaşıklığı dengeler:
AIC formülü
Burada
ktahmin edilen parametre sayısıdır veL̂modelin en çoklaştırılmış olabilirliğidir. İkinci terim uyumu ödüllendirir, ilk terim her parametre için 2 puan maliyet yazar.Yeni bir yordayıcı olabilirliği asla düşürmez, bu yüzden uyum terimi yalnızca iyileşebilir. Soru, 2 puanlık maliyetten daha fazla iyileşip iyileşmediğidir. Tek bir ek parametre için, bu yaklaşık 0,157 p-değeri eşiğine sahip bir olabilirlik oranı testine denktir.
Bu nedenle
lot_size_sqftAIC altında içeri girdi ama 0,05 p-değeri kuralı altında girmedi. AIC daha esnektir ve tahmini iyileştiren daha zayıf yordayıcıları tutma eğilimindedir.BIC
Bayesçi bilgi ölçütü aynı yapıya sahiptir, ancak farklı bir cezaya:
BIC formülü
Bu formülde
ngözlem sayısıdır. Her parametre artık 2 yerineln(n)puana mal olur, bu nedenle 8 veya daha fazla gözlem olduğunda BIC, AIC’ye göre karmaşıklığı daha fazla cezalandırır. Ve fark, örneklem büyüklüğüyle artar.200 evle,
ln(200)yaklaşık 5,3’tür; bu da tek bir ek parametre için yaklaşık 0,021’lik örtük bir p-değeri eşiğine karşılık gelir. Ev verisinde BIC ile ileriye doğru seçim üç yordayıcıda durur velot_size_sqftdeğişkenini dışarıda bırakır.Ayarlanmış R-kare
Sıradan R-kare, bir seçim ölçütü olarak işe yaramaz.
Doğrusal bir regresyon modeline bir yordayıcı eklediğinizde, rastgele gürültü sütunu bile olsa asla azalmaz. R-kareye göre seçerseniz, tam model her zaman en iyisidir.
Ayarlanmış R-kare, yordayıcı sayısı için bir ceza ekler:
Ayarlanmış R-kare formülü
Burada p yordayıcı sayısıdır ve daha yüksek değerler daha iyidir. Ceza hafiftir. Yeni bir yordayıcı, t-istatistiğinin mutlak değeri 1’in üzerinde olduğunda ayarlanmış R-kareyi artırır; bu nedenle dördü arasında en esnek olan ölçüttür.
Ev verisinde ayarlanmış R-kare,
lot_size_sqftdeğişkenini tutar vebedroomsdeğişkenini beşinci ondalık basamakta bir farkla reddeder.Aynı veri, aynı ileri arama, farklı yanıtlar:
Farklı ölçütlere dayalı değişken seçimi
Python ve R’da Adımlı Regresyon
Her iki dil de adımlı regresyon çalıştırabilir, ancak bunu farklı şekillerde yaparlar. Her ikisinde de yukarıdaki örnekteki aynı ev fiyatı verisini kullanacağım.
Python’da adımlı regresyon
Python’un standart bir adımlı regresyon fonksiyonu yoktur.
Ne statsmodels ne de scikit-learn, AIC veya p-değerleriyle yordayıcı seçen R’deki
step()fonksiyonunun eşdeğerine sahiptir. Bu yüzden en şeffaf seçenek, döngüyü statsmodels üzerine kendiniz yazmaktır. Yaklaşık 25 satırdır ve verdiği her kararı görebilirsiniz.Açık olmak gerekirse, aşağıdaki
forward_selection()işlevi benim yardımcı fonksiyonumdur; bir statsmodels özelliği değildir. statsmodels yalnızca modelleri uydurur ve onların.aicve.bicözniteliklerini raporlar.Önce veri setini üretin ve kaydedin; böylece R bölümü aynı satırları kullanabilsin:
Sırada seçim döngüsü var. Yalnızca sabit terimli modelden başlar, kalan her aday için bir model uydurur ve ölçüt değeri en düşük olan eklemeyi tutar:
Python’da ileri seçim
Bunlar, örnek tablodakiyle aynı AIC değerleridir. AIC dört yordayıcıyla biter ve BIC,
lot_size_sqftdaha büyük cezasını aşamadığı için üçte durur.Bir paket kullanmayı tercih ederseniz, scikit-learn’de
SequentialFeatureSelectorvardır. İleri veya geri seçimi çalıştırır, ancak her adayı AIC veya p-değerleri yerine çapraz doğrulama ile puanlar:Python’da seçilen özellikler
n_features_to_select="auto"ile, arama çapraz doğrulamalı R-karetoldeğerinden daha az iyileştiğinde durur. Bu veride, AIC ile aynı dört yordayıcıyla biter.R’da adımlı regresyon
R’da adımlı regresyon yerleşik olarak vardır.
step()fonksiyonu, temel R’nin stats paketiyle gelir; yani kurulum gerekmez. Ona bir başlangıç modeli, dikkate alabileceği en büyük modeli tanımlayan bir kapsam (scope) ve bir yön verirsiniz:R’da AIC ve BIC formülleri
step()fonksiyonunun en aza indirdiği ölçüt tek bir argümanla kontrol edilir —k.-2 log-likelihood + k * edfhesaplar; burada edf tahmin edilen katsayı sayısıdır. Varsayılank = 2size AIC verir.k = log(n)ayarlarsanız BIC elde edersiniz, ancak yazdırılan iz hâlâ değerleri "AIC" olarak etiketler; bu sizi şaşırtmasın.Geriye doğru eleme için, tam modelden başlayın:
Bu veride
bedroomsdeğişkenini çıkarır ve ileri AIC ile aynı dört yordayıcıda durur. Birscopegeçirir vedirectionbelirtmezseniz,step()varsayılan olarak iki yönlü seçimi çalıştırır.Adımlı Regresyon vs. Diğer Özellik Seçimi Yöntemleri
Adımlı regresyon yordayıcı seçmenin tek yolu değildir. İşte üç popüler alternatife göre karşılaştırması.
Adımlı regresyon vs. en iyi alt küme seçimi
Adımlı regresyon bir açgözlü aramadır. Her adımda en iyi tek hamleyi yapar ve iki yönlü çalıştırmadığınız sürece geri dönüp bakmaz.
En iyi alt küme seçimi, yordayıcıların her olası kombinasyonunu uydurur ve ölçüt değeri en iyi olanı tutar. 5 yordayıcıyla 32 modeldir. 20 ile bir milyondan fazladır, 40 ile trilyonları aşar. R’nin
leapspaketindeki dal-kes (branch-and-bound) gibi algoritmalar işin çoğunu atlayabilir; ancak maliyet yine de yordayıcı sayısıyla hızla artar.Ev fiyatı verisinde, AIC ile en iyi alt küme seçimi ileriye doğru seçimle aynı dört yordayıcıyı seçer. Bu her zaman böyle olmayacaktır; aklınızda bulundurun.
Adımlı regresyon vs. Lasso regresyonu
Adımlı regresyon evet-hayır kararları verir. Bir yordayıcı ya modeldedir ve en küçük kareler katsayısı tamdır ya da modelde değildir ve katsayısı sıfırdır.
Lasso regresyonu tüm yordayıcıları aynı anda uydurur ve mutlak katsayı değerlerinin toplamına bir ceza ekler. Bu ceza her katsayıyı sıfıra doğru küçültür ve en zayıfları tamamen sıfıra iter; böylece seçim ve tahmin tek adımda gerçekleşir.
Verideki küçük bir değişiklik Lasso katsayılarını azıcık oynatırken, adımlı bir kararı modelde var-yok olarak çevirebilir. Ceza gücünü çapraz doğrulamayla belirlersiniz; örneğin scikit-learn’de
LassoCVya da R’dacv.glmnet()ile.Küçültülmüş katsayılar kasıtlı olarak sıfıra doğru yanlıdır. Bu, daha kararlı tahminler ve örneklem dışı daha iyi öngörüler için yaptığınız bir değiş-tokuştur.
Adımlı regresyon vs. yinelemeli özellik eleme
Yinelemeli özellik eleme (RFE), geriye doğru elemeye benzer görünür. Tüm özelliklerle bir model uydurur, en zayıf olanları çıkarır, yeniden uydurur ve tekrarlar.
Fark, "en zayıf"ın ne anlama geldiğidir. Geriye doğru eleme AIC veya p-değeri gibi istatistiksel bir ölçüt kullanır. RFE ise modelin kendi önem puanlarını kullanır; katsayı büyüklükleri veya ağaç tabanlı özellik önemleri gibi.
Bu, RFE’yi öncelikle bir makine öğrenmesi aracı yapar. Özellik önemi olan herhangi bir modelle çalışır; rastgele ormanlar ve destek vektör makineleri dahil. Genellikle scikit-learn’de
RFECVile çapraz doğrulama eşliğinde kullanırsınız. İyi tahmin yapan bir özellik kümesi elde edersiniz; ancak olabilirlik temelli bir ölçüt veya p-değerleri yoktur.Adımlı Regresyonla İlgili Sorunlar
Adımlı regresyonu çalıştırmak ve açıklamak kolaydır. Tam da bu nedenle sorunları gözden kaçırmak da kolaydır.
İstatistikçiler yöntemi onlarca yıldır eleştiriyor — Frank Harrell’ın Regression Modeling Strategies kitabı ve Whittingham vd. (2006), Journal of Animal Ecology içindeki makale iyi bilinen iki örnektir. 2018’de Journal of Big Data’da Gary Smith, potansiyel açıklayıcı değişken sayısı arttıkça adımlı regresyonun daha az etkili olduğunu, dolayısıyla çok fazla yordayıcı sorununu çözmediğini savunuyor.
Kararsız değişken seçimi
Verideki küçük değişiklikler, elde ettiğiniz yordayıcıları değiştirebilir.
Birkaç satırı kaldırırsanız veya aynı popülasyondan yeni bir örnek toplarsanız, adımlı yöntem farklı bir model döndürebilir. Seçilme eşiğine yakın yordayıcılar en kırılgan olanlardır. Ev fiyatı örneğinde
lot_size_sqftgibi gerçek ama küçük bir etkiye sahip bir yordayıcı bir örnekte girebilir, bir sonrakinde dışarıda kalabilir.bedroomsgibi etkisi olmayan bir yordayıcı, örneklemin tesadüfen onu desteklediği durumlarda içeri sızabilir.Bu önemlidir çünkü siz yalnızca tek bir örnek görürsünüz. Adımlı yöntemin size verdiği model, olası modeller aralığından yalnızca biridir ve çıktı bu aralığın ne kadar geniş olduğunu söylemez.
Yanlı katsayı tahminleri
Adımlı yöntem, yordayıcıları seçmek ve katsayılarını tahmin etmek için aynı veriyi kullanır.
Zayıf bir yordayıcı, çoğunlukla etkisinin gerçekte olduğundan daha güçlü göründüğü örneklemlerde modele girer. Daha zayıf göründüğü örneklemlerde ise dışarıda kalır. Bu yüzden seçim sonrası gördüğünüz katsayılar ortalamada fazla büyüktür.
Basitçe söylemek gerekirse, adımlı regresyon kazananları rapor eder ve kazananlar gerçekte olduklarından daha iyi görünür.
Yanıltıcı p-değerleri ve güven aralıkları
Bir regresyon özetindeki p-değerleri, modeli veriye bakmadan önce seçtiğinizi varsayar.
Adımlı yöntem bunun tersini yapar. Bir dizi test çalıştırır, eşiği geçen yordayıcıları tutar ve sonra bu yordayıcılar sanki test ettiğiniz tek yordayıcılarmış gibi p-değerleri rapor eder. Dolayısıyla p-değerleri çok küçük, güven aralıkları ise çok dardır.
Sorun, çok sayıda adayın etkisi olmadığında daha da büyüktür. David Freedman, 1983’te The American Statistician’da bunu gösterdi — saf gürültü yordayıcılarını tarayıp modeli yeniden uydurduğunda, ortada bulunacak bir şey olmamasına rağmen sonuç istatistiksel olarak anlamlı görünüyordu. Smith de aynı noktaya değinir: gereksiz değişkenler tesadüfen anlamlı olabilirken, gerçek olanlar eşiği kaçırabilir.
Bu p-değerlerini kanıt olarak raporlarsanız, gürültüyü rapor ediyor olabilirsiniz.
Aşırı uyum
Aşırı uyum aynı sorunun tahmin tarafıdır.
Her aday yordayıcı, adımlı yönteme yalnızca örneklemde var olan bir desene uyma şansı daha verir. Seçilen model, üzerinde kurulduğu veride iyi görünür; ancak bu desenler yeni veride tekrarlanmaz. Sonuç olarak model, örneklem içinde iyi uyum sağlayabilir ama örneklem dışında kötü performans gösterebilir.
Ve ne kadar çok aday yordayıcı verirseniz, orada olmayan desenleri bulmak için o kadar fazla şans tanımış olursunuz.
İlişkili yordayıcılar
İki yordayıcı benzer bilgi taşıdığında, adımlı yöntem aralarında seçim yapmak zorunda kalır ve seçim, örneklemdeki küçük farklara göre belirlenir.
square_feetvebedroomsev verisinde hafif bir örnektir —square_feetmodelde bir kez yer aldığında,bedroomsneredeyse hiçbir şey eklemez. Daha güçlü korelasyonda, seçim neredeyse rastgele hâle gelir. Bir örneklem değişken A’yı, sonraki değişken B’yi tutar ve her model, sonucu neyin yönlendirdiğine dair farklı bir hikâye anlatır.Hiçbiri güvenilir değildir. Adımlı yöntem size iki yordayıcının birbirinin yerine geçebildiğini söyleyemez, bu yüzden yalnızca birini seçer.
Açgözlü arama
Adımlı yöntem bir seferde bir karar verir ve her karar öncekilere bağlıdır.
Bu, en iyi modeli kaçırabileceği anlamına gelir. Diyelim ki iki yordayıcı tek başına işe yaramaz, ancak birlikte güçlüdür; bu, her birinin diğerindeki gürültüyü telafi etmesi durumunda olabilir. İleriye doğru seçim, tek bir adımda hiçbiri modeli iyileştirmediği için bunlardan herhangi birini asla eklemez.
Geriye doğru eleme ve iki yönlü seçim bu riski azaltır, ama ortadan kaldırmaz. Üçünden hiçbiri tüm kombinasyonları kontrol etmez; bu nedenle seçilen ölçüte göre en iyi modeli vaat edemezler.
Adımlı Regresyonu Ne Zaman Kullanmalısınız?
Adımlı regresyon dar bir işe yarayan bir araçtır.
Şu durumlar için iyi bir seçimdir:
Doğrulayıcı çıkarımlar ve nedensel analiz için yanlış bir seçimdir.
Amacınız bir yordayıcının etkisi olup olmadığını test etmekse, adımlı seçim sonrası p-değerleri bu soruyu yanıtlayamaz. Amacınız nedenselse, doğru değişken kümesi, verinin nasıl üretildiğinden gelir — AIC’yi hangi değişkenlerin düşürdüğünden değil. Adımlı yöntem hangi değişkenin hangisine neden olduğunu bilmez.
Tahmin için daha iyi seçenekleriniz var. Düzenlileştirme yöntemleri olan Lasso ve elastik ağ daha kararlıdır ve çapraz doğrulamalı özellik seçimi, modelleri görmedikleri veriler üzerinde değerlendirir.
Adımlı Regresyon için En İyi Uygulamalar
Adımlı regresyon kullanmaya karar verirseniz, bu adımlar sonuçları daha dürüst kılabilir:
Sonuç
Adımlı regresyon yordayıcı seçimini otomatikleştirir. Bir seferde bir değişken ekler ya da çıkarır ve seçtiğiniz ölçütle hiçbir değişiklik modeli iyileştirmediğinde durur.
İleriye doğru seçim boş başlar ve yalnızca ekler. Geriye doğru eleme tam modelle başlar ve yalnızca çıkarır. İki yönlü seçim her ikisini yapar; böylece önceki bir kararı geri alabilir.
Ancak bu basitlik, seçilen yordayıcıların örneklemden örnekleme değişebileceği, modelin gürültüyü uydurabileceği ve seçim sonrası p-değerlerinin ve güven aralıklarının güvenilir olmadığı anlamına gelir. Bunu akılda tutmak gerekir. Bu yüzden adımlı regresyonu bir model seçimi tekniği olarak ele alın. Bir regresyon modeli kurmanın varsayılan yolu değildir.
Daha ileri gitmek isterseniz, genel olarak özellik seçimi hakkında okuyun, AIC ve BIC’in modelleri nasıl karşılaştırdığını görün ve Lasso regresyonu ile düzenlileştirmeye ilk adımı atın.