Ana içeriğe geç

Adımlı Regresyon: Yordayıcıları Birer Birer Seçin

Adımlı regresyon, ileri, geri ve iki yönlü aramayla yordayıcı seçimini otomatikleştirir; ancak basitliği, kararlılık ve aşırı uyum açısından ödünler getirir.
· 15 dk. oku

Yapay Zeka ile Keşfedin

Hiç 20 yordayıcılı bir regresyon veri setine bakıp, hangilerini modele dahil etmeniz gerektiğini merak ettiniz mi?

Hepsini eklerseniz, model muhtemelen sinyalle birlikte gürültüyü de uyduracaktır. Elle seçerseniz, iki analist aynı veriye bakıp iki farklı model önerebilir. Üstelik söylemeye gerek yok, sadece 20 yordayıcıyla bile karşılaştırılacak bir milyondan fazla olası alt küme vardır.

Adımlı regresyon bu aramayı otomatikleştirir; p-değeri veya AIC gibi bir istatistiksel ölçüte göre her seferinde bir yordayıcı ekler ya da çıkarır. Yaygın olarak öğretilir ve kullanılır, ancak bazı istatistiksel sınırlamaları da vardır; bu yüzden varsayılan bir özellik seçimi yöntemi olarak görmemelisiniz.

Bu yazıda sizi üç temel yaklaşımdan geçireceğim: ileriye doğru seçim, geriye doğru eleme ve iki yönlü adımlı seçim.

Daha fazla özellik seçimi tekniği mi arıyorsunuz? Konuya yeni başlayanlar için Python Özellik Seçimi Eğitimi yazımızı okuyun.

Adımlı Regresyon Nedir?

Adımlı regresyon, hangi yordayıcıların bir regresyon modeline gireceğini seçmek için kullanılan otomatik bir prosedürdür.

Tek bir model uydurmaz; bunun yerine bir aday modeller dizisi uydurur ve her adımda bir seçim ölçütüne göre bir yordayıcı ekler veya çıkarır. Arama, hiçbir değişikliğin ölçüte göre modeli iyileştirmediği noktada biter.

Diyelim ki bir müşterinin yılda ne kadar harcayacağını tahmin etmek istiyorsunuz. Beş aday yordayıcınız var:

  • income

  • age

  • education

  • location

  • years_experience

Adımlı regresyon income ile başlayıp, ardından age modelin iyileşip iyileşmediğini, sonra education vb. test edebilir. Diğer üçü ölçütü yeterince iyileştirmiyorsa, nihai model yalnızca income ve education değişkenlerini tutabilir.

Unutulmaması gereken önemli bir ayrım, adımlı regresyonun ayrı bir regresyon modeli türü olmadığıdır.

Bu, genellikle doğrusal regresyon olmak üzere halihazırda bildiğiniz bir modelin üzerine çalıştırdığınız bir değişken seçimi prosedürüdür. Çıktı hâlâ sıradan bir regresyon modelidir; adımlı yöntem yalnızca hangi yordayıcıların seçileceğine karar verir.

Adımlı Regresyon Nasıl Çalışır

Her adımlı prosedür aynı döngüden geçer:

  1. Başlangıç modeli: Hiç yordayıcı içermeyebilir, hepsini içerebilir ya da arada bir yerde olabilir
  2. Bir değişiklik önerin: Bir yordayıcı ekleyin veya birini çıkarın
  3. Yeni modeli puanlayın: Önceden tanımlı bir ölçütle değerlendirin
  4. Değişikliği tutun veya reddedin: Yalnızca ölçüt yeni modelin daha iyi olduğunu söylüyorsa tutun
  5. Tekrarlayın: Modeli iyileştiren bir değişiklik kalmayana kadar 2. adıma geri dönün

Adımlı regresyon döngüsü

Adımlı regresyon döngüsü

Algoritma hiçbir zaman bir adımdan fazlasını öngörmez. Yalnızca bir sonraki tek değişikliğin yardımcı olup olmadığını sorar.

Ölçüt, "daha iyi"nin ne anlama geldiğine karar verir. En sık göreceğiniz dört ölçüt şunlardır:

  1. P-değerleri: Bir yordayıcının p-değeri giriş eşiğinin altına düşerse modele girer, çıkarma eşiğinin üstüne çıkarsa modelden çıkar
  2. AIC: Akaike bilgi ölçütü model uyumunu ödüllendirir ve her ekstra parametreyi cezalandırır; daha düşük değerler daha iyidir
  3. BIC: Bayesçi bilgi ölçütü AIC gibi çalışır, ancak parametre başına cezası örneklem büyüklüğüyle artar, bu yüzden genellikle daha küçük modellerle sonuçlanır
  4. Ayarlanmış R-kare: Normal R-kare bir yordayıcı eklediğinizde asla azalmaz, bu yüzden ayarlanmış sürüm, yordayıcı sayısını telafi eder ve daha yüksek değerler daha iyidir

Kesin prosedür, arama yönüne ve ölçüte bağlıdır. İleriye doğru seçim yalnızca yordayıcı ekler, geriye doğru eleme yalnızca çıkarır, iki yönlü seçim ise her ikisini yapar. Ayrıca aynı veri seti, seçtiğiniz ölçüte bağlı olarak farklı nihai modeller üretebilir.

Bu yüzden biri adımlı regresyon çalıştırdığını söylediğinde, sorulacak ilk iki soru yön ve ölçütün hangisi olduğudur.

Adımlı Regresyon Türleri

Üç tür adımlı regresyon vardır ve tek bir konuda farklılık gösterirler: aramanın yönü.

İleriye doğru seçim

İleriye doğru seçim küçük başlar ve oradan inşa eder.

Yalnızca sabit terimli bir modelle başlarsınız ya da ne olursa olsun modelde olmasını istediğiniz birkaç yordayıcıyla. Algoritma daha sonra kalan her yordayıcı için bir aday model uydurur; her biri o tek yordayıcının eklendiği bir modeldir. Ölçütü en çok iyileştiren yordayıcı modele girer.

Döngü daha sonra daha büyük model yeni temel olarak alınarak tekrar eder. Örneğin hiçbir ekleme AIC’yi düşürmediğinde, kalan hiçbir yordayıcı seçim kuralını karşılamadığında durur.

İleriye doğru seçim, tam modeli uydurmaya hiç ihtiyaç duymadığı için aday yordayıcı sayısı gözlem sayısından fazla olduğunda bile başlayabilir. Tuzak şu ki, bir yordayıcı bir kez modelde yer aldığında, daha sonraki eklemeler onu gereksiz kılsa bile modelde kalır.

Geriye doğru eleme

Geriye doğru eleme ters yönde ilerler.

Tüm aday yordayıcıları içeren tam modelle başlarsınız. Algoritma her seferinde bir yordayıcıyı çıkarmayı dener ve çıkarılması ölçütü en çok iyileştiren yordayıcıyı bırakır. Sonra daha küçük modeli yeniden uydurur ve tekrarlar. Hiçbir çıkarma ölçütü iyileştirmediğinde arama durur.

Bu yaklaşım, tam modelin tahmin edilebilir olması gerektiği anlamına gelir. Parametre sayısından fazla gözleme ihtiyacınız vardır ve hiçbir yordayıcı diğerlerinin tam lineer birleşimi olamaz. 50 yordayıcı ve 40 satırınız varsa, geriye doğru eleme başlayamaz bile.

Ve ileriye doğru seçimin ayna görüntüsü olan bir sorun taşır: Bir yordayıcı bir kez çıktı mı, bir daha geri dönmez.

İki yönlü adımlı seçim

İki yönlü seçim, ikisini birden birleştirir. Her eklemeden sonra algoritma, modelde zaten bulunan bir yordayıcının artık çıkarılması gerekip gerekmediğini kontrol eder.

Bu önemlidir çünkü bir yordayıcının değeri, modelde başka neler olduğuna bağlıdır. Diyelim ki bedrooms ev büyüklüğüyle ilişkili olduğu için önce giriyor. Daha sonra square_feet girdiğinde, bedrooms ona neredeyse hiçbir şey eklemeyebilir. İki yönlü seçim bu noktada onu çıkarabilirken, ileriye doğru seçim onu tutar.

Bedeli, adım başına daha fazla model uyumudur. İki yönlü seçime boş bir modelden de tam bir modelden de başlayabilirsiniz.

Üçünün karşılaştırması şöyle:

 İleriye doğru seçimGeriye doğru elemeİki yönlü seçim
Başlangıç modeliYalnızca sabit terim veya küçük bir temel kümeTüm adayların olduğu tam modelBoş ya da tam model
İzin verilen işlemlerYalnızca eklemeYalnızca çıkarmaEkleme veya çıkarma
Dikkat edilmesi gerekenlerYordayıcılar gözlemlerden fazla olduğunda başlayabilir, ancak erken eklemeler yeniden gözden geçirilmezTahmin edilebilir bir tam modele ihtiyaç duyar ve çıkarılan yordayıcılar geri gelmezAdım başına daha fazla model uyumu gerekir, ancak önceki kararları geri alabilir

Adımlı regresyon türleri

Adımlı Regresyon Örneği

Bunu daha somut hâle getirelim.

200 evden oluşan sentetik bir veri seti oluşturdum ve price değişkenini beş aday yordayıcıdan tahmin etmek istiyorum:

  • square_feet

  • bedrooms

  • age_years

  • distance_km (şehir merkezine uzaklık)

  • lot_size_sqft

Ölçüt olarak AIC ile ileriye doğru seçimi kullanacağım; daha düşük AIC daha iyidir. Aynı veriyi Python bölümünde tekrar göreceksiniz.

Yalnızca sabit terimli modelin AIC’si 5057.0. Her adımda olanlar şöyle — her hücre, o yordayıcıyı mevcut modele eklediğinizde elde edeceğiniz AIC’yi gösterir:

AdayAdım 1Adım 2Adım 3Adım 4Adım 5
square_feet4955.1in modelin modelin modelin model
distance_km5020.34855.6in modelin modelin model
age_years5050.24926.44841.4in modelin model
lot_size_sqft5057.94955.14844.44839.8in model
bedrooms4993.44950.04885.14842.04840.8
Mevcut model AIC5057.04955.14885.64841.44839.8

AIC karşılaştırması

Her adımda olanlar şunlardır:

  • Adım 1: square_feet AIC’yi yaklaşık 102 puan düşürür, bu yüzden ilk giren odur. bedrooms ev büyüklüğü ile ilişkili olduğundan ikinci sırada gelir

  • Adım 2: distance_km en büyük düşüşü sağlar. bedrooms artık zar zor yardımcı olur, çünkü square_feet halihazırda bilgisinin çoğunu taşır

  • Adım 3: age_years girer

  • Adım 4: lot_size_sqft AIC’yi yalnızca 1.6 puan düşürür, ama düşük düşük demektir; bu yüzden girer

  • Adım 5: bedrooms eklemek AIC’yi 4840.8’e yükselteceğinden arama durur

Nihai model square_feet, distance_km, age_years ve lot_size_sqft değişkenlerini kullanır.

Bu makul bir sonuç. Verileri, bedrooms değişkeninin fiyat üzerinde doğrudan etkisi olmayacak şekilde ürettim ve prosedür onu dışarıda bıraktı.

Aynı veride geriye doğru eleremeyi çalıştırırsanız, 4840.8’deki tam modelle başlar, bedrooms değişkenini çıkarır ve aynı dört yordayıcıda durur. İleri ve geri yöntemler her zaman anlaşmayabilir, ama burada anlaşıyorlar.

Her ileri seçim adımından sonra mevcut modelin AIC’si

Her ileri seçim adımından sonra mevcut modelin AIC’si

Adımlı Regresyonda Değişkenler Nasıl Seçilir

Aramanın yönü algoritmanın nasıl davrandığını belirler. Ölçüt ise ne zaman duracağını.

P-değeri temelli seçim

Bu en eski yaklaşımdır ve iki eşik kullanır:

  1. Giriş eşiği: Bir adayın p-değeri bu değerin altındaysa modele girer; örneğin 0,05
  2. Çıkarma eşiği: Bir yordayıcı p-değeri bu değerin üstüne çıkarsa modelden çıkar; örneğin 0,10

Çıkarma eşiği genellikle giriş eşiğinden daha yüksek ayarlanır, böylece bir yordayıcı her adımda modele girip çıkmaz. Her iki değer de kural değil, konvansiyondur.

Her p-değeri, önceden planladığınız tek bir testi çalıştırdığınızı varsayar. Adımlı yöntem her adımda bir dizi test çalıştırır ve en küçük p-değerini tutar. Eğer etkisi olmayan yordayıcılarda 0,05 düzeyinde 20 bağımsız test çalıştırırsanız, en az birinin anlamlı görünme olasılığı 1 − 0.95^20, yani yaklaşık %64’tür. Seçilen yordayıcılar gerçekte olduklarından daha güçlü görünecektir; nedenini sorunlar bölümünde ele alacağım.

Ev fiyatı örneğinde, lot_size_sqft 4. adımda yaklaşık 0,063’lük bir p-değerine sahiptir. 0,05 giriş eşiğiyle, ileriye doğru seçim üç yordayıcıda durur.

AIC

Akaike bilgi ölçütü, model uyumu ile karmaşıklığı dengeler:

AIC formülü

AIC formülü

Burada k tahmin edilen parametre sayısıdır ve L̂ modelin en çoklaştırılmış olabilirliğidir. İkinci terim uyumu ödüllendirir, ilk terim her parametre için 2 puan maliyet yazar.

Yeni bir yordayıcı olabilirliği asla düşürmez, bu yüzden uyum terimi yalnızca iyileşebilir. Soru, 2 puanlık maliyetten daha fazla iyileşip iyileşmediğidir. Tek bir ek parametre için, bu yaklaşık 0,157 p-değeri eşiğine sahip bir olabilirlik oranı testine denktir.

Bu nedenle lot_size_sqft AIC altında içeri girdi ama 0,05 p-değeri kuralı altında girmedi. AIC daha esnektir ve tahmini iyileştiren daha zayıf yordayıcıları tutma eğilimindedir.

BIC

Bayesçi bilgi ölçütü aynı yapıya sahiptir, ancak farklı bir cezaya:

BIC formülü

BIC formülü

Bu formülde n gözlem sayısıdır. Her parametre artık 2 yerine ln(n) puana mal olur, bu nedenle 8 veya daha fazla gözlem olduğunda BIC, AIC’ye göre karmaşıklığı daha fazla cezalandırır. Ve fark, örneklem büyüklüğüyle artar.

200 evle, ln(200) yaklaşık 5,3’tür; bu da tek bir ek parametre için yaklaşık 0,021’lik örtük bir p-değeri eşiğine karşılık gelir. Ev verisinde BIC ile ileriye doğru seçim üç yordayıcıda durur ve lot_size_sqft değişkenini dışarıda bırakır.

Ayarlanmış R-kare

Sıradan R-kare, bir seçim ölçütü olarak işe yaramaz.

Doğrusal bir regresyon modeline bir yordayıcı eklediğinizde, rastgele gürültü sütunu bile olsa asla azalmaz. R-kareye göre seçerseniz, tam model her zaman en iyisidir.

Ayarlanmış R-kare, yordayıcı sayısı için bir ceza ekler:

Ayarlanmış R-kare formülü

Ayarlanmış R-kare formülü

Burada p yordayıcı sayısıdır ve daha yüksek değerler daha iyidir. Ceza hafiftir. Yeni bir yordayıcı, t-istatistiğinin mutlak değeri 1’in üzerinde olduğunda ayarlanmış R-kareyi artırır; bu nedenle dördü arasında en esnek olan ölçüttür.

Ev verisinde ayarlanmış R-kare, lot_size_sqft değişkenini tutar ve bedrooms değişkenini beşinci ondalık basamakta bir farkla reddeder.

Aynı veri, aynı ileri arama, farklı yanıtlar:

ÖlçütNihai model
P-değeri (0,05)square_feet, distance_km, age_years
AICsquare_feet, distance_km, age_years, lot_size_sqft
BICsquare_feet, distance_km, age_years
Ayarlanmış R-karesquare_feet, distance_km, age_years, lot_size_sqft

Farklı ölçütlere dayalı değişken seçimi

Python ve R’da Adımlı Regresyon

Her iki dil de adımlı regresyon çalıştırabilir, ancak bunu farklı şekillerde yaparlar. Her ikisinde de yukarıdaki örnekteki aynı ev fiyatı verisini kullanacağım.

Python’da adımlı regresyon

Python’un standart bir adımlı regresyon fonksiyonu yoktur.

Ne statsmodels ne de scikit-learn, AIC veya p-değerleriyle yordayıcı seçen R’deki step() fonksiyonunun eşdeğerine sahiptir. Bu yüzden en şeffaf seçenek, döngüyü statsmodels üzerine kendiniz yazmaktır. Yaklaşık 25 satırdır ve verdiği her kararı görebilirsiniz.

Açık olmak gerekirse, aşağıdaki forward_selection() işlevi benim yardımcı fonksiyonumdur; bir statsmodels özelliği değildir. statsmodels yalnızca modelleri uydurur ve onların .aic ve .bic özniteliklerini raporlar.

Önce veri setini üretin ve kaydedin; böylece R bölümü aynı satırları kullanabilsin:

import numpy as np
import pandas as pd
import statsmodels.formula.api as smf

rng = np.random.default_rng(42)
n = 200

square_feet = rng.normal(1800, 450, n).clip(700, 3500)
bedrooms = np.clip(np.round(square_feet / 600 + rng.normal(0, 0.6, n)), 1, 6)
age_years = rng.uniform(0, 60, n)
distance_km = rng.uniform(1, 30, n)
lot_size_sqft = rng.normal(6000, 1500, n).clip(2000, 12000)

# Bedrooms has no direct effect on price, lot size has a small one
price = (
    60000
    + 140 * square_feet
    - 1200 * age_years
    - 3500 * distance_km
    + 4 * lot_size_sqft
    + rng.normal(0, 45000, n)
)

house = pd.DataFrame({
    "square_feet": square_feet,
    "bedrooms": bedrooms,
    "age_years": age_years,
    "distance_km": distance_km,
    "lot_size_sqft": lot_size_sqft,
    "price": price,
})

house.to_csv("house_prices.csv", index=False)

Sırada seçim döngüsü var. Yalnızca sabit terimli modelden başlar, kalan her aday için bir model uydurur ve ölçüt değeri en düşük olan eklemeyi tutar:

def forward_selection(data, target, candidates, criterion="aic"):
    selected = []
    remaining = list(candidates)

    # Score the intercept-only model first
    null_model = smf.ols(f"{target} ~ 1", data=data).fit()
    current_score = getattr(null_model, criterion)
    print(f"Start: {criterion.upper()} = {current_score:.1f}")

    while remaining:
        # Fit one model per remaining candidate
        scores = {}
        for candidate in remaining:
            formula = f"{target} ~ {' + '.join(selected + [candidate])}"
            scores[candidate] = getattr(smf.ols(formula, data=data).fit(), criterion)

        best = min(scores, key=scores.get)

        # Stop when the best addition doesn't lower the criterion
        if scores[best] >= current_score:
            print(f"Stop: adding {best} gives {scores[best]:.1f}")
            break

        selected.append(best)
        remaining.remove(best)
        current_score = scores[best]
        print(f"Add {best}: {criterion.upper()} = {current_score:.1f}")

    return selected


candidates = ["square_feet", "bedrooms", "age_years", "distance_km", "lot_size_sqft"]

aic_predictors = forward_selection(house, "price", candidates, criterion="aic")
print()
bic_predictors = forward_selection(house, "price", candidates, criterion="bic")

Python’da ileri seçim

Python’da ileri seçim

Bunlar, örnek tablodakiyle aynı AIC değerleridir. AIC dört yordayıcıyla biter ve BIC, lot_size_sqft daha büyük cezasını aşamadığı için üçte durur.

Bir paket kullanmayı tercih ederseniz, scikit-learn’de SequentialFeatureSelector vardır. İleri veya geri seçimi çalıştırır, ancak her adayı AIC veya p-değerleri yerine çapraz doğrulama ile puanlar:

from sklearn.feature_selection import SequentialFeatureSelector
from sklearn.linear_model import LinearRegression

X = house.drop(columns="price")
y = house["price"]

sfs = SequentialFeatureSelector(
    LinearRegression(),
    n_features_to_select="auto",
    tol=0.001,
    direction="forward",
    scoring="r2",
    cv=5,
)
sfs.fit(X, y)
print(list(X.columns[sfs.get_support()]))

Python’da seçilen özellikler

Python’da seçilen özellikler

n_features_to_select="auto" ile, arama çapraz doğrulamalı R-kare tol değerinden daha az iyileştiğinde durur. Bu veride, AIC ile aynı dört yordayıcıyla biter.

R’da adımlı regresyon

R’da adımlı regresyon yerleşik olarak vardır.

step() fonksiyonu, temel R’nin stats paketiyle gelir; yani kurulum gerekmez. Ona bir başlangıç modeli, dikkate alabileceği en büyük modeli tanımlayan bir kapsam (scope) ve bir yön verirsiniz:

# Load the same data generated in the Python section
house <- read.csv("house_prices.csv")

# Intercept-only model and full model
null_model <- lm(price ~ 1, data = house)
full_model <- lm(
  price ~ square_feet + bedrooms + age_years + distance_km + lot_size_sqft,
  data = house
)

# Forward selection with AIC
aic_model <- step(null_model, scope = formula(full_model), direction = "forward")

# Forward selection with BIC
bic_model <- step(
  null_model,
  scope = formula(full_model),
  direction = "forward",
  k = log(nrow(house))
)

formula(aic_model)
formula(bic_model)

R’da AIC ve BIC formülleri

R’da AIC ve BIC formülleri

step() fonksiyonunun en aza indirdiği ölçüt tek bir argümanla kontrol edilir — k.

-2 log-likelihood + k * edf hesaplar; burada edf tahmin edilen katsayı sayısıdır. Varsayılan k = 2 size AIC verir. k = log(n) ayarlarsanız BIC elde edersiniz, ancak yazdırılan iz hâlâ değerleri "AIC" olarak etiketler; bu sizi şaşırtmasın.

Geriye doğru eleme için, tam modelden başlayın:

backward_model <- step(full_model, direction = "backward")

Bu veride bedrooms değişkenini çıkarır ve ileri AIC ile aynı dört yordayıcıda durur. Bir scope geçirir ve direction belirtmezseniz, step() varsayılan olarak iki yönlü seçimi çalıştırır.

Adımlı Regresyon vs. Diğer Özellik Seçimi Yöntemleri

Adımlı regresyon yordayıcı seçmenin tek yolu değildir. İşte üç popüler alternatife göre karşılaştırması.

Adımlı regresyon vs. en iyi alt küme seçimi

Adımlı regresyon bir açgözlü aramadır. Her adımda en iyi tek hamleyi yapar ve iki yönlü çalıştırmadığınız sürece geri dönüp bakmaz.

En iyi alt küme seçimi, yordayıcıların her olası kombinasyonunu uydurur ve ölçüt değeri en iyi olanı tutar. 5 yordayıcıyla 32 modeldir. 20 ile bir milyondan fazladır, 40 ile trilyonları aşar. R’nin leaps paketindeki dal-kes (branch-and-bound) gibi algoritmalar işin çoğunu atlayabilir; ancak maliyet yine de yordayıcı sayısıyla hızla artar.

Ev fiyatı verisinde, AIC ile en iyi alt küme seçimi ileriye doğru seçimle aynı dört yordayıcıyı seçer. Bu her zaman böyle olmayacaktır; aklınızda bulundurun.

Adımlı regresyon vs. Lasso regresyonu

Adımlı regresyon evet-hayır kararları verir. Bir yordayıcı ya modeldedir ve en küçük kareler katsayısı tamdır ya da modelde değildir ve katsayısı sıfırdır.

Lasso regresyonu tüm yordayıcıları aynı anda uydurur ve mutlak katsayı değerlerinin toplamına bir ceza ekler. Bu ceza her katsayıyı sıfıra doğru küçültür ve en zayıfları tamamen sıfıra iter; böylece seçim ve tahmin tek adımda gerçekleşir.

Verideki küçük bir değişiklik Lasso katsayılarını azıcık oynatırken, adımlı bir kararı modelde var-yok olarak çevirebilir. Ceza gücünü çapraz doğrulamayla belirlersiniz; örneğin scikit-learn’de LassoCV ya da R’da cv.glmnet() ile.

Küçültülmüş katsayılar kasıtlı olarak sıfıra doğru yanlıdır. Bu, daha kararlı tahminler ve örneklem dışı daha iyi öngörüler için yaptığınız bir değiş-tokuştur.

Adımlı regresyon vs. yinelemeli özellik eleme

Yinelemeli özellik eleme (RFE), geriye doğru elemeye benzer görünür. Tüm özelliklerle bir model uydurur, en zayıf olanları çıkarır, yeniden uydurur ve tekrarlar.

Fark, "en zayıf"ın ne anlama geldiğidir. Geriye doğru eleme AIC veya p-değeri gibi istatistiksel bir ölçüt kullanır. RFE ise modelin kendi önem puanlarını kullanır; katsayı büyüklükleri veya ağaç tabanlı özellik önemleri gibi.

Bu, RFE’yi öncelikle bir makine öğrenmesi aracı yapar. Özellik önemi olan herhangi bir modelle çalışır; rastgele ormanlar ve destek vektör makineleri dahil. Genellikle scikit-learn’de RFECV ile çapraz doğrulama eşliğinde kullanırsınız. İyi tahmin yapan bir özellik kümesi elde edersiniz; ancak olabilirlik temelli bir ölçüt veya p-değerleri yoktur.

Adımlı Regresyonla İlgili Sorunlar

Adımlı regresyonu çalıştırmak ve açıklamak kolaydır. Tam da bu nedenle sorunları gözden kaçırmak da kolaydır.

İstatistikçiler yöntemi onlarca yıldır eleştiriyor — Frank Harrell’ın Regression Modeling Strategies kitabı ve Whittingham vd. (2006), Journal of Animal Ecology içindeki makale iyi bilinen iki örnektir. 2018’de Journal of Big Data’da Gary Smith, potansiyel açıklayıcı değişken sayısı arttıkça adımlı regresyonun daha az etkili olduğunu, dolayısıyla çok fazla yordayıcı sorununu çözmediğini savunuyor.

Kararsız değişken seçimi

Verideki küçük değişiklikler, elde ettiğiniz yordayıcıları değiştirebilir.

Birkaç satırı kaldırırsanız veya aynı popülasyondan yeni bir örnek toplarsanız, adımlı yöntem farklı bir model döndürebilir. Seçilme eşiğine yakın yordayıcılar en kırılgan olanlardır. Ev fiyatı örneğinde lot_size_sqft gibi gerçek ama küçük bir etkiye sahip bir yordayıcı bir örnekte girebilir, bir sonrakinde dışarıda kalabilir. bedrooms gibi etkisi olmayan bir yordayıcı, örneklemin tesadüfen onu desteklediği durumlarda içeri sızabilir.

Bu önemlidir çünkü siz yalnızca tek bir örnek görürsünüz. Adımlı yöntemin size verdiği model, olası modeller aralığından yalnızca biridir ve çıktı bu aralığın ne kadar geniş olduğunu söylemez.

Yanlı katsayı tahminleri

Adımlı yöntem, yordayıcıları seçmek ve katsayılarını tahmin etmek için aynı veriyi kullanır.

Zayıf bir yordayıcı, çoğunlukla etkisinin gerçekte olduğundan daha güçlü göründüğü örneklemlerde modele girer. Daha zayıf göründüğü örneklemlerde ise dışarıda kalır. Bu yüzden seçim sonrası gördüğünüz katsayılar ortalamada fazla büyüktür.

Basitçe söylemek gerekirse, adımlı regresyon kazananları rapor eder ve kazananlar gerçekte olduklarından daha iyi görünür.

Yanıltıcı p-değerleri ve güven aralıkları

Bir regresyon özetindeki p-değerleri, modeli veriye bakmadan önce seçtiğinizi varsayar.

Adımlı yöntem bunun tersini yapar. Bir dizi test çalıştırır, eşiği geçen yordayıcıları tutar ve sonra bu yordayıcılar sanki test ettiğiniz tek yordayıcılarmış gibi p-değerleri rapor eder. Dolayısıyla p-değerleri çok küçük, güven aralıkları ise çok dardır.

Sorun, çok sayıda adayın etkisi olmadığında daha da büyüktür. David Freedman, 1983’te The American Statistician’da bunu gösterdi — saf gürültü yordayıcılarını tarayıp modeli yeniden uydurduğunda, ortada bulunacak bir şey olmamasına rağmen sonuç istatistiksel olarak anlamlı görünüyordu. Smith de aynı noktaya değinir: gereksiz değişkenler tesadüfen anlamlı olabilirken, gerçek olanlar eşiği kaçırabilir.

Bu p-değerlerini kanıt olarak raporlarsanız, gürültüyü rapor ediyor olabilirsiniz.

Aşırı uyum

Aşırı uyum aynı sorunun tahmin tarafıdır.

Her aday yordayıcı, adımlı yönteme yalnızca örneklemde var olan bir desene uyma şansı daha verir. Seçilen model, üzerinde kurulduğu veride iyi görünür; ancak bu desenler yeni veride tekrarlanmaz. Sonuç olarak model, örneklem içinde iyi uyum sağlayabilir ama örneklem dışında kötü performans gösterebilir.

Ve ne kadar çok aday yordayıcı verirseniz, orada olmayan desenleri bulmak için o kadar fazla şans tanımış olursunuz.

İlişkili yordayıcılar

İki yordayıcı benzer bilgi taşıdığında, adımlı yöntem aralarında seçim yapmak zorunda kalır ve seçim, örneklemdeki küçük farklara göre belirlenir.

square_feet ve bedrooms ev verisinde hafif bir örnektir — square_feet modelde bir kez yer aldığında, bedrooms neredeyse hiçbir şey eklemez. Daha güçlü korelasyonda, seçim neredeyse rastgele hâle gelir. Bir örneklem değişken A’yı, sonraki değişken B’yi tutar ve her model, sonucu neyin yönlendirdiğine dair farklı bir hikâye anlatır.

Hiçbiri güvenilir değildir. Adımlı yöntem size iki yordayıcının birbirinin yerine geçebildiğini söyleyemez, bu yüzden yalnızca birini seçer.

Açgözlü arama

Adımlı yöntem bir seferde bir karar verir ve her karar öncekilere bağlıdır.

Bu, en iyi modeli kaçırabileceği anlamına gelir. Diyelim ki iki yordayıcı tek başına işe yaramaz, ancak birlikte güçlüdür; bu, her birinin diğerindeki gürültüyü telafi etmesi durumunda olabilir. İleriye doğru seçim, tek bir adımda hiçbiri modeli iyileştirmediği için bunlardan herhangi birini asla eklemez.

Geriye doğru eleme ve iki yönlü seçim bu riski azaltır, ama ortadan kaldırmaz. Üçünden hiçbiri tüm kombinasyonları kontrol etmez; bu nedenle seçilen ölçüte göre en iyi modeli vaat edemezler.

Adımlı Regresyonu Ne Zaman Kullanmalısınız?

Adımlı regresyon dar bir işe yarayan bir araçtır.

Şu durumlar için iyi bir seçimdir:

  1. Keşifsel analiz: Sonucu bir hipotez olarak ele aldığınız sürece hangi yordayıcıların önemli olabileceğine hızlı bir ilk bakış sağlar
  2. Değişken seçimi öğretimi: Adım adım iz, model seçimi fikrini — sorunları dâhil — görmeyi kolaylaştırır
  3. Aday kümesini daraltma: Sonucu kararlılık açısından kontrol etmek kaydıyla uzun bir yordayıcı listesini daraltabilir
  4. Otomatik temel modeller: Daha özenli modellere kıyasla hızlı bir karşılaştırma modeli sağlar

Doğrulayıcı çıkarımlar ve nedensel analiz için yanlış bir seçimdir.

Amacınız bir yordayıcının etkisi olup olmadığını test etmekse, adımlı seçim sonrası p-değerleri bu soruyu yanıtlayamaz. Amacınız nedenselse, doğru değişken kümesi, verinin nasıl üretildiğinden gelir — AIC’yi hangi değişkenlerin düşürdüğünden değil. Adımlı yöntem hangi değişkenin hangisine neden olduğunu bilmez.

Tahmin için daha iyi seçenekleriniz var. Düzenlileştirme yöntemleri olan Lasso ve elastik ağ daha kararlıdır ve çapraz doğrulamalı özellik seçimi, modelleri görmedikleri veriler üzerinde değerlendirir.

Adımlı Regresyon için En İyi Uygulamalar

Adımlı regresyon kullanmaya karar verirseniz, bu adımlar sonuçları daha dürüst kılabilir:

  1. Makuldür yordayıcılarla başlayın: Algoritmaya eklediğiniz her ekstra aday, gürültüyü seçmesi için ona bir şans daha verdiğinden, yalnızca alan bilgisiyle gerekçelendirebileceğiniz adayları dahil edin
  2. Ölçütü bilinçli seçin: AIC öngörüye, BIC daha küçük modellere meyleder ve p-değeri eşikleri konvansiyondur; bu yüzden amacınızla uyumlu olanı seçin ve bunu çalıştırmadan önce karar verin
  3. Seçilen p-değerlerini olduğu gibi kabul etmeyin: Onları kanıt değil, betimleyici olarak ele alın; çünkü seçim zaten dayandıkları veriyi kullandı
  4. Görülmeyen veride doğrulayın: Yalnızca nihai modeli değil, tüm prosedürü, bir ayırma setinde ya da çapraz doğrulamayla değerlendirin
  5. Çoklu-bağlantıyı kontrol edin: Adaylar arasındaki korelasyonlara ve varyans şişirme faktörlerine bakın; böylece hangi seçimlerin rastgeleye yakın olabileceğini bilirsiniz
  6. Kararlılığı test edin: Seçimi bootstrap örneklemlerinde yeniden çalıştırın ve her yordayıcının ne sıklıkla seçildiğini raporlayın
  7. Diğer modellere karşı karşılaştırın: Bir Lasso modeli ve alan bilgisine dayalı bir model kurun ve adımlı yöntemin ayrılmış veride daha iyi yapıp yapmadığına bakın
  8. Prosedürü raporlayın: Aday kümesini, yönü, ölçütü ve eşikleri yazın ki başkaları sonucu yeniden üretebilsin ve değerlendirebilsin

Sonuç

Adımlı regresyon yordayıcı seçimini otomatikleştirir. Bir seferde bir değişken ekler ya da çıkarır ve seçtiğiniz ölçütle hiçbir değişiklik modeli iyileştirmediğinde durur.

İleriye doğru seçim boş başlar ve yalnızca ekler. Geriye doğru eleme tam modelle başlar ve yalnızca çıkarır. İki yönlü seçim her ikisini yapar; böylece önceki bir kararı geri alabilir.

Ancak bu basitlik, seçilen yordayıcıların örneklemden örnekleme değişebileceği, modelin gürültüyü uydurabileceği ve seçim sonrası p-değerlerinin ve güven aralıklarının güvenilir olmadığı anlamına gelir. Bunu akılda tutmak gerekir. Bu yüzden adımlı regresyonu bir model seçimi tekniği olarak ele alın. Bir regresyon modeli kurmanın varsayılan yolu değildir.

Daha ileri gitmek isterseniz, genel olarak özellik seçimi hakkında okuyun, AIC ve BIC’in modelleri nasıl karşılaştırdığını görün ve Lasso regresyonu ile düzenlileştirmeye ilk adımı atın.

Dario Radečić

Yazar

Dario Radečić

Hırvatistan merkezli Kıdemli Veri Bilimci. 700’ün üzerinde yayımlanmış makaleyle 10 M+ görüntüleme elde eden, önde gelen bir teknoloji yazarı. TPOT ile Makine Öğrenimi Otomasyonu kitabının yazarı.

Adımlı Regresyon SSS

Adımlı regresyon nedir?

Adımlı regresyon, hangi yordayıcıların bir regresyon modeline gireceğini seçmek için kullanılan otomatik bir prosedürdür. Her seferinde bir yordayıcı ekler veya çıkarır ve her değişikliği, AIC, BIC veya bir p-değeri eşiği gibi bir ölçütü iyileştiriyorsa tutar. Ayrı bir regresyon türü değildir; çünkü nihai sonuç hâlâ sıradan bir regresyon modelidir.

İleriye doğru seçim ile geriye doğru eleme arasındaki fark nedir?

İleriye doğru seçim boş bir modelle başlar ve her adımda en faydalı yordayıcıyı ekler. Geriye doğru eleme tüm aday yordayıcılarla başlar ve her adımda en az faydalı olanı çıkarır. Geriye doğru elemenin başlayabilmesi için tam modelin tahmin edilebilir olması gerekir; bu yüzden yordayıcı sayısının gözlem sayısından fazla olduğu durumlarda başlayamaz.

Adımlı regresyon hâlâ iyi bir yöntem mi?

Keşif, öğretim ve hızlı temel modeller için uygundur. Ancak kararsız yordayıcı setleri, yanlı katsayılar ve gerçekte olduklarından daha güçlü görünen p-değerleri üretir. Tahmin için genellikle Lasso gibi düzenlileştirme yöntemleri daha iyi bir seçimdir; nedensel sorular için ise yordayıcılar alan bilgisinden gelmelidir.

AIC ve BIC neden farklı modeller seçer?

Her iki ölçüt de model uyumunu ödüllendirir ve ekstra parametreleri cezalandırır; ancak ceza farklıdır. AIC parametre başına 2 puan keserken, BIC ln(n) keser; bu da 8 veya daha fazla gözlem olduğunda daha büyüktür. Bu nedenle BIC genellikle, özellikle büyük veri setlerinde, daha küçük modellerle sonuçlanır.

Adımlı regresyonla seçilen bir modeldeki p-değerlerine güvenebilir miyim?

Hayır, olduğu gibi güvenmeyin. P-değerleri, modeli veriye bakmadan önce seçtiğinizi varsayar; ancak adımlı yöntem hangi yordayıcıların tutulacağına karar vermek için aynı veriyi kullanır. Bu yüzden raporlanan p-değerleri çok küçük, güven aralıkları ise çok dardır.

Konular

İlgili