Vai al contenuto principale

Stepwise Regression: Choose Predictors One Step at a Time

Stepwise regression automates predictor selection with forward, backward, and bidirectional search, but its simplicity comes with trade-offs in stability and overfitting.
· 15 min leggi

Scopri con l'IA

Ti è mai capitato di guardare un dataset di regressione con 20 predittori e chiederti quali includere nel modello?

Se li aggiungi tutti, il modello probabilmente adatterà anche il rumore oltre al segnale. Se scegli a mano, due analisti possono guardare gli stessi dati e proporre due modelli diversi. E, inutile dirlo, anche con soli 20 predittori ci sono oltre un milione di possibili sottoinsiemi da confrontare.

La regressione stepwise automatizza questa ricerca: aggiunge o rimuove un predittore alla volta in base a un criterio statistico come un p-value o l'AIC. È ampiamente insegnata e usata, ma ha anche alcune limitazioni statistiche, quindi non dovresti considerarla il metodo predefinito per la selezione delle feature.

In questo articolo vedremo insieme i tre approcci principali: selezione forward, eliminazione backward e selezione stepwise bidirezionale.

Cerchi altre tecniche di feature selection? Dai un'occhiata al nostro tutorial sulla feature selection in Python per un'introduzione adatta ai principianti.

Cos'è la regressione stepwise?

La regressione stepwise è una procedura automatizzata per scegliere quali predittori inserire in un modello di regressione.

Non adatta un singolo modello, ma una sequenza di modelli candidati e, a ogni passo, aggiunge o rimuove un predittore in base a un criterio di selezione. La ricerca termina quando nessuna ulteriore modifica migliora il modello secondo quel criterio.

Immagina di voler prevedere quanto spende un cliente all'anno. Hai cinque predittori candidati:

  • income

  • age

  • education

  • location

  • years_experience

La regressione stepwise potrebbe iniziare con income, poi testare se age migliora il modello, poi education e così via. Il modello finale potrebbe mantenere solo income e education se gli altri tre non migliorano a sufficienza il criterio.

Una distinzione chiave da ricordare è che la regressione stepwise non è un tipo di modello di regressione a sé stante.

È una procedura di selezione delle variabili che applichi sopra un modello che già conosci, di solito la regressione lineare. L'output è comunque un normale modello di regressione: la stepwise decide solo quali predittori include.

Come funziona la regressione stepwise

Ogni procedura stepwise segue lo stesso ciclo:

  1. Parti da un modello iniziale: può non avere predittori, averli tutti o qualcosa nel mezzo
  2. Proponi una modifica: aggiungi un predittore o rimuovine uno
  3. Valuta il nuovo modello: giudicalo con un criterio predefinito
  4. Tieni o scarta la modifica: la tieni solo se il criterio dice che il nuovo modello è migliore
  5. Ripeti: torna al punto 2 finché nessun'altra modifica migliora il modello

Stepwise regression loop

Ciclo della regressione stepwise

L'algoritmo non guarda mai oltre un passo alla volta. Si chiede solo se la prossima singola modifica aiuta.

Il criterio decide cosa significa "migliore". Ecco i quattro che vedrai più spesso:

  1. P-value: un predittore entra nel modello se il suo p-value scende sotto una soglia d'ingresso ed esce se sale sopra una soglia di rimozione
  2. AIC: il criterio di informazione di Akaike premia il fit del modello e penalizza ogni parametro extra; valori più bassi sono migliori
  3. BIC: il criterio di informazione bayesiano funziona come l'AIC, ma la sua penalità per parametro cresce con la numerosità campionaria, quindi di solito porta a modelli più piccoli
  4. R-quadro corretto: l'R-quadro normale non diminuisce mai quando aggiungi un predittore, quindi la versione corretta aggiusta per il numero di predittori; valori più alti sono migliori

La procedura esatta dipende dalla direzione della ricerca e dal criterio. La selezione forward aggiunge solo predittori, l'eliminazione backward li rimuove soltanto e la selezione bidirezionale fa entrambe le cose. E lo stesso dataset può produrre modelli finali diversi a seconda del criterio scelto.

Quindi, quando qualcuno dice che ha eseguito una regressione stepwise, le prime due domande da fare sono in quale direzione e con quale criterio.

Tipi di regressione stepwise

Esistono tre tipi di regressione stepwise e si differenziano per una cosa: la direzione della ricerca.

Selezione forward

La selezione forward parte in piccolo e costruisce da lì.

Inizi con un modello solo intercetta, o con un paio di predittori che vuoi nel modello a prescindere. L'algoritmo quindi adatta un modello candidato per ciascun predittore rimanente, ognuno con quel predittore aggiunto. Il predittore che migliora di più il criterio entra nel modello.

Il ciclo poi riparte, con il modello più grande come nuova base. Si ferma quando nessun predittore rimanente soddisfa la regola di selezione, ad esempio quando nessuna aggiunta abbassa l'AIC.

La selezione forward può partire anche quando i predittori candidati sono più delle osservazioni, perché non deve mai adattare il modello completo. Il rovescio della medaglia è che, una volta entrato, un predittore rimane, anche se aggiunte successive lo rendono ridondante.

Eliminazione backward

L'eliminazione backward fa il percorso opposto.

Parti dal modello completo, che include ogni predittore candidato. L'algoritmo prova a rimuovere ogni predittore uno alla volta e scarta quello la cui rimozione migliora di più il criterio. Poi riadatta il modello più piccolo e ripete. La ricerca si ferma quando nessuna rimozione migliora il criterio.

Questo approccio richiede che il modello completo sia stimabile. Ti servono più osservazioni che parametri e nessun predittore può essere una combinazione lineare esatta degli altri. Se hai 50 predittori e 40 righe, l'eliminazione backward non può nemmeno partire.

E ha il problema speculare della selezione forward: una volta che un predittore è fuori, rimane fuori.

Selezione stepwise bidirezionale

La selezione bidirezionale combina entrambe. Dopo ogni aggiunta, l'algoritmo controlla se qualche predittore già nel modello ora vada rimosso.

Questo è importante perché il valore di un predittore dipende da cos'altro c'è nel modello. Mettiamo che bedrooms entri per primo perché è correlato con la dimensione della casa. Quando entra più tardi square_feet, bedrooms può aggiungere ben poco. A quel punto la selezione bidirezionale può rimuoverlo, mentre la forward lo terrebbe.

Il prezzo è un numero maggiore di fit di modelli per passo. Puoi avviare la selezione bidirezionale da un modello vuoto o da uno completo.

Ecco come si confrontano le tre:

 Selezione forwardEliminazione backwardSelezione bidirezionale
Modello inizialeSolo intercetta o un piccolo set di baseModello completo con tutti i candidatiO un modello vuoto o uno completo
Operazioni consentiteSolo aggiuntaSolo rimozioneAggiunta o rimozione
ConsiderazioniPuò iniziare quando i predittori superano le osservazioni, ma le prime aggiunte non vengono mai rivisteServe un modello completo stimabile, e i predittori rimossi non tornanoPiù fit per passo, ma può annullare decisioni precedenti

Tipi di regressione stepwise

Esempio di regressione stepwise

Rendiamo la cosa più concreta.

Ho generato un dataset sintetico di 200 case e voglio prevedere il price a partire da cinque predittori candidati:

  • square_feet

  • bedrooms

  • age_years

  • distance_km (distanza dal centro città)

  • lot_size_sqft

Userò la selezione forward con l'AIC come criterio, dove AIC più basso è meglio. Ritroverai gli stessi dati nella sezione Python.

Il modello solo intercetta ha un AIC di 5057.0. Ecco come appare ogni passo: ogni cella mostra l'AIC che otterresti aggiungendo quel predittore al modello corrente:

CandidatoPasso 1Passo 2Passo 3Passo 4Passo 5
square_feet4955.1in modelin modelin modelin model
distance_km5020.34855.6in modelin modelin model
age_years5050.24926.44841.4in modelin model
lot_size_sqft5057.94955.14844.44839.8in model
bedrooms4993.44950.04885.14842.04840.8
AIC modello corrente5057.04955.14885.64841.44839.8

Confronto AIC

Ecco cosa succede a ogni passo:

  • Passo 1: square_feet riduce l'AIC di circa 102 punti, quindi entra per primo. bedrooms arriva secondo perché è correlato con la dimensione della casa

  • Passo 2: distance_km dà il calo più grande. bedrooms ora aiuta a malapena, dato che square_feet ha già la maggior parte della sua informazione

  • Passo 3: age_years entra

  • Passo 4: lot_size_sqft abbassa l'AIC di solo 1,6 punti, ma più basso è più basso, quindi entra

  • Passo 5: Aggiungere bedrooms alzerebbe l'AIC a 4840.8, quindi la ricerca si ferma

Il modello finale usa square_feet, distance_km, age_years e lot_size_sqft.

È un risultato ragionevole. Ho generato i dati in modo che bedrooms non abbia un effetto diretto sul prezzo, e la procedura lo ha escluso.

Se esegui l'eliminazione backward sugli stessi dati, parte dal modello completo a 4840.8, elimina bedrooms e si ferma con gli stessi quattro predittori. Forward e backward non sono sempre d'accordo, ma qui sì.

AIC of the current model after each forward selection step

AIC del modello corrente dopo ogni passo di selezione forward

Come vengono selezionate le variabili nella stepwise

La direzione della ricerca decide come si comporta l'algoritmo. Il criterio decide quando si ferma.

Selezione basata sul p-value

È l'approccio più vecchio e usa due soglie:

  1. Soglia d'ingresso: un candidato entra nel modello se il suo p-value è sotto questo valore, per esempio 0,05
  2. Soglia di rimozione: un predittore esce dal modello se il suo p-value sale sopra questo valore, per esempio 0,10

La soglia di rimozione è di solito impostata più in alto di quella d'ingresso, così un predittore non entra ed esce a ogni passo. Entrambi i valori sono convenzioni, non regole.

Ogni p-value presume che tu abbia eseguito un test pianificato in anticipo. La stepwise esegue una serie di test a ogni passo e tiene il p-value più piccolo. Se esegui 20 test indipendenti a 0,05 su predittori senza alcun effetto, la probabilità che almeno uno sembri significativo è 1 − 0.95^20, circa il 64%. I predittori selezionati sembreranno più forti di quanto siano davvero, e ne parlerò nella sezione dei problemi.

Nell'esempio dei prezzi delle case, lot_size_sqft ha un p-value di circa 0,063 al passo 4. Con una soglia d'ingresso di 0,05, la selezione forward si ferma a tre predittori.

AIC

Il criterio di informazione di Akaike bilancia l'aderenza del modello con la complessità:

AIC formula

Formula AIC

Qui, k è il numero di parametri stimati e L̂ è la verosimiglianza massimizzata del modello. Il secondo termine premia il fit, e il primo addebita 2 punti per ogni parametro.

Un nuovo predittore non abbassa mai la verosimiglianza, quindi il termine di fit può solo migliorare. La domanda è se migliora di più del costo di 2 punti. Per un singolo parametro aggiunto, equivale a un likelihood ratio test con soglia di p-value di circa 0,157.

Ecco perché lot_size_sqft è entrato con l'AIC ma non con la regola del p-value 0,05. L'AIC è più permissivo e tende a mantenere predittori deboli che aiutano la previsione.

BIC

Il criterio di informazione bayesiano ha la stessa struttura, con una penalità diversa:

BIC formula

Formula BIC

In questa formula, n è il numero di osservazioni. Ogni parametro ora costa ln(n) punti invece di 2, quindi il BIC penalizza la complessità più dell'AIC non appena hai 8 o più osservazioni. E il divario cresce con la dimensione del campione.

Con 200 case, ln(200) è circa 5,3, che equivale a una soglia implicita di p-value di circa 0,021 per un parametro aggiunto. La selezione forward con BIC sui dati delle case si ferma a tre predittori ed esclude lot_size_sqft.

R-quadro corretto

L'R-quadro ordinario è inutile come criterio di selezione.

Non diminuisce mai quando aggiungi un predittore a un modello di regressione lineare, anche una colonna di rumore casuale. Se selezioni con R-quadro, il modello completo è sempre il migliore.

L'R-quadro corretto aggiunge una penalità per il numero di predittori:

Adjusted R-squared formula

Formula R-quadro corretto

Qui, p è il numero di predittori e valori più alti sono migliori. La penalità è lieve. Un nuovo predittore aumenta l'R-quadro corretto ogni volta che il valore assoluto della sua statistica t è sopra 1, quindi è il più permissivo dei quattro criteri.

Sui dati delle case, l'R-quadro corretto mantiene lot_size_sqft e rifiuta bedrooms con un margine alla quinta cifra decimale.

Stessi dati, stessa ricerca forward, risposte diverse:

CriterioModello finale
P-value (0,05)square_feet, distance_km, age_years
AICsquare_feet, distance_km, age_years, lot_size_sqft
BICsquare_feet, distance_km, age_years
R-quadro correttosquare_feet, distance_km, age_years, lot_size_sqft

Selezione delle variabili in base a criteri diversi

Regressione stepwise in Python e R

Entrambi i linguaggi possono eseguire la regressione stepwise, ma in modi diversi. Userò in entrambi gli stessi dati sui prezzi delle case dell'esempio sopra.

Regressione stepwise in Python

Python non ha una funzione standard per la regressione stepwise.

Né statsmodels né scikit-learn hanno un equivalente dello step() di R che seleziona i predittori con AIC o p-value. Quindi l'opzione più trasparente è scrivere tu il loop sopra statsmodels. Sono circa 25 righe, e puoi vedere ogni decisione che prende.

Per chiarezza, la funzione forward_selection() qui sotto è un mio helper, non una feature di statsmodels. statsmodels si limita ad adattare i modelli e a riportare gli attributi .aic e .bic.

Per prima cosa, genera il dataset e salvalo, così la sezione R può usare esattamente le stesse righe:

import numpy as np
import pandas as pd
import statsmodels.formula.api as smf

rng = np.random.default_rng(42)
n = 200

square_feet = rng.normal(1800, 450, n).clip(700, 3500)
bedrooms = np.clip(np.round(square_feet / 600 + rng.normal(0, 0.6, n)), 1, 6)
age_years = rng.uniform(0, 60, n)
distance_km = rng.uniform(1, 30, n)
lot_size_sqft = rng.normal(6000, 1500, n).clip(2000, 12000)

# Bedrooms has no direct effect on price, lot size has a small one
price = (
    60000
    + 140 * square_feet
    - 1200 * age_years
    - 3500 * distance_km
    + 4 * lot_size_sqft
    + rng.normal(0, 45000, n)
)

house = pd.DataFrame({
    "square_feet": square_feet,
    "bedrooms": bedrooms,
    "age_years": age_years,
    "distance_km": distance_km,
    "lot_size_sqft": lot_size_sqft,
    "price": price,
})

house.to_csv("house_prices.csv", index=False)

Poi, il loop di selezione. Parte dal modello solo intercetta, adatta un modello per ogni candidato rimanente e mantiene l'aggiunta con il valore di criterio più basso:

def forward_selection(data, target, candidates, criterion="aic"):
    selected = []
    remaining = list(candidates)

    # Score the intercept-only model first
    null_model = smf.ols(f"{target} ~ 1", data=data).fit()
    current_score = getattr(null_model, criterion)
    print(f"Start: {criterion.upper()} = {current_score:.1f}")

    while remaining:
        # Fit one model per remaining candidate
        scores = {}
        for candidate in remaining:
            formula = f"{target} ~ {' + '.join(selected + [candidate])}"
            scores[candidate] = getattr(smf.ols(formula, data=data).fit(), criterion)

        best = min(scores, key=scores.get)

        # Stop when the best addition doesn't lower the criterion
        if scores[best] >= current_score:
            print(f"Stop: adding {best} gives {scores[best]:.1f}")
            break

        selected.append(best)
        remaining.remove(best)
        current_score = scores[best]
        print(f"Add {best}: {criterion.upper()} = {current_score:.1f}")

    return selected


candidates = ["square_feet", "bedrooms", "age_years", "distance_km", "lot_size_sqft"]

aic_predictors = forward_selection(house, "price", candidates, criterion="aic")
print()
bic_predictors = forward_selection(house, "price", candidates, criterion="bic")

Forward selection in Python

Selezione forward in Python

Questi sono gli stessi valori AIC della tabella d'esempio. L'AIC termina con quattro predittori, mentre il BIC si ferma a tre perché lot_size_sqft non supera la penalità maggiore.

Se preferisci usare un pacchetto, scikit-learn ha SequentialFeatureSelector. Esegue selezione forward o backward, ma valuta ogni candidato con la cross-validation invece che con AIC o p-value:

from sklearn.feature_selection import SequentialFeatureSelector
from sklearn.linear_model import LinearRegression

X = house.drop(columns="price")
y = house["price"]

sfs = SequentialFeatureSelector(
    LinearRegression(),
    n_features_to_select="auto",
    tol=0.001,
    direction="forward",
    scoring="r2",
    cv=5,
)
sfs.fit(X, y)
print(list(X.columns[sfs.get_support()]))

Selected features in Python

Feature selezionate in Python

Con n_features_to_select="auto", la ricerca si ferma quando l'R-quadro cross-validato migliora di meno di tol. Su questi dati, termina con gli stessi quattro predittori dell'AIC.

Regressione stepwise in R

R include la regressione stepwise di default.

La funzione step() fa parte del pacchetto stats di base R, quindi non c'è nulla da installare. Le passi un modello di partenza, uno scope che definisce il modello più grande che può considerare e una direzione:

# Load the same data generated in the Python section
house <- read.csv("house_prices.csv")

# Intercept-only model and full model
null_model <- lm(price ~ 1, data = house)
full_model <- lm(
  price ~ square_feet + bedrooms + age_years + distance_km + lot_size_sqft,
  data = house
)

# Forward selection with AIC
aic_model <- step(null_model, scope = formula(full_model), direction = "forward")

# Forward selection with BIC
bic_model <- step(
  null_model,
  scope = formula(full_model),
  direction = "forward",
  k = log(nrow(house))
)

formula(aic_model)
formula(bic_model)

AIC and BIC formulas in R

Formule AIC e BIC in R

Il criterio che step() minimizza è controllato da un solo argomento: k.

Calcola -2 log-likelihood + k * edf, dove edf è il numero di coefficienti stimati. Il default k = 2 corrisponde all'AIC. Se imposti k = log(n) ottieni il BIC, ma il trace stampato etichetta comunque i valori come "AIC", quindi non lasciare che ti confonda.

Per l'eliminazione backward, parti dal modello completo:

backward_model <- step(full_model, direction = "backward")

Su questi dati, rimuove bedrooms e si ferma con gli stessi quattro predittori della forward con AIC. Se passi uno scope e ometti direction, step() esegue di default la selezione bidirezionale.

Regressione stepwise vs altre tecniche di selezione

La stepwise non è l'unico modo per scegliere i predittori. Ecco come si confronta con tre alternative popolari.

Regressione stepwise vs. best subset selection

La regressione stepwise è una ricerca greedy. A ogni passo fa la mossa singola migliore e non torna indietro, a meno che tu non la esegua in entrambe le direzioni.

La best subset selection adatta ogni possibile combinazione di predittori e tiene quella con il miglior valore del criterio. Con 5 predittori sono 32 modelli. Con 20 è più di un milione e con 40 è più di un trilione. Algoritmi come branch-and-bound nel pacchetto leaps di R possono saltare gran parte del lavoro, ma il costo cresce comunque velocemente con il numero di predittori.

Sui dati dei prezzi delle case, la best subset selection con AIC sceglie gli stessi quattro predittori della selezione forward. Non sarà sempre così, quindi tienilo a mente.

Regressione stepwise vs. regressione Lasso

La stepwise prende decisioni sì/no. Un predittore o è nel modello con il suo coefficiente OLS completo, o è fuori con coefficiente zero.

La regressione Lasso adatta tutti i predittori insieme e aggiunge una penalità sulla somma dei valori assoluti dei coefficienti. Quella penalità restringe ogni coefficiente verso zero e spinge i più deboli fino a zero, quindi selezione e stima avvengono in un unico passaggio.

Un piccolo cambiamento nei dati sposta di poco i coefficienti Lasso, mentre può capovolgere una decisione stepwise da dentro a fuori. Scegli l'intensità della penalità con la cross-validation, ad esempio con LassoCV in scikit-learn o cv.glmnet() in R.

I coefficienti ristretti sono volutamente bias verso zero. È uno scambio per avere stime più stabili e migliori prestazioni out-of-sample.

Regressione stepwise vs. eliminazione ricorsiva delle feature

L'eliminazione ricorsiva delle feature, o RFE, assomiglia all'eliminazione backward. Adatti un modello su tutte le feature, rimuovi le più deboli, riadatti e ripeti.

La differenza sta in cosa significa "più deboli". L'eliminazione backward usa un criterio statistico come AIC o un p-value. L'RFE usa gli score di importanza del modello stesso, come l'ampiezza dei coefficienti o le feature importance degli alberi.

Questo rende l'RFE prima di tutto uno strumento di machine learning. Funziona con qualsiasi modello che abbia importanza delle feature, inclusi random forest e SVM, e di solito lo abbini alla cross-validation tramite RFECV in scikit-learn. Ottieni un set di feature che predice bene, ma senza un criterio basato sulla verosimiglianza e senza p-value.

Problemi della regressione stepwise

La regressione stepwise è facile da eseguire e spiegare. Proprio per questo i suoi problemi sono facili da perdere di vista.

Gli statistici criticano il metodo da decenni: Regression Modeling Strategies di Frank Harrell e Whittingham et al. (2006) sul Journal of Animal Ecology sono due esempi noti. In un articolo del 2018 sul Journal of Big Data, Gary Smith sostiene che la regressione stepwise è meno efficace quanto più è grande il numero di possibili variabili esplicative, quindi non risolve il problema dei troppi predittori.

Selezione delle variabili instabile

Piccoli cambiamenti nei dati possono cambiare i predittori che ottieni.

Se rimuovi un paio di righe o raccogli un nuovo campione dalla stessa popolazione, la stepwise può restituire un modello diverso. I predittori vicini alla soglia di selezione sono i più fragili. Un predittore con un effetto reale ma piccolo, come lot_size_sqft nell'esempio, può entrare in un campione e rimanere fuori nel successivo. Un predittore senza effetto, come bedrooms, può insinuarsi quando il campione lo favorisce per caso.

Conta perché vedi sempre e solo un campione. Il modello che la stepwise ti dà è uno di una gamma di modelli possibili, e l'output non ti dice quanto è ampia quella gamma.

Stime dei coefficienti distorte

La stepwise usa gli stessi dati per scegliere i predittori e stimarne i coefficienti.

Un predittore debole entra nel modello soprattutto nei campioni in cui il suo effetto appare più forte di quanto sia. Nei campioni in cui appare più debole, resta fuori. Quindi i coefficienti che vedi dopo la selezione sono in media troppo grandi.

In parole semplici, la stepwise riporta i vincitori, e i vincitori sembrano migliori di quanto siano.

P-value e intervalli di confidenza fuorvianti

I p-value in un riepilogo di regressione presumono che tu abbia scelto il modello prima di guardare i dati.

La stepwise fa l'opposto. Esegue una serie di test, tiene i predittori che passano e poi riporta p-value come se quelli fossero gli unici test che avessi mai fatto. Quindi i p-value risultano troppo piccoli e gli intervalli di confidenza troppo stretti.

Il problema peggiora quando molti candidati non hanno effetto. David Freedman lo ha mostrato in un articolo del 1983 su The American Statistician: quando ha filtrato predittori di puro rumore e riadattato il modello, il risultato sembrava significativo anche se non c'era nulla da trovare. Smith fa lo stesso punto: variabili di disturbo possono risultare significativamente per caso, mentre quelle reali possono non superare la soglia.

Se riporti quei p-value come evidenza, potresti star riportando rumore.

Overfitting

L'overfitting è il lato predittivo dello stesso problema.

Ogni predittore candidato dà alla stepwise un'altra opportunità di adattare un pattern che esiste solo nel tuo campione. Il modello selezionato sembra buono sui dati con cui è stato costruito, ma quei pattern non si ripetono su nuovi dati. Di conseguenza, il modello può adattare bene in-sample ma comportarsi male out-of-sample.

E più predittori candidati le dai, più occasioni ha di trovare pattern che non esistono.

Predittori correlati

Quando due predittori hanno informazioni simili, la stepwise deve scegliere tra loro e piccole differenze nel campione determinano la scelta.

square_feet e bedrooms nei dati delle case sono un esempio lieve: una volta che square_feet è nel modello, bedrooms aggiunge quasi nulla. Con correlazione più forte, la scelta diventa quasi casuale. Un campione tiene la variabile A, il successivo la variabile B, e ogni modello racconta una storia diversa su cosa guida l'output.

Nessuna delle due storie è affidabile. La stepwise non può dirti che due predittori sono intercambiabili, quindi ne sceglie e basta uno.

Ricerca greedy

La stepwise prende una decisione alla volta e ogni decisione dipende da quelle precedenti.

Questo significa che può perdere il modello migliore. Supponiamo che due predittori siano inutili da soli ma forti insieme, cosa che può succedere quando ciascuno corregge il rumore dell'altro. La selezione forward non aggiungerà mai nessuno dei due, perché nessuno migliora il modello in un singolo passo.

L'eliminazione backward e la selezione bidirezionale riducono questo rischio, ma non lo eliminano. Nessuna delle tre verifica tutte le combinazioni, quindi nessuna può garantire il miglior modello per il criterio scelto.

Quando dovresti usare la regressione stepwise?

La regressione stepwise è uno strumento con un compito ristretto.

È una buona scelta per:

  1. Analisi esplorativa: ti dà un primo sguardo veloce su quali predittori potrebbero contare, purché tratti il risultato come un'ipotesi
  2. Insegnare la selezione delle variabili: il tracciamento passo-passo rende l'idea della selezione del modello facile da vedere, compresi i suoi problemi
  3. Ridurre un set di candidati: può restringere una lunga lista di predittori prima di esaminarli più da vicino, se controlli la stabilità del risultato
  4. Modelli baseline automatici: ti fornisce un modello di riferimento rapido su cui confrontare modelli più accurati

È la scelta sbagliata per l'inferenza confermativa e l'analisi causale.

Se il tuo obiettivo è testare se un predittore ha un effetto, i p-value dopo la selezione stepwise non possono rispondere a questa domanda. E se il tuo obiettivo è causale, il set giusto di variabili deriva da come sono stati generati i dati, non da quali variabili abbassano l'AIC. La stepwise non sa quale variabile causa cosa.

Per la previsione hai opzioni migliori. I metodi di regolarizzazione come Lasso ed elastic net sono più stabili, e la feature selection con cross-validation valuta i modelli su dati che non hanno visto.

Best practice per la regressione stepwise

Se decidi di usare la regressione stepwise, questi passaggi possono rendere i risultati più onesti:

  1. Parti da predittori plausibili: includi solo candidati che puoi giustificare con la conoscenza del dominio, perché ogni candidato in più dà all'algoritmo un'altra chance di scegliere rumore
  2. Scegli il criterio con intenzione: l'AIC tende verso la previsione, il BIC verso modelli più piccoli e le soglie di p-value sono convenzioni; scegli quello allineato al tuo obiettivo e decidi prima di eseguire qualsiasi cosa
  3. Non prendere i p-value selezionati alla lettera: trattali come descrittivi, non come evidenza, perché la selezione ha già usato i dati su cui si basano
  4. Valida su dati non visti: valuta il modello finale su un set di holdout o con la cross-validation dell'intera procedura, non solo del modello finale
  5. Controlla la multicollinearità: guarda correlazioni e variance inflation factor tra i candidati, così sai quali scelte potrebbero essere quasi casuali
  6. Testa la stabilità: riesegui la selezione su campioni bootstrap e riporta quanto spesso ogni predittore viene selezionato
  7. Confronta con altri modelli: adatta un modello Lasso e un modello costruito dalla conoscenza del dominio e verifica se la stepwise fa meglio sui dati tenuti da parte
  8. Riporta la procedura: scrivi il set di candidati, la direzione, il criterio e le soglie, così altri possono riprodurre e giudicare il risultato

Conclusione

La regressione stepwise automatizza la selezione dei predittori. Aggiunge o rimuove una variabile alla volta e si ferma quando nessuna modifica migliora il modello secondo il criterio scelto.

La selezione forward parte vuota e aggiunge soltanto. L'eliminazione backward parte dal modello completo e rimuove soltanto. La selezione bidirezionale fa entrambe, quindi può annullare una decisione precedente.

Ma la semplicità implica che i predittori selezionati possano cambiare da campione a campione, che il modello possa adattare il rumore e che p-value e intervalli di confidenza dopo la selezione non siano affidabili. È qualcosa da tenere a mente. Considera quindi la stepwise come una delle tecniche di selezione del modello, non il modo predefinito per costruire un modello di regressione.

Se vuoi approfondire, leggi la feature selection in generale, scopri come AIC e BIC confrontano i modelli e prova la regressione Lasso come primo passo verso la regolarizzazione.

Dario Radečić

Autore

Dario Radečić

Senior Data Scientist con base in Croazia. Top Tech Writer con oltre 700 articoli pubblicati, per più di 10 milioni di visualizzazioni. Autore del libro Machine Learning Automation with TPOT.

FAQ sulla regressione stepwise

Cos'è la regressione stepwise?

La regressione stepwise è una procedura automatizzata per scegliere quali predittori inserire in un modello di regressione. Aggiunge o rimuove un predittore alla volta e mantiene ogni modifica solo se migliora un criterio come AIC, BIC o una soglia di p-value. Non è un tipo di regressione a sé, perché il risultato finale è comunque un normale modello di regressione.

Qual è la differenza tra selezione forward ed eliminazione backward?

La selezione forward parte da un modello vuoto e aggiunge il predittore più utile a ogni passo. L'eliminazione backward parte da tutti i predittori candidati e rimuove il meno utile a ogni passo. L'eliminazione backward richiede che il modello completo sia stimabile, quindi non può partire quando hai più predittori che osservazioni.

La regressione stepwise è ancora un buon metodo da usare?

Va bene per esplorazione, insegnamento e modelli baseline rapidi. Ma produce set di predittori instabili, coefficienti distorti e p-value che sembrano più forti di quanto sono. Per la previsione, i metodi di regolarizzazione come Lasso sono di solito una scelta migliore, e per le domande causali i predittori dovrebbero venire dalla conoscenza del dominio.

Perché AIC e BIC selezionano modelli diversi?

Entrambi i criteri premiano il fit del modello e penalizzano i parametri extra, ma la penalità è diversa. L'AIC addebita 2 punti per parametro, mentre il BIC addebita ln(n), che è maggiore una volta superate 8 osservazioni. Quindi il BIC di solito finisce con modelli più piccoli, soprattutto su dataset grandi.

Posso fidarmi dei p-value di un modello selezionato con stepwise?

No, non alla lettera. I p-value presumono che tu abbia scelto il modello prima di guardare i dati, ma la stepwise ha usato gli stessi dati per decidere quali predittori tenere. Quindi i p-value riportati sono troppo piccoli e gli intervalli di confidenza troppo stretti.

Argomenti

Correlato