Stepwise Regression: Choose Predictors One Step at a Time
Stepwise regression automates predictor selection with forward, backward, and bidirectional search, but its simplicity comes with trade-offs in stability and overfitting.
Ti è mai capitato di guardare un dataset di regressione con 20 predittori e chiederti quali includere nel modello?
Se li aggiungi tutti, il modello probabilmente adatterà anche il rumore oltre al segnale. Se scegli a mano, due analisti possono guardare gli stessi dati e proporre due modelli diversi. E, inutile dirlo, anche con soli 20 predittori ci sono oltre un milione di possibili sottoinsiemi da confrontare.
La regressione stepwise automatizza questa ricerca: aggiunge o rimuove un predittore alla volta in base a un criterio statistico come un p-value o l'AIC. È ampiamente insegnata e usata, ma ha anche alcune limitazioni statistiche, quindi non dovresti considerarla il metodo predefinito per la selezione delle feature.
In questo articolo vedremo insieme i tre approcci principali: selezione forward, eliminazione backward e selezione stepwise bidirezionale.
La regressione stepwise è una procedura automatizzata per scegliere quali predittori inserire in un modello di regressione.
Non adatta un singolo modello, ma una sequenza di modelli candidati e, a ogni passo, aggiunge o rimuove un predittore in base a un criterio di selezione. La ricerca termina quando nessuna ulteriore modifica migliora il modello secondo quel criterio.
Immagina di voler prevedere quanto spende un cliente all'anno. Hai cinque predittori candidati:
income
age
education
location
years_experience
La regressione stepwise potrebbe iniziare con income, poi testare se age migliora il modello, poi education e così via. Il modello finale potrebbe mantenere solo income e education se gli altri tre non migliorano a sufficienza il criterio.
Una distinzione chiave da ricordare è che la regressione stepwise non è un tipo di modello di regressione a sé stante.
È una procedura di selezione delle variabili che applichi sopra un modello che già conosci, di solito la regressione lineare. L'output è comunque un normale modello di regressione: la stepwise decide solo quali predittori include.
Come funziona la regressione stepwise
Ogni procedura stepwise segue lo stesso ciclo:
Parti da un modello iniziale: può non avere predittori, averli tutti o qualcosa nel mezzo
Proponi una modifica: aggiungi un predittore o rimuovine uno
Valuta il nuovo modello: giudicalo con un criterio predefinito
Tieni o scarta la modifica: la tieni solo se il criterio dice che il nuovo modello è migliore
Ripeti: torna al punto 2 finché nessun'altra modifica migliora il modello
Ciclo della regressione stepwise
L'algoritmo non guarda mai oltre un passo alla volta. Si chiede solo se la prossima singola modifica aiuta.
Il criterio decide cosa significa "migliore". Ecco i quattro che vedrai più spesso:
P-value: un predittore entra nel modello se il suo p-value scende sotto una soglia d'ingresso ed esce se sale sopra una soglia di rimozione
BIC: il criterio di informazione bayesiano funziona come l'AIC, ma la sua penalità per parametro cresce con la numerosità campionaria, quindi di solito porta a modelli più piccoli
R-quadro corretto: l'R-quadro normale non diminuisce mai quando aggiungi un predittore, quindi la versione corretta aggiusta per il numero di predittori; valori più alti sono migliori
La procedura esatta dipende dalla direzione della ricerca e dal criterio. La selezione forward aggiunge solo predittori, l'eliminazione backward li rimuove soltanto e la selezione bidirezionale fa entrambe le cose. E lo stesso dataset può produrre modelli finali diversi a seconda del criterio scelto.
Quindi, quando qualcuno dice che ha eseguito una regressione stepwise, le prime due domande da fare sono in quale direzione e con quale criterio.
Tipi di regressione stepwise
Esistono tre tipi di regressione stepwise e si differenziano per una cosa: la direzione della ricerca.
Selezione forward
La selezione forward parte in piccolo e costruisce da lì.
Inizi con un modello solo intercetta, o con un paio di predittori che vuoi nel modello a prescindere. L'algoritmo quindi adatta un modello candidato per ciascun predittore rimanente, ognuno con quel predittore aggiunto. Il predittore che migliora di più il criterio entra nel modello.
Il ciclo poi riparte, con il modello più grande come nuova base. Si ferma quando nessun predittore rimanente soddisfa la regola di selezione, ad esempio quando nessuna aggiunta abbassa l'AIC.
La selezione forward può partire anche quando i predittori candidati sono più delle osservazioni, perché non deve mai adattare il modello completo. Il rovescio della medaglia è che, una volta entrato, un predittore rimane, anche se aggiunte successive lo rendono ridondante.
Eliminazione backward
L'eliminazione backward fa il percorso opposto.
Parti dal modello completo, che include ogni predittore candidato. L'algoritmo prova a rimuovere ogni predittore uno alla volta e scarta quello la cui rimozione migliora di più il criterio. Poi riadatta il modello più piccolo e ripete. La ricerca si ferma quando nessuna rimozione migliora il criterio.
Questo approccio richiede che il modello completo sia stimabile. Ti servono più osservazioni che parametri e nessun predittore può essere una combinazione lineare esatta degli altri. Se hai 50 predittori e 40 righe, l'eliminazione backward non può nemmeno partire.
E ha il problema speculare della selezione forward: una volta che un predittore è fuori, rimane fuori.
Selezione stepwise bidirezionale
La selezione bidirezionale combina entrambe. Dopo ogni aggiunta, l'algoritmo controlla se qualche predittore già nel modello ora vada rimosso.
Questo è importante perché il valore di un predittore dipende da cos'altro c'è nel modello. Mettiamo che bedrooms entri per primo perché è correlato con la dimensione della casa. Quando entra più tardi square_feet, bedrooms può aggiungere ben poco. A quel punto la selezione bidirezionale può rimuoverlo, mentre la forward lo terrebbe.
Il prezzo è un numero maggiore di fit di modelli per passo. Puoi avviare la selezione bidirezionale da un modello vuoto o da uno completo.
Ecco come si confrontano le tre:
Selezione forward
Eliminazione backward
Selezione bidirezionale
Modello iniziale
Solo intercetta o un piccolo set di base
Modello completo con tutti i candidati
O un modello vuoto o uno completo
Operazioni consentite
Solo aggiunta
Solo rimozione
Aggiunta o rimozione
Considerazioni
Può iniziare quando i predittori superano le osservazioni, ma le prime aggiunte non vengono mai riviste
Serve un modello completo stimabile, e i predittori rimossi non tornano
Più fit per passo, ma può annullare decisioni precedenti
Tipi di regressione stepwise
Esempio di regressione stepwise
Rendiamo la cosa più concreta.
Ho generato un dataset sintetico di 200 case e voglio prevedere il price a partire da cinque predittori candidati:
square_feet
bedrooms
age_years
distance_km (distanza dal centro città)
lot_size_sqft
Userò la selezione forward con l'AIC come criterio, dove AIC più basso è meglio. Ritroverai gli stessi dati nella sezione Python.
Il modello solo intercetta ha un AIC di 5057.0. Ecco come appare ogni passo: ogni cella mostra l'AIC che otterresti aggiungendo quel predittore al modello corrente:
Candidato
Passo 1
Passo 2
Passo 3
Passo 4
Passo 5
square_feet
4955.1
in model
in model
in model
in model
distance_km
5020.3
4855.6
in model
in model
in model
age_years
5050.2
4926.4
4841.4
in model
in model
lot_size_sqft
5057.9
4955.1
4844.4
4839.8
in model
bedrooms
4993.4
4950.0
4885.1
4842.0
4840.8
AIC modello corrente
5057.0
4955.1
4885.6
4841.4
4839.8
Confronto AIC
Ecco cosa succede a ogni passo:
Passo 1:square_feet riduce l'AIC di circa 102 punti, quindi entra per primo. bedrooms arriva secondo perché è correlato con la dimensione della casa
Passo 2:distance_km dà il calo più grande. bedrooms ora aiuta a malapena, dato che square_feet ha già la maggior parte della sua informazione
Passo 3:age_years entra
Passo 4:lot_size_sqft abbassa l'AIC di solo 1,6 punti, ma più basso è più basso, quindi entra
Passo 5: Aggiungere bedrooms alzerebbe l'AIC a 4840.8, quindi la ricerca si ferma
Il modello finale usa square_feet, distance_km, age_years e lot_size_sqft.
È un risultato ragionevole. Ho generato i dati in modo che bedrooms non abbia un effetto diretto sul prezzo, e la procedura lo ha escluso.
Se esegui l'eliminazione backward sugli stessi dati, parte dal modello completo a 4840.8, elimina bedrooms e si ferma con gli stessi quattro predittori. Forward e backward non sono sempre d'accordo, ma qui sì.
AIC del modello corrente dopo ogni passo di selezione forward
Come vengono selezionate le variabili nella stepwise
La direzione della ricerca decide come si comporta l'algoritmo. Il criterio decide quando si ferma.
Selezione basata sul p-value
È l'approccio più vecchio e usa due soglie:
Soglia d'ingresso: un candidato entra nel modello se il suo p-value è sotto questo valore, per esempio 0,05
Soglia di rimozione: un predittore esce dal modello se il suo p-value sale sopra questo valore, per esempio 0,10
La soglia di rimozione è di solito impostata più in alto di quella d'ingresso, così un predittore non entra ed esce a ogni passo. Entrambi i valori sono convenzioni, non regole.
Ogni p-value presume che tu abbia eseguito un test pianificato in anticipo. La stepwise esegue una serie di test a ogni passo e tiene il p-value più piccolo. Se esegui 20 test indipendenti a 0,05 su predittori senza alcun effetto, la probabilità che almeno uno sembri significativo è 1 − 0.95^20, circa il 64%. I predittori selezionati sembreranno più forti di quanto siano davvero, e ne parlerò nella sezione dei problemi.
Nell'esempio dei prezzi delle case, lot_size_sqft ha un p-value di circa 0,063 al passo 4. Con una soglia d'ingresso di 0,05, la selezione forward si ferma a tre predittori.
AIC
Il criterio di informazione di Akaike bilancia l'aderenza del modello con la complessità:
Formula AIC
Qui, k è il numero di parametri stimati e L̂ è la verosimiglianza massimizzata del modello. Il secondo termine premia il fit, e il primo addebita 2 punti per ogni parametro.
Un nuovo predittore non abbassa mai la verosimiglianza, quindi il termine di fit può solo migliorare. La domanda è se migliora di più del costo di 2 punti. Per un singolo parametro aggiunto, equivale a un likelihood ratio test con soglia di p-value di circa 0,157.
Ecco perché lot_size_sqft è entrato con l'AIC ma non con la regola del p-value 0,05. L'AIC è più permissivo e tende a mantenere predittori deboli che aiutano la previsione.
BIC
Il criterio di informazione bayesiano ha la stessa struttura, con una penalità diversa:
Formula BIC
In questa formula, n è il numero di osservazioni. Ogni parametro ora costa ln(n) punti invece di 2, quindi il BIC penalizza la complessità più dell'AIC non appena hai 8 o più osservazioni. E il divario cresce con la dimensione del campione.
Con 200 case, ln(200) è circa 5,3, che equivale a una soglia implicita di p-value di circa 0,021 per un parametro aggiunto. La selezione forward con BIC sui dati delle case si ferma a tre predittori ed esclude lot_size_sqft.
R-quadro corretto
L'R-quadro ordinario è inutile come criterio di selezione.
Non diminuisce mai quando aggiungi un predittore a un modello di regressione lineare, anche una colonna di rumore casuale. Se selezioni con R-quadro, il modello completo è sempre il migliore.
L'R-quadro corretto aggiunge una penalità per il numero di predittori:
Formula R-quadro corretto
Qui, p è il numero di predittori e valori più alti sono migliori. La penalità è lieve. Un nuovo predittore aumenta l'R-quadro corretto ogni volta che il valore assoluto della sua statistica t è sopra 1, quindi è il più permissivo dei quattro criteri.
Sui dati delle case, l'R-quadro corretto mantiene lot_size_sqft e rifiuta bedrooms con un margine alla quinta cifra decimale.
Stessi dati, stessa ricerca forward, risposte diverse:
Selezione delle variabili in base a criteri diversi
Regressione stepwise in Python e R
Entrambi i linguaggi possono eseguire la regressione stepwise, ma in modi diversi. Userò in entrambi gli stessi dati sui prezzi delle case dell'esempio sopra.
Regressione stepwise in Python
Python non ha una funzione standard per la regressione stepwise.
Né statsmodels né scikit-learn hanno un equivalente dello step() di R che seleziona i predittori con AIC o p-value. Quindi l'opzione più trasparente è scrivere tu il loop sopra statsmodels. Sono circa 25 righe, e puoi vedere ogni decisione che prende.
Per chiarezza, la funzione forward_selection() qui sotto è un mio helper, non una feature di statsmodels. statsmodels si limita ad adattare i modelli e a riportare gli attributi .aic e .bic.
Per prima cosa, genera il dataset e salvalo, così la sezione R può usare esattamente le stesse righe:
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
rng = np.random.default_rng(42)
n =200
square_feet = rng.normal(1800,450, n).clip(700,3500)
bedrooms = np.clip(np.round(square_feet /600+ rng.normal(0,0.6, n)),1,6)
age_years = rng.uniform(0,60, n)
distance_km = rng.uniform(1,30, n)
lot_size_sqft = rng.normal(6000,1500, n).clip(2000,12000)# Bedrooms has no direct effect on price, lot size has a small one
price =(60000+140* square_feet
-1200* age_years
-3500* distance_km
+4* lot_size_sqft
+ rng.normal(0,45000, n))
house = pd.DataFrame({"square_feet": square_feet,"bedrooms": bedrooms,"age_years": age_years,"distance_km": distance_km,"lot_size_sqft": lot_size_sqft,"price": price,})
house.to_csv("house_prices.csv", index=False)Offerto da
Poi, il loop di selezione. Parte dal modello solo intercetta, adatta un modello per ogni candidato rimanente e mantiene l'aggiunta con il valore di criterio più basso:
defforward_selection(data, target, candidates, criterion="aic"):
selected =[]
remaining =list(candidates)# Score the intercept-only model first
null_model = smf.ols(f"{target} ~ 1", data=data).fit()
current_score =getattr(null_model, criterion)print(f"Start: {criterion.upper()} = {current_score:.1f}")while remaining:# Fit one model per remaining candidate
scores ={}for candidate in remaining:
formula =f"{target} ~ {' + '.join(selected +[candidate])}"
scores[candidate]=getattr(smf.ols(formula, data=data).fit(), criterion)
best =min(scores, key=scores.get)# Stop when the best addition doesn't lower the criterionif scores[best]>= current_score:print(f"Stop: adding {best} gives {scores[best]:.1f}")break
selected.append(best)
remaining.remove(best)
current_score = scores[best]print(f"Add {best}: {criterion.upper()} = {current_score:.1f}")return selected
candidates =["square_feet","bedrooms","age_years","distance_km","lot_size_sqft"]
aic_predictors = forward_selection(house,"price", candidates, criterion="aic")print()
bic_predictors = forward_selection(house,"price", candidates, criterion="bic")Offerto da
Selezione forward in Python
Questi sono gli stessi valori AIC della tabella d'esempio. L'AIC termina con quattro predittori, mentre il BIC si ferma a tre perché lot_size_sqft non supera la penalità maggiore.
Se preferisci usare un pacchetto, scikit-learn ha SequentialFeatureSelector. Esegue selezione forward o backward, ma valuta ogni candidato con la cross-validation invece che con AIC o p-value:
from sklearn.feature_selection import SequentialFeatureSelector
from sklearn.linear_model import LinearRegression
X = house.drop(columns="price")
y = house["price"]
sfs = SequentialFeatureSelector(
LinearRegression(),
n_features_to_select="auto",
tol=0.001,
direction="forward",
scoring="r2",
cv=5,)
sfs.fit(X, y)print(list(X.columns[sfs.get_support()]))Offerto da
Feature selezionate in Python
Con n_features_to_select="auto", la ricerca si ferma quando l'R-quadro cross-validato migliora di meno di tol. Su questi dati, termina con gli stessi quattro predittori dell'AIC.
Regressione stepwise in R
R include la regressione stepwise di default.
La funzione step() fa parte del pacchetto stats di base R, quindi non c'è nulla da installare. Le passi un modello di partenza, uno scope che definisce il modello più grande che può considerare e una direzione:
# Load the same data generated in the Python section
house <- read.csv("house_prices.csv")# Intercept-only model and full model
null_model <- lm(price ~1, data = house)
full_model <- lm(
price ~ square_feet + bedrooms + age_years + distance_km + lot_size_sqft,
data = house
)# Forward selection with AIC
aic_model <- step(null_model, scope = formula(full_model), direction ="forward")# Forward selection with BIC
bic_model <- step(
null_model,
scope = formula(full_model),
direction ="forward",
k = log(nrow(house)))
formula(aic_model)
formula(bic_model)Offerto da
Formule AIC e BIC in R
Il criterio che step() minimizza è controllato da un solo argomento: k.
Calcola -2 log-likelihood + k * edf, dove edf è il numero di coefficienti stimati. Il default k = 2 corrisponde all'AIC. Se imposti k = log(n) ottieni il BIC, ma il trace stampato etichetta comunque i valori come "AIC", quindi non lasciare che ti confonda.
Per l'eliminazione backward, parti dal modello completo:
backward_model <- step(full_model, direction ="backward")Offerto da
Su questi dati, rimuove bedrooms e si ferma con gli stessi quattro predittori della forward con AIC. Se passi uno scope e ometti direction, step() esegue di default la selezione bidirezionale.
Regressione stepwise vs altre tecniche di selezione
La stepwise non è l'unico modo per scegliere i predittori. Ecco come si confronta con tre alternative popolari.
Regressione stepwise vs. best subset selection
La regressione stepwise è una ricerca greedy. A ogni passo fa la mossa singola migliore e non torna indietro, a meno che tu non la esegua in entrambe le direzioni.
La best subset selection adatta ogni possibile combinazione di predittori e tiene quella con il miglior valore del criterio. Con 5 predittori sono 32 modelli. Con 20 è più di un milione e con 40 è più di un trilione. Algoritmi come branch-and-bound nel pacchetto leaps di R possono saltare gran parte del lavoro, ma il costo cresce comunque velocemente con il numero di predittori.
Sui dati dei prezzi delle case, la best subset selection con AIC sceglie gli stessi quattro predittori della selezione forward. Non sarà sempre così, quindi tienilo a mente.
Regressione stepwise vs. regressione Lasso
La stepwise prende decisioni sì/no. Un predittore o è nel modello con il suo coefficiente OLS completo, o è fuori con coefficiente zero.
La regressione Lasso adatta tutti i predittori insieme e aggiunge una penalità sulla somma dei valori assoluti dei coefficienti. Quella penalità restringe ogni coefficiente verso zero e spinge i più deboli fino a zero, quindi selezione e stima avvengono in un unico passaggio.
Un piccolo cambiamento nei dati sposta di poco i coefficienti Lasso, mentre può capovolgere una decisione stepwise da dentro a fuori. Scegli l'intensità della penalità con la cross-validation, ad esempio con LassoCV in scikit-learn o cv.glmnet() in R.
I coefficienti ristretti sono volutamente bias verso zero. È uno scambio per avere stime più stabili e migliori prestazioni out-of-sample.
Regressione stepwise vs. eliminazione ricorsiva delle feature
L'eliminazione ricorsiva delle feature, o RFE, assomiglia all'eliminazione backward. Adatti un modello su tutte le feature, rimuovi le più deboli, riadatti e ripeti.
La differenza sta in cosa significa "più deboli". L'eliminazione backward usa un criterio statistico come AIC o un p-value. L'RFE usa gli score di importanza del modello stesso, come l'ampiezza dei coefficienti o le feature importance degli alberi.
Questo rende l'RFE prima di tutto uno strumento di machine learning. Funziona con qualsiasi modello che abbia importanza delle feature, inclusi random forest e SVM, e di solito lo abbini alla cross-validation tramite RFECV in scikit-learn. Ottieni un set di feature che predice bene, ma senza un criterio basato sulla verosimiglianza e senza p-value.
Problemi della regressione stepwise
La regressione stepwise è facile da eseguire e spiegare. Proprio per questo i suoi problemi sono facili da perdere di vista.
Gli statistici criticano il metodo da decenni: Regression Modeling Strategies di Frank Harrell e Whittingham et al. (2006) sul Journal of Animal Ecology sono due esempi noti. In un articolo del 2018 sul Journal of Big Data, Gary Smith sostiene che la regressione stepwise è meno efficace quanto più è grande il numero di possibili variabili esplicative, quindi non risolve il problema dei troppi predittori.
Selezione delle variabili instabile
Piccoli cambiamenti nei dati possono cambiare i predittori che ottieni.
Se rimuovi un paio di righe o raccogli un nuovo campione dalla stessa popolazione, la stepwise può restituire un modello diverso. I predittori vicini alla soglia di selezione sono i più fragili. Un predittore con un effetto reale ma piccolo, come lot_size_sqft nell'esempio, può entrare in un campione e rimanere fuori nel successivo. Un predittore senza effetto, come bedrooms, può insinuarsi quando il campione lo favorisce per caso.
Conta perché vedi sempre e solo un campione. Il modello che la stepwise ti dà è uno di una gamma di modelli possibili, e l'output non ti dice quanto è ampia quella gamma.
Stime dei coefficienti distorte
La stepwise usa gli stessi dati per scegliere i predittori e stimarne i coefficienti.
Un predittore debole entra nel modello soprattutto nei campioni in cui il suo effetto appare più forte di quanto sia. Nei campioni in cui appare più debole, resta fuori. Quindi i coefficienti che vedi dopo la selezione sono in media troppo grandi.
In parole semplici, la stepwise riporta i vincitori, e i vincitori sembrano migliori di quanto siano.
P-value e intervalli di confidenza fuorvianti
I p-value in un riepilogo di regressione presumono che tu abbia scelto il modello prima di guardare i dati.
La stepwise fa l'opposto. Esegue una serie di test, tiene i predittori che passano e poi riporta p-value come se quelli fossero gli unici test che avessi mai fatto. Quindi i p-value risultano troppo piccoli e gli intervalli di confidenza troppo stretti.
Il problema peggiora quando molti candidati non hanno effetto. David Freedman lo ha mostrato in un articolo del 1983 su The American Statistician: quando ha filtrato predittori di puro rumore e riadattato il modello, il risultato sembrava significativo anche se non c'era nulla da trovare. Smith fa lo stesso punto: variabili di disturbo possono risultare significativamente per caso, mentre quelle reali possono non superare la soglia.
Se riporti quei p-value come evidenza, potresti star riportando rumore.
Overfitting
L'overfitting è il lato predittivo dello stesso problema.
Ogni predittore candidato dà alla stepwise un'altra opportunità di adattare un pattern che esiste solo nel tuo campione. Il modello selezionato sembra buono sui dati con cui è stato costruito, ma quei pattern non si ripetono su nuovi dati. Di conseguenza, il modello può adattare bene in-sample ma comportarsi male out-of-sample.
E più predittori candidati le dai, più occasioni ha di trovare pattern che non esistono.
Predittori correlati
Quando due predittori hanno informazioni simili, la stepwise deve scegliere tra loro e piccole differenze nel campione determinano la scelta.
square_feet e bedrooms nei dati delle case sono un esempio lieve: una volta che square_feet è nel modello, bedrooms aggiunge quasi nulla. Con correlazione più forte, la scelta diventa quasi casuale. Un campione tiene la variabile A, il successivo la variabile B, e ogni modello racconta una storia diversa su cosa guida l'output.
Nessuna delle due storie è affidabile. La stepwise non può dirti che due predittori sono intercambiabili, quindi ne sceglie e basta uno.
Ricerca greedy
La stepwise prende una decisione alla volta e ogni decisione dipende da quelle precedenti.
Questo significa che può perdere il modello migliore. Supponiamo che due predittori siano inutili da soli ma forti insieme, cosa che può succedere quando ciascuno corregge il rumore dell'altro. La selezione forward non aggiungerà mai nessuno dei due, perché nessuno migliora il modello in un singolo passo.
L'eliminazione backward e la selezione bidirezionale riducono questo rischio, ma non lo eliminano. Nessuna delle tre verifica tutte le combinazioni, quindi nessuna può garantire il miglior modello per il criterio scelto.
Quando dovresti usare la regressione stepwise?
La regressione stepwise è uno strumento con un compito ristretto.
È una buona scelta per:
Analisi esplorativa: ti dà un primo sguardo veloce su quali predittori potrebbero contare, purché tratti il risultato come un'ipotesi
Insegnare la selezione delle variabili: il tracciamento passo-passo rende l'idea della selezione del modello facile da vedere, compresi i suoi problemi
Ridurre un set di candidati: può restringere una lunga lista di predittori prima di esaminarli più da vicino, se controlli la stabilità del risultato
Modelli baseline automatici: ti fornisce un modello di riferimento rapido su cui confrontare modelli più accurati
È la scelta sbagliata per l'inferenza confermativa e l'analisi causale.
Se il tuo obiettivo è testare se un predittore ha un effetto, i p-value dopo la selezione stepwise non possono rispondere a questa domanda. E se il tuo obiettivo è causale, il set giusto di variabili deriva da come sono stati generati i dati, non da quali variabili abbassano l'AIC. La stepwise non sa quale variabile causa cosa.
Per la previsione hai opzioni migliori. I metodi di regolarizzazione come Lasso ed elastic net sono più stabili, e la feature selection con cross-validation valuta i modelli su dati che non hanno visto.
Best practice per la regressione stepwise
Se decidi di usare la regressione stepwise, questi passaggi possono rendere i risultati più onesti:
Parti da predittori plausibili: includi solo candidati che puoi giustificare con la conoscenza del dominio, perché ogni candidato in più dà all'algoritmo un'altra chance di scegliere rumore
Scegli il criterio con intenzione: l'AIC tende verso la previsione, il BIC verso modelli più piccoli e le soglie di p-value sono convenzioni; scegli quello allineato al tuo obiettivo e decidi prima di eseguire qualsiasi cosa
Non prendere i p-value selezionati alla lettera: trattali come descrittivi, non come evidenza, perché la selezione ha già usato i dati su cui si basano
Valida su dati non visti: valuta il modello finale su un set di holdout o con la cross-validation dell'intera procedura, non solo del modello finale
Controlla la multicollinearità: guarda correlazioni e variance inflation factor tra i candidati, così sai quali scelte potrebbero essere quasi casuali
Testa la stabilità: riesegui la selezione su campioni bootstrap e riporta quanto spesso ogni predittore viene selezionato
Confronta con altri modelli: adatta un modello Lasso e un modello costruito dalla conoscenza del dominio e verifica se la stepwise fa meglio sui dati tenuti da parte
Riporta la procedura: scrivi il set di candidati, la direzione, il criterio e le soglie, così altri possono riprodurre e giudicare il risultato
Conclusione
La regressione stepwise automatizza la selezione dei predittori. Aggiunge o rimuove una variabile alla volta e si ferma quando nessuna modifica migliora il modello secondo il criterio scelto.
La selezione forward parte vuota e aggiunge soltanto. L'eliminazione backward parte dal modello completo e rimuove soltanto. La selezione bidirezionale fa entrambe, quindi può annullare una decisione precedente.
Ma la semplicità implica che i predittori selezionati possano cambiare da campione a campione, che il modello possa adattare il rumore e che p-value e intervalli di confidenza dopo la selezione non siano affidabili. È qualcosa da tenere a mente. Considera quindi la stepwise come una delle tecniche di selezione del modello, non il modo predefinito per costruire un modello di regressione.
Senior Data Scientist con base in Croazia. Top Tech Writer con oltre 700 articoli pubblicati, per più di 10 milioni di visualizzazioni. Autore del libro Machine Learning Automation with TPOT.
FAQ sulla regressione stepwise
Cos'è la regressione stepwise?⌄
La regressione stepwise è una procedura automatizzata per scegliere quali predittori inserire in un modello di regressione. Aggiunge o rimuove un predittore alla volta e mantiene ogni modifica solo se migliora un criterio come AIC, BIC o una soglia di p-value. Non è un tipo di regressione a sé, perché il risultato finale è comunque un normale modello di regressione.
Qual è la differenza tra selezione forward ed eliminazione backward?⌄
La selezione forward parte da un modello vuoto e aggiunge il predittore più utile a ogni passo. L'eliminazione backward parte da tutti i predittori candidati e rimuove il meno utile a ogni passo. L'eliminazione backward richiede che il modello completo sia stimabile, quindi non può partire quando hai più predittori che osservazioni.
La regressione stepwise è ancora un buon metodo da usare?⌄
Va bene per esplorazione, insegnamento e modelli baseline rapidi. Ma produce set di predittori instabili, coefficienti distorti e p-value che sembrano più forti di quanto sono. Per la previsione, i metodi di regolarizzazione come Lasso sono di solito una scelta migliore, e per le domande causali i predittori dovrebbero venire dalla conoscenza del dominio.
Perché AIC e BIC selezionano modelli diversi?⌄
Entrambi i criteri premiano il fit del modello e penalizzano i parametri extra, ma la penalità è diversa. L'AIC addebita 2 punti per parametro, mentre il BIC addebita ln(n), che è maggiore una volta superate 8 osservazioni. Quindi il BIC di solito finisce con modelli più piccoli, soprattutto su dataset grandi.
Posso fidarmi dei p-value di un modello selezionato con stepwise?⌄
No, non alla lettera. I p-value presumono che tu abbia scelto il modello prima di guardare i dati, ma la stepwise ha usato gli stessi dati per decidere quali predittori tenere. Quindi i p-value riportati sono troppo piccoli e gli intervalli di confidenza troppo stretti.
Scopri i 15 migliori server MCP remoti che stanno trasformando lo sviluppo AI nel 2026. Scopri come migliorano automazione, ragionamento, sicurezza e velocità dei workflow.
Ti è mai capitato di guardare un dataset di regressione con 20 predittori e chiederti quali includere nel modello?
Se li aggiungi tutti, il modello probabilmente adatterà anche il rumore oltre al segnale. Se scegli a mano, due analisti possono guardare gli stessi dati e proporre due modelli diversi. E, inutile dirlo, anche con soli 20 predittori ci sono oltre un milione di possibili sottoinsiemi da confrontare.
La regressione stepwise automatizza questa ricerca: aggiunge o rimuove un predittore alla volta in base a un criterio statistico come un p-value o l'AIC. È ampiamente insegnata e usata, ma ha anche alcune limitazioni statistiche, quindi non dovresti considerarla il metodo predefinito per la selezione delle feature.
In questo articolo vedremo insieme i tre approcci principali: selezione forward, eliminazione backward e selezione stepwise bidirezionale.
Cerchi altre tecniche di feature selection? Dai un'occhiata al nostro tutorial sulla feature selection in Python per un'introduzione adatta ai principianti.
Cos'è la regressione stepwise?
La regressione stepwise è una procedura automatizzata per scegliere quali predittori inserire in un modello di regressione.
Non adatta un singolo modello, ma una sequenza di modelli candidati e, a ogni passo, aggiunge o rimuove un predittore in base a un criterio di selezione. La ricerca termina quando nessuna ulteriore modifica migliora il modello secondo quel criterio.
Immagina di voler prevedere quanto spende un cliente all'anno. Hai cinque predittori candidati:
incomeageeducationlocationyears_experienceLa regressione stepwise potrebbe iniziare con
income, poi testare seagemigliora il modello, poieducatione così via. Il modello finale potrebbe mantenere soloincomeeeducationse gli altri tre non migliorano a sufficienza il criterio.Una distinzione chiave da ricordare è che la regressione stepwise non è un tipo di modello di regressione a sé stante.
È una procedura di selezione delle variabili che applichi sopra un modello che già conosci, di solito la regressione lineare. L'output è comunque un normale modello di regressione: la stepwise decide solo quali predittori include.
Come funziona la regressione stepwise
Ogni procedura stepwise segue lo stesso ciclo:
Ciclo della regressione stepwise
L'algoritmo non guarda mai oltre un passo alla volta. Si chiede solo se la prossima singola modifica aiuta.
Il criterio decide cosa significa "migliore". Ecco i quattro che vedrai più spesso:
La procedura esatta dipende dalla direzione della ricerca e dal criterio. La selezione forward aggiunge solo predittori, l'eliminazione backward li rimuove soltanto e la selezione bidirezionale fa entrambe le cose. E lo stesso dataset può produrre modelli finali diversi a seconda del criterio scelto.
Quindi, quando qualcuno dice che ha eseguito una regressione stepwise, le prime due domande da fare sono in quale direzione e con quale criterio.
Tipi di regressione stepwise
Esistono tre tipi di regressione stepwise e si differenziano per una cosa: la direzione della ricerca.
Selezione forward
La selezione forward parte in piccolo e costruisce da lì.
Inizi con un modello solo intercetta, o con un paio di predittori che vuoi nel modello a prescindere. L'algoritmo quindi adatta un modello candidato per ciascun predittore rimanente, ognuno con quel predittore aggiunto. Il predittore che migliora di più il criterio entra nel modello.
Il ciclo poi riparte, con il modello più grande come nuova base. Si ferma quando nessun predittore rimanente soddisfa la regola di selezione, ad esempio quando nessuna aggiunta abbassa l'AIC.
La selezione forward può partire anche quando i predittori candidati sono più delle osservazioni, perché non deve mai adattare il modello completo. Il rovescio della medaglia è che, una volta entrato, un predittore rimane, anche se aggiunte successive lo rendono ridondante.
Eliminazione backward
L'eliminazione backward fa il percorso opposto.
Parti dal modello completo, che include ogni predittore candidato. L'algoritmo prova a rimuovere ogni predittore uno alla volta e scarta quello la cui rimozione migliora di più il criterio. Poi riadatta il modello più piccolo e ripete. La ricerca si ferma quando nessuna rimozione migliora il criterio.
Questo approccio richiede che il modello completo sia stimabile. Ti servono più osservazioni che parametri e nessun predittore può essere una combinazione lineare esatta degli altri. Se hai 50 predittori e 40 righe, l'eliminazione backward non può nemmeno partire.
E ha il problema speculare della selezione forward: una volta che un predittore è fuori, rimane fuori.
Selezione stepwise bidirezionale
La selezione bidirezionale combina entrambe. Dopo ogni aggiunta, l'algoritmo controlla se qualche predittore già nel modello ora vada rimosso.
Questo è importante perché il valore di un predittore dipende da cos'altro c'è nel modello. Mettiamo che
bedroomsentri per primo perché è correlato con la dimensione della casa. Quando entra più tardisquare_feet,bedroomspuò aggiungere ben poco. A quel punto la selezione bidirezionale può rimuoverlo, mentre la forward lo terrebbe.Il prezzo è un numero maggiore di fit di modelli per passo. Puoi avviare la selezione bidirezionale da un modello vuoto o da uno completo.
Ecco come si confrontano le tre:
Tipi di regressione stepwise
Esempio di regressione stepwise
Rendiamo la cosa più concreta.
Ho generato un dataset sintetico di 200 case e voglio prevedere il price a partire da cinque predittori candidati:
square_feetbedroomsage_yearsdistance_km(distanza dal centro città)lot_size_sqftUserò la selezione forward con l'AIC come criterio, dove AIC più basso è meglio. Ritroverai gli stessi dati nella sezione Python.
Il modello solo intercetta ha un AIC di 5057.0. Ecco come appare ogni passo: ogni cella mostra l'AIC che otterresti aggiungendo quel predittore al modello corrente:
square_feetdistance_kmage_yearslot_size_sqftbedroomsConfronto AIC
Ecco cosa succede a ogni passo:
Passo 1:
square_feetriduce l'AIC di circa 102 punti, quindi entra per primo.bedroomsarriva secondo perché è correlato con la dimensione della casaPasso 2:
distance_kmdà il calo più grande. bedrooms ora aiuta a malapena, dato che square_feet ha già la maggior parte della sua informazionePasso 3:
age_yearsentraPasso 4:
lot_size_sqftabbassa l'AIC di solo 1,6 punti, ma più basso è più basso, quindi entraPasso 5: Aggiungere
bedroomsalzerebbe l'AIC a 4840.8, quindi la ricerca si fermaIl modello finale usa
square_feet,distance_km,age_yearselot_size_sqft.È un risultato ragionevole. Ho generato i dati in modo che
bedroomsnon abbia un effetto diretto sul prezzo, e la procedura lo ha escluso.Se esegui l'eliminazione backward sugli stessi dati, parte dal modello completo a 4840.8, elimina
bedroomse si ferma con gli stessi quattro predittori. Forward e backward non sono sempre d'accordo, ma qui sì.AIC del modello corrente dopo ogni passo di selezione forward
Come vengono selezionate le variabili nella stepwise
La direzione della ricerca decide come si comporta l'algoritmo. Il criterio decide quando si ferma.
Selezione basata sul p-value
È l'approccio più vecchio e usa due soglie:
La soglia di rimozione è di solito impostata più in alto di quella d'ingresso, così un predittore non entra ed esce a ogni passo. Entrambi i valori sono convenzioni, non regole.
Ogni p-value presume che tu abbia eseguito un test pianificato in anticipo. La stepwise esegue una serie di test a ogni passo e tiene il p-value più piccolo. Se esegui 20 test indipendenti a 0,05 su predittori senza alcun effetto, la probabilità che almeno uno sembri significativo è
1 − 0.95^20, circa il 64%. I predittori selezionati sembreranno più forti di quanto siano davvero, e ne parlerò nella sezione dei problemi.Nell'esempio dei prezzi delle case,
lot_size_sqftha un p-value di circa 0,063 al passo 4. Con una soglia d'ingresso di 0,05, la selezione forward si ferma a tre predittori.AIC
Il criterio di informazione di Akaike bilancia l'aderenza del modello con la complessità:
Formula AIC
Qui,
kè il numero di parametri stimati eL̂è la verosimiglianza massimizzata del modello. Il secondo termine premia il fit, e il primo addebita 2 punti per ogni parametro.Un nuovo predittore non abbassa mai la verosimiglianza, quindi il termine di fit può solo migliorare. La domanda è se migliora di più del costo di 2 punti. Per un singolo parametro aggiunto, equivale a un likelihood ratio test con soglia di p-value di circa 0,157.
Ecco perché
lot_size_sqftè entrato con l'AIC ma non con la regola del p-value 0,05. L'AIC è più permissivo e tende a mantenere predittori deboli che aiutano la previsione.BIC
Il criterio di informazione bayesiano ha la stessa struttura, con una penalità diversa:
Formula BIC
In questa formula,
nè il numero di osservazioni. Ogni parametro ora costaln(n)punti invece di 2, quindi il BIC penalizza la complessità più dell'AIC non appena hai 8 o più osservazioni. E il divario cresce con la dimensione del campione.Con 200 case,
ln(200)è circa 5,3, che equivale a una soglia implicita di p-value di circa 0,021 per un parametro aggiunto. La selezione forward con BIC sui dati delle case si ferma a tre predittori ed escludelot_size_sqft.R-quadro corretto
L'R-quadro ordinario è inutile come criterio di selezione.
Non diminuisce mai quando aggiungi un predittore a un modello di regressione lineare, anche una colonna di rumore casuale. Se selezioni con R-quadro, il modello completo è sempre il migliore.
L'R-quadro corretto aggiunge una penalità per il numero di predittori:
Formula R-quadro corretto
Qui, p è il numero di predittori e valori più alti sono migliori. La penalità è lieve. Un nuovo predittore aumenta l'R-quadro corretto ogni volta che il valore assoluto della sua statistica t è sopra 1, quindi è il più permissivo dei quattro criteri.
Sui dati delle case, l'R-quadro corretto mantiene
lot_size_sqfte rifiutabedroomscon un margine alla quinta cifra decimale.Stessi dati, stessa ricerca forward, risposte diverse:
Selezione delle variabili in base a criteri diversi
Regressione stepwise in Python e R
Entrambi i linguaggi possono eseguire la regressione stepwise, ma in modi diversi. Userò in entrambi gli stessi dati sui prezzi delle case dell'esempio sopra.
Regressione stepwise in Python
Python non ha una funzione standard per la regressione stepwise.
Né statsmodels né scikit-learn hanno un equivalente dello
step()di R che seleziona i predittori con AIC o p-value. Quindi l'opzione più trasparente è scrivere tu il loop sopra statsmodels. Sono circa 25 righe, e puoi vedere ogni decisione che prende.Per chiarezza, la funzione
forward_selection()qui sotto è un mio helper, non una feature di statsmodels. statsmodels si limita ad adattare i modelli e a riportare gli attributi.aice.bic.Per prima cosa, genera il dataset e salvalo, così la sezione R può usare esattamente le stesse righe:
Poi, il loop di selezione. Parte dal modello solo intercetta, adatta un modello per ogni candidato rimanente e mantiene l'aggiunta con il valore di criterio più basso:
Selezione forward in Python
Questi sono gli stessi valori AIC della tabella d'esempio. L'AIC termina con quattro predittori, mentre il BIC si ferma a tre perché
lot_size_sqftnon supera la penalità maggiore.Se preferisci usare un pacchetto, scikit-learn ha
SequentialFeatureSelector. Esegue selezione forward o backward, ma valuta ogni candidato con la cross-validation invece che con AIC o p-value:Feature selezionate in Python
Con
n_features_to_select="auto", la ricerca si ferma quando l'R-quadro cross-validato migliora di meno ditol. Su questi dati, termina con gli stessi quattro predittori dell'AIC.Regressione stepwise in R
R include la regressione stepwise di default.
La funzione
step()fa parte del pacchetto stats di base R, quindi non c'è nulla da installare. Le passi un modello di partenza, uno scope che definisce il modello più grande che può considerare e una direzione:Formule AIC e BIC in R
Il criterio che
step()minimizza è controllato da un solo argomento:k.Calcola
-2 log-likelihood + k * edf, dove edf è il numero di coefficienti stimati. Il defaultk = 2corrisponde all'AIC. Se impostik = log(n)ottieni il BIC, ma il trace stampato etichetta comunque i valori come "AIC", quindi non lasciare che ti confonda.Per l'eliminazione backward, parti dal modello completo:
Su questi dati, rimuove
bedroomse si ferma con gli stessi quattro predittori della forward con AIC. Se passi unoscopee omettidirection,step()esegue di default la selezione bidirezionale.Regressione stepwise vs altre tecniche di selezione
La stepwise non è l'unico modo per scegliere i predittori. Ecco come si confronta con tre alternative popolari.
Regressione stepwise vs. best subset selection
La regressione stepwise è una ricerca greedy. A ogni passo fa la mossa singola migliore e non torna indietro, a meno che tu non la esegua in entrambe le direzioni.
La best subset selection adatta ogni possibile combinazione di predittori e tiene quella con il miglior valore del criterio. Con 5 predittori sono 32 modelli. Con 20 è più di un milione e con 40 è più di un trilione. Algoritmi come branch-and-bound nel pacchetto
leapsdi R possono saltare gran parte del lavoro, ma il costo cresce comunque velocemente con il numero di predittori.Sui dati dei prezzi delle case, la best subset selection con AIC sceglie gli stessi quattro predittori della selezione forward. Non sarà sempre così, quindi tienilo a mente.
Regressione stepwise vs. regressione Lasso
La stepwise prende decisioni sì/no. Un predittore o è nel modello con il suo coefficiente OLS completo, o è fuori con coefficiente zero.
La regressione Lasso adatta tutti i predittori insieme e aggiunge una penalità sulla somma dei valori assoluti dei coefficienti. Quella penalità restringe ogni coefficiente verso zero e spinge i più deboli fino a zero, quindi selezione e stima avvengono in un unico passaggio.
Un piccolo cambiamento nei dati sposta di poco i coefficienti Lasso, mentre può capovolgere una decisione stepwise da dentro a fuori. Scegli l'intensità della penalità con la cross-validation, ad esempio con
LassoCVin scikit-learn ocv.glmnet()in R.I coefficienti ristretti sono volutamente bias verso zero. È uno scambio per avere stime più stabili e migliori prestazioni out-of-sample.
Regressione stepwise vs. eliminazione ricorsiva delle feature
L'eliminazione ricorsiva delle feature, o RFE, assomiglia all'eliminazione backward. Adatti un modello su tutte le feature, rimuovi le più deboli, riadatti e ripeti.
La differenza sta in cosa significa "più deboli". L'eliminazione backward usa un criterio statistico come AIC o un p-value. L'RFE usa gli score di importanza del modello stesso, come l'ampiezza dei coefficienti o le feature importance degli alberi.
Questo rende l'RFE prima di tutto uno strumento di machine learning. Funziona con qualsiasi modello che abbia importanza delle feature, inclusi random forest e SVM, e di solito lo abbini alla cross-validation tramite
RFECVin scikit-learn. Ottieni un set di feature che predice bene, ma senza un criterio basato sulla verosimiglianza e senza p-value.Problemi della regressione stepwise
La regressione stepwise è facile da eseguire e spiegare. Proprio per questo i suoi problemi sono facili da perdere di vista.
Gli statistici criticano il metodo da decenni: Regression Modeling Strategies di Frank Harrell e Whittingham et al. (2006) sul Journal of Animal Ecology sono due esempi noti. In un articolo del 2018 sul Journal of Big Data, Gary Smith sostiene che la regressione stepwise è meno efficace quanto più è grande il numero di possibili variabili esplicative, quindi non risolve il problema dei troppi predittori.
Selezione delle variabili instabile
Piccoli cambiamenti nei dati possono cambiare i predittori che ottieni.
Se rimuovi un paio di righe o raccogli un nuovo campione dalla stessa popolazione, la stepwise può restituire un modello diverso. I predittori vicini alla soglia di selezione sono i più fragili. Un predittore con un effetto reale ma piccolo, come
lot_size_sqftnell'esempio, può entrare in un campione e rimanere fuori nel successivo. Un predittore senza effetto, comebedrooms, può insinuarsi quando il campione lo favorisce per caso.Conta perché vedi sempre e solo un campione. Il modello che la stepwise ti dà è uno di una gamma di modelli possibili, e l'output non ti dice quanto è ampia quella gamma.
Stime dei coefficienti distorte
La stepwise usa gli stessi dati per scegliere i predittori e stimarne i coefficienti.
Un predittore debole entra nel modello soprattutto nei campioni in cui il suo effetto appare più forte di quanto sia. Nei campioni in cui appare più debole, resta fuori. Quindi i coefficienti che vedi dopo la selezione sono in media troppo grandi.
In parole semplici, la stepwise riporta i vincitori, e i vincitori sembrano migliori di quanto siano.
P-value e intervalli di confidenza fuorvianti
I p-value in un riepilogo di regressione presumono che tu abbia scelto il modello prima di guardare i dati.
La stepwise fa l'opposto. Esegue una serie di test, tiene i predittori che passano e poi riporta p-value come se quelli fossero gli unici test che avessi mai fatto. Quindi i p-value risultano troppo piccoli e gli intervalli di confidenza troppo stretti.
Il problema peggiora quando molti candidati non hanno effetto. David Freedman lo ha mostrato in un articolo del 1983 su The American Statistician: quando ha filtrato predittori di puro rumore e riadattato il modello, il risultato sembrava significativo anche se non c'era nulla da trovare. Smith fa lo stesso punto: variabili di disturbo possono risultare significativamente per caso, mentre quelle reali possono non superare la soglia.
Se riporti quei p-value come evidenza, potresti star riportando rumore.
Overfitting
L'overfitting è il lato predittivo dello stesso problema.
Ogni predittore candidato dà alla stepwise un'altra opportunità di adattare un pattern che esiste solo nel tuo campione. Il modello selezionato sembra buono sui dati con cui è stato costruito, ma quei pattern non si ripetono su nuovi dati. Di conseguenza, il modello può adattare bene in-sample ma comportarsi male out-of-sample.
E più predittori candidati le dai, più occasioni ha di trovare pattern che non esistono.
Predittori correlati
Quando due predittori hanno informazioni simili, la stepwise deve scegliere tra loro e piccole differenze nel campione determinano la scelta.
square_feetebedroomsnei dati delle case sono un esempio lieve: una volta chesquare_feetè nel modello,bedroomsaggiunge quasi nulla. Con correlazione più forte, la scelta diventa quasi casuale. Un campione tiene la variabile A, il successivo la variabile B, e ogni modello racconta una storia diversa su cosa guida l'output.Nessuna delle due storie è affidabile. La stepwise non può dirti che due predittori sono intercambiabili, quindi ne sceglie e basta uno.
Ricerca greedy
La stepwise prende una decisione alla volta e ogni decisione dipende da quelle precedenti.
Questo significa che può perdere il modello migliore. Supponiamo che due predittori siano inutili da soli ma forti insieme, cosa che può succedere quando ciascuno corregge il rumore dell'altro. La selezione forward non aggiungerà mai nessuno dei due, perché nessuno migliora il modello in un singolo passo.
L'eliminazione backward e la selezione bidirezionale riducono questo rischio, ma non lo eliminano. Nessuna delle tre verifica tutte le combinazioni, quindi nessuna può garantire il miglior modello per il criterio scelto.
Quando dovresti usare la regressione stepwise?
La regressione stepwise è uno strumento con un compito ristretto.
È una buona scelta per:
È la scelta sbagliata per l'inferenza confermativa e l'analisi causale.
Se il tuo obiettivo è testare se un predittore ha un effetto, i p-value dopo la selezione stepwise non possono rispondere a questa domanda. E se il tuo obiettivo è causale, il set giusto di variabili deriva da come sono stati generati i dati, non da quali variabili abbassano l'AIC. La stepwise non sa quale variabile causa cosa.
Per la previsione hai opzioni migliori. I metodi di regolarizzazione come Lasso ed elastic net sono più stabili, e la feature selection con cross-validation valuta i modelli su dati che non hanno visto.
Best practice per la regressione stepwise
Se decidi di usare la regressione stepwise, questi passaggi possono rendere i risultati più onesti:
Conclusione
La regressione stepwise automatizza la selezione dei predittori. Aggiunge o rimuove una variabile alla volta e si ferma quando nessuna modifica migliora il modello secondo il criterio scelto.
La selezione forward parte vuota e aggiunge soltanto. L'eliminazione backward parte dal modello completo e rimuove soltanto. La selezione bidirezionale fa entrambe, quindi può annullare una decisione precedente.
Ma la semplicità implica che i predittori selezionati possano cambiare da campione a campione, che il modello possa adattare il rumore e che p-value e intervalli di confidenza dopo la selezione non siano affidabili. È qualcosa da tenere a mente. Considera quindi la stepwise come una delle tecniche di selezione del modello, non il modo predefinito per costruire un modello di regressione.
Se vuoi approfondire, leggi la feature selection in generale, scopri come AIC e BIC confrontano i modelli e prova la regressione Lasso come primo passo verso la regolarizzazione.