Variabili esogene vs. endogene: differenze chiave ed esempi

Supponiamo che tu voglia sapere se restare a scuola più a lungo aumenti davvero i guadagni. Esegui una regressione, ottieni un coefficiente positivo per l'istruzione e ti senti fiducioso. Poi qualcuno fa notare che le persone più intelligenti e motivate tendono sia a proseguire negli studi sia a guadagnare di più, indipendentemente dalla scolarità. La tua stima sta catturando l'abilità tanto quanto l'istruzione. Questa è endogeneità, ed è uno dei modi più comuni in cui i risultati di regressione fuorviano.

La distinzione tra variabili esogene ed endogene è al cuore di questo problema. Se la sbagli, i tuoi coefficienti non significano ciò che credi. Se la azzecchi, puoi iniziare a fare affermazioni causali credibili. Questo articolo passa in rassegna le definizioni, le differenze chiave, le principali fonti di endogeneità e i rimedi standard. Lo dico chiaramente: è proprio nella sezione sui rimedi che la maggior parte dei trattati sull'argomento diventa vaga. Qui ho cercato di non farlo.

Cosa sono le variabili esogene ed endogene?

Le parole vengono dal greco: exo (fuori) e endo (dentro). Una variabile esogena è determinata al di fuori del sistema che stai modellando. Influenza gli esiti ma non è a sua volta influenzata dalle altre variabili del modello. Una variabile endogena è plasmata dal sistema stesso, cioè è intrecciata con altre variabili in modi che creano circoli di retroazione o dipendenze nascoste.

In regressione, la distinzione ha un significato statistico preciso. Una variabile è esogena se è scorrelata con il termine di errore del modello. È endogena se è correlata a quel termine di errore, il che significa che c'è qualcosa nel residuo che sta anche guidando il tuo predittore.

Variabili esogene

Una variabile esogena sta al di fuori del circuito di retroazione. Pensa alle precipitazioni giornaliere come fattore dell'output agricolo: le decisioni di semina dell'agricoltore non influenzano il meteo. La pioggia influenza la resa, ma la resa non torna indietro a cambiare la pioggia. In termini di regressione, questo si traduce in correlazione nulla tra il predittore e il termine di errore, ciò che gli statistici scrivono come Cov(X, ε) = 0. Questa condizione di covarianza nulla è ciò che rende imparziali le stime OLS. Quando vale, il coefficiente su X cattura in modo pulito la relazione tra X e l'esito, senza contaminazione da fattori omessi.

Variabili endogene

Una variabile endogena è aggrovigliata con il termine di errore. Torniamo all'esempio dell'istruzione: i guadagni sono influenzati da abilità, motivazione, background familiare e una dozzina di altre cose che influenzano anche quanta scuola una persona intraprende. Questi fattori non osservati finiscono nel termine di errore ε. Poiché l'istruzione è correlata con ε, abbiamo endogeneità: Cov(X, ε) ≠ 0.

Il significato preciso di "esogena" ed "endogena" varia un po' a seconda del contesto di modellazione. Nella structural equation modeling, le variabili sono classificate in base al fatto che siano output del sistema; in econometria, l'accento è posto sulla relazione con il termine di errore. Entrambi i quadri catturano la stessa idea di fondo.

Variabili esogene vs. endogene: differenze chiave

La tabella qui sotto coglie il nucleo del contrasto. Le sezioni successive approfondiscono le sfumature.

Esempi di variabili esogene ed endogene

Le definizioni astratte arrivano fino a un certo punto. Ecco tre scenari in cui la classificazione esogena/endogena è davvero utile.

Istruzione e guadagni

Questo è l'esempio canonico, e per una buona ragione. Vuoi stimare l'effetto causale di un anno aggiuntivo di scuola sui salari. Il problema: le persone con maggiore abilità tendono ad avere più istruzione e a guadagnare di più. L'abilità non è nel tuo modello. È nel termine di errore. Istruzione e termine di errore sono quindi correlati, e il tuo coefficiente sulla scolarità è gonfiato dal premio per l'abilità che assorbe silenziosamente.

Trattare l'istruzione come esogena qui sarebbe un errore. È endogena, determinata in parte proprio dai fattori non osservati che non puoi controllare.

Prezzo e domanda

In un mercato standard di domanda e offerta, prezzo e quantità sono determinati simultaneamente. Se metti in regressione la quantità domandata sul prezzo, non stai identificando la curva di domanda. Stai tracciando un equilibrio che si sposta con gli shock sia di offerta che di domanda. Il prezzo non è fissato indipendentemente dalla domanda; vi risponde. Quindi il prezzo è endogeno quando la quantità è l'esito, e viceversa.

Questo problema di simultaneità è il motivo per cui gli economisti si sono interessati a esperimenti naturali e variabili strumentali molto prima che quei metodi diventassero di moda altrove.

Meteo e output agricolo

La pioggia è la variabile esogena da manuale. La decisione di un agricoltore su quanta grano seminare non cambia le precipitazioni di domani. La pioggia influisce sull'output, ma l'output non retroagisce sulla pioggia. Quell'influenza a senso unico, unita all'assunzione ragionevole che il meteo sia scorrelato da shock di produttività a livello di azienda agricola non osservati, la rende un predittore esogeno plausibile.

Detto ciò, nessuna variabile è intrinsecamente esogena o endogena. La classificazione dipende dal modello e dalle sue assunzioni. Se stessi modellando insieme il clima regionale di lungo periodo e l'uso del suolo agricolo, il "meteo" potrebbe non sembrare più così indipendente.

Perché l'endogeneità è un problema in regressione

Il punto tecnico è lineare. L'OLS assume che le variabili esplicative siano scorrelate con il termine di errore. Quando questa assunzione fallisce, lo stimatore cattura variazione che appartiene a fattori omessi invece che alla variabile di interesse, producendo stime distorte e inconsistenti. Con abbastanza dati, l'OLS convergerebbe al numero sbagliato, non per errore di campionamento, ma perché sta risolvendo il problema sbagliato.

Il danno interpretativo si accumula in fretta. Un coefficiente distorto porta a conclusioni fuorvianti, previsioni errate e politiche sbagliate. Se sovrastimi il ritorno dell'istruzione sui guadagni a causa dell'abilità omessa, potresti sovrafinanziare i programmi scolastici rispetto, ad esempio, agli interventi nella prima infanzia. Il problema statistico diventa presto pratico.

Formalmente, la condizione di esogeneità richiede E(ε | X) = 0, o almeno Cov(X, ε) = 0. Quando questa condizione fallisce, lo stimatore OLS β̂ converge in probabilità a β + (E[X′X])⁻¹E[X′ε] invece che a β. Il termine extra è il bias, e non scompare all'aumentare del campione.

Cosa causa l'endogeneità?

Ci sono alcuni meccanismi distinti, e capire quale ti riguarda determina come affrontarlo.

Bias da variabili omesse

Questo è il colpevole più comune. Quando una variabile rilevante è lasciata fuori dal modello, il suo effetto viene assorbito dal termine di errore. Se quella variabile omessa è anche correlata con uno dei tuoi predittori, hai endogeneità. La storia istruzione-abilità è un caso classico: l'abilità appartiene all'equazione del salario, ma non riusciamo a misurarla bene, quindi resta in ε. Poiché l'abilità è correlata con l'istruzione, il coefficiente dell'istruzione assorbe parte del premio per l'abilità.

Simultaneità

La simultaneità nasce quando due variabili si determinano a vicenda: prezzo e quantità in un mercato concorrenziale, presenza della polizia e tassi di criminalità, spesa pubblicitaria e vendite. Ognuna è causa ed effetto dell'altra, il che significa che nessuna può essere trattata come esogena. Il segno distintivo della simultaneità è che ti servirebbe un sistema di equazioni per descrivere il processo generatore dei dati. Una singola regressione non può districare chi causa cosa.

Errore di misurazione

Quando un predittore è misurato con errore, diventa endogeno anche se la variabile sottostante "vera" non lo sarebbe. L'errore di misurazione finisce sia nel predittore sia nel residuo, creando correlazione tra loro. Esempio classico: reddito auto-dichiarato. Le persone ricordano male, arrotondano o dichiarano deliberatamente in modo scorretto, e il divario tra reddito dichiarato e reale finisce correlato con la cifra che usi come regressore.

Selezione e altre fonti

Il bias di selezione merita una menzione a parte. Se l'ingresso nel tuo campione dipende dalla variabile di esito o da fattori correlati con il tuo predittore, stai lavorando con una fetta non casuale della popolazione. La versione canonica è il modello di selezione di Heckman: studiare i determinanti del salario tra i lavoratori occupati, quando la decisione di lavorare è a sua volta correlata con i salari potenziali.

Esistono altre fonti (causalità inversa, pannelli dinamici in cui gli esiti ritardati diventano predittori, effetti di rete), ma variabili omesse, simultaneità ed errore di misurazione coprono la maggior parte dei casi che incontrerai.

Come rilevare l'endogeneità

In genere non puoi rilevare l'endogeneità guardando una matrice di correlazione o eseguendo una diagnostica standard. Il problema riguarda la relazione tra il tuo predittore e il termine di errore, che per definizione è non osservato.

Ciò che aiuta davvero è la teoria e la conoscenza del dominio. Prima di eseguire qualsiasi regressione, chiediti: questo predittore è determinato da fattori che influenzano anche il mio esito attraverso canali che non ho controllato? Disegnare un diagramma causale può aiutare. I grafi aciclici diretti (DAG) chiariscono quali percorsi esistono e quali confondenti vanno bloccati.

Un approccio formale è il test di Durbin-Wu-Hausman, che confronta le stime OLS con quelle a variabili strumentali. Se i due insiemi di coefficienti differiscono in modo significativo, è una prova che il predittore è endogeno. Nota che la versione classica assume errori omoschedastici; usa una variante robusta (come la forma basata sulla regressione di Wooldridge) se quell'assunzione è dubbia. Ma questo test funziona solo se hai già uno strumento valido, e trovarne uno è spesso più difficile del test stesso. È un controllo utile, non un sostituto del ragionare con cura sul processo generatore dei dati.

Come affrontare l'endogeneità

Non esiste un metodo unico che gestisca tutti i tipi. La scelta giusta dipende da cosa sta causando l'endogeneità.

Variabili strumentali

L'idea di base: trova una variabile (lo strumento) che influisce sul tuo predittore endogeno ma non ha un effetto diretto sull'esito se non tramite quel predittore. Uno strumento valido soddisfa due condizioni: rilevanza (è correlato con la variabile endogena) e vincolo di esclusione (non appartiene direttamente all'equazione dell'esito).

Per l'esempio dell'istruzione, la distanza da casa all'università più vicina è stata proposta come strumento per la scolarità. Chi è cresciuto lontano da un'università ha studiato meno non perché fosse meno capace, ma perché frequentare costava di più. Se la distanza non influisce sui salari se non tramite la scolarità, è uno strumento valido. Questa seconda condizione non è mai verificabile con i soli dati, motivo per cui la stima IV richiede un'argomentazione difendibile, non solo un first stage significativo.

Minimi quadrati a due stadi

I minimi quadrati a due stadi (2SLS) rendono operativa la stima IV. Nel primo stadio, metti in regressione il predittore endogeno sullo strumento e su eventuali controlli esogeni. Nel secondo stadio, sostituisci la variabile endogena con i suoi valori predetti dal primo stadio ed esegui la regressione dell'esito su quelli. I valori predetti contengono solo la variazione nel predittore che deriva dallo strumento (variazione scorrelata con il termine di errore nell'equazione dell'esito), ed è per questo che il 2SLS recupera una stima causale più pulita. In pratica, non eseguire manualmente i due stadi come OLS separati. Gli errori standard del secondo stadio saranno sbagliati perché ignorano l'incertezza di stima del primo stadio. Usa invece un estimatore IV dedicato (ivreg nel pacchetto AER di R, o IV2SLS in linearmodels per Python).

Effetti fissi

Quando l'endogeneità deriva da caratteristiche non osservate a livello individuale stabili nel tempo (abilità, cultura aziendale, qualità del quartiere), i dati panel con effetti fissi possono aiutare. Includere una dummy a livello di unità (o, equivalentemente, centrare rispetto alla media dell'unità) rimuove tutte le variabili omesse invarianti nel tempo a livello di unità. Gli effetti fissi non gestiscono confondenti variabili nel tempo, errore di misurazione o simultaneità, ma per gli imponderabili stabili sono spesso la soluzione più pulita.

Disegni sperimentali e quasi-sperimentali

Il modo più pulito per ottenere variazione esogena è la randomizzazione. In un trial controllato randomizzato, l'assegnazione al trattamento è indipendente da tutto il resto per costruzione. Quando la randomizzazione non è possibile, gli esperimenti naturali (situazioni in cui qualche evento esterno randomizza di fatto l'esposizione) possono raggiungere una credibilità simile. I disegni a discontinuità di regressione e difference-in-differences sono due quadri quasi-sperimentali comuni basati su questa logica.

Vale la pena ricordare: nessuno di questi metodi risolve ogni tipo di endogeneità. Le IV richiedono uno strumento difendibile. Gli effetti fissi non aiutano con la simultaneità. La randomizzazione è raramente disponibile per le domande più importanti.

Variabili strumentali: un esempio semplice

Il caso istruzione-guadagni rende concreti i meccanismi. La variabile endogena sono gli anni di scuola, endogena perché correlata con l'abilità non osservata nel termine di errore. Serve uno strumento: qualcosa che predica quanta scuola una persona fa ma che influisce sui guadagni solo tramite la scuola.

Card (1995) ha proposto la vicinanza a un college quadriennale. Chi è cresciuto vicino a un'università ha affrontato costi di frequenza inferiori e ha studiato di più in media. Se vivere vicino a un'università non influisce direttamente sui salari da adulto (controllando per altri fattori legati al luogo), allora la vicinanza soddisfa il vincolo di esclusione.

Primo stadio: metti in regressione gli anni di scuola sulla vicinanza all'università più controlli. Questo produce valori adattati dell'istruzione che contengono solo la variazione guidata dalla vicinanza, non dall'abilità. Secondo stadio: metti in regressione i salari logaritmici su quei valori adattati. Il coefficiente sull'istruzione adattata stima l'effetto causale della scuola sui salari per le persone la cui istruzione è stata effettivamente influenzata dalla vicinanza, ciò che gli econometrici chiamano effetto medio locale del trattamento (LATE).

Lo strumento non ti dà l'effetto medio per tutti. Ti dà una stima causale credibile per i compliers, quelli la cui scolarità è cambiata a causa della vicinanza. È un limite reale delle IV, ma onesto.

Variabili esogene ed endogene nell'inferenza causale

L'inquadramento della regressione sull'esogeneità riguarda la correlazione con un termine di errore. Quello dell'inferenza causale riguarda qualcosa di lievemente diverso: se una variabile sia una causa dell'esito attraverso un percorso che puoi isolare. Nel quadro dei grafi aciclici diretti (DAG) associato al lavoro di Judea Pearl, le variabili esogene sono nodi senza genitori nel grafo. I confondenti sono cause comuni sia del trattamento sia dell'esito, ed è esattamente ciò che crea endogeneità nel senso econometrico.

La connessione tra questi quadri è reale ma non sempre ordinata. L'endogeneità econometrica corrisponde grosso modo alla presenza di percorsi di backdoor non bloccati in un DAG. Controllare per un confondente equivale a bloccare un percorso di backdoor. La stima IV corrisponde a trovare una fonte esogena di variazione nel trattamento.

Una cosa da sottolineare: nei modelli grafici, una variabile può essere esogena in un sistema ed endogena in un altro, che è esattamente ciò che ha illustrato l'esempio istruzione-guadagni. La conseguenza pratica è la stessa a prescindere dal quadro. Devi argomentare le tue assunzioni causali, non solo adattare il modello.

Variabili esogene vs. endogene nel Machine Learning

Nel ML predittivo standard, l'endogeneità è in gran parte irrilevante. Se il tuo obiettivo è minimizzare l'errore di previsione su dati tenuti da parte, non importa se le tue feature sono esogene. Un modello che usa predittori endogeni può comunque generalizzare bene. Il coefficiente distorto è un problema per l'interpretazione, non per la previsione.

La distinzione inizia a contare quando interpreti i coefficienti in chiave causale o usi il modello per guidare interventi. Metti che un'azienda alleni un modello di churn e poi agisca sulle sue feature, targettizzando i clienti in base al volume recente di ticket di supporto. La domanda causale diventa attuale: è il volume di ticket a causare il churn, o è un sintomo della stessa insoddisfazione di fondo che guida entrambi? Agire su un predittore endogeno come se fosse una causa può portare a interventi inutili o controproducenti.

I metodi di causal ML (double machine learning, causal forests, policy learning) incorporano esplicitamente i requisiti di esogeneità che il ML standard ignora. Usano variazione di tipo strumentale o sperimentale per stimare effetti robusti all'endogeneità. Sono più esigenti in termini di dati e assunzioni di identificazione, ma sono lo strumento giusto quando l'obiettivo è la valutazione di politiche piuttosto che la previsione.

Fraintendimenti comuni

Ecco alcuni fraintendimenti comuni in cui potresti imbatterti. 

Le variabili indipendenti sono sempre esogene

"Variabile indipendente" significa solo "predittore". Non dice nulla sul fatto che quella variabile sia esogena. Nella regressione dei salari, l'istruzione è la variabile indipendente ed è endogena. Queste due classificazioni descrivono cose diverse.

Endogena significa lo stesso che variabile dipendente

"Variabile dipendente" significa l'esito che stai modellando, il lato sinistro. "Variabile endogena" descrive un predittore che è correlato con il termine di errore, sul lato destro. Possono sovrapporsi nei sistemi a equazioni simultanee, ma non sono sinonimi.

Esogeneità significa completamente non correlata con altre variabili

L'esogeneità non richiede indipendenza statistica dagli altri regressori. Due predittori possono essere correlati tra loro ed entrambi essere esogeni, purché nessuno dei due sia correlato con il termine di errore. L'esogeneità riguarda specificamente la relazione con ε.

I controlli statistici eliminano automaticamente l'endogeneità

Aggiungere controlli aiuta quando l'endogeneità deriva da un fattore omesso che puoi osservare e misurare. Ma molti confondenti (abilità, motivazione, reti sociali) non sono osservati. Includere più controlli non risolve il problema se la variabile chiave omessa non è nei tuoi dati.

Conclusione

Esogeno ed endogeno descrivono da dove proviene una variabile e come si relaziona al resto del modello, non semplicemente da che lato di un'equazione appare. Un predittore è esogeno quando è determinato al di fuori del sistema e scorrelato con il termine di errore. È endogeno quando è intrecciato con fattori non osservati che guidano anche l'esito.

La distinzione conta perché l'endogeneità manda in crisi l'OLS. Variabili omesse, simultaneità ed errore di misurazione creano ciascuna correlazione tra predittori e termine di errore, spingendo le stime verso numeri che non rappresentano l'effetto causale che ti interessa. Correggerla richiede capire perché è sorta l'endogeneità e poi scegliere un metodo (strumenti, effetti fissi, disegni quasi-sperimentali) adatto a quella fonte. Non esiste una cura universale, e i metodi che più si avvicinano richiedono assunzioni che puoi difendere ma mai provare del tutto.

Se vuoi approfondire la meccanica della regressione dietro a tutto questo, il nostro corso Intermediate Regression in R copre in dettaglio le assunzioni, e il nostro Causal Inference with R riprende esattamente da dove questo articolo si ferma, incluse variabili strumentali, difference-in-differences e discontinuità di regressione.