Exogena vs endogena variabler: Viktiga skillnader och exempel

Anta att du vill veta om längre skolgång faktiskt höjer din inkomst. Du kör en regression, får en positiv koefficient på utbildning och känner dig nöjd. Sedan påpekar någon att smartare, mer motiverade personer tenderar att både skaffa mer utbildning och tjäna mer, oavsett skolning. Din skattning fångar förmåga lika mycket som utbildning. Det är endogenitet, och det är ett av de vanligaste sätten som regressionsresultat vilseleder.

Skillnaden mellan exogena och endogena variabler ligger i hjärtat av detta problem. Får du den fel betyder dina koefficienter inte det du tror att de betyder. Får du den rätt kan du börja göra trovärdiga kausala påståenden. Den här artikeln går igenom definitionerna, de viktigaste skillnaderna, de främsta källorna till endogenitet och de standardmässiga åtgärderna. Jag ska vara ärlig: avsnittet om åtgärder är där de flesta genomgångar blir vaga. Jag har försökt undvika det här.

Vad är exogena och endogena variabler?

Orden kommer från grekiskan: exo (utanför) och endo (inom). En exogen variabel bestäms utanför det system som modelleras. Den påverkar utfall men påverkas inte själv av de andra variablerna i modellen. En endogen variabel formas av själva systemet, vilket innebär att den hänger ihop med andra variabler på sätt som skapar återkopplingsslingor eller dolda beroenden.

I regression har distinktionen en precis statistisk betydelse. En variabel är exogen om den är okorrelerad med modellens felterm. Den är endogen om den är korrelerad med feltermen, vilket betyder att det finns något i residualen som också driver din prediktor.

Exogena variabler

En exogen variabel ligger utanför återkopplingsslingan. Tänk på daglig nederbörd som en drivkraft för jordbruksproduktion: bondens beslut om plantering påverkar inte vädret. Nederbörd påverkar avkastningen, men avkastningen påverkar inte regnet tillbaka. I regressions-termer översätts detta till noll korrelation mellan prediktorn och feltermen, det som statistiker skriver som Cov(X, ε) = 0. Detta krav på noll kovarians är det som gör OLS-skattningar obiaserade. När det håller, fångar koefficienten på X rent relationen mellan X och utfallet, utan förorening från utelämnade faktorer.

Endogena variabler

En endogen variabel är intrasslad med feltermen. Tillbaka till utbildningsexemplet: inkomster påverkas av förmåga, motivation, familjebakgrund och dussintals andra saker som också påverkar hur mycket skolning någon söker. Dessa icke-observerade faktorer hamnar i feltermen ε. Eftersom utbildning korrelerar med ε har vi endogenitet: Cov(X, ε) ≠ 0.

Den exakta betydelsen av ”exogen” och ”endogen” skiftar något beroende på modelleringskontext. I strukturella ekvationsmodeller klassificeras variabler efter om de är utgångar från systemet; i ekonometri ligger betoningen på relationen till feltermen. Båda ramarna fångar samma underliggande idé.

Exogena vs endogena variabler: Viktiga skillnader

Tabellen nedan fångar den centrala kontrasten. Senare avsnitt går in på nyanserna.

Exempel på exogena och endogena variabler

Abstrakta definitioner räcker bara så långt. Här är tre scenarier där klassificeringen exogen/endogen gör verklig nytta.

Utbildning och inkomst

Detta är det kanoniska exemplet av en god anledning. Du vill uppskatta den kausala effekten av ett extra skolår på löner. Problemet: personer med högre förmåga tenderar att få mer utbildning och tjäna mer. Förmåga finns inte i din modell. Den finns i feltermen. Utbildning och feltermen är därför korrelerade, och din koefficient på skolning är uppblåst av den förmågepremie den tyst absorberar.

Att behandla utbildning som exogen här vore ett misstag. Den är endogen, delvis bestämd av just de icke-observerade faktorer du inte kan kontrollera för.

Pris och efterfrågan

I en standardmarknad för utbud och efterfrågan bestäms pris och kvantitet samtidigt. Om du regresserar efterfrågad kvantitet på pris identifierar du inte efterfrågekurvan. Du följer en jämvikt som skiftar med både utbuds- och efterfrågechocker. Priset sätts inte oberoende av efterfrågan; det svarar på den. Alltså är priset endogent när kvantitet är utfallet, och vice versa.

Detta simultanitetsproblem är varför ekonomer intresserade sig för naturliga experiment och instrumentvariabler långt innan dessa metoder blev populära på andra håll.

Väder och jordbruksproduktion

Nederbörd är den skolboksmässiga exogena variabeln. En bondes beslut om hur mycket vete som ska planteras ändrar inte morgondagens nederbörd. Nederbörd påverkar produktionen, men produktionen påverkar inte nederbörden tillbaka. Denna envägspåverkan, kombinerad med det rimliga antagandet att väder är okorrelerat med oobserverade produktivitetschocker på gårdsnivå, gör det till en plausibel exogen prediktor.

Det sagt är ingen variabel i sig exogen eller endogen. Klassificeringen beror på modellen och dess antaganden. Om du modellerade långsiktigt regionalt klimat och jordbruksmarkanvändning tillsammans skulle ”väder” kanske inte se lika oberoende ut längre.

Varför endogenitet är ett problem i regression

Det tekniska problemet är rakt på sak. OLS antar att förklarande variabler är okorrelerade med feltermen. När det antagandet bryts plockar skattaren upp variation som hör till utelämnade faktorer snarare än till den variabel som intresserar dig, vilket ger biaserade och inkonsistenta skattningar. Med tillräckligt mycket data skulle OLS konvergera till fel tal, inte på grund av urvalsfel, utan för att den löser fel problem.

Tolkningsskadan förvärras snabbt. En biaserad koefficient leder till vilseledande slutsatser, felaktiga prognoser och dålig policy. Om du överskattar utbildningens avkastning på inkomst på grund av utelämnad förmåga kan du överfinansiera skolprogram i förhållande till till exempel tidiga barndomsinsatser. Det statistiska problemet blir snabbt ett praktiskt.

Formellt kräver exogenitetsvillkoret E(ε | X) = 0, eller åtminstone Cov(X, ε) = 0. När detta fallerar konvergerar OLS-skattaren β̂ i sannolikhet mot β + (E[X′X])⁻¹E[X′ε] snarare än β. Den extra termen är biasen, och den försvinner inte när stickprovet växer.

Vad orsakar endogenitet?

Det finns några tydliga mekanismer, och att veta vilken du har att göra med avgör hur du bör hantera den.

Utelämnad variabel-bias

Detta är den vanligaste boven. När en relevant variabel lämnas ut ur modellen absorberas dess effekt i feltermen. Om den utelämnade variabeln också korrelerar med en av dina prediktorer har du endogenitet. Berättelsen om utbildning–förmåga är ett klassiskt fall: förmåga hör hemma i löneekvationen, men vi kan inte mäta den rent, så den stannar i ε. Eftersom förmåga korrelerar med utbildning absorberar utbildningskoefficienten en del av förmågepremien.

Simultanitetsproblem

Simultaneitet uppstår när två variabler gemensamt bestämmer varandra: pris och kvantitet på en konkurrensmarknad, polisnärvaro och brottslighet, annonsutgifter och försäljning. Var och en är både orsak och verkan av den andra, vilket betyder att ingen kan behandlas som exogen. Kännetecknet för simultaneitet är att du skulle behöva ett system av ekvationer för att beskriva data-genereringsprocessen. En enskild regressionsmodell kan inte reda ut vem som orsakar vad.

Mätningsfel

När en prediktor mäts med fel blir den endogen även om den sanna underliggande variabeln inte skulle vara det. Mätningsfelet hamnar både i prediktorn och i residualen, vilket skapar korrelation mellan dem. Klassiskt exempel: självrapporterad inkomst. Människor minns fel, avrundar eller rapporterar avsiktligt fel, och gapet mellan rapporterad och faktisk inkomst blir korrelerat med siffran du använder som regressionsvariabel.

Urval och andra källor

Urvalsbias förtjänar att nämnas separat. Om vem som ingår i ditt urval beror på utfallsvariabeln eller på faktorer som korrelerar med din prediktor, arbetar du med en icke-slumpmässig del av populationen. Den kanoniska versionen är Heckmans urvalsmodell: att studera lönedeterminanter för anställda, när beslutet att arbeta i sig är korrelerat med potentiella löner.

Andra källor finns (omvänd kausalitet, dynamiska paneler där fördröjda utfall blir prediktorer, nätverkseffekter), men utelämnade variabler, simultanitet och mätningsfel täcker de flesta fall du stöter på.

Hur man upptäcker endogenitet

Du kan i allmänhet inte upptäcka endogenitet genom att titta på en korrelationsmatris eller köra ett standarddiagnostiskt test. Problemet gäller relationen mellan din prediktor och feltermen, som per definition är oobserverad.

Det som faktiskt hjälper är teori och domänkunskap. Innan du kör någon regression, fråga: bestäms denna prediktor av faktorer som också påverkar mitt utfall via kanaler jag inte har kontrollerat för? Att rita ett kausalt diagram kan hjälpa. Riktade acykliska grafer (DAG:ar) tydliggör vilka vägar som finns och vilka confounders som behöver blockeras.

Ett formellt angreppssätt är Durbin–Wu–Hausman-testet, som jämför OLS-skattningar med instrumentvariabelskattningar. Om de två uppsättningarna koefficienter skiljer sig signifikant är det evidens för att prediktorn är endogen. Notera att den klassiska versionen antar homoskedasticitet; använd en robust variant (som Wooldridges regressionsbaserade form) om det antagandet kan ifrågasättas. Men detta test fungerar bara om du redan har ett giltigt instrument, och att hitta ett är ofta svårare än själva testet. Det är en användbar kontroll, inte en ersättning för att tänka noggrant kring data-genereringsprocessen.

Hur man hanterar endogenitet

Ingen enskild metod hanterar alla typer. Rätt val beror på vad som orsakar endogeniteten.

Instrumentvariabler

Grundidén: hitta en variabel (instrumentet) som påverkar din endogena prediktor men inte har någon direkt effekt på utfallet annat än genom den prediktorn. Ett giltigt instrument uppfyller två villkor: relevans (det korrelerar med den endogena variabeln) och exklusionsrestriktionen (det hör inte hemma direkt i utfallsekvationen).

För utbildningsexemplet har avståndet från hemmet till närmaste högskola föreslagits som instrument för skolning. Personer som växte upp långt från en högskola fick mindre utbildning, inte för att de var mindre kapabla, utan för att det var dyrare att gå. Om avstånd inte påverkar löner annat än genom skolning är det ett giltigt instrument. Det andra villkoret kan aldrig verifieras enbart med data, vilket är varför IV-skattning kräver ett försvarbart resonemang, inte bara en signifikant första steg-regression.

Tvåstegs minsta kvadratmetoden

Tvåstegs minsta kvadratmetoden (2SLS) operationaliserar IV-skattning. I första steget regresserar du den endogena prediktorn på instrumentet och eventuella exogena kontroller. I andra steget ersätter du den endogena variabeln med dess predikterade värden från steg ett och kör utfallsregressionen på dem. De predikterade värdena innehåller endast den variation i prediktorn som kommer från instrumentet (variation som är okorrelerad med feltermen i utfallsekvationen), vilket är varför 2SLS ger en renare kausal skattning. I praktiken, kör inte de två stegen manuellt som separata OLS-regressioner. Standardfelen i andra steget blir fel eftersom de ignorerar osäkerheten i skattningen från första steget. Använd i stället en dedikerad IV-skattare (ivreg i R:s AER-paket, eller IV2SLS i Pythons linearmodels).

Fasta effekter

När endogenitet härrör från oobserverade individnivåegenskaper som är stabila över tid (förmåga, företagskultur, grannskapskvalitet) kan paneldata med fasta effekter hjälpa. Att inkludera en enhetsnivå-dummy (eller ekvivalent, centrering inom enheter) tar bort alla tidsinvarianta utelämnade variabler på enhetsnivå. Fasta effekter hanterar inte tidsvarierande confounders, mätningsfel eller simultaneitet, men för stabila oobserverbara faktorer är de ofta den renaste lösningen.

Experimentella och kvasiexperimentella designer

Det renaste sättet att få exogen variation är randomisering. I en randomiserad kontrollerad studie är behandlingsallokeringen oberoende av allt annat per design. När randomisering inte är möjlig kan naturliga experiment (situationer där någon extern händelse i praktiken randomiserar exponeringen) uppnå liknande trovärdighet. Regressionsdiskontinuitet och difference-in-differences är två vanliga kvasiexperimentella ramverk byggda på denna logik.

Värt att komma ihåg: ingen av dessa metoder löser varje typ av endogenitet. IV kräver ett försvarbart instrument. Fasta effekter hjälper inte vid simultaneitet. Randomisering är sällan tillgänglig för de frågor som betyder mest.

Instrumentvariabler: Ett enkelt exempel

Fallet utbildning–inkomst gör mekaniken konkret. Den endogena variabeln är antal skolår, endogen eftersom den korrelerar med oobserverad förmåga i feltermen. Vi behöver ett instrument: något som förutsäger hur mycket skolning någon får men påverkar inkomsten endast via skolning.

Card (1995) föreslog närhet till ett fyraårigt college. Personer som växte upp nära en högskola hade lägre närvarokostnader och fick mer utbildning i genomsnitt. Om att bo nära en högskola inte direkt påverkar vuxnas löner (givet kontroll för andra lokationsfaktorer), uppfyller närhet exklusionsrestriktionen.

Första steget: regressera antal skolår på närhet till högskola plus kontroller. Detta ger anpassade värden för utbildning som endast innehåller variationen driven av närhet, inte av förmåga. Andra steget: regressera loglön på dessa anpassade värden. Koefficienten på anpassad utbildning skattar den kausala effekten av skolning på lön för personer vars utbildning faktiskt påverkades av närhet, det som ekonometriker kallar en lokal genomsnittlig behandlingseffekt (LATE).

Instrumentet ger dig inte den genomsnittliga effekten för alla. Det ger en trovärdig kausal skattning för ”compliers”, de vars skolning ändrades på grund av närhet. Det är en verklig begränsning hos IV, men en ärlig sådan.

Exogena och endogena variabler i kausal inferens

Regressionsramen för exogenitet handlar om korrelation med en felterm. Kausal inferens-ramen handlar om något lite annorlunda: om en variabel är en orsak till utfallet via en väg du kan isolera. I ramen med riktade acykliska grafer (DAG) associerad med Judea Pearls arbete är exogena variabler noder utan föräldrar i grafen. Confounders är gemensamma orsaker till både behandling och utfall, och det är precis de som skapar endogenitet i regressiv mening.

Kopplingen mellan dessa ramverk är verklig men inte alltid prydlig. Ekonometrisk endogenitet motsvarar grovt förekomsten av o blockerade bakdörrsstigar i en DAG. Att kontrollera för en confounder motsvarar att blockera en bakdörrsstig. IV-skattning motsvarar att hitta en exogen källa till variation i behandlingen.

En sak värd att flagga: i grafiska modeller kan en variabel vara exogen i ett system och endogen i ett annat, vilket är precis vad exemplet utbildning–inkomst illustrerade. Den praktiska slutsatsen är densamma oavsett ramverk. Du behöver argumentera för dina kausala antaganden, inte bara passa modellen.

Exogena vs endogena variabler i maskininlärning

I standardmässig prediktiv ML är endogenitet i stort sett irrelevant. Om ditt mål är att minimera prediktionsfel på hållen data spelar det ingen roll om dina features är exogena. En modell som använder endogena prediktorer kan ändå generalisera väl. Den biaserade koefficienten är ett problem för tolkning, inte för prognos.

Skillnaden börjar spela roll när du tolkar koefficienter kausalt eller använder modellen för att styra interventioner. Säg att ett företag tränar en churn-modell och sedan agerar på dess features, och riktar in sig på kunder baserat på volymen av senaste supportärenden. Den kausala frågan blir aktuell: orsakar ärendevolym churn, eller är den ett symptom på samma underliggande missnöje som driver båda? Att agera på en endogen prediktor som om den vore en orsak kan leda till insatser som är slösaktiga eller motverkande.

Kausala ML-metoder (double machine learning, kausalskogar, policyinlärning) bygger uttryckligen in de exogenitetskrav som standard-ML ignorerar. De använder instrumentliknande eller experimentell variation för att skatta effekter som är robusta mot endogenitet. De är mer krävande vad gäller data och identifierande antaganden, men de är rätt verktyg när målet är policyutvärdering snarare än prediktion.

Vanliga missuppfattningar

Här är några vanliga missuppfattningar som du kan stöta på. 

Oberoende variabler är alltid exogena

”Oberoende variabel” betyder bara ”prediktor”. Det säger inget om huruvida variabeln är exogen. I löne-regressionen är utbildning den oberoende variabeln och den är endogen. Dessa två klassificeringar beskriver olika saker.

Endogen betyder samma sak som beroende variabel

”Beroende variabel” betyder utfallet du modellerar, vänstersidan. ”Endogen variabel” beskriver en prediktor som är korrelerad med feltermen, på högersidan. De kan överlappa i simultana ekvationssystem, men de är inte synonymer.

Exogenitet betyder helt orelaterad till andra variabler

Exogenitet kräver inte statistiskt oberoende från dina andra regressorer. Två prediktorer kan vara korrelerade med varandra och båda vara exogena, så länge ingen av dem är korrelerad med feltermen. Exogenitet handlar specifikt om relationen till ε.

Statistiska kontroller eliminerar automatiskt endogenitet

Att lägga till kontroller hjälper när endogenitet härrör från en utelämnad faktor du kan observera och mäta. Men många confounders (förmåga, motivation, sociala nätverk) är oobserverade. Att inkludera fler kontroller löser inte problemet om den centrala utelämnade variabeln inte finns i dina data.

Slutsats

Exogen och endogen beskriver var en variabel kommer ifrån och hur den relaterar till resten av modellen, inte bara vilken sida av en ekvation den står på. En prediktor är exogen när den bestäms utanför systemet och är okorrelerad med feltermen. Den är endogen när den är intrasslad med oobserverade faktorer som också driver utfallet.

Skillnaden spelar roll eftersom endogenitet bryter OLS. Utelämnad variabel-bias, simultanitet och mätningsfel skapar alla korrelation mellan prediktorer och feltermen, vilket driver skattningar mot tal som inte representerar den kausala effekt du är ute efter. Att åtgärda det kräver att du förstår varför endogeniteten uppstod och sedan väljer en metod (instrument, fasta effekter, kvasiexperimentell design) som passar den källan. Det finns ingen universallösning, och de metoder som kommer närmast kräver antaganden du kan argumentera för men aldrig helt bevisa.

Om du vill fördjupa dig i regressionsmekaniken bakom allt detta, vår Intermediate Regression in R -kurs täcker antagandena i detalj, och vår Causal Inference with R-kurs tar vid exakt där den här artikeln slutar, inklusive instrumentvariabler, difference-in-differences och regressionsdiskontinuitet.