Residualdiagram förklarade: Så kontrollerar du antaganden i regressionsmodeller

Du har anpassat en regressionsmodell, R^² ser hyfsat ut och koefficienterna känns rimliga. Men en snygg sammanställningstabell kan dölja en felaktigt specificerad modell. Ett spridningsdiagram fångar ofta det siffrorna missar: residualdiagrammet.

Den här artikeln tar upp vad residualdiagram är, hur du läser dem, vilka mönster som är värda att känna till och hur du skapar ett i både Python och R. De flesta nybörjare hoppar helt över diagnossteget. När du har läst klart kommer du inte att göra det.

Vad är ett residualdiagram?

En residual är gapet mellan vad din modell förutsade och vad som faktiskt hände: residual = observerat − förutsagt. Ett residualdiagram visar upp dessa gap. X-axeln visar antingen de förutsagda (anpassade) värdena eller en förklaringsvariabel; y-axeln visar residualerna. En horisontell referenslinje ligger vid noll och representerar perfekt förutsägelse.

Slumpmässigt spridningsdiagram runt noll: ett friskt residualdiagram. Bild av författaren. 

Huvudtanken: om din modell har fångat sambandet väl, bör residualerna se ut som brus. Slumpmässigt utspridda runt noll, utan tydligt mönster. Så fort en form dyker upp säger din modell dig något som den inte kunde uttrycka enbart genom koefficienter.

Hur tolkar man ett residualdiagram

Leta efter mönster. Helst ska det inte finnas något uppenbart. Det är hela regeln. Vad residualernas läge, spridning och form avslöjar är där det blir intressant.

Läge: Är punktsvärmen centrerad kring noll?

Residualer som ligger över noll i vissa områden av de anpassade värdena och under i andra betyder att modellen är snedvriden. Den över- eller underskattar konsekvent i vissa områden. Detta tyder ofta på en saknad variabel eller ett icke-linjärt samband som en rät linje-modell inte kan fånga.

Spridning: Är variansen ungefär konstant?

Skanna från vänster till höger. Om residualernas spridning är ungefär densamma över alla anpassade värden är det ett gott tecken. Om punkterna fläktar utåt när de anpassade värdena ökar förändras variansen. Detta kallas heteroskedasticitet. Det förstör inte koefficientskattningarna, men gör standardfelen opålitliga, vilket spelar roll om du gör någon form av hypotesprövning.

Form: Finns det en kurva eller trend?

Platt och mönsterlöst är vad du vill ha. En U-form eller båge säger att modellen saknar en icke-linjär term. Kluster eller band antyder undergrupper som modellen behandlar som en enda. En enskild punkt långt från allt annat är värd att undersöka.

Vanliga mönster i residualdiagram och vad de betyder

Fyra mönster i residualdiagram som signalerar modellproblem. Bild av författaren.

Slumpmässig spridning runt noll

Det goda utfallet. Punkter fördelade ungefär jämnt ovanför och under nollinjen, utan urskiljbar trend, indikerar i allmänhet att modellen fångar sambandet någorlunda väl. Viss slumpmässighet är att vänta.

Kurvigt mönster

Ett kurvigt eller bågformat mönster betyder oftast ett omodellerat icke-linjärt samband. Modellen passar en rät linje genom data som böjer sig. Åtgärden är typiskt att lägga till en polynomterm (som x^²) eller att transformera prediktorn. Detta är ett av de vanligare mönstren i praktiken, särskilt vid modellering av sådant som bostadspriser eller biologisk tillväxt.

Tratt- eller fläktform

Residualer som sprider sig bredare när de anpassade värdena ökar: det är heteroskedasticitet, variansen är inte konstant. Vanligt i finansiella data, där förutsägelsefel naturligt skalar med utfallsstorleken. En log-transformation av responsvariabeln är ofta ett rimligt första steg; viktad minsta kvadrat är ett annat alternativ.

Kluster eller grupper

Tydliga grupper i residualdiagrammet betyder vanligen att datan innehåller subpopulationer som modellen inte tar hänsyn till. Det finns troligen en kategorisk variabel (region, behandlingsgrupp, produkttyp) som hör hemma i modellen. Om du ser två eller tre täta band av punkter, börja där.

Stora isolerade residualer

En ensam punkt som ligger långt från resten förtjänar en titt. Det kan vara en genuin avvikare, ett dataregistreringsfel eller en observation med ovanliga egenskaper. Radera den inte automatiskt. Förstå den först. Om den ska behållas eller tas bort beror på sammanhang, inte bekvämlighet.

För vart och ett av dessa mönster identifierar residualdiagrammet ett symptom, inte en diagnos. Det berättar att något är fel; du måste fortfarande lista ut varför.

Vilka regressionsantaganden kan residualdiagram kontrollera?

Med mönstren i åtanke är det värt att klargöra vilka regressionsantaganden ett residualdiagram kan och inte kan bedöma.

• Linearitet: Om sambandet mellan prediktorerna och utfallet verkligen är linjärt bör residualerna inte visa någon trend när de plottas mot anpassade värden. En kurva eller båge är ett direkt visuellt tecken på att lineariteten inte håller.
• Konstant varians: Trattmönstret är precis hur heteroskedasticitet ser ut. Om spridningen ökar med anpassade värden är antagandet om lika varians kränkt. Plottet residualer vs. anpassade är förmodligen det vanligaste verktyget för att fånga detta.
• Oberoende: Om dina observationer har någon naturlig ordning (tid, rum, ämneskluster) kan du plotta residualer mot den ordningen för att leta efter mönster. Trendande residualer i ett tidsordnat diagram tyder på autokorrelation. Ett vanligt residualer-vs-anpassade-diagram avslöjar inte alltid detta; ibland behövs ett särskilt residualer-vs-ordning-diagram.
• Avvikare och inflytelserika observationer: Stora isolerade residualer flaggar observationer som modellen förutsäger dåligt. För inflytande specifikt, observationer som drar regressionslinjen oproportionerligt mycket, är diagrammet Residualer vs. hävstång mer informativt än det grundläggande residualdiagrammet.

En sak som residualdiagram inte pålitligt kan bedöma är normalitet. Ett platt residualer-vs-anpassade-diagram bekräftar inte att felen är normalfördelade. För det behöver du ett Q-Q-diagram. Detta är en vanlig källa till förvirring och värt att hålla isär.

Hur man skapar ett residualdiagram i Python

Standardarbetsflödet använder scikit-learn för att anpassa modellen och beräkna residualer, och sedan matplotlib för att visualisera dem. Här är ett komplett exempel med enkel linjär regression på bostadsdata:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# Sample data: square footage predicting home price
sqft = np.array([800, 1000, 1200, 1500, 1800, 2000, 2200, 2500, 3000, 3500])
price = np.array([150, 180, 210, 260, 300, 330, 370, 420, 500, 560])

# Reshape for sklearn and fit the model
X = sqft.reshape(-1, 1)
model = LinearRegression()
model.fit(X, price)

# Generate predictions and calculate residuals
predicted = model.predict(X)
residuals = price - predicted

# Plot residuals against fitted values
plt.figure(figsize=(8, 5))
plt.scatter(predicted, residuals, color='steelblue', edgecolors='white', s=80)
plt.axhline(y=0, color='red', linestyle='--', linewidth=1.2)
plt.xlabel('Fitted Values')
plt.ylabel('Residuals')
plt.title('Residual Plot')
plt.tight_layout()
plt.show()

Nyckelraden är residuals = price - predicted. Anropet axhline() lägger till nollreferenslinjen; utan den är diagrammet mycket svårare att läsa. Om detta utfall ser ungefär mönsterlöst ut är du i hyfsat skick. Notera att residualerna blir större vid högre anpassade värden. Med bara 10 punkter är det svårt att vara säker, men detta antyder den typ av fläktform vi diskuterade tidigare.

För en djupare titt på regression i Python går vår Introduction to Regression with statsmodels in Python-kurs igenom modellanpassning, antagandekontroll och tolkning i detalj.

Hur man skapar ett residualdiagram i R

R gör detta något enklare direkt ur lådan. När du har anpassat en modell med lm() genererar den inbyggda funktionen plot() en komplett diagnostikpanel, inklusive ett residualer-vs-anpassade-diagram, automatiskt.

# Same housing data in R
sqft <- c(800, 1000, 1200, 1500, 1800, 2000, 2200, 2500, 3000, 3500)
price <- c(150, 180, 210, 260, 300, 330, 370, 420, 500, 560)

# Fit the model and view diagnostics
housing_model <- lm(price ~ sqft)
plot(housing_model, which = 1) # which = 1 gives residuals vs. fitted

Argumentet which = 1 tar fram just diagrammet residualer-vs-anpassade. Lämna det, och du får alla fyra standarddiagnostikdiagrammen: residualer vs. anpassade, Q-Q, skala-lokation och residualer vs. hävstång. Användbart när du snabbt vill ha en komplett bild. R annoterar också de tre mest extrema punkterna med index, vilket sparar dig från att leta manuellt efter avvikare.

För en fullständig genomgång av regression i R täcker vår Introduction to Regression in R-kurs modellbygge och diagnostik från grunden.

Residualdiagram vs. andra regressionsdiagnostiska diagram

Diagrammet residualer-vs-anpassade är startpunkten, inte hela bilden. Några relaterade diagram besvarar andra frågor.

Residualdiagram vs. Q-Q-diagram

Residualer-vs-anpassade-diagrammet kontrollerar linearitet och konstant varians. Q-Q-diagrammet kontrollerar normalitet, om residualerna följer en normalfördelning. Detta är separata frågor. Ett residualdiagram som ser rent ut garanterar inte normalitet, och ett Q-Q-diagram berättar inget om varians. Du vill i allmänhet ha båda.

Två olika diagram, två olika frågor om din modell. Bild av författaren.

Residualdiagram vs. skala-lokationsdiagram

Skala-lokationsdiagrammet (även kallat spridning-lokation) plottar kvadratroten av de absoluta standardiserade residualerna mot anpassade värden. Det är utformat för att upptäcka heteroskedasticitet och gör ofta trattmönstret lättare att se än det råa residualdiagrammet, eftersom det tar bort residualernas tecken och fokuserar helt på spridning.

Residualdiagram vs. residualer vs. hävstång-diagram

Hävstång mäter hur ovanliga en observations prediktorvärden är, inte hur dåligt modellen förutsäger den. Hög hävstång i kombination med en stor residual är en potentiellt inflytelserik observation. Diagrammet residualer-vs-hävstång identifierar dessa kombinationer och lyfter vanligen fram de mest problematiska punkterna med namn. Om du oroar dig för att inflytelserika observationer förvränger din modell, kontrollera detta.

Vad du gör när ett residualdiagram visar ett problem

Ett residualdiagram är en diagnos, inte en dom. Att se ett mönster betyder inte att modellen är värdelös. Så här kopplas vanliga mönster till nästa steg:

• Kurvigt mönster: Överväg att lägga till en polynomterm eller transformera en prediktor. En log-transformation av x eller en x²-term rätar ofta ut saker.
• Trattform: Prova en log- eller kvadratrots-transformation av responsvariabeln. Om det inte fungerar ger viktad minsta kvadrat mindre inflytande åt brusigare observationer.
• Stora isolerade residualer: Undersök observationen. Kontrollera först om det finns dataregistreringsfel. Om punkten är legitim, överväg om din modell behöver ta hänsyn till det som gör den ovanlig.
• Kluster eller grupper: Leta efter en kategorisk variabel du inte har inkluderat. Separata undergruppsmodeller är ibland rätt svar.

Residualdiagrammet visar symptom. Det talar inte om den exakta orsaken, och ett enda mönster kan ibland ha flera förklaringar. Använd det som en uppmaning att ställa bättre frågor.

Vanliga misstag när man läser residualdiagram

• Att förvänta sig ett perfekt slumpmässigt diagram: Riktig data är rörig. Några punkter som inte följer mönstret, viss asymmetri, lite klustring i ytterkanterna: detta är normalt. Frågan är inte om diagrammet är perfekt slumpmässigt; det är om det finns ett systematiskt mönster som en bättre modell skulle eliminera.
• Att behandla varje avvikare som dåliga data: En stor residual betyder att modellen förutsade den observationen dåligt. Det betyder inte att observationen är fel. Ibland är avvikaren den mest intressanta datapunkten i datasetet. Ta bara bort den efter att du förstår vad den är.
• Att anta att ett residualdiagram bevisar normalitet: Det gör det inte. Ett rent residualer-vs-anpassade-diagram berättar om linearitet och konstant varians. Normalitet kräver ett Q-Q-diagram. Dessa två diagnoser är komplementära, inte utbytbara.
• Att titta på diagrammet utan att beakta sammanhang: Ett residualdiagram från en tidsseriemodell behöver läsas annorlunda än ett från ett tvärsnittsdata. Vad som räknas som ett oroande mönster beror på datastruktur, stickprovsstorlek och vad modellen används till. Ett mönster som är värt att åtgärda i en prognosmodell kan vara ignorerbart i en utforskande analys.

Slutsats

Passa en modell, kontrollera sammanfattningen, känn dig nöjd med R^²: här stannar de flesta. Residualdiagrammet är vad du tittar på efter det, och det berättar ofta en annan historia. Slumpmässig spridning runt noll är vad du vill ha. Kurvor, trattar, kluster och extrema, isolerade punkter antyder var och en något som modellen inte har beaktat.

Inget enskilt diagram ger hela bilden. Para residualer-vs-anpassade-diagrammet med ett Q-Q-diagram för normalitet, ett skala-lokationsdiagram för varians och ett hävstångsdiagram om inflytelserika observationer är en oro. Varje diagram besvarar en annan fråga.

Om du vill gå vidare täcker vår kurs Intermediate Regression with statsmodels in Python antagandekontroll på djupet, inklusive hur du agerar när diagnostiken flaggar ett problem. För en bredare grund i regressionsantaganden och utvärdering av modeller är vår handledning Assumptions of Linear Regression in Python en naturlig nästa läsning.