Multivariate lineaire regressie: een gids voor het modelleren van meerdere uitkomsten

Soms moet je meer dan één ding tegelijk voorspellen, zoals zowel verkoop als klantverloop voorspellen met dezelfde gegevens.

In dit artikel leer ik je hoe je op deze manier kunt multitasken. Ik leer je over multivariate lineaire regressie. Je ontdekt wat het is, hoe het werkt, wanneer je het gebruikt en hoe je het in de praktijk toepast. Aan het einde ben je klaar om het op realistische problemen toe te passen. 

Als je nieuw bent met regressie, wil je misschien eerst onze Introduction to Regression in R of Introduction to Regression with statsmodels in Python doornemen.

Wat is multivariate lineaire regressie?

Multivariate lineaire regressie is een statistische techniek die de relatie modelleert tussen meerdere onafhankelijke variabelen en meerdere afhankelijke variabelen. Het wordt soms verward met meervoudige lineaire regressie omdat het erop lijkt, en ik heb ze zelf ook weleens door elkaar gehaald. Maar meervoudige lineaire regressie gebruikt meerdere voorspellers om één uitkomstap te schatten, terwijl multivariate lineaire regressie is ontworpen voor situaties waarin je meer dan één uitkomst tegelijk moet voorspellen.

Theoretische basis en modelopzet

Ik heb je zojuist een overzicht gegeven van wat multivariate regressie is en wanneer je het gebruikt. Laat me nu ingaan op hoe het model is opgebouwd en op welke aannames het steunt.

Matrixrepresentatie

Multivariate regressie gebruikt een matrixopzet om meerdere uitkomsten tegelijk te modelleren:

Waarbij:

• Y een n×p-matrix van afhankelijke variabelen is (n observaties, p responsvariabelen)
• X een n×(k+1)-matrix van onafhankelijke variabelen is (inclusief intercept)
• B een (k+1)×p-matrix met regressiecoëfficiënten is
• E een n×p-matrix met fouttermen is

Deze aanpak erkent dat fouttermen voor verschillende responsvariabelen gecorreleerd kunnen zijn, wat leidt tot efficiëntere parameterschattingen dan losse univariate modellen. 

Aannames

Voordat je het model gebruikt, is het belangrijk de aannames te begrijpen die moeten gelden—en wat je doet als dat niet zo is.

• Lineariteit: Elke voorspeller moet lineair samenhangen met elke uitkomst. Niet-lineaire relaties vertekenen je resultaten. 
• Onafhankelijkheid: Je observaties moeten onafhankelijk zijn. Als dat niet zo is (ik denk aan tijdreeksen of geclusterde data), worden standaardfouten onbetrouwbaar.
• Multivariate normaliteit: De fouttermen zouden een multivariate normale verdeling moeten volgen. Zelfs als dit niet klopt, blijven je coëfficiëntschattingen onbevooroordeeld, maar de nauwkeurigheid van betrouwbaarheidsintervallen en hypothesetoetsen kan aangetast worden. Hoewel de Shapiro-Wilk-toets normaliteit per uitkomst afzonderlijk kan beoordelen, toets je multivariate normaliteit het best met specifieke toetsen zoals de test van Mardia, die rekening houden met correlaties tussen residuen.
• Homoscedasticiteit: De variantie van de fouten moet constant zijn over voorspellers en uitkomsten heen. Zo niet, dan wordt het model minder efficiënt. 
• Geen perfecte multicollineariteit: Je voorspellers mogen niet perfect gecorreleerd zijn. 

Als deze aannames niet opgaan, moet je bijsturen. Probeer bijvoorbeeld variabelen te transformeren om niet-lineariteit of normaliteitsproblemen aan te pakken, schakel over op gewogen kleinste kwadraten om heteroscedasticiteit te behandelen, of gebruik ridge-regressie bij collineariteitsproblemen.

Categorische variabelen verwerken

Als je met categorische variabelen werkt, moet je die eerst omzetten naar dummyvariabelen. 

Voor een categorische variabele met k categorieën maak je k-1 dummyvariabelen. Dit voorkomt redundantie, bekend als de dummyvalkuil. De weggelaten categorie wordt het referentieniveau. Je coëfficiënten weerspiegelen dan het verschil ten opzichte van die basislijn. Het is dus de moeite waard er één te kiezen die de interpretatie eenvoudig maakt.

Schattingsmethoden en efficiëntie

Met de modelstructuur en aannames op hun plaats, kijken we nu hoe coëfficiënten worden geschat en hoe methoden zich verhouden qua efficiëntie en nauwkeurigheid.

Kleinste kwadraten (OLS)

OLS is het standaard vertrekpunt en breidt zich vanzelf uit naar multivariate settings. Het geeft onbevooroordeelde coëfficiëntenschattingen zolang de aannames gelden. Hoewel de individuele schattingen hetzelfde zijn als losse regressies draaien, is het voordeel hier dat residuen gedeeld worden, zodat je gezamenlijke hypothesen over uitkomsten kunt toetsen.

Wanneer uitkomsten gecorreleerd zijn, legt multivariate OLS die relaties vast, wat vaak (maar niet altijd) de algehele voorspelkwaliteit verbetert. 

Gauss-Markov-stelling

Je vraagt je misschien af waarom OLS zo veel wordt gebruikt. De Gauss-Markov-stelling legt dat uit: onder bepaalde aannames is OLS de Best Linear Unbiased Estimator (BLUE). Dat betekent dat het je de kleinst mogelijke variantie geeft onder alle onbevooroordeelde lineaire schatters, ervan uitgaande dat de gebruikelijke voorwaarden gelden, zoals geen multicollineariteit, lineaire relaties en constante variantie.

Gewogen kleinste kwadraten (WLS)

Maar wat als die voorwaarden niet kloppen, vooral die van constante variantie? In dat geval overweeg ik WLS. Het kent meer gewicht toe aan observaties met lagere foutvariantie en minder aan ruisigere observaties.

WLS past het OLS-proces aan door een gewichtsmatrix toe te voegen. Je kunt gewichten schatten met residuen uit een OLS-model of op basis van theoretische kennis over de foutstructuur van je data.

Shrinkage-methoden

Laten we vervolgens kijken naar scenario's met hoge dimensionaliteit of multicollineariteit. Shrinkage-methoden zijn hier nuttig. Ze staan wat bias toe in ruil voor lagere variantie, wat vaak helpt bij voorspellen.

Ridge-regressie voegt een L2-penalty (λ||B||²) toe, waardoor alle coëfficiënten naar nul worden getrokken. Dat is handig als elke voorspeller iets kan bijdragen. LASSO past een L1-penalty toe die sommige coëfficiënten helemaal op nul kan zetten—handig voor variabelenselectie. Elastic net combineert beide, wat helpt als voorspellers gecorreleerd zijn en toch selectie uitvoert.

Modelevaluatie en inferentie

Nu we de schatting hebben behandeld, kijken we hoe je beoordeelt hoe goed je model presteert en hoe je er betekenisvolle conclusies uit trekt.

Goodness-of-fit

Multivariate R-kwadraat geeft je een idee van hoeveel totale variatie je model verklaart over alle uitkomsten. In tegenstelling tot de univariate versie gebruikt deze vaak de determinant van de residu-covariantiematrix en blijft hij mogelijk niet altijd tussen 0 en 1.

Aangepaste R-kwadraat is extra belangrijk in multivariate settings, omdat je aantal parameters snel toeneemt bij meerdere uitkomsten. Het helpt overfitting te vermijden door complexiteit te bestraffen.

Visuele hulpmiddelen zoals betrouwbaarheidsellipsen kunnen ook nuttig zijn. Deze ellipsen tonen onzekerheid in voorspellingen en hoe uitkomstvariabelen zich tot elkaar verhouden. Cirkelvormige ellipsen suggereren onafhankelijkheid; langgerekte duiden op sterke correlaties.

Hypothesetoetsing

Als je wilt weten of je model meer doet dan alleen ruis passen, is hypothesetoetsing essentieel.

Wilks' Lambda test of specifieke voorspellers significante effecten hebben over de set uitkomsten. Hij vergelijkt foutcovariantiematrices van het volledige en een gereduceerd model om te bepalen of het verwijderen van bepaalde voorspellers de onverklaarde variantie significant zou vergroten. 

Hotellings T² werkt als een multivariate t-toets. Hij beoordeelt of een specifieke voorspeller ten minste één uitkomst beïnvloedt, rekening houdend met uitkomstcorrelaties.

Gezamenlijke toetsing helpt het risico op valse positieven te beheersen wanneer je meerdere hypothesen tegelijk test. Dit is nuttig bij multivariate regressie, waar multiple comparisons snel uit de hand kunnen lopen.

Modelvergelijking

Om tussen modellen te kiezen, zijn criteria zoals AIC en BIC handig. Beide corrigeren voor complexiteit, wat extra belangrijk is bij het modelleren van meerdere uitkomsten. AIC focust meer op voorspellende kracht, terwijl BIC de neiging heeft eenvoudigere modellen te verkiezen.

Je kunt ook likelihood-ratiotoetsen gebruiken om geneste modellen te vergelijken. Die controleren of het toevoegen van voorspellers de modelpassingskwaliteit significant verbetert.

Geavanceerde onderwerpen en use-cases

Standaard multivariate regressie werkt goed voor veel problemen, maar soms kom je situaties tegen die een gespecialiseerde aanpak vragen. Misschien werk je met honderden voorspellers, of beïnvloeden je variabelen elkaar op manieren die de standaardaannames schenden. Zo pak je (een deel van) deze lastigere scenario's aan.

Featureselectie

Als je met veel voorspellers werkt, wordt featureselectie essentieel voor zowel performance als interpretatie. LASSO (dit staat voor ‘Least Absolute Shrinkage and Selection Operator’) springt eruit omdat het automatisch irrelevante voorspellers kan wegstrepen terwijl het model wordt gefit.

In tegenstelling tot ridge-regressie, die alle coëfficiënten naar nul trekt maar ze behoudt, gebruikt LASSO een L1-penalty die spaarzame oplossingen oplevert. Dat maakt het erg geschikt als je vermoedt dat slechts een subset van je voorspellers echt belangrijk is.

Omgaan met endogeniteit

Soms beïnvloeden je voorspellers je uitkomsten terwijl ze er tegelijkertijd door worden beïnvloed. Ik denk aan hoe opleiding inkomen beïnvloedt, maar inkomen ook toegang tot opleiding. Dit veroorzaakt endogeniteit, waardoor standaard regressieschattingen onbetrouwbaar worden.

Instrumentele variabelen lossen dit op met een tweestapsproces. Eerst vind je een "instrument", dus een variabele die je problematische voorspeller beïnvloedt maar niet direct je uitkomst. Vervolgens gebruik je dit instrument om het ‘schone’ deel van je voorspeller te voorspellen, en die voorspellingen gebruik je in je uiteindelijke regressie. Dit zou de cirkelrelatie moeten doorbreken of helpen doorbreken en je betrouwbare of betrouwbaardere schattingen geven.

Implementatie in software

De meeste statistische pakketten kunnen met multivariate regressie overweg, zij het met verschillende sterke punten. In Python ondersteunt sklearn.linear_model.LinearRegression van nature meerdere uitkomsten voor echte multivariate regressie. Naar mijn mening biedt statsmodels meer gedetailleerde statistische output, inclusief hypothesetoetsen. Als je een programmeur bent die de voorkeur geeft aan R, kun je gewoon de ingebouwde lm() functie gebruiken voor basis multivariate modellen, of het car pakket voor geavanceerdere diagnostiek.

Alternatieven zoals PLS

Partial Least Squares (PLS) is handig wanneer je meer voorspellers dan observaties hebt, of wanneer multicollineariteit problemen veroorzaakt. In plaats van alle voorspellers direct te gebruiken, creëert PLS latente variabelen die de meest relevante informatie vastleggen voor het voorspellen van je uitkomsten. Deze aanpak werkt bijzonder goed in vakgebieden zoals chemometrie en bio-informatica, waar je honderden of duizenden voorspellers kunt hebben maar relatief weinig observaties.

PLS vindt richtingen in je voorspellersruimte die zowel voorspellervariantie als uitkomst-covariantie verklaren. Het is vooral nuttig wanneer voorspellingsnauwkeurigheid belangrijker is dan interpretatie. Standaard MLR kan instabiel worden met veel gecorreleerde voorspellers, maar PLS blijft goed gedrag vertonen, zelfs in lastige situaties.

Betrouwbaarheidsellipsen

Eenvoudige betrouwbaarheidsintervallen werken niet goed voor multivariate voorspellingen omdat ze correlaties tussen uitkomsten negeren. Betrouwbaarheidsellipsen tonen de gezamenlijke onzekerheid voor paren van uitkomsten en laten zien hoe voorspellingsfouten gecorreleerd zijn tussen verschillende responsvariabelen. Deze ellipsen vertellen je iets over de relatie-structuur in je voorspellingen. Cirkelvormige ellipsen betekenen dat je uitkomsten onafhankelijk worden voorspeld, terwijl langgerekte ellipsen op sterke correlaties wijzen.

De oriëntatie van langgerekte ellipsen laat zien welke lineaire combinaties van uitkomsten de meeste en minste onzekerheid hebben. Je kunt deze plotten voor individuele voorspellingen of voor parameterschattingen, en ze zijn handig bij het presenteren van resultaten omdat ze een intuïtieve visuele weergave geven van hoe zeker je van verschillende aspecten van je voorspellingen kunt zijn.

Praktische overwegingen en voorbeeld in Python

Van theorie naar praktijk gaan betekent omgaan met rommelige data en zeker weten dat je model echt werkt. Zo pak je de praktische kant van multivariate regressie aan.

Preprocessing

Voordat je een multivariaat model fit, moet je je data op orde brengen. Schalen en centreren zijn vooral belangrijk als je voorspellers verschillende eenheden hebben. Stel je voor dat je inkomen (in duizenden) vergelijkt met leeftijd (in jaren) zonder standaardisatie. De meeste algoritmen werken beter wanneer features op vergelijkbare schalen liggen.

Missende waarden vormen een andere uitdaging. Je kunt rijen met missende data weggooien, maar dat verspilt informatie en kan bias introduceren. Betere opties zijn gemiddelde-imputatie voor numerieke variabelen of meer geavanceerde methoden zoals multiple imputation, waarbij je meerdere plausibele datasets maakt en de resultaten daarover combineert.

Modelvalidatie

Cross-validatie helpt je te begrijpen hoe wel je model generaliseert buiten je trainingsdata. Voor multivariate regressie werkt k-fold cross-validatie door je data in k groepen te splitsen, te trainen op k-1 groepen en te testen op de overgebleven groep. Herhaal dit k keer en neem het gemiddelde voor een robuuste prestatie-inschatting.

Bootstrapping biedt een andere validatieaanpak die vooral nuttig is om parameteronzekerheid te begrijpen. Het creëert nieuwe datasets door met teruglegging uit je originele data te sampelen, fit vervolgens modellen op elke bootstrap-steekproef en bekijkt de verdeling van parameterschattingen. Dit laat zien hoe stabiel je coëfficiënten zijn en helpt bij het opbouwen van betrouwbaarheidsintervallen.

Casus

Laten we een concreet voorbeeld bekijken met een materiaaltestdataset. Ingenieurs moeten vaak meerdere eigenschappen van beton voorspellen—zoals druksterkte en verwerkbaarheid—op basis van mengselsamenstelling zoals cementgehalte, waterfactor en type toeslagmateriaal. Dit leent zich uitstekend voor multivariate regressie, omdat deze uitkomsten verwant maar verschillend zijn.

De analyse begint met het verkennen van correlaties tussen mengselcomponenten en uitkomsten, het controleren op multicollineariteit onder voorspellers en het bekijken of de relaties lineair lijken. Na preprocessing (het schalen van de mengverhoudingen en het afhandelen van eventuele ontbrekende metingen) fit je het multivariate model en valideer je het met cross-validatie om zeker te zijn dat de voorspellingen standhouden bij nieuwe betonmengsels.

Codevoorbeeld

Hier is een basisworkflow die de belangrijkste stappen in Python laat zien. Eerst zetten we onze data op en regelen we de preprocessing:

import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_score
from sklearn.metrics import mean_squared_error

# Load and prepare data (assuming concrete dataset)
# X: mixture components (cement, water, aggregate, etc.)
# y: multiple outcomes (strength, workability, durability)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)Mogelijk gemaakt door

Deze preprocessing-stap standaardiseert alle voorspellers naar gemiddelde nul en variantie één, wat helpt bij numerieke stabiliteit en interpretatie.

Vervolgens fitten we het multivariate model en bekijken we de resultaten:

# Fit multivariate regression
mlr_model = LinearRegression()
mlr_model.fit(X_scaled, y)

# Get coefficients for each outcome
for i, outcome in enumerate(['strength', 'workability', 'durability']):
   coeffs = mlr_model.coef_[:, i]
   print(f"{outcome} coefficients: {coeffs}”)Mogelijk gemaakt door

Het LinearRegression model fit een enkele multivariate regressie die rekening houdt met correlaties tussen alle uitkomsten tegelijk. De coëfficiënten laten zien hoe elke mengcomponent elke betoneigenschap beïnvloedt.

Tot slot valideren we het model om de betrouwbaarheid te controleren:

# Cross-validation for each outcome
cv_scores = cross_val_score(mlr_model, X_scaled, y, 
                           cv=5, scoring='neg_mean_squared_error')
print(f"Average CV score: {-cv_scores.mean():.3f}")

# Make predictions on new data
y_pred = mlr_model.predict(X_scaled)
mse_per_outcome = [mean_squared_error(y[:, i], y_pred[:, i]) 
                   for i in range(y.shape[1])]
print(f"MSE per outcome: {mse_per_outcome}")Mogelijk gemaakt door

Cross-validatie geeft je een eerlijke inschatting van hoe goed het model presteert op ongeziene data. De MSE-scores per uitkomst helpen je te begrijpen welke betoneigenschappen makkelijker of juist moeilijker nauwkeurig te voorspellen zijn.

Beperkingen en alternatieven

Multivariate lineaire regressie werkt goed voor veel problemen, maar kent duidelijke grenzen. De grootste beperking zit al in de naam—het veronderstelt lineaire relaties tussen voorspellers en uitkomsten. Wanneer relaties krom zijn, vol interacties of anderszins niet-lineair, geeft MLR vertekenende resultaten. Hoge dimensionaliteit vormt een ander probleem: met veel voorspellers ten opzichte van observaties wordt het model instabiel en gevoelig voor overfitting.

Verschillende alternatieven kunnen deze beperkingen beter aan. Generalized Linear Models (GLM's) breiden het raamwerk uit naar niet-normale uitkomsten en maken verschillende linkfuncties mogelijk. ANCOVA werkt goed wanneer je zowel continue als categorische voorspellers met interactie-effecten hebt. Voor overfitting-problemen helpen regularisatiemethoden zoals ridge en LASSO, of je kunt ensemblemethoden proberen zoals random forests, die niet-lineariteit en hoge dimensionaliteit natuurlijker verwerken.

Conclusie

Multivariate lineaire regressie biedt een solide manier om meerdere gerelateerde uitkomsten tegelijkertijd te modelleren en relaties vast te leggen die losse univariate modellen missen. De belangrijkste krachten liggen in de interpretatie, statistische toetsmogelijkheden en de efficiënte omgang met gecorreleerde uitkomsten. 

Of je bij standaard MLR blijft of overstapt op andere benaderingen zoals geregulariseerde regressie, partial least squares en ensemblemethoden, hangt af van de kenmerken van je data, je steekproefgrootte en of voorspelling of interpretatie zwaarder weegt voor jouw specifieke probleem.

Wil je je skills verder uitbouwen, dan behandelt onze cursus Intermediate Regression with statsmodels in Python meerdere verklarende variabelen en interactie-effecten, terwijl Generalized Linear Models in R je toolkit uitbreidt voor niet-normale verdelingen zoals de binomiale verdeling en de Poissonverdeling voor teldata.