Een complete gids voor K-fold crossvalidatie

Stel, je traint een machinelearningmodel, maar je weet niet zeker hoe het zal presteren op nieuwe, ongeziene data. Daar komt K-fold crossvalidatie van pas. Het geeft je een voorproefje van hoe je model zich in de echte wereld kan houden. Deze techniek helpt ervoor te zorgen dat je voorspellingen niet slechts een eenmalige meevaller zijn, maar consequent betrouwbaar blijven op nieuwe datasets.

In deze gids ontrafelen we de basis van K-fold crossvalidatie en vergelijken we het met eenvoudigere methoden zoals de train-test-split. Je verkent verschillende crossvalidatiemethoden met Python en begrijpt waarom de juiste keuze een grote impact kan hebben op je projecten. Aan het einde ben je klaar om deze strategieën toe te passen met scikit-learn. 

Laten we erin duiken en leren hoe je je machinelearningwerk écht betrouwbaar maakt!

Wat is K-fold crossvalidatie?

K-fold crossvalidatie is een robuuste techniek om de prestaties van machinelearningmodellen te evalueren. Het helpt te waarborgen dat het model goed generaliseert naar ongeziene data door in meerdere iteraties verschillende delen van de dataset voor training en testing te gebruiken. 

K-fold crossvalidatie vs. train-test-split

Waar K-fold crossvalidatie de dataset in meerdere subsets opdeelt om het model iteratief te trainen en testen, verdeelt de train-test-split de dataset slechts in twee delen: één voor training en één voor testing. De train-test-split is simpel en snel te implementeren, maar de prestatieschatting kan sterk afhangen van de specifieke split, wat tot hoge variantie in de resultaten kan leiden. 

De onderstaande afbeeldingen laten de structurele verschillen tussen deze twee methoden zien. De eerste afbeelding toont de train-test-split, waarbij de dataset is verdeeld in 80% training en 20% testing.

Illustratie van train/test-split. Afbeelding door de auteur

De tweede afbeelding toont een 5-fold crossvalidatie, waarbij de dataset in vijf delen is opgesplitst. Elk deel fungeert één keer als testset in een van de vijf iteraties, zodat elk segment zowel voor training als testing wordt gebruikt.

Schema van 5-fold crossvalidatie. Afbeelding door de auteur

We zien dat K-fold crossvalidatie een robuustere en betrouwbaardere prestatieschatting geeft omdat het de impact van datavariatie vermindert. Door meerdere trainings- en testcycli te gebruiken, verkleint het de kans op overfitting op een specifieke datasplit. Deze methode zorgt er ook voor dat elk datapunt wordt gebruikt voor zowel training als validatie, wat resulteert in een meer volledige evaluatie van de modelprestaties. 

K-fold crossvalidatie in Python met scikit-learn

Laten we K-fold crossvalidatie demonstreren met de California Housing-dataset om de prestaties van een lineair regressiemodel te beoordelen. Deze methode geeft een robuuste schatting van de modelnauwkeurigheid door iteratief te testen op verschillende subsets van de dataset, voor een volledige evaluatie.

Overzicht van de California Housing-dataset

De California Housing-dataset, samengesteld door Pace en Barry (1997), bevat gegevens uit de Amerikaanse volkstelling van 1990 over huisvesting in Californië. De dataset omvat 20.640 observaties met kenmerken zoals locatie, woningleeftijd en bevolking. De doelvariabele is de mediane woningwaarde voor districten in Californië. 

De dataset biedt een diverse set geografische, demografische en economische kenmerken en is daardoor zeer geschikt voor data science en machinelearningtoepassingen. We beginnen ons codevoorbeeld door deze rechtstreeks te downloaden uit de scikit-learn-bibliotheek. 

De dataset laden

Voordat we beginnen met het trainen en evalueren van het model, moeten we de dataset laden. 

from sklearn.datasets import fetch_california_housing 
data = fetch_california_housing()Mogelijk gemaakt door

Deze code importeert de functie fetch_california_housing uit sklearn.datasets en roept deze vervolgens aan om de California Housing-dataset te laden. Deze dataset wordt opgeslagen in de variabele data, die zowel de features als de doelvariabele bevat. 

De data voorbereiden

Zodra de dataset is geladen, is de volgende stap het voorbereiden van de data voor analyse. 

import pandas as pd 
X = pd.DataFrame(data.data, columns=data.feature_names) 
y = data.targetMogelijk gemaakt door

Hier gebruiken we de pandas-bibliotheek om een DataFrame X te maken met de featuredata uit data.data. De kolommen van het DataFrame worden gelabeld met data.feature_names. De doelvariabele, die de mediane woningwaarden weergeeft, wordt apart opgeslagen in y. 

K-fold crossvalidatie instellen

Nu is het tijd om ons model op te zetten, inclusief het kiezen van een waarde voor K. De juiste K kiezen is een belangrijke stap die we hieronder in detail behandelen. 

from sklearn.model_selection import KFold
k = 5 
kf = KFold(n_splits=k, shuffle=True, random_state=42)Mogelijk gemaakt door

Deze code initialiseert K-fold crossvalidatie met de klasse KFold uit sklearn.model_selection. We maken de instantie kf met 5 splits. De optie shuffle=True randomiseert de volgorde van de datapunten, en random_state=42 zorgt ervoor dat deze shuffle consistent is over meerdere runs. Deze setup is doorgaans voldoende om te beginnen met het evalueren van een model via crossvalidatie.  

Het model initialiseren

Met onze data voorbereid en de crossvalidatie ingesteld, is de volgende stap het kiezen en initialiseren van het model. 

from sklearn.linear_model import LinearRegression 
model = LinearRegression()Mogelijk gemaakt door

We importeren de klasse LinearRegression uit sklearn.linear_model en maken een instantie model. Dit model wordt gebruikt om lineaire regressie op de dataset uit te voeren. 

Crossvalidatie uitvoeren

Nu het model is geïnitialiseerd, kunnen we doorgaan met het leukste deel: crossvalidatie uitvoeren om de prestaties op verschillende subsets van de data te evalueren.

from sklearn.model_selection import cross_val_score 
scores = cross_val_score(model, X, y, cv=kf, scoring='r2')Mogelijk gemaakt door

Deze regel gebruikt de functie cross_val_score om het model te evalueren met de dataset X en doel y. De crossvalidatie wordt uitgevoerd met de KFold-instantie kf, en de modelprestaties worden gemeten met de R²-score. 

De gemiddelde R2-score berekenen

We kunnen R-squared gebruiken als maatstaf om het aandeel variantie in de afhankelijke variabele te evalueren dat verklaard kan worden door de onafhankelijke variabelen. Dit geeft inzicht in de goodness-of-fit van het regressiemodel.

import numpy as np 

average_r2 = np.mean(scores) 

print(f"R² Score for each fold: {[round(score, 4) for score in scores]}")
print(f"Average R² across {k} folds: {average_r2:.2f}")Mogelijk gemaakt door

Dit deel berekent de gemiddelde R²-score over alle folds. De scores per fold worden eerst geprint, gevolgd door de gemiddelde score. Met np.mean() wordt het gemiddelde berekend van de scores die tijdens de crossvalidatie zijn verzameld.

De eindresultaten weergeven

We aggregeren nu de resultaten om een volledig beeld te krijgen van de modelprestaties. De gemiddelde R²-score geeft één metriek die de effectiviteit van het model aanduidt. 

R² Score for each fold: [0.5758, 0.6137, 0.6086, 0.6213, 0.5875]
Average R² across 5 folds: 0.60Mogelijk gemaakt door

Dit is de uitvoer van de code uit de vorige stap. Je ziet de R²-scores per fold en de gemiddelde R²-score.

Wat betekent ‘K’ in K-fold crossvalidatie?

In K-fold crossvalidatie staat ‘K’ voor het aantal groepen waarin de dataset wordt verdeeld. Dit aantal bepaalt hoeveel testrondes het model doorloopt, waarbij elk segment één keer als testset wordt gebruikt. 

Hier is een vuistregel: 

• K = 2 of 3: Deze keuzes kunnen nuttig zijn wanneer rekenkracht beperkt is of wanneer je snel wilt evalueren. Ze verminderen het aantal trainingscycli en besparen zo tijd en rekenkracht, terwijl je toch een redelijke schatting van de modelprestaties krijgt. 
• K = 5 of 10: K = 5 of K = 10 zijn populaire keuzes omdat ze een goede balans bieden tussen rekenefficiëntie en de betrouwbaarheid van de prestatieschatting. 
• K = 20: Een grotere K kan een gedetailleerdere prestatie-evaluatie geven. Het verhoogt echter de rekenlast en kan tot hogere variantie leiden als de subsets te klein zijn.

Wil je meer over prestatie-evaluatie van modellen leren, bekijk dan onze uitgebreide cursus Model Validation in Python.

Belangrijke aandachtspunten bij K-fold crossvalidatie

De impact van ‘K’ in K-fold crossvalidatie

Het aantal folds, ofwel ‘K’, in K-fold crossvalidatie beïnvloedt zowel de detaillering van de validatie als de rekenlast. Een kleinere K (bijv. 3–5) is sneller, maar kan minder betrouwbare schattingen opleveren omdat elke fold een groter deel van de dataset vertegenwoordigt en zo mogelijk diverse datasituaties mist. Een grotere K (bijv. 10) biedt een gedetailleerdere evaluatie tegen de prijs van meer rekenwerk. Een gangbaar startpunt is K=5 of K=10, vaak voldoende voor een betrouwbare schatting zonder buitensporige rekentijd.

Het belang van shufflen in K-fold crossvalidatie

De data shufflen in K-fold crossvalidatie is sterk aan te raden om de geldigheid van de modelbeoordeling te vergroten. Door shuffle=True te zetten, doorbreekt shuffling elke inherente volgorde in de dataset die tijdens de validatie bias kan introduceren. Zo is elke fold representatief voor de hele dataset, cruciaal om te beoordelen hoe goed het model generaliseert naar nieuwe data. Vermijd echter shufflen wanneer de volgorde van datapunten betekenisvol is, zoals bij tijdreeksen, om de integriteit van het leerproces te behouden. 

Reproduceerbaarheid waarborgen bij K-fold crossvalidatie

Zorgen dat de resultaten van K-fold crossvalidatie reproduceerbaar zijn, is essentieel om modelstabiliteit en prestaties te verifiëren. Dit kan door de parameter random_state in te stellen, zodat de shuffling van data over verschillende runs consistent is. Daardoor zijn de datasplits identiek en de resultaten reproduceerbaar.  

Standaard K-fold vs. andere crossvalidatiemethoden

De juiste crossvalidatietechniek kiezen is cruciaal voor betrouwbare machinelearningmodellen. De keuze hangt sterk af van de specifieke kenmerken van de dataset en het type taak. Verschillende technieken zijn ontworpen om uitdagingen zoals onevenwichtige data of gegroepeerde datastructuren aan te pakken. 

De onderstaande tabel vergelijkt de meest populaire crossvalidatiemethoden, met hun unieke eigenschappen en beste use-cases, zodat je de meest effectieve techniek voor jouw modelbehoeften kunt kiezen.

Conclusie

Deze gids liet zien dat K-fold crossvalidatie een krachtig hulpmiddel is om machinelearningmodellen te evalueren. Het is beter dan de eenvoudige train-test-split omdat het het model op verschillende delen van je data test, zodat je erop kunt vertrouwen dat het ook op ongeziene data goed zal presteren.

Als je met machine learning aan de slag gaat, zijn dit fijne resources om je op weg te helpen: 

• DataCamps Supervised Learning with Scikit-Learn-cursus: Deze cursus helpt je grip te krijgen op predictieve modellering. Praktisch en hands-on, ideaal om te beginnen. Bekijk de cursus hier.
• Machine Learning met Python-tutorial: Deze tutorial legt belangrijke machinelearningideeën uit en laat zien hoe je ze toepast. Perfect om je kennis te verstevigen. Lees de tutorial hier.
• Scikit-learn-cheatsheet: Houd deze cheatsheet bij de hand. Ideaal als snelle geheugensteun voor machinelearningfuncties tijdens projecten. Download de cheatsheet hier.
• DataCamps Kaggle-competitiecursus: Wil je je skills testen? Deze cursus is top. Je leert hoe je uitblinkt in Kaggle-competities en je kennis toepast op een leuke, competitieve manier. Start de cursus hier.

Deze resources begeleiden je, of je nu net begint of je vaardigheden wilt opfrissen. Ze bieden een mix van theorie en praktische tips, zodat je goed voorbereid bent om nauwkeurige modellen te bouwen en te verfijnen.