Wat is boosting in machine learning?

Recente ontwikkelingen in machine learning hebben nieuwe manieren geïntroduceerd om complexe problemen aan te pakken. Boosting is een techniek die steeds weer veelbelovend blijkt. Het verandert onze aanpak van datamodellering door meerdere algoritmen te gebruiken om de prestaties te verbeteren. Naarmate het concept van boosting zich blijft ontwikkelen, zijn nieuwere varianten zoals Gradient Boosting en XGBoost opgekomen, die de grenzen van snelheid en nauwkeurigheid verleggen.

Maak je geen zorgen als je het gevoel hebt dat er veel te leren valt op het gebied van voorspellend modelleren. Probeer onze carrièreroutes Associate Data Scientist in Python of Data Scientist in Python, en bekijk ook onze tutorial Explore Ensemble Learning Techniques om door te leren.

Boosting in machine learning

Boosting is een krachtige ensemble learning-methode in machine learning, specifiek ontworpen om de nauwkeurigheid van voorspellende modellen te verbeteren door meerdere zwakke leerders—modellen die het slechts iets beter doen dan willekeurig gokken—te combineren tot één sterke leerder.

De essentie van boosting ligt in het iteratieve proces waarbij elke zwakke leerder wordt getraind om de fouten van zijn voorganger te corrigeren, waardoor de algehele modelprestatie geleidelijk verbetert. Door te focussen op de fouten van eerdere modellen, vormt boosting van een verzameling zwakke leerders een nauwkeuriger model.

Hoe boosting werkt

Boosting transformeert zwakke leerders in één verenigde, sterke leerder via een systematisch proces dat zich richt op het verminderen van fouten in sequentiële modeltraining. De stappen zijn onder meer:

Initiële gewichten selecteren: Ken aan alle datapunten begingewichten toe om hun belang in het leerproces aan te geven.
Sequentieel trainen: Train de eerste zwakke leerder op de data. Verhoog na het evalueren van de prestaties de gewichten van verkeerd geclassificeerde gevallen. Hierdoor richt de volgende zwakke leerder zich meer op de lastigere voorbeelden.
Het proces herhalen: Herhaal het proces van gewichten aanpassen en volgende leerders trainen. Elk nieuw model focust op de zwaktes van het ensemble tot dan toe.
De resultaten combineren: Voeg de voorspellingen van alle zwakke leerders samen tot de uiteindelijke output. De aggregatie is doorgaans gewogen, waarbij nauwkeurigere leerders meer invloed hebben.

Deze methode minimaliseert fouten effectief door intensiever te focussen op moeilijke gevallen in de trainingsdata, wat resulteert in sterke voorspellende prestaties.

Typen boosting-algoritmen

Laten we eens kijken naar enkele van de bekendste boosting-algoritmen.

AdaBoost (Adaptive Boosting)

AdaBoost is een van de eerste boosting-algoritmen. Het richt zich op het herwegen van de trainingsvoorbeelden telkens wanneer er een leerder wordt toegevoegd, met extra nadruk op verkeerd geclassificeerde gevallen. AdaBoost is met name effectief voor binaire classificatieproblemen. Lees onze tutorial AdaBoost Classifier in Python voor meer informatie.

Gradient Boosting

Gradient boosting bouwt modellen sequentieel op en corrigeert onderweg fouten. Het gebruikt een gradient-descentalgoritme om het verlies te minimaliseren bij het toevoegen van nieuwe modellen. Deze methode is flexibel en kan worden gebruikt voor zowel regressie- als classificatieproblemen. Onze tutorial A Guide to The Gradient Boosting Algorithm beschrijft dit proces in detail.

XGBoost (Extreme Gradient Boosting)

XGBoost is een geoptimaliseerde gedistribueerde gradient boosting-bibliotheek en de go-to methode voor veel competitiewinnaars op Kaggle. Het is ontworpen om zeer efficiënt, flexibel en draagbaar te zijn. Het implementeert machinelearning-algoritmen binnen het Gradient Boosting-framework en biedt een schaalbare en nauwkeurige oplossing voor veel praktische dataproblemen. Voor een meer diepgaande studie kun je onze tutorial Using XGBoost in Python doornemen en onze speciale cursus volgen: Extreme Gradient Boosting with XGBoost.

Ensemblemethoden

Boosting behoort tot de grotere groep van ensemblemethoden. Ensemblemethoden zijn een benadering in machine learning waarbij meerdere modellen worden gecombineerd om nauwkeurigere voorspellingen te doen dan een enkel model meestal alleen kan bereiken. Deze technieken werken door de diversiteit van verschillende modellen te benutten, elk met zijn eigen sterke en zwakke punten, om tot een gezamenlijke besluitvorming te komen.

Verschillende soorten ensemblemethoden

Boosting is een prominente ensemble learning-techniek, maar het is slechts één van de methoden die de voorspellende kracht van modellen vergroten. Laten we naar een paar andere kijken.

Bagging (Bootstrap Aggregating): Een methode die meerdere modellen traint op willekeurige subsets van de trainingsdata en hun voorspellingen samenvoegt. Het vermindert variantie en helpt overfitting te voorkomen.
Stacking (Stacked Generalization): Een techniek die meerdere modellen combineert door een meta-model te trainen dat leert hoe het de voorspellingen van basismodellen het best kan combineren. Het kan complexe patronen opvangen die losse modellen kunnen missen.
Blending: Vergelijkbaar met stacking, maar gebruikt een apartgehouden validatieset om het meta-model te trainen in plaats van cross-validatie. Het is eenvoudiger en sneller dan stacking, maar mogelijk minder robuust.
Voting: Combineert voorspellingen van meerdere modellen via meerderheid van stemmen (harde voting) of een gewogen gemiddelde van voorspelde waarschijnlijkheden (zachte voting). Het is eenvoudig te implementeren en kan effectief zijn met diverse basismodellen.

Boosting vs. bagging

Boosting wordt vaak vergeleken met vooral bagging. Hoewel ze in sommige opzichten overeenkomen, zijn er zeker grote verschillen. Hieronder staat een tabel met een vergelijking tussen boosting en bagging:

Kenmerk	Boosting	Bagging
Conceptuele focus	Verbetert sequentieel de nauwkeurigheid door te focussen op eerder verkeerd geclassificeerde voorbeelden.	Trainen van meerdere modellen op willekeurige subsets en hun voorspellingen middelen.
Modeltraining	Sequentiële training laat elk model leren van de fouten van het vorige model.	Parallelle training van modellen op gevarieerde datasamples vergroot de diversiteit.
Foutreductie	Vermindert primair bias en in mindere mate variantie.	Vermindert variantie, vooral in complexe modellen die de neiging hebben te overfitten.
Gevoeligheid voor uitschieters	Gevoeliger door de verhoogde focus op verkeerd geclassificeerde data.	Minder gevoelig doordat willekeurige steekproeven de impact van uitschieters verwateren.
Voorbeelden	AdaBoost, Gradient Boosting, XGBoost.	Random Forests, Bootstrap Aggregating.

Als je meer wilt leren over bagging, lees dan onze tutorial What is Bagging in Machine Learning?, die sklearn gebruikt.

Een implementatie van boosting in Python

Een van de beste manieren om boosting te begrijpen, is door het in de praktijk te laten zien. Hiervoor gebruiken we deze Kaggle-dataset Almond Types Classification, met drie soorten amandelen: MAMRA, SANORA en REGULAR, en hun unieke fysieke kenmerken zoals oppervlakte, omtrek en rondheid.

De features van elk amandelmonster zijn geëxtraheerd via geavanceerde beeldverwerkingstechnieken. Null-waarden in de dataset vertegenwoordigen gevallen waarin de oriëntatie van de amandel—of deze rechtop werd gehouden, op zijn zij lag of op de rug—de nauwkeurigheid van het feature-extractieproces beïnvloedde.

Laten we deze dataset nu gebruiken voor een classificatietaak. We gebruiken het AdaBoost-algoritme, dat, zoals we al zeiden, de modelprestaties verbetert door zwakke leerders te combineren tot één sterke.

1. Bibliotheken importeren

We beginnen met het importeren van de benodigde bibliotheken en het laden van de amandeldataset. Vervolgens splitsen we de features en targetvariabelen.

import pandas as pd
almonds = pd.read_csv('Almond.csv', index_col=0)
X = almonds.drop('Type', axis=1)  
y = almonds['Type']Mogelijk gemaakt door

2. Omgaan met ontbrekende data

Vervolgens schonen we de dataset op door ontbrekende waarden op te vullen met de KNN-imputer. Zo zorgen we voor een complete dataset voor ons model.

from sklearn.impute import KNNImputer
imputer = KNNImputer(n_neighbors=5)
X_imputed = imputer.fit_transform(X)Mogelijk gemaakt door

3. De data splitsen voor training en testen

We splitsen de data in trainings- en testsets, zodat we kunnen evalueren hoe goed ons model met nieuwe data omgaat.

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X_imputed, y, test_size=0.2, random_state=42)Mogelijk gemaakt door

4. Een decision tree-classifier trainen

We trainen hier een eenvoudig decision tree-model, wat ons een baseline-nauwkeurigheid geeft voordat we de prestaties gaan boosten.

from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
tree = DecisionTreeClassifier(max_depth=1, random_state=42)
tree.fit(X_train, y_train)
tree_accuracy = accuracy_score(y_test, tree.predict(X_test))Mogelijk gemaakt door

5. Prestaties verbeteren met AdaBoost

We gebruiken vervolgens AdaBoost om de prestaties van onze decision tree te verbeteren door te focussen op de fouten en de nauwkeurigheid te verhogen.

from sklearn.ensemble import AdaBoostClassifier
ada = AdaBoostClassifier(base_estimator=tree, n_estimators=100, learning_rate=1.0, random_state=42)
ada.fit(X_train, y_train)
ada_accuracy = accuracy_score(y_test, ada.predict(X_test))

# Print the accuracies
print(f'Accuracy of the weak learner (Decision Tree): {tree_accuracy * 100:.2f}%')
print(f'Accuracy of AdaBoost model: {ada_accuracy * 100:.2f}%')Mogelijk gemaakt door

6. Eindresultaat

Tot slot vergelijken we de resultaten en zien we hoe AdaBoost de nauwkeurigheid aanzienlijk verbetert.

Accuracy of the weak learner (Decision Tree): 43.14%
Accuracy of AdaBoost model: 61.50%Mogelijk gemaakt door

Wat is de conclusie? De resultaten illustreren de kracht van ensemble learning via AdaBoost. Hier was de zwakke leerder een decision tree met een maximale diepte van slechts één, die een bescheiden nauwkeurigheid van ongeveer 43% haalde. Gezien het feit dat er slechts drie soorten amandelen waren, is 43% niet veel hoger dan het gemiddelde bij raden. Maar toen deze zwakke leerder werd gebruikt als basisestimator in een AdaBoost-model met 100 iteraties, steeg de nauwkeurigheid naar 62%.

Even een stap terug: hoewel AdaBoost op onze Amandel-dataset een hogere nauwkeurigheid liet zien, is het niet altijd de beste keuze. Er is een risico op overfitting, vooral bij kleinere datasets zoals deze, waarbij het model te complex kan worden. In de praktijk kunnen eenvoudigere classificatietechnieken voor bepaalde taken net zo goed of zelfs beter presteren. We gebruikten hier AdaBoost om het concept te illustreren, maar het is belangrijk om je af te vragen of je die hogere complexiteit echt wilt.

Conclusie

Boosting is een belangrijke vooruitgang binnen machine learning en laat de kracht van ensemblemethoden zien om de voorspellende nauwkeurigheid te vergroten. Zoals we hebben gezien, werken boosting-algoritmen zoals AdaBoost, Gradient Boosting en XGBoost volgens een fundamenteel principe: meerdere zwakke modellen combineren tot één, effectievere voorspeller.

Het is echter belangrijk om te onthouden dat boosting slechts één hulpmiddel is binnen de machine learning-gereedschapskist. De effectiviteit kan variëren, afhankelijk van het specifieke probleem. Zoals bij elke machine learning-techniek is het begrijpen wanneer en hoe je boosting toepast cruciaal om het volledige potentieel te benutten.

Wil je je begrip van boosting en andere machine learning-concepten verdiepen? Bekijk dan DataCamp's uitgebreide carrièreroute Machine Learning for Everyone. Wie zich verder wil specialiseren, kan terecht bij de carrièreroute Machine Learning Scientist with Python, met diepgaande training in geavanceerde technieken en praktische toepassingen.

Auteur

Vinod Chugani

Vinod Chugani begon zijn carrière in Tokio als JPMorgans jongste Head van de Hedge Fund Sales Desk en vestigde later een individueel verkooprecord bij Lehman Brothers, bouwde daarna een elektronicadistributiebedrijf in 30 landen uit tot voorbij SG$100 miljoen omzet en maakte vervolgens de overstap naar data. Als afgestudeerde Economie aan Duke en alumnus van de NYC Data Science Academy was hij een van de drie beursontvangers uit meer dan 100 aanmeldingen voor Hugo Bowne-Andersons Building AI Applications-cursus op Maven. Tegenwoordig schrijft hij voor DataCamp, KDnuggets, Machine Learning Mastery en Statology over onderwerpen van statistiek tot agentische AI, en coacht hij dataprofessionals bij de NYC Data Science Academy met meer dan 1.000 één-op-één-sessies op zijn naam.

Veelgestelde vragen

Wat is boosting in machine learning?

Boosting is een ensemble learning-techniek die wordt gebruikt om de nauwkeurigheid van voorspellende modellen te verbeteren. Het combineert meerdere zwakke leerders—modellen die het slechts iets beter doen dan willekeurig gokken—tot één sterke leerder, wat de algehele modelprestatie aanzienlijk verbetert.

Hoe verschilt boosting van bagging?

Boosting en bagging zijn beide ensembletechnieken die meerdere modellen combineren om voorspellingen te verbeteren, maar ze werken anders. Boosting traint modellen sequentieel, waarbij elk nieuw model zich richt op de fouten van de vorige om bias te verminderen en de nauwkeurigheid te verhogen. Bagging daarentegen traint modellen parallel op verschillende subsets van de data en middelt de uitkomsten om variantie te verminderen en stabiliteit te vergroten. Terwijl boosting gevoeliger is voor uitschieters en ruis, is bagging daar robuuster tegen dankzij het middelen.

Kan boosting worden gebruikt voor zowel classificatie- als regressieproblemen?

Ja, boostingtechnieken kunnen worden aangepast voor zowel classificatie als regressie. Hoewel AdaBoost vaker wordt gebruikt voor classificatieproblemen, kunnen andere varianten zoals Gradient Boosting ook effectief worden ingezet voor regressie.

Hoe kies je het aantal boosting-iteraties?

Het aantal iteraties, ofwel het aantal zwakke leerders, in een boosting-algoritme hangt doorgaans af van de specifieke dataset en de complexiteit van het probleem. Het kan worden bepaald met cross-validatie of vergelijkbare technieken om een balans te vinden tussen underfitting en overfitting.

Hoe verschilt AdaBoost van andere boostingtechnieken, zoals Gradient Boosting?

AdaBoost verhoogt de gewichten van verkeerd geclassificeerde gevallen om daaropvolgende modellen op deze uitdagende voorbeelden te laten focussen. Gradient Boost daarentegen past nieuwe leerders aan op de residuele fouten van eerdere modellen.

Wat zijn de belangrijkste voordelen van het gebruik van AdaBoost?

De belangrijkste voordelen van AdaBoost zijn de eenvoud, effectiviteit en het feit dat er geen voorkennis over de zwakke leerder nodig is. Het is ook erg flexibel, kan met elk leeralgoritme worden gecombineerd en is vaak zeer succesvol bij classificaties waar andere methoden moeite mee hebben.

Wat zijn enkele noemenswaardige alternatieven voor AdaBoost om de prestaties van machinelearning-modellen te boosten?

Enkele noemenswaardige alternatieven voor AdaBoost zijn Gradient Boosting, XGBoost, CatBoost, LightGBM en HistGradientBoost.

Welke soorten ensemble learning-methoden zijn er naast boosting?

Veelvoorkomende vormen van ensemble learning, naast boosting, zijn onder meer bagging en stacking, die elk verschillende strategieën gebruiken om modellen te integreren en zo de voorspellende kracht te maximaliseren.

Onderwerpen

Machine Learning Python

Onderwerpen

Technologieën

Wat is boosting?

Verken met AI

Boosting in machine learning

Hoe boosting werkt

Typen boosting-algoritmen

AdaBoost (Adaptive Boosting)

Gradient Boosting

XGBoost (Extreme Gradient Boosting)

Ensemblemethoden

Verschillende soorten ensemblemethoden

Boosting vs. bagging

Een implementatie van boosting in Python

1. Bibliotheken importeren

2. Omgaan met ontbrekende data

3. De data splitsen voor training en testen

4. Een decision tree-classifier trainen

5. Prestaties verbeteren met AdaBoost

6. Eindresultaat

Conclusie

Veelgestelde vragen

Onderwerpen

Leer machine learning met DataCamp

Machine Learning begrijpen

Machine Learning met boomgebaseerde modellen in Python

Basisprincipes van machine learning in Python

Gerelateerd

AI vanaf nul leren in 2026: een complete gids van de experts

Onderwerpen

Technologieën

Leer machine learning met DataCamp

Machine Learning begrijpen

Machine Learning met boomgebaseerde modellen in Python

Basisprincipes van machine learning in Python