Kurs
Machine Learning verstehen
2 Std.
308K
Neueste Fortschritte im Machine Learning haben neue Wege eröffnet, komplexe Probleme zu lösen. Boosting ist eine Technik, die immer wieder überzeugt. Sie verändert unseren Ansatz beim Datenmodellieren, indem sie mehrere Algorithmen kombiniert, um die Leistung zu steigern. Mit der Weiterentwicklung des Boosting-Konzepts sind Varianten wie Gradient Boosting und XGBoost entstanden, die Grenzen bei Tempo und Genauigkeit verschieben.
Keine Sorge, wenn du das Gefühl hast, dass es im Bereich des prädiktiven Modellierens viel zu lernen gibt. Probiere unsere Associate Data Scientist in Python- oder Data Scientist in Python-Lernpfade sowie das Tutorial Explore Ensemble Learning Techniques, um dranzubleiben.
Boosting im Machine Learning
Boosting ist eine leistungsstarke Ensemble-Learning-Methode im Machine Learning, die gezielt die Genauigkeit prädiktiver Modelle verbessert, indem mehrere schwache Lerner — Modelle, die nur geringfügig besser als Zufall raten — zu einem einzigen starken Lerner kombiniert werden.
Der Kern von Boosting liegt im iterativen Prozess: Jeder schwache Lerner wird darauf trainiert, die Fehler seines Vorgängers zu korrigieren und so die Gesamtleistung Schritt für Schritt zu steigern. Indem sich Boosting auf die von früheren Modellen gemachten Fehler konzentriert, entsteht aus einer Sammlung schwacher Lerner ein deutlich genaueres Modell.
So funktioniert Boosting
Boosting verwandelt schwache Lerner über einen systematischen Prozess in einen einheitlichen, starken Lerner, indem es Fehler in der sequentiellen Modellschulung reduziert. Die Schritte umfassen:
- Anfangsgewichte festlegen: Weisen wir allen Datenpunkten Startgewichte zu, die ihre Bedeutung im Lernprozess anzeigen.
- Sequentiell trainieren: Trainiere den ersten schwachen Lerner auf den Daten. Nach der Auswertung seiner Leistung erhöhe die Gewichte für fehlklassifizierte Fälle. So fokussiert sich der nächste schwache Lerner stärker auf die schwierigen Beispiele.
- Prozess wiederholen: Passe die Gewichte an und trainiere weitere Lerner. Jedes neue Modell konzentriert sich auf die bisherige Schwächen des Ensembles.
- Ergebnisse kombinieren: Fasse die Vorhersagen aller schwachen Lerner zum Endergebnis zusammen. Die Aggregation ist typischerweise gewichtet, sodass genauere Lerner mehr Einfluss haben.
Diese Methode minimiert Fehler effektiv, indem sie schwierigen Fällen im Training mehr Aufmerksamkeit schenkt und so eine starke Vorhersageleistung erzielt.
Arten von Boosting-Algorithmen
Schauen wir uns einige der bekanntesten Boosting-Algorithmen an.
AdaBoost (Adaptive Boosting)
AdaBoost ist einer der ersten Boosting-Algorithmen. Er gewichtet die Trainingsbeispiele bei jedem hinzugefügten Lerner neu und legt dabei mehr Gewicht auf falsch klassifizierte Fälle. AdaBoost eignet sich besonders gut für binäre Klassifikationen. Lies unser Tutorial AdaBoost Classifier in Python, um mehr zu erfahren.
Gradient Boosting
Gradient Boosting baut Modelle sequentiell auf und korrigiert dabei fortlaufend Fehler. Es nutzt einen Gradientenabstieg, um den Verlust beim Hinzufügen neuer Modelle zu minimieren. Diese Methode ist flexibel und eignet sich sowohl für Regression als auch für Klassifikation. Unser Tutorial A Guide to The Gradient Boosting Algorithm beschreibt den Prozess im Detail.
XGBoost (Extreme Gradient Boosting)
XGBoost ist eine optimierte, verteilte Gradient-Boosting-Bibliothek und für viele Sieger auf Kaggle die erste Wahl. Sie ist auf höchste Effizienz, Flexibilität und Portabilität ausgelegt. Unter dem Gradient-Boosting-Rahmenwerk implementiert sie Machine-Learning-Algorithmen und bietet eine skalierbare, präzise Lösung für viele praktische Datenprobleme. Für einen tieferen Einstieg empfehlen wir unser Tutorial Using XGBoost in Python sowie den Kurs Extreme Gradient Boosting with XGBoost.
Ensemble-Methoden
Boosting gehört zur größeren Gruppe der Ensemble-Methoden. Ensemble-Methoden kombinieren mehrere Modelle, um genauere Vorhersagen zu erzielen, als es ein einzelnes Modell in der Regel allein kann. Sie nutzen die Vielfalt unterschiedlicher Modelle mit eigenen Stärken und Schwächen, um Entscheidungen gemeinschaftlich zu treffen.
Verschiedene Ensemble-Methoden
Boosting ist eine prominente Ensemble-Technik, aber nur eine von mehreren, die die Vorhersagekraft von Modellen erhöhen. Hier sind weitere Ansätze.
- Bagging (Bootstrap Aggregating): Mehrere Modelle werden auf zufälligen Teilmengen der Trainingsdaten trainiert und ihre Vorhersagen aggregiert. Das reduziert Varianz und beugt Overfitting vor.
- Stacking (Stacked Generalization): Mehrere Basismodelle werden kombiniert, indem ein Meta-Modell lernt, wie sich deren Vorhersagen am besten zusammenfügen lassen. So können komplexe Muster erfasst werden, die Einzelmodelle übersehen.
- Blending: Ähnlich wie Stacking, nutzt aber ein zurückgehaltenes Validierungsset statt Cross-Validation für das Meta-Modell. Es ist einfacher und schneller, aber teils weniger robust.
- Voting: Kombiniert Vorhersagen mehrerer Modelle per Mehrheitswahl (Hard Voting) oder gewichteten Durchschnitt der Wahrscheinlichkeiten (Soft Voting). Einfach umzusetzen und mit diversen Basismodellen oft wirksam.
Boosting vs. Bagging
Boosting wird häufig speziell mit Bagging verglichen. Obwohl es Ähnlichkeiten gibt, unterscheiden sie sich deutlich. Die folgende Tabelle stellt Boosting und Bagging gegenüber:
| Merkmal | Boosting | Bagging |
|---|---|---|
| Konzeptioneller Fokus | Steigert die Genauigkeit schrittweise, indem es sich auf zuvor fehlklassifizierte Beispiele konzentriert. | Trainiert mehrere Modelle auf zufälligen Teilmengen und mittelt deren Vorhersagen. |
| Modelltraining | Sequentielles Training erlaubt jedem Modell, aus den Fehlern des Vorgängers zu lernen. | Paralleles Training auf variierenden Stichproben erhöht die Diversität. |
| Fehlerreduktion | Reduziert primär Bias und in geringerem Maße Varianz. | Reduziert Varianz, insbesondere bei komplexen, zu Overfitting neigenden Modellen. |
| Empfindlichkeit gegenüber Ausreißern | Empfindlicher, da der Fokus stärker auf fehlklassifizierten Daten liegt. | Weniger empfindlich, da zufälliges Sampling den Einfluss von Ausreißern abschwächt. |
| Beispiele | AdaBoost, Gradient Boosting, XGBoost. | Random Forests, Bootstrap Aggregating. |
Wenn du mehr über Bagging lernen möchtest, lies unser Tutorial What is Bagging in Machine Learning?, das sklearn verwendet.
Werde ein ML-Wissenschaftler
Bilde dich in Python weiter, um ein/e Wissenschaftler/in für maschinelles Lernen zu werden.
Boosting in Python umsetzen
Eine der besten Möglichkeiten, Boosting zu verstehen, ist die praktische Anwendung. Dafür nutzen wir das Kaggle-Dataset Almond Types Classification mit drei Mandelarten: MAMRA, SANORA und REGULAR sowie ihren charakteristischen physikalischen Merkmalen wie Fläche, Umfang und Rundheit.
Die Merkmale jeder Probe wurden über fortgeschrittene Bildverarbeitung extrahiert. Nullwerte im Datensatz stehen für Fälle, in denen die Ausrichtung der Mandel — aufrecht, seitlich oder auf dem Rücken — die Genauigkeit der Merkmalsextraktion beeinträchtigt hat.
Nutzen wir dieses Dataset nun für eine Klassifikationsaufgabe. Wir verwenden den AdaBoost-Algorithmus, der — wie gesagt — die Modellleistung verbessert, indem er schwache Lerner zu einem starken kombiniert.
1. Bibliotheken importieren
Wir beginnen mit dem Import der benötigten Bibliotheken und dem Laden des Mandel-Datasets. Anschließend trennen wir Features und Zielvariable.
import pandas as pd
almonds = pd.read_csv('Almond.csv', index_col=0)
X = almonds.drop('Type', axis=1)
y = almonds['Type']2. Fehlende Daten behandeln
Als Nächstes bereinigen wir den Datensatz, indem wir fehlende Werte mithilfe des KNN-Imputers auffüllen. So stellen wir sicher, dass unser Modell mit vollständigen Daten arbeitet.
from sklearn.impute import KNNImputer
imputer = KNNImputer(n_neighbors=5)
X_imputed = imputer.fit_transform(X)3. Train-Test-Split
Wir teilen die Daten in Trainings- und Testset, um zu bewerten, wie gut unser Modell mit neuen Daten umgeht.
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X_imputed, y, test_size=0.2, random_state=42)4. Entscheidungsbaum trainieren
Wir trainieren ein einfaches Entscheidungsbaum-Modell als Baseline, bevor wir die Leistung mit Boosting steigern.
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
tree = DecisionTreeClassifier(max_depth=1, random_state=42)
tree.fit(X_train, y_train)
tree_accuracy = accuracy_score(y_test, tree.predict(X_test))5. Leistung mit AdaBoost steigern
Dann setzen wir AdaBoost ein, um die Leistung unseres Entscheidungsbaums zu verbessern, indem es sich auf dessen Fehler fokussiert und die Genauigkeit erhöht.
from sklearn.ensemble import AdaBoostClassifier
ada = AdaBoostClassifier(base_estimator=tree, n_estimators=100, learning_rate=1.0, random_state=42)
ada.fit(X_train, y_train)
ada_accuracy = accuracy_score(y_test, ada.predict(X_test))
# Print the accuracies
print(f'Accuracy of the weak learner (Decision Tree): {tree_accuracy * 100:.2f}%')
print(f'Accuracy of AdaBoost model: {ada_accuracy * 100:.2f}%')6. Endergebnis
Zum Schluss vergleichen wir die Ergebnisse und sehen, wie AdaBoost die Genauigkeit deutlich verbessert.
Accuracy of the weak learner (Decision Tree): 43.14%
Accuracy of AdaBoost model: 61.50%Was nehmen wir mit? Die Ergebnisse zeigen die Stärke von Ensemble Learning mit AdaBoost. Unser schwacher Lerner war ein Entscheidungsbaum mit einer maximalen Tiefe von nur eins und erzielte rund 43% Genauigkeit. Bei drei Klassen liegt das nicht weit über dem Zufall. Als Basis-Schätzer in einem AdaBoost-Modell mit 100 Iterationen stieg die Genauigkeit jedoch auf 62%.
Einordnend sei gesagt: Obwohl AdaBoost auf unserem Almonds-Datensatz eine höhere Genauigkeit lieferte, ist es nicht immer die beste Wahl. Gerade bei kleinen Datensätzen droht Overfitting, wenn das Modell zu komplex wird. In der Praxis können einfachere Klassifikationsverfahren je nach Aufgabe ebenso gut oder besser abschneiden. Wir haben AdaBoost hier zur Veranschaulichung genutzt — prüfe immer, ob die zusätzliche Komplexität wirklich sinnvoll ist.
Fazit
Boosting ist ein wichtiger Fortschritt im Machine Learning und zeigt die Kraft von Ensemble-Methoden für höhere Vorhersagegenauigkeit. Wie gesehen, folgen Algorithmen wie AdaBoost, Gradient Boosting und XGBoost demselben Grundprinzip: Mehrere schwache Modelle werden zu einem einzigen, wirkungsvolleren Prädiktor kombiniert.
Wichtig ist aber: Boosting ist nur ein Werkzeug im Machine-Learning-Werkzeugkasten. Die Wirksamkeit hängt vom jeweiligen Problem ab. Wie bei jeder Technik kommt es darauf an, zu wissen, wann und wie man Boosting sinnvoll einsetzt.
Um dein Verständnis für Boosting und andere Machine-Learning-Konzepte zu vertiefen, schau dir den umfassenden Lernpfad Machine Learning for Everyone von DataCamp an. Wenn du dich spezialisieren möchtest, bietet der Lernpfad Machine Learning Scientist with Python intensives Training zu fortgeschrittenen Techniken und praxisnahen Anwendungen.
Fähigkeiten im Bereich Machine Learning aufbauen
Bringe deine Fähigkeiten im maschinellen Lernen auf Produktionsniveau.
Vinod Chugani startete seine Karriere in Tokio als jüngster Head of Hedge Fund Sales Desk bei JPMorgan und stellte später bei Lehman Brothers einen individuellen Verkaufsrekord auf, baute danach ein Elektronikvertriebsunternehmen in 30 Ländern auf über 100 Mio. SG$ Umsatz aus und wechselte anschließend in die Datenwelt. Als Economics-Absolvent der Duke University und Alumni der NYC Data Science Academy war er einer von drei Stipendiaten unter mehr als 100 Bewerbenden für Hugo Bowne-Andersons Kurs "Building AI Applications" auf Maven. Heute schreibt er für DataCamp, KDnuggets, Machine Learning Mastery und Statology über Themen von Statistik bis agentischer KI und coacht Datenprofis an der NYC Data Science Academy mit über 1.000 Eins-zu-eins-Sessions.
Häufig gestellte Fragen
Was ist Boosting im Machine Learning?
Boosting ist eine Ensemble-Learning-Technik zur Verbesserung der Genauigkeit prädiktiver Modelle. Sie kombiniert mehrere schwache Lerner — Modelle, die nur geringfügig besser als Zufall sind — zu einem starken Lerner und steigert damit die Gesamtleistung deutlich.
Worin unterscheidet sich Boosting von Bagging?
Boosting und Bagging sind beides Ensemble-Techniken, die mehrere Modelle kombinieren, um Vorhersagen zu verbessern, funktionieren aber unterschiedlich. Boosting trainiert Modelle sequentiell, wobei jedes neue Modell die Fehler der vorherigen reduziert, um Bias zu verringern und die Genauigkeit zu erhöhen. Bagging hingegen trainiert Modelle parallel auf unterschiedlichen Teilmengen der Daten und mittelt deren Ausgaben, um Varianz zu senken und Stabilität zu erhöhen. Während Boosting empfindlich auf Ausreißer und Rauschen reagiert, ist Bagging dank Mittelung robuster.
Kann Boosting für Klassifikation und Regression verwendet werden?
Ja, Boosting-Techniken lassen sich für Klassifikation und Regression anpassen. Während AdaBoost häufiger für Klassifikation eingesetzt wird, eignet sich Gradient Boosting unter anderem auch effektiv für Regression.
Wie wählt man die Anzahl der Boosting-Iterationen?
Die Zahl der Iterationen bzw. schwachen Lerner in einem Boosting-Algorithmus hängt in der Regel vom Datensatz und der Problemkomplexität ab. Sie lässt sich per Cross-Validation oder ähnlichen Verfahren so wählen, dass Under- und Overfitting ausbalanciert werden.
Wodurch unterscheidet sich AdaBoost von anderen Boosting-Techniken wie Gradient Boosting?
AdaBoost erhöht die Gewichte fehlklassifizierter Fälle, damit sich nachfolgende Modelle auf diese schwierigen Beispiele konzentrieren. Gradient Boosting hingegen passt neue Lerner an die Residualfehler vorheriger Modelle an.
Was sind die wichtigsten Vorteile der Verwendung von AdaBoost?
Die Hauptvorteile von AdaBoost sind Einfachheit, Wirksamkeit und der Umstand, dass kein Vorwissen über den schwachen Lerner nötig ist. Es ist sehr flexibel, mit nahezu jedem Lernalgorithmus kombinierbar und oft gerade in Klassifikationen erfolgreich, in denen andere Methoden schwächeln.
Welche Alternativen zu AdaBoost gibt es, um die Leistung von Machine-Learning-Modellen zu steigern?
Bemerkenswerte Alternativen zu AdaBoost sind unter anderem Gradient Boosting, XGBoost, CatBoost, LightGBM und HistGradientBoost.
Welche Ensemble-Methoden gibt es außer Boosting?
Gängige Ensemble-Methoden neben Boosting sind vor allem Bagging und Stacking, die unterschiedliche Strategien zur Kombination von Modellen nutzen, um die Vorhersagekraft zu maximieren.