Was ist Overfitting?

Overfitting ist eine häufige Herausforderung im Machine Learning: Ein Modell lernt die Trainingsdaten zu genau, inklusive Rauschen und Ausreißern, und schneidet deshalb bei unbekannten Daten schlecht ab. Overfitting zu vermeiden ist entscheidend, denn das Hauptziel eines Modells sind präzise Vorhersagen auf neuen, ungesehenen Daten – nicht das Nachahmen der Trainingsdaten.

Overfitting einfach erklärt

Im Machine Learning geht es letztlich darum, Modelle zu entwickeln, die gut auf neue Daten übertragen. Overfitting tritt auf, wenn sich ein Modell zu stark an die Trainingsdaten anpasst und sogar zufällige Schwankungen mitlernt. Stell dir vor, du bringst einem Kind bei, Vögel zu erkennen, zeigst aber ausschließlich Tauben. Sieht es dann einen Adler, hält es ihn womöglich trotzdem für eine Taube, weil es nichts anderes kennt.

Die Ursachen für Overfitting können vielfältig sein:

• Zu komplexe Modelle. Ein überdimensioniertes Modell für eine einfache Aufgabe führt leicht zu Overfitting. Beispiel: Polynomregression hohen Grades für Daten mit im Kern linearem Zusammenhang.
• Zu wenig Daten. Bei geringer Datenmenge findet das Modell scheinbare Muster, die in Wirklichkeit nicht existieren.
• Rauschbehaftete Daten. Enthalten Trainingsdaten Fehler oder Zufallsschwankungen, interpretiert ein überangepasstes Modell diese als echte Muster.

Die Folgen von Overfitting sind gravierend: Ein überangepasstes Modell erzielt zwar hohe Genauigkeit auf den Trainingsdaten, versagt jedoch bei neuen Daten, weil es nicht ausreichend generalisiert.

So erkennst du Overfitting

Overfitting zu erkennen ist ein zentraler Schritt im Machine-Learning-Prozess. So spürst du es auf:

• Validierungsmenge. Teile deine Daten in Trainings- und Validierungsset. Schneidet das Modell im Training gut, in der Validierung aber schlecht ab, liegt Overfitting nahe.
• Lernkurven. Trage die Performance auf Trainings- und Validierungsset über die Zeit auf. Driften die Kurven auseinander, ist das ein Warnsignal für Overfitting.
• Cross-Validation. Nutze Kreuzvalidierung, bei der das Trainingsset mehrfach unterschiedlich aufgeteilt und das Modell jeweils ausgewertet wird.

Besonders wichtig ist der Overfitting-Check, wenn:

• Du ein komplexes Modell einsetzt.
• Nur wenig Daten vorliegen.
• Es um hohe Risiken geht, etwa bei medizinischen Diagnosen.

So verhinderst du Overfitting

Vorbeugen ist besser als nachbessern. Diese Maßnahmen helfen:

• Einfachere Modelle. Starte simpel und erhöhe die Komplexität nur bei Bedarf.
• Mehr Daten. Sammle – wenn möglich – zusätzliche Daten. Je mehr Trainingsdaten, desto besser kann ein Modell generalisieren.
• Regularisierung. Verfahren wie L1- und L2-Regularisierung beugen Overfitting vor, indem sie bestimmte Modellparameter bestrafen, die vermutlich zur Überanpassung beitragen.
• Dropout. In neuronalen Netzen werden beim Training zufällig Neuronen „ausgeschaltet“. So lernt das Netz robustere Merkmalsrepräsentationen.

Sieh dir unser komplettes Tutorial dazu an, wie du Overfitting im Machine Learning vermeidest.

Overfitting vs. Underfitting

Während Overfitting eine übermäßige Anpassung an die Trainingsdaten ist, beschreibt Underfitting das Gegenteil: Das Modell erfasst nicht einmal die grundlegenden Muster der Trainingsdaten.

• Overfitting: Hohe Genauigkeit auf Trainingsdaten, geringe Genauigkeit auf neuen Daten. Stell es dir wie ein Navi vor, das nur in deiner Heimatstadt perfekt funktioniert, sonst aber ständig die Orientierung verliert.
• Underfitting: Geringe Genauigkeit sowohl auf Trainings- als auch auf neuen Daten. Das ist wie ein Navi, das nicht einmal in deiner Heimatstadt klarkommt.

Beides führt aus unterschiedlichen Gründen zu schlechten Vorhersagen auf neuen Daten. Overfitting entsteht oft durch zu komplexe Modelle oder starkes Rauschen, Underfitting hingegen durch zu einfache Modelle oder zu wenige relevante Merkmale.

Overfitting: Die dauernde Gratwanderung für ML Engineers

Als Machine-Learning-(ML)-Engineers wollen wir Modelle mit maximaler Genauigkeit bauen. Doch genau dieses Streben birgt das Risiko des Overfittings.

Viele Unternehmen tappen in diese Falle: Hohe Trainingsgenauigkeit wird als Zeichen eines hervorragenden Modells gewertet. In der Praxis bricht es dann ein. Das ist, als würdest du alle Probeklausuren mit Bestnote bestehen und in der echten Prüfung durchfallen.

Als ML Engineers müssen wir der Versuchung widerstehen, nur die Trainingsgenauigkeit zu optimieren. 100 % im Training bedeuten nicht 100 % auf neuen Daten. Wir sollten Methoden wie Cross-Validation, Regularisierung, Data Augmentation und Ensembling nutzen, damit unsere Modelle gut generalisieren.

Die Reise im Machine Learning startet oft mit einem unterangepassten Modell, dessen Genauigkeit wir iterativ steigern. Irgendwann kippt der Punkt, an dem weitere Feinjustierungen zu Overfitting führen. Wir müssen die Balance zwischen Under- und Overfitting halten, um das „Goldlöckchen“-Modell zu finden, das in allen Situationen überzeugt.

Möchtest du mehr über KI und Machine Learning erfahren? Schau dir diese Ressourcen an:

• Introduction to ChatGPT course
• Generative AI concepts course
• 7 AI projects for all levels
• What is AI literacy?
• Browse our machine learning courses