Was ist Lazy Learning?

Lazy Learning ist eine Form des Machine Learning, bei der die Trainingsdaten erst dann verarbeitet werden, wenn eine Vorhersage nötig ist. Anstatt während des Trainings Modelle zu bauen, warten Lazy-Learning-Algorithmen, bis eine neue Abfrage auftaucht. Für Vorhersagen speichern und vergleichen sie Trainingsbeispiele. Man spricht auch von instanzbasiertem oder speicherbasiertem Lernen.

Lazy Learning erklärt

Lazy-Learning-Algorithmen arbeiten, indem sie die Trainingsdaten im Gedächtnis behalten, statt ein allgemeines Modell zu konstruieren. Sobald eine neue Abfrage eingeht, ruft Lazy Learning ähnliche Instanzen aus dem Trainingssatz ab und nutzt sie für die Vorhersage. Die Ähnlichkeit zwischen Instanzen wird üblicherweise über Distanzmaße berechnet, etwa die euklidische Distanz oder die Kosinusähnlichkeit.

Einer der bekanntesten Lazy-Learning-Algorithmen ist der k-nearest neighbors-Algorithmus (k-NN). Bei k-NN werden die k nächsten Trainingsinstanzen zum Abfragepunkt betrachtet, und ihre Klassenlabels bestimmen die Klasse der Abfrage. Lazy-Learning-Verfahren spielen ihre Stärken aus, wenn die zugrunde liegende Datenverteilung komplex ist oder die Trainingsdaten verrauscht sind.

Beispiele für Lazy Learning in der Praxis

Lazy Learning findet in vielen Bereichen Anwendung. Einige Beispiele:

• Empfehlungssysteme. Lazy Learning wird in Recommender-Systemen häufig eingesetzt, um personalisierte Empfehlungen zu liefern. Durch den Vergleich der Vorlieben eines Nutzers mit ähnlichen Nutzern im Trainingssatz können Algorithmen passende Inhalte oder Produkte vorschlagen, etwa Filme, Bücher oder Artikel.
• Medizinische Diagnose. Lazy Learning kann in Diagnosesystemen unterstützen. Indem Symptome und Krankengeschichten eines Patienten mit ähnlichen Fällen in den Trainingsdaten verglichen werden, helfen die Algorithmen bei der Diagnose oder der Auswahl geeigneter Behandlungen.
• Anomalieerkennung. Lazy-Learning-Algorithmen eignen sich zur Erkennung von Anomalien oder Ausreißern in Datensätzen. So lässt sich etwa Kreditkartenbetrug erkennen, indem eine Transaktion mit nahegelegenen Transaktionen anhand von Faktoren wie Ort und Historie verglichen wird. Ist die Transaktion ungewöhnlich, etwa an einem weit entfernten Ort und mit hohem Betrag, kann sie als betrügerisch markiert werden.

Lazy Learning vs. Eager Learning

Lazy Learning steht im Kontrast zu Eager-Learning-Methoden wie Entscheidungsbäumen oder neuronalen Netzen, bei denen Modelle bereits in der Trainingsphase aufgebaut werden. Die wichtigsten Unterschiede:

• Trainingsphase. Eager-Learning-Algorithmen konstruieren ein allgemeines Modell auf Basis des gesamten Trainingsdatensatzes, während Lazy-Learning-Algorithmen den Modellaufbau bis zur Vorhersage aufschieben.
• Rechenaufwand. Lazy-Learning-Algorithmen können bei der Vorhersage rechenintensiv sein, da sie im Trainingssatz nach nächsten Nachbarn suchen müssen. Eager-Learning-Algorithmen liefern nach dem Training in der Regel schnellere Vorhersagen.
• Interpretierbarkeit. Eager-Learning-Methoden sind oft besser interpretierbar, da sie explizite Modelle erzeugen, etwa Entscheidungsbäume, die Menschen leicht verstehen. Lazy Learning stützt sich hingegen auf gespeicherte Instanzen und liefert keine expliziten Regeln oder Modelle.

Erstelle dein eigenes Eager-Learning-Modell mit diesem Tutorial zur Random-Forest-Klassifikation. Lerne, das Modell zu visualisieren und seine Entscheidungsfindung nachzuvollziehen.

Welche Vorteile hat Lazy Learning?

Lazy Learning bietet mehrere Vorteile:

• Anpassungsfähigkeit. Lazy-Learning-Algorithmen passen sich schnell an neue oder veränderte Daten an. Da das Lernen zur Vorhersagezeit stattfindet, können neue Instanzen einfließen, ohne das Modell komplett neu zu trainieren.
• Robustheit gegenüber Ausreißern. Im Vergleich zu Eager Learning sind Lazy-Learning-Methoden weniger anfällig für Ausreißer. Diese beeinflussen die Vorhersagen weniger stark, weil sie nicht während der Lernphase „eingebacken“ werden.
• Flexibilität. Beim Umgang mit komplexen Datenverteilungen und nichtlinearen Zusammenhängen sind Lazy-Learning-Algorithmen effektiv. Sie können komplexe Entscheidungsgrenzen abbilden, indem sie die in den Trainingsinstanzen gespeicherte Information nutzen.

Wo liegen die Grenzen von Lazy Learning?

Trotz der Vorteile hat Lazy Learning einige Einschränkungen, die du berücksichtigen solltest:

• Lange Vorhersagezeiten. Im Vergleich zu Eager Learning kann Lazy Learning bei der Vorhersage langsamer sein. Die Suche im Trainingsdatensatz nach den nächsten Nachbarn ist rechenintensiv, besonders bei großen Datensätzen.
• Speicherbedarf. Lazy-Learning-Algorithmen müssen den gesamten Trainingsdatensatz oder eine repräsentative Teilmenge speichern. Das kann speicherintensiv sein, vor allem bei großen Datensätzen mit hochdimensionalen Merkmalen.
• Empfindlichkeit gegenüber Rauschen. Rauschen oder irrelevante Merkmale in den Trainingsdaten können die Genauigkeit von Lazy-Learning-Vorhersagen stark beeinträchtigen, da sie auf dem direkten Vergleich mit gespeicherten Instanzen beruhen.
• Overfitting. Lazy-Learning-Algorithmen neigen zu Overfitting, wenn der Trainingsdatensatz klein ist oder zu viele Instanzen gespeichert werden. Das Modell „merkt“ sich dann auch Rauschen und Ausreißer, was die Generalisierung auf unbekannte Daten verschlechtert.
• Mangel an Transparenz. Lazy-Learning-Methoden liefern keine expliziten Modelle oder Regeln, die sich leicht interpretieren lassen. Dieser Mangel an Transparenz erschwert es, die Begründung einzelner Vorhersagen nachzuvollziehen oder verwertbare Insights abzuleiten.

Wie wählst du zwischen Lazy und Eager Learning?

Nach meiner Erfahrung eignen sich Lazy-Learning-Algorithmen wie k-nearest neighbors gut zum Clustern unbeschrifteter Daten, zur Anomalieerkennung und zur Klassifikation in bestehende Labels. Sie sind einfache, leicht aktualisierbare Modelle, die mit wenig Aufwand neue Daten aufnehmen.

Allerdings sind Lazy-Learning-Algorithmen bei der Vorhersage langsam und daher ungeeignet für Anwendungen mit Echtzeitanforderungen wie Gesichtserkennung, Börsenhandel, Spracherkennung und Textgenerierung.

Für solche zeitkritischen Aufgaben sind Eager-Learning-Algorithmen meist besser geeignet, da sie generalisierte Repräsentationen der Trainingsdaten aufbauen.

Zudem passen Lazy-Learning-Algorithmen gut zu Online-Learning-Szenarien, weil sie die gespeicherten Daten bei eintreffenden neuen Beispielen einfach erweitern können, während Eager-Learning-Algorithmen das komplette Modell neu trainieren müssen, was zeitaufwendig sein kann.

Umgekehrt sind Lazy Learner anfällig für Rauschen in den Daten, da sie sensibel auf Störungen in den Trainingsbeispielen reagieren. Daher solltest du die Daten sorgfältig vorverarbeiten und Rauschen sowie Ausreißer entfernen, wenn du Lazy Learning für Clustering oder Empfehlungssysteme einsetzt.

Möchtest du mehr über KI und Machine Learning erfahren? Dann schau dir diese Ressourcen an:

• Understanding Machine Learning Course
• Einführung in die Klassifikation im Machine Learning
• Introduction to ChatGPT Course
• Machine-Learning-Cheat-Sheet
• Was ist Machine Learning?