Nested Learning: Eine Lösung für katastrophales Vergessen

Was ist Nested Learning?

Nested Learning ist ein Machine-Learning-Paradigma, das ein einzelnes Modell nicht als eine Architektur mit separatem Optimierer versteht, sondern als eine Menge geschachtelter Optimierungsprobleme, die jeweils in ihrem eigenen Tempo lernen. Es rahmt die Architektur des Modells und den Trainingsalgorithmus als dieselbe Art von Mechanismus – verschiedene Lernebenen, die parallel laufen und sich anpassen.

Es organisiert ein Machine-Learning-System in mehrere Lernebenen, die auf unterschiedlichen Zeitskalen arbeiten. 

• Die Parameter-Ebene lernt langsam über tausende Trainingsschritte. 
• Die Speicher-Ebene entscheidet, welche Informationen über jüngste Eingaben hinweg beibehalten werden. 
• Die Optimierer-Ebene lernt, wie die Ebenen unter ihr zu aktualisieren sind. 

Höhere Ebenen können beeinflussen, wie sich niedrigere Ebenen verhalten – dadurch ist die Struktur hierarchisch statt nur modular.

Zentrale Prinzipien von Nested Learning

Nested Learning folgt vier Grundprinzipien:

• Architektur und Optimierung sind Teil desselben Lernsystems. Im Nested Learning wird der Optimierer selbst Teil des Lernprozesses und kann sich im Zeitverlauf anpassen.
• Unterschiedliche Komponenten lernen mit unterschiedlicher Geschwindigkeit. Kernparameter eines Modells aktualisieren sich womöglich langsam über tausende Beispiele, während ein Kurzzeit-Kontextmechanismus bei jeder neuen Eingabe updatet und ein Speichersystem dazwischen liegt.
• „Tiefe“ entsteht aus geschachtelten Lernprozessen. Klassisches Deep Learning erzeugt Tiefe durch zusätzliche Layer. Nested Learning erzeugt Tiefe, indem mehrere Ebenen von Lernen und Adaption gestapelt werden, sodass Parameter, Speichersysteme, Optimierer und Updatemechanismen auf unterschiedlichen Zeitskalen lernen können.
• Lernen kann nach dem Deployment weitergehen. Komponenten wie Speichersysteme und Lernmechanismen können auch während der Inferenz weiter adaptieren.

Nested Learning vs. klassisches Deep Learning

Seit Jahren verlassen wir uns auf Deep-Learning-Architekturen, in denen Daten durch ein neuronales Netz fließen, der Fehler der Vorhersagen gemessen wird (die Loss), und ein Optimierer die Modellparameter anpasst, um diesen Fehler zu reduzieren. 

Das wiederholst du, bis das Modell gut genug ist. Dann frierst du die Parameter ein und setzt das Modell in Produktion. Ab diesem Zeitpunkt lernt es nicht mehr aus neuen Eingaben, passt sich nicht an Datenverschiebungen an und verbessert sich nicht durch Nutzung.

Nested Learning ändert das. Neben den Modellparametern lernen auch Speichermodule, Optimierer und andere Komponenten über die Zeit weiter.

Warum Nested Learning wichtig ist

Ein Modell lernt neue Informationen, indem es seine Parameter aktualisiert – doch dieselben Updates können zuvor gelerntes Wissen überschreiben. Dieses Phänomen nennt man katastrophales Vergessen.

Forschende haben Techniken wie das Einfrieren von Layern, Regularisierungsmethoden wie Elastic Weight Consolidation (EWC) und Replay-Puffer eingeführt, um früheres Wissen zu bewahren, während neue Aufgaben gelernt werden. Aber diese Ansätze schützen vor Vergessen, ohne grundlegend zu ändern, wie Lernen abläuft.

Nested Learning argumentiert, dass dieser Ansatz mit einer einzigen Zeitskala einer der Gründe ist, warum kontinuierliches Lernen so schwierig bleibt. Statt eine einzige Parameterschicht jede neue Information aufnehmen zu lassen, verteilt es die Anpassung über mehrere Lernebenen. 

Unterschiedliche Ebenen passen sich mit unterschiedlicher Geschwindigkeit an. So lassen sich neue Informationen integrieren, ohne ständig älteres Wissen umzuschreiben. Diese Idee ist teilweise von der menschlichen Kognition inspiriert. Schließlich verläuft Lernen nicht überall gleich schnell:

• Reflexe passen sich fast sofort an. 
• Kurzzeiterinnerungen bilden sich über Minuten oder Stunden. 
• Überzeugungen, Gewohnheiten und Expertise entwickeln sich über Monate oder Jahre.

Wie Nested Learning funktioniert

Nested Learning strukturiert ein Machine-Learning-System in Ebenen – jeweils ein eigener Lernprozess mit eigener Rolle und Update-Geschwindigkeit. Um zu verstehen, wie sie zusammenspielen, lohnt sich ein Blick auf jede Ebene und ihre Verbindungen.

Die Parameter-Ebene

Parameter sind die Gewichte im neuronalen Netz, die speichern, was das Modell aus seinen Trainingsdaten gelernt hat. Während des Trainings aktualisiert der Optimierer diese Gewichte nach jedem Batch mithilfe der berechneten Gradienten. 

Jedes Update ist klein, daher entstehen spürbare Änderungen nur schrittweise über viele Trainingsiterationen. Die Parameter-Ebene lernt somit stabiles, langfristiges Wissen, passt sich aber langsam an Neues an.

Die Speicher-Ebene

Die Speicher-Ebene fängt Informationen aus jüngsten Eingaben auf, die für die träge Parameter-Ebene zu schnelllebig sind. 

Statt alles zu speichern, behält sie das Nützlichste und verwirft den Rest. So kann sich das Modell an neuen Kontext anpassen, ohne sein Langzeitwissen sofort zu verändern.

Die Optimierer-Ebene

Der Optimierer bestimmt, wie die Modellparameter während des Trainings aktualisiert werden. Er nutzt die aus den Vorhersagen des Modells berechneten Gradienten, um Größe und Richtung jedes Updates festzulegen.

Adaptive Optimierer wie Adam nutzen mehr als nur den aktuellen Gradienten. Sie verfolgen auch jüngste Gradienten und nutzen diese Historie für das nächste Parameter-Update.

Wenn Adam das bereits tut – was fügt Nested Learning hinzu?

Der Unterschied liegt darin, was gelernt werden kann. Im klassischen Deep Learning sind die Regeln, nach denen Adam seinen Zustand aktualisiert, vor dem Training festgelegt und bleiben unverändert. Adam passt die Parameter an – aber niemand passt Adam an. 

Nested Learning führt einen Meta-Lernprozess oberhalb des Optimierers ein, der die Leistung des Optimierers bewertet und seine Regeln im Zeitverlauf modifiziert. Der Optimierer ist nicht länger fixe Infrastruktur, sondern selbst ein lernfähiger Bestandteil.

Wie die Ebenen interagieren

Diese Ebenen arbeiten nicht isoliert. Informationen fließen zwischen ihnen, und jede Ebene beeinflusst, wie die anderen über die Zeit lernen. 

• Die Parameter-Ebene baut schrittweise Langzeitwissen durch Training auf. 
• Die Speicher-Ebene liefert aktuellen Kontext, damit das System schneller auf Neues reagieren kann. 
• Der Optimierer bestimmt, wie die Parameter aktualisiert werden. 

Gemeinsam ermöglichen die Ebenen die Balance aus kurzfristiger Adaption und langfristigem Lernen.

Die Hope-Architektur

Hope ist die Proof-of-Concept-Architektur des Papers – eine sich selbst modifizierende Variante der Titans-Architektur, die Google entwickelt hat, um zu prüfen, ob Nested Learning in der Praxis funktioniert. Sie kombiniert einen Speicher, der seine eigenen Updateregeln umschreiben kann, mit einem Continuum Memory System, sodass das System auf mehreren Geschwindigkeiten weiterlernt statt nach dem Training einzufrieren.

Sich selbst modifizierende Titans

Titans enthalten Speichermodule, die Informationen ablegen, die das Modell als überraschend oder wichtig einstuft. Statt sich nur auf seine Parameter zu verlassen, trägt das Modell nützliche Informationen über diese Speichermodule weiter.

Hope geht einen Schritt weiter. Wenn neue Daten eintreffen, aktualisieren sich die Speichermodule weiter. Das System passt außerdem die Regeln für zukünftige Updates an. Daher heißt die Architektur „sich selbst modifizierend“.

Continuum Memory System

Die meisten Speicherarchitekturen teilen Speicher in zwei Töpfe: Kurzzeit und Langzeit. Informationen liegen entweder in einem schnellen, temporären Speicher oder werden in einen stabilen Langzeitspeicher überführt. Hope ersetzt diese binäre Trennung durch ein Kontinuum – ein Spektrum von Speichermodulen, die sich mit unterschiedlichen Geschwindigkeiten aktualisieren.

Einige Speicherelemente aktualisieren sich schnell und erfassen jüngste Informationen. Andere verändern sich langsamer und bewahren stabiles Wissen über längere Zeiträume. So können neue Informationen über schnell aktualisierende Schichten einfließen, ohne langsamere, stabilere Speicher sofort zu stören.

Wie Hope performt

Das Paper evaluierte Hope in Sprachmodellierung, Long-Context-Reasoning, kontinuierlichem Lernen und Wissensintegration – mit unterschiedlichen Baselines je Aufgabe. Sprachmodellierung und Common-Sense-Reasoning wurden gegen Titans, Samba und einen Standard-Transformer gebenchmarkt, während bei Long-Context-Retrieval-Aufgaben Hope und Titans gegen TTT und Mamba2 verglichen wurden.

Bei Sprachmodellierung und Common-Sense-Reasoning erreichte Hope geringere Perplexity und höhere Genauigkeit als alle drei Baselines.

Aussagekräftiger waren Aufgaben, bei denen ein bestimmtes Detail aus einem langen Kontext abgerufen werden muss. Getestet wurden mehrere Varianten mit steigendem Schwierigkeitsgrad: Pass-Key-Retrieval, Number-Retrieval und als härteste Variante Word-Level-Retrieval. Hope übertraf die Baselines in allen Varianten, wobei das CMS-Design speziell zu den Long-Context-Gewinnen beitrug.

Auch auf Benchmarks für kontinuierliches Lernen schneidet die Architektur gut ab. Beim Training über Aufgabensequenzen, die typischerweise katastrophales Vergessen auslösen, behält Hope mehr zuvor gelerntes Wissen als die im Paper berichteten Vergleichsmodelle.

Nested Learning vs. andere Ansätze für kontinuierliches Lernen

Nested Learning ist nicht der erste Versuch, katastrophales Vergessen zu adressieren. Seit Jahren schlagen Forschende Techniken des kontinuierlichen Lernens vor, damit Modelle früher gelerntes Wissen behalten, während sie neue Aufgaben lernen. Schauen wir uns die wichtigsten Unterschiede der Ansätze an.

Methoden wie EWC, Progressive Neural Networks und Experience Replay sind neuronale Netze, die Vergessen während des Trainings verlangsamen. Die zugrunde liegende Architektur bleibt weitgehend gleich. 

Nested Learning denkt die Architektur selbst neu, damit Lernen über mehrere Ebenen und Zeitskalen geschieht: Schnell wechselnder Speicher verarbeitet aktuelle Erfahrungen, während sich langsam verändernde Parameter um Langzeitwissen kümmern.

Nested Learning in der Praxis

Inoffizielle Community-Reproduktionen erscheinen inzwischen auf GitHub und geben Forschenden die Möglichkeit, mit der Architektur zu experimentieren und die publizierten Ergebnisse zu reproduzieren.

Allerdings gibt es noch keine offiziellen Integrationen in große Deep-Learning-Frameworks, und du kannst nicht einfach pip install nested learning ausführen und es zu einem bestehenden PyTorch- oder JAX-Projekt hinzufügen. Der Aufbau und die Evaluation dieser Modelle erfordern weiterhin die Arbeit mit Forschungscode.

Die Richtung zielt aber klar auf Community-Adoption. Achte also darauf, ob Hope- oder Continuum-Memory-System-(CMS)-Module in gängige Frameworks integriert und in Produktionssystemen übernommen werden.

Fazit

Nested Learning stellt eine Kernannahme des modernen Deep Learning infrage. Statt Modelle durch weitere Layer leistungsfähiger zu machen, untersucht es, ob Intelligenz aus mehreren Lernprozessen entsteht, die auf unterschiedlichen Zeitskalen arbeiten.

Dieser Wandel verändert auch unser Verständnis von Optimierung. Klassisches Deep Learning behandelt die Modellarchitektur und den Lernalgorithmus als getrennte Komponenten. Nested Learning rückt sie näher zusammen – mit dem Ziel, Lernen selbst hierarchisch zu gestalten.

Es ist noch früh. Nested Learning bleibt ein aktives Forschungsfeld, und viele seiner Ideen brauchen breitere Validierung, bevor sie Teil des Mainstreams werden. Wenn du deine Grundlagen zu Konzepten hinter Nested Learning – inklusive neuronaler Netze, Optimierung und Speichermechanismen – stärken möchtest, empfehle ich unseren umfassenden Deep Learning in Python-Lernpfad.