Nested Learning: een oplossing voor catastrofale vergeetachtigheid

Wat is Nested Learning?

Nested Learning is een machinelearningparadigma dat één model niet ziet als één architectuur die door een aparte optimizer wordt getraind, maar als een set geneste optimalisatieproblemen die elk op hun eigen snelheid leren. Het kadert de modelarchitectuur en het trainingsalgoritme als hetzelfde soort ding: verschillende leerniveaus die gelijktijdig draaien en zich aanpassen.

Het organiseert een machinelearningsysteem in meerdere leerniveaus die op verschillende tijdschalen opereren. 

• Het parameterniveau leert langzaam over duizenden trainingsstappen. 
• Het geheugenniveau beslist welke informatie bewaard blijft over recente inputs. 
• Het optimizerniveau leert hoe het de niveaus eronder moet updaten. 

Hogere niveaus kunnen beïnvloeden hoe lagere niveaus zich gedragen, wat de structuur hiërarchisch maakt in plaats van alleen modulair.

Belangrijke principes van nested learning

Nested learning volgt deze vier kernprincipes:

• Architectuur en optimalisatie maken deel uit van hetzelfde leersysteem. In Nested Learning wordt de optimizer onderdeel van het leerproces en kan deze zich in de tijd aanpassen.
• Verschillende componenten leren op verschillende snelheden. De kernparameters van een model updaten mogelijk langzaam over duizenden voorbeelden, terwijl een kortetermijncontextmechanisme bij elke nieuwe input updatet en een geheugensysteem daar ergens tussenin updatet.
• Diepte komt uit geneste leerprocessen. Traditioneel deep learning creëert diepte door lagen toe te voegen. Nested Learning creëert diepte door meerdere niveaus van leren en aanpassing te stapelen, waarbij parameters, geheugensystemen, optimizers en updatemechanismen allemaal op verschillende tijdschalen kunnen leren.
• Leren kan doorgaan na deployment. Componenten zoals geheugensystemen en leermechanismen kunnen ook tijdens inferentie blijven aanpassen.

Nested learning versus traditioneel deep learning

Jarenlang hebben we vertrouwd op deep learning-architectuur, waarbij data door een neuraal netwerk stroomt, je meet hoe fout de voorspellingen van het model zijn (de loss genoemd), en je een optimizer draait die de parameters van het model aanpast om die fout te verkleinen. 

Dit herhaal je tot het model goed genoeg is. Dan vries je de parameters en zet je het model in productie. Vanaf dat moment leert het niet van nieuwe inputs, past het zich niet aan verschuivingen in de data aan en wordt het niet beter door gebruik.

Nested Learning verandert dat. Naast de parameters van het model blijven ook geheugens, optimizers en andere componenten in de loop der tijd doorleren.

Waarom Nested Learning ertoe doet

Een model leert nieuwe informatie door zijn parameters te updaten, maar diezelfde updates kunnen kennis overschrijven die eerder is geleerd. Dit fenomeen staat bekend als catastrofale vergeetachtigheid.

Onderzoekers hebben technieken geïntroduceerd zoals het bevriezen van lagen, regularisatiemethoden zoals Elastic Weight Consolidation (EWC) en replay-buffers om eerdere kennis te behouden terwijl nieuwe taken worden geleerd. Maar deze benaderingen zijn ontworpen om een model te beschermen tegen vergeten, niet om fundamenteel te veranderen hoe leren plaatsvindt.

Nested Learning stelt dat deze eentijdsschaalbenadering een van de redenen is waarom continu leren zo moeilijk blijft. In plaats van te vertrouwen op één set parameters om elk nieuw stukje informatie te absorberen, spreidt het de aanpassing over meerdere leerniveaus. 

Verschillende niveaus passen zich met verschillende snelheden aan, waardoor nieuwe informatie kan worden opgenomen zonder voortdurend oudere kennis te herschrijven. Dit idee is deels geïnspireerd door hoe menselijke cognitie werkt. Niet al het leren gebeurt immers in hetzelfde tempo:

• Reflexen kunnen zich bijna onmiddellijk aanpassen. 
• Kortetermijnherinneringen vormen zich over minuten of uren. 
• Overtuigingen, gewoonten en expertise kunnen maanden of jaren kosten om zich te ontwikkelen.

Hoe Nested Learning werkt

Nested Learning organiseert een machinelearningsysteem in niveaus, elk een afzonderlijk leerproces met een eigen rol en updatesnelheid. Om te begrijpen hoe ze werken, is het handig om elk niveau langs te gaan en te zien hoe ze met elkaar verbonden zijn.

Het parameterniveau

Parameters zijn de gewichten in het neurale netwerk die opslaan wat het model uit zijn trainingsdata heeft geleerd. Tijdens training updatet de optimizer deze gewichten na elke batch met behulp van de berekende gradiënten. 

Elke update is klein, dus betekenisvolle veranderingen gebeuren geleidelijk over veel trainingsstappen. Daardoor leert het parameterniveau stabiele, langetermijnkennis maar past het zich traag aan nieuwe informatie aan.

Het geheugenniveau

Het geheugenniveau vangt informatie op uit recente inputs die het parameterniveau te traag leert. 

In plaats van alles op te slaan wat het ziet, bewaart het de meest nuttige informatie en gooit het de rest weg. Zo kan het model zich aanpassen aan een nieuwe context zonder zijn langetermijnkennis meteen te updaten.

Het optimizerniveau

De optimizer beslist hoe de parameters van het model tijdens training moeten worden geüpdatet. Hij gebruikt de gradiënten die uit de voorspellingen van het model zijn berekend om de grootte en richting van elke update te bepalen.

Adaptieve optimizers zoals Adam doen meer dan alleen de huidige gradiënt gebruiken. Ze houden ook recente gradiënten bij en gebruiken die geschiedenis bij het berekenen van de volgende parameterupdate.

Als Adam dit al doet, wat voegt Nested Learning dan toe?

Het verschil zit in wat er kan worden geleerd. In standaard deep learning staan de regels die bepalen hoe Adam zijn toestand updatet, vast vóórdat de training start en veranderen ze nooit. Adam past de parameters aan, maar niets past Adam aan. 

Nested Learning introduceert een meta-leerproces boven de optimizer dat kan evalueren hoe de optimizer presteert en zijn regels in de loop der tijd kan aanpassen. De optimizer houdt op met vaste infrastructuur te zijn en wordt iets dat zichzelf ook kan verbeteren.

Hoe de niveaus interacteren

Deze verschillende niveaus werken niet onafhankelijk. Informatie stroomt ertussen en elk niveau beïnvloedt hoe de andere in de tijd leren. 

• Het parameterniveau bouwt geleidelijk langetermijnkennis op via training. 
• Het geheugenniveau biedt recente context die het systeem helpt sneller op nieuwe informatie te reageren. 
• De optimizer bepaalt hoe de parameters worden geüpdatet. 

Samen stellen de niveaus het model in staat om kortetermijnaanpassing in balans te brengen met langetermijnleren.

De Hope-architectuur

Hope is de proof-of-conceptarchitectuur uit de paper, een zelfmodificerende variant van de Titans-architectuur die Google bouwde om te testen of nested learning in de praktijk werkt. Het koppelt een geheugen dat zijn eigen updaterregels kan herschrijven aan een Continuum Memory System, zodat het op meerdere snelheden kan blijven leren in plaats van te bevriezen na training.

Zelfmodificerende Titans

Titans bevatten geheugeneenheden om informatie op te slaan die het model als verrassend of belangrijk beschouwt. In plaats van alleen op zijn parameters te vertrouwen, draagt het model nuttige informatie mee via deze geheugeneenheden.

Hope gaat nog een stap verder. Terwijl er nieuwe data binnenkomt, blijven de geheugeneenheden updaten. Het systeem past ook de regels aan die het gebruikt voor toekomstige updates. Daarom wordt de architectuur zelfmodificerend genoemd.

Continuum Memory System

De meeste geheugenarchitecturen splitsen geheugen in twee emmers: kortetermijn en langetermijn. Informatie leeft ofwel in een snelle, tijdelijke opslag of wordt geconsolideerd in stabiele langetermijnopslag. Hope vervangt die binaire splitsing door een continuüm, een spectrum van geheugeneenheden die op verschillende snelheden updaten.

Sommige geheugencomponenten updaten snel en vangen recente informatie. Andere veranderen langzamer en behouden stabiele kennis die over langere perioden is opgebouwd. Dat betekent dat nieuwe informatie via de snel updatende lagen kan binnenkomen zonder de tragere, stabielere geheugens meteen te verstoren.

Hoe Hope presteert

De paper evalueerde Hope op taalmodellering, long-context redeneren, continu leren en kennisopname, met verschillende baselines voor verschillende taken. Taalmodellering en gezond verstand-redeneren werden vergeleken met Titans, Samba en een standaardtransformer, terwijl de long-context retrieval-taken Hope en Titans vergeleken met TTT en Mamba2.

Op benchmarks voor taalmodellering en gezond verstand-redeneren behaalde Hope een lagere perplexity en hogere nauwkeurigheid dan alle drie de baselines.

De veelzeggender resultaten kwamen van taken die vereisen dat het model een specifiek stukje informatie ophaalt dat is verstopt in een lange context. De paper testte meerdere varianten met oplopende moeilijkheid: pass-key retrieval, number retrieval en de moeilijkste variant, word-level retrieval. Hope presteerde beter dan de baselines in alle varianten, waarbij het CMS-ontwerp specifiek bijdroeg aan de winst op lange context.

De architectuur presteert ook goed op benchmarks voor continu leren. Wanneer getraind op reeksen taken die doorgaans catastrofale vergeetachtigheid veroorzaken, behoudt Hope meer eerder geleerde kennis dan de vergelijkingsmodellen in de paper.

Nested Learning versus andere benaderingen voor continu leren

Nested Learning is niet de eerste poging om catastrofale vergeetachtigheid aan te pakken. Al jaren stellen onderzoekers technieken voor continu leren voor om modellen eerder geleerde kennis te laten behouden terwijl ze nieuwe taken leren. Laten we de belangrijkste verschillen tussen voorgestelde benaderingen bekijken.

Methoden zoals EWC, Progressive Neural Networks en Experience Replay zijn neurale netwerken die vergeten tijdens training vertragen. De onderliggende architectuur blijft grotendeels hetzelfde. 

Nested Learning heroverweegt de architectuur zelf, zodat leren plaatsvindt over meerdere niveaus en tijdschalen: snel veranderend geheugen behandelt recente ervaring, terwijl langzamer veranderende parameters langetermijnkennis vastleggen.

Nested Learning in de praktijk

Onofficiële community-reproducties zijn begonnen te verschijnen op GitHub, waardoor onderzoekers met de architectuur kunnen experimenteren en de gepubliceerde resultaten kunnen proberen te reproduceren.

Dat gezegd hebbende: Nested learning heeft geen officiële integraties met grote deep learning-frameworks, en je kunt niet simpelweg pip install nested learning doen en het toevoegen aan een bestaand PyTorch- of JAX-project. Het bouwen en evalueren van deze modellen vereist nog steeds werken met researchcode.

Maar de richting is gericht op community-adoptie. Let dus op Hope- of Continuum Memory System (CMS)-modules die worden geïntegreerd in mainstream frameworks en in productiesystemen worden toegepast.

Tot slot

Nested Learning daagt een van de kernveronderstellingen achter modern deep learning uit. In plaats van modellen krachtiger te maken door meer lagen te stapelen, onderzoekt het of intelligentie kan ontstaan uit meerdere leerprocessen die op verschillende tijdschalen opereren.

Die verschuiving verandert ook hoe we over optimalisatie denken. Traditioneel deep learning behandelt de modelarchitectuur en het leeralgoritme als aparte componenten. Nested Learning brengt ze dichter bij elkaar met als doel het leren zelf hiërarchisch te maken.

Het zijn nog steeds de vroege dagen. Nested Learning blijft een actief onderzoeksgebied, en veel van de ideeën zullen bredere validatie nodig hebben voordat ze onderdeel worden van mainstream machine learning. Als je een sterkere basis wilt opbouwen in de concepten achter nested learning, waaronder neurale netwerken, optimalisatie en geheugenmechanismen, raad ik onze uitgebreide Deep Learning in Python-track aan.