Nested Learning: en lösning på katastrofal glömska

Vad är Nested Learning?

Nested Learning är ett maskininlärningsparadigm som ser en enskild modell inte som en arkitektur som tränas av en separat optimerare, utan som en uppsättning inbäddade optimeringsproblem som var och en lär sig i sin egen takt. Det ramar in modellens arkitektur och dess träningsalgoritm som samma typ av företeelse, olika nivåer av lärande som körs och anpassas samtidigt.

Det organiserar ett maskininlärningssystem i flera inlärningsnivåer som verkar på olika tidsskalor. 

• Parameternivån lär sig långsamt över tusentals träningssteg. 
• Minnesnivån avgör vilken information som ska behållas över senaste indata. 
• Optimerarnivån lär sig hur nivåerna under den ska uppdateras. 

Högre nivåer kan påverka hur lägre nivåer beter sig, vilket gör strukturen hierarkisk snarare än bara modulär.

Grundprinciper för nested learning

Nested Learning följer dessa fyra nyckelprinciper:

• Arkitektur och optimering ingår i samma lärandesystem. I Nested Learning blir optimeraren en del av inlärningsprocessen och kan anpassa sig över tid.
• Olika komponenter lär sig i olika hastighet. En modells kärnparametrar kan uppdateras långsamt över tusentals exempel, medan en korttidskontext-mekanism uppdateras vid varje ny inmatning, och ett minnessystem uppdateras någonstans däremellan.
• Djup kommer från inbäddade inlärningsprocesser. Traditionell deep learning skapar djup genom att lägga till lager. Nested Learning skapar djup genom att stapla flera nivåer av inlärning och anpassning, där parametrar, minnessystem, optimerare och uppdateringsmekanismer alla kan lära sig på olika tidsskalor.
• Inlärning kan fortsätta efter driftsättning. Komponenter som minnessystem och inlärningsmekanismer kan fortsätta att anpassa sig även under inferens.

Nested learning vs traditionell deep learning

I åratal har vi förlitat oss på deep learning-arkitektur, där data flödar genom ett neuralt nätverk, man mäter hur fel modellens förutsägelser är (kallat förlust), och kör en optimerare som justerar modellens parametrar för att minska felet. 

Du upprepar detta tills modellen är tillräckligt bra. Sedan fryser du parametrarna och driftsätter modellen. Från och med då lär den sig inte av ny indata, anpassar sig inte till skift i datan och blir inte bättre med användning.

Nested Learning ändrar på det. Förutom modellens parametrar fortsätter även minnesmoduler, optimerare och andra komponenter att lära sig över tid.

Varför Nested Learning är viktigt

En modell lär sig ny information genom att uppdatera sina parametrar, men samma uppdateringar kan skriva över kunskap den lärt sig tidigare. Detta fenomen kallas katastrofal glömska.

Forskare har introducerat tekniker som att frysa lager, regulariseringsmetoder som Elastic Weight Consolidation (EWC) och replay-buffertar för att bevara tidigare kunskap samtidigt som man lär sig nya uppgifter. Men dessa metoder är utformade för att skydda en modell från att glömma, inte för att i grunden ändra hur inlärning sker.

Nested Learning menar att detta enkel-tidsskaleupplägg är en av orsakerna till att kontinuerligt lärande förblir så svårt. I stället för att förlita sig på en enda uppsättning parametrar för att absorbera varje ny informationsbit, sprider det anpassningen över flera inlärningsnivåer. 

Olika nivåer anpassar sig i olika hastigheter, vilket gör det möjligt att ta in ny information utan att ständigt skriva om äldre kunskap. Denna idé är delvis inspirerad av hur mänsklig kognition fungerar. All inlärning sker ju inte i samma takt:

• Reflexer kan anpassas nästan omedelbart. 
• Korttidsminnen formas över minuter eller timmar. 
• Övertygelser, vanor och expertis kan ta månader eller år att utveckla.

Hur Nested Learning fungerar

Nested Learning organiserar ett maskininlärningssystem i nivåer, var och en en distinkt inlärningsprocess med egen roll och uppdateringshastighet. För att förstå hur de fungerar är det hjälpsamt att gå igenom varje nivå och se hur de hänger ihop.

Parameternivån

Parametrar är vikterna i det neurala nätverket som lagrar vad modellen har lärt sig från sina träningsdata. Under träning uppdaterar optimeraren dessa vikter efter varje batch med hjälp av de beräknade gradienterna. 

Varje uppdatering är liten, så meningsfulla förändringar sker gradvis över många träningssteg. Därför lär sig parameternivån stabil, långsiktig kunskap men anpassar sig långsamt till ny information.

Minnesnivån

Minnesnivån fångar information från senaste indata som parameternivån är för långsam för att lära sig. 

I stället för att lagra allt den ser, behåller den den mest användbara informationen och förkastar resten. Detta gör att modellen kan anpassa sig till en ny kontext utan att omedelbart uppdatera sin långsiktiga kunskap.

Optimerarnivån

Optimeraren avgör hur modellens parametrar ska uppdateras under träning. Den använder gradienterna beräknade från modellens förutsägelser för att bestämma storlek och riktning på varje uppdatering.

Adaptiva optimerare som Adam gör mer än att använda aktuell gradient. De håller också reda på senaste gradienter och använder den historiken när nästa parameteruppdatering beräknas.

Om Adam redan gör detta, vad tillför Nested Learning?

Skillnaden ligger i vad som kan läras. I standard deep learning är reglerna som styr hur Adam uppdaterar sitt tillstånd fastställda innan träningen börjar och ändras aldrig. Adam anpassar parametrarna, men ingenting anpassar Adam. 

Nested Learning introducerar en metalärandeprocess ovanför optimeraren som kan utvärdera hur optimeraren presterar och modifiera dess regler över tid. Optimeraren slutar vara fast infrastruktur och blir något som själv kan förbättras.

Hur nivåerna samverkar

Dessa olika nivåer arbetar inte oberoende. Information flödar mellan dem, och varje nivå påverkar hur de andra lär sig över tid. 

• Parameternivån bygger gradvis långsiktig kunskap genom träning. 
• Minnesnivån ger närliggande kontext som hjälper systemet att reagera snabbare på ny information. 
• Optimeraren avgör hur parametrarna uppdateras. 

Tillsammans gör nivåerna att modellen kan balansera kortsiktig anpassning med långsiktigt lärande.

Hope-arkitekturen

Hope är artikelns proof-of-concept-arkitektur, en självmodifierande variant av Titans-arkitekturen som Google byggde för att testa om nested learning faktiskt fungerar i praktiken. Den parar ett minne som kan skriva om sina egna uppdateringsregler med ett Continuum Memory System, så att den kan fortsätta lära i flera olika hastigheter i stället för att frysa efter träning.

Självmodifierande Titans

Titans innehåller minnesmoduler för att lagra information som modellen anser överraskande eller viktig. I stället för att bara förlita sig på sina parametrar bär modellen vidare användbar information genom dessa minnesmoduler.

Hope går ett steg längre. När ny data kommer in fortsätter minnesmodulerna att uppdateras. Systemet justerar också de regler det använder för framtida uppdateringar. Därför kallas arkitekturen självmodifierande.

Continuum Memory System

De flesta minnesarkitekturer delar upp minnet i två fack: korttids- och långtidsminne. Information lever antingen i ett snabbt, temporärt lager eller konsolideras till stabil långtidslagring. Hope ersätter den binära uppdelningen med ett kontinuum, ett spektrum av minnesmoduler som uppdateras i olika hastigheter.

Vissa minneskomponenter uppdaterar snabbt och fångar ny information. Andra förändras långsammare och bevarar stabil kunskap som ackumulerats över längre perioder. Det betyder att ny information kan komma in via de snabbuppdaterande lagren utan att omedelbart störa långsammare, mer stabilt minne.

Hur Hope presterar

Artikeln utvärderade Hope på språkmodellering, långkontextresonemang, kontinuerligt lärande och kunskapsinkorporering, med olika baslinjer för olika uppgifter. Språkmodellering och sunt förnuft-resonemang jämfördes med Titans, Samba och en standardtransformer, medan uppgifter för långkontextåterhämtning jämförde Hope och Titans med TTT och Mamba2.

På benchmarktester för språkmodellering och sunt förnuft-resonemang uppnådde Hope lägre perplexitet och högre noggrannhet än alla tre baslinjer.

De mer talande resultaten kom från uppgifter som kräver att modellen hämtar ett specifikt informationsstycke begravt i en lång kontext. Artikeln testade flera varianter med ökande svårighet: nyckelåterhämtning, sifferåterhämtning och den svåraste varianten, ordnivååterhämtning. Hope överträffade baslinjerna i alla varianter, där CMS-designen bidrog specifikt till vinsterna i långkontext.

Arkitekturen presterar också väl på benchmarktester för kontinuerligt lärande. När den tränas över sekvenser av uppgifter som typiskt orsakar katastrofal glömska, behåller Hope mer tidigare inlärd kunskap än jämförelsemodellerna som rapporteras i artikeln.

Nested Learning vs andra metoder för kontinuerligt lärande

Nested Learning är inte det första försöket att åtgärda katastrofal glömska. I åratal har forskare föreslagit tekniker för kontinuerligt lärande för att låta modeller behålla tidigare inlärd kunskap samtidigt som de lär sig nya uppgifter. Låt oss se de viktigaste skillnaderna mellan föreslagna tillgångssätt.

Metoder som EWC, Progressive Neural Networks och Experience Replay är neurala nätverk som bromsar glömska under träning. Den underliggande arkitekturen förblir till stor del densamma. 

Nested Learning tänker om själva arkitekturen, så att inlärning sker över flera nivåer och tidsskalor: snabbt föränderligt minne hanterar färska erfarenheter, medan långsammare föränderliga parametrar fångar långsiktig kunskap.

Nested Learning i praktiken

Inofficiella community-reproduktioner har börjat dyka upp på GitHub, vilket ger forskare en möjlighet att experimentera med arkitekturen och försöka reproducera de publicerade resultaten.

Det sagt, Nested learning har inga officiella integrationer med stora deep learning-ramverk, och du kan inte bara pip install nested learning och lägga till det i ett befintligt PyTorch- eller JAX-projekt. Att bygga och utvärdera dessa modeller kräver fortfarande att man arbetar direkt med forskningskod.

Men riktningen är inriktad på community-adoption. Så håll utkik efter att Hope- eller Continuum Memory System (CMS)-moduler integreras i mainstream-ramverk och tas i bruk i produktionssystem.

Avslutande tankar

Nested Learning utmanar en av grundantagandena bakom modern deep learning. I stället för att göra modeller mer kapabla genom att stapla fler lager, undersöker det om intelligens kan växa fram ur flera inlärningsprocesser som verkar på olika tidsskalor.

Den förskjutningen ändrar också hur vi tänker kring optimering. Traditionell deep learning behandlar modellarkitekturen och inlärningsalgoritmen som separata komponenter. Nested Learning för dem närmare varandra med målet att göra själva lärandet hierarkiskt.

Det är fortfarande tidiga dagar. Nested Learning är fortsatt ett aktivt forskningsområde, och många av dess idéer kommer att behöva bredare validering innan de blir en del av mainstream-maskininlärning. Om du vill bygga en starkare grund i koncepten bakom nested learning, inklusive neurala nätverk, optimering och minnesmekanismer, rekommenderar jag att du kollar in vår heltäckande Deep Learning in Python-track.