Învățarea imbricată: o soluție pentru uitarea catastrofală

Ce este Învățarea Imbricată?

Învățarea Imbricată este un paradigm de machine learning care tratează un singur model nu ca pe o arhitectură antrenată de un optimizator separat, ci ca pe un set de probleme de optimizare imbricate, fiecare învățând în propriul ritm. Reîncadrează arhitectura modelului și algoritmul său de antrenare ca același tip de mecanism: niveluri diferite de învățare care rulează și se adaptează simultan.

Organizează un sistem de învățare automată în multiple niveluri de învățare care operează la scări temporale diferite. 

• Nivelul parametrilor învață lent, de-a lungul a mii de pași de antrenare. 
• Nivelul memoriei decide ce informații să rețină din intrările recente. 
• Nivelul optimizatorului învață cum să actualizeze nivelurile de dedesubt. 

Nivelurile superioare pot influența comportamentul nivelurilor inferioare, ceea ce face structura ierarhică, nu doar modulară.

Principii-cheie ale învățării imbricate

Învățarea imbricată urmează aceste patru principii esențiale:

• Arhitectura și optimizarea fac parte din același sistem de învățare. În Învățarea Imbricată, optimizatorul devine parte a procesului de învățare și se poate adapta în timp.
• Diferitele componente învață la viteze diferite. Parametrii de bază ai modelului se pot actualiza lent pe parcursul a mii de exemple, în timp ce un mecanism de context pe termen scurt se actualizează la fiecare nouă intrare, iar un sistem de memorie se actualizează undeva la mijloc.
• Adâncimea provine din procese de învățare imbricate. Deep learning-ul tradițional creează adâncime adăugând straturi. Învățarea Imbricată creează adâncime prin suprapunerea mai multor niveluri de învățare și adaptare, unde parametrii, sistemele de memorie, optimizatorii și mecanismele de actualizare pot învăța la scări temporale diferite.
• Învățarea poate continua după deploy. Componente precum sistemele de memorie și mecanismele de învățare pot continua să se adapteze și în timpul inferenței.

Învățarea imbricată vs deep learning-ul tradițional

De ani buni, ne-am bazat pe arhitectura de deep learning, unde datele curg printr-o rețea neuronală, se măsoară cât de greșite sunt predicțiile modelului (numită pierdere), și se rulează un optimizator care ajustează parametrii modelului pentru a reduce acea eroare. 

Repeti asta până când modelul e suficient de bun. Apoi îngheți parametrii și pui modelul în producție. Din acel moment, nu mai învață din intrări noi, nu se adaptează la schimbările din date și nu se îmbunătățește prin utilizare.

Învățarea Imbricată schimbă această paradigmă. Pe lângă parametrii modelului, modulele de memorie, optimizatorii și alte componente continuă să învețe în timp.

De ce contează Învățarea Imbricată

Un model învață informații noi actualizându-și parametrii, dar aceleași actualizări pot suprascrie cunoștințele învățate anterior. Acest fenomen este cunoscut drept uitare catastrofală.

Cercetătorii au introdus tehnici precum înghețarea straturilor, metode de regularizare precum Elastic Weight Consolidation (EWC) și buffere de redare pentru a păstra cunoștințele anterioare în timp ce se învață sarcini noi. Dar aceste abordări sunt concepute să protejeze un model de uitare, nu să schimbe fundamental modul în care are loc învățarea.

Învățarea Imbricată susține că această abordare cu o singură scară temporală este unul dintre motivele pentru care învățarea continuă rămâne atât de dificilă. În loc să se bazeze pe un singur set de parametri care să absoarbă fiecare informație nouă, împrăștie adaptarea pe multiple niveluri de învățare. 

Nivelurile diferite se adaptează la viteze diferite, făcând posibilă încorporarea informației noi fără a rescrie constant cunoașterea mai veche. Ideea este inspirată parțial de modul în care funcționează cogniția umană. Până la urmă, nu toată învățarea se întâmplă în același ritm:

• Reflexele se pot adapta aproape instantaneu. 
• Amintirile pe termen scurt se formează în minute sau ore. 
• Convingerile, obiceiurile și expertiza pot necesita luni sau ani pentru a se dezvolta.

Cum funcționează Învățarea Imbricată

Învățarea Imbricată organizează un sistem de învățare automată în niveluri, fiecare fiind un proces de învățare distinct, cu propriul rol și propria viteză de actualizare. Pentru a înțelege cum funcționează, merită să trecem prin fiecare nivel și să vedem cum se conectează între ele.

Nivelul parametrilor

Parametrii sunt greutățile din rețeaua neuronală care stochează ce a învățat modelul din datele sale de antrenare. În timpul antrenării, optimizatorul actualizează aceste greutăți după fiecare batch folosind gradientii calculați. 

Fiecare actualizare este mică, astfel că schimbările semnificative apar treptat, pe parcursul multor pași de antrenare. Drept urmare, nivelul parametrilor învață cunoaștere stabilă, pe termen lung, dar se adaptează lent la informații noi.

Nivelul memoriei

Nivelul memoriei captează informații din intrările recente pe care nivelul parametrilor le învață prea încet. 

În loc să stocheze tot ce vede, reține cele mai utile informații și le înlătură pe celelalte. Astfel, modelul se poate adapta la un context nou fără a-și actualiza imediat cunoașterea pe termen lung.

Nivelul optimizatorului

Optimizatorul decide cum ar trebui actualizați parametrii modelului în timpul antrenării. Folosește gradientii calculați din predicțiile modelului pentru a determina mărimea și direcția fiecărei actualizări.

Optimizatorii adaptivi precum Adam fac mai mult decât să folosească gradientul curent. Ei urmăresc și gradientii recenți și folosesc acea istorie când calculează următoarea actualizare a parametrilor.

Dacă Adam face deja asta, ce aduce în plus Învățarea Imbricată?

Diferența constă în ce poate fi învățat. În deep learning-ul standard, regulile care guvernează modul în care Adam își actualizează starea sunt fixate înainte de începerea antrenării și nu se schimbă. Adam adaptează parametrii, dar nimic nu îl adaptează pe Adam. 

Învățarea Imbricată introduce un proces de meta-învățare deasupra optimizatorului, care poate evalua cum performează optimizatorul și îi poate modifica regulile în timp. Optimizatorul încetează să mai fie infrastructură fixă și devine ceva ce se poate îmbunătăți la rândul lui.

Cum interacționează nivelurile

Aceste niveluri diferite nu funcționează independent. Informația circulă între ele, iar fiecare nivel influențează modul în care celelalte învață în timp. 

• Nivelul parametrilor construiește treptat cunoaștere pe termen lung prin antrenare. 
• Nivelul memoriei oferă context recent care ajută sistemul să răspundă mai rapid la informații noi. 
• Optimizatorul determină cum sunt actualizați parametrii. 

Împreună, nivelurile permit modelului să echilibreze adaptarea pe termen scurt cu învățarea pe termen lung.

Arhitectura Hope

Hope este arhitectura demonstrativă a lucrării, o variantă auto-modificatoare a arhitecturii Titans pe care Google a construit-o pentru a testa dacă învățarea imbricată funcționează în practică. Ea asociază o memorie care își poate rescrie propriile reguli de actualizare cu un Continuum Memory System, astfel încât poate continua să învețe la mai multe viteze în loc să înghețe după antrenare.

Titans auto-modificator

Titans conțin module de memorie pentru stocarea informațiilor pe care modelul le consideră surprinzătoare sau importante. În loc să se bazeze doar pe parametrii săi, modelul poartă informații utile mai departe prin aceste module de memorie.

Hope merge cu un pas mai departe. Pe măsură ce sosesc date noi, modulele de memorie continuă să se actualizeze. Sistemul ajustează, de asemenea, regulile pe care le va folosi pentru actualizările viitoare. De aceea arhitectura este numită auto-modificatoare.

Continuum Memory System

Majoritatea arhitecturilor de memorie împart memoria în două „coșuri”: pe termen scurt și pe termen lung. Informația fie locuiește într-un depozit rapid, temporar, fie este consolidată în stocare stabilă pe termen lung. Hope înlocuiește acea împărțire binară cu un continuum, un spectru de module de memorie care se actualizează la viteze diferite.

Unele componente de memorie se actualizează rapid și captează informații recente. Altele se schimbă mai lent și păstrează cunoașterea stabilă acumulată pe perioade mai lungi. Asta înseamnă că informația nouă poate intra prin straturile cu actualizare rapidă fără a perturba imediat memoria mai lentă și mai stabilă.

Cum performează Hope

Lucrarea a evaluat Hope pe modelarea limbajului, raționament pe contexte lungi, învățare continuă și încorporarea cunoștințelor, folosind repere diferite pentru sarcini diferite. Modelarea limbajului și raționamentul de bun-simț au fost comparate cu Titans, Samba și un transformer standard, în timp ce sarcinile de regăsire pe context lung au comparat Hope și Titans cu TTT și Mamba2.

Pe benchmark-urile de modelare a limbajului și raționament de bun-simț, Hope a obținut perplexitate mai mică și acuratețe mai mare decât toate cele trei repere.

Rezultatele mai grăitoare au venit de la sarcini care cer modelului să recupereze o informație specifică îngropată într-un context lung. Lucrarea a testat mai multe variante cu dificultate crescândă: regăsirea unei parole, regăsirea unui număr și cea mai dificilă variantă, regăsirea la nivel de cuvânt. Hope a depășit reperele pe toate variantele, designul CMS contribuind în mod special la câștigurile pe contexte lungi.

Arhitectura are, de asemenea, performanțe bune pe benchmark-uri de învățare continuă. Când este antrenată pe secvențe de sarcini care în mod tipic provoacă uitare catastrofală, Hope reține mai multă cunoaștere învățată anterior decât modelele de comparație raportate în lucrare.

Învățarea Imbricată vs alte abordări de învățare continuă

Învățarea Imbricată nu este prima încercare de a aborda uitarea catastrofală. De ani buni, cercetătorii au propus tehnici de învățare continuă pentru a permite modelelor să rețină cunoștințele învățate anterior în timp ce învață sarcini noi. Să vedem diferențele-cheie între abordări.

Metode precum EWC, Rețele Neuronale Progresive și Experience Replay sunt rețele neuronale care încetinesc uitarea în timpul antrenării. Arhitectura de bază rămâne în mare parte aceeași. 

Învățarea Imbricată regândește chiar arhitectura, astfel încât învățarea să se întâmple pe multiple niveluri și scări temporale: memoria care se schimbă rapid gestionează experiențele recente, în timp ce parametrii care se schimbă mai lent captează cunoașterea pe termen lung.

Învățarea Imbricată în practică

Reproduceri neoficiale din comunitate au început să apară pe GitHub, oferind cercetătorilor o modalitate de a experimenta cu arhitectura și de a încerca să reproducă rezultatele publicate.

Cu toate acestea, Învățarea Imbricată nu are integrare oficială cu principalele framework-uri de deep learning și nu poți pur și simplu să rulezi pip install pentru nested learning și să o adaugi într-un proiect existent de PyTorch sau JAX. Construirea și evaluarea acestor modele încă necesită lucru direct cu cod de cercetare.

Direcția este însă orientată spre adoptarea de către comunitate. Așa că fii pe fază pentru integrarea modulelor Hope sau Continuum Memory System (CMS) în framework-uri mainstream și adoptarea lor în sisteme de producție.

Gânduri finale

Învățarea Imbricată provoacă una dintre presupunerile de bază ale deep learning-ului modern. În loc să facă modelele mai capabile prin adăugarea a tot mai multe straturi, explorează dacă inteligența poate apărea din multiple procese de învățare care operează la scări temporale diferite.

Această schimbare transformă și modul în care gândim optimizarea. Deep learning-ul tradițional tratează arhitectura modelului și algoritmul de învățare ca pe componente separate. Învățarea Imbricată le apropie, cu scopul de a face învățarea însăși ierarhică.

Încă suntem la început. Învățarea Imbricată rămâne un domeniu activ de cercetare, iar multe dintre ideile sale vor avea nevoie de validare mai largă înainte să devină parte a machine learning-ului mainstream. Dacă vrei să-ți consolidezi bazele în conceptele din spatele învățării imbricate, inclusiv rețele neuronale, optimizare și mecanisme de memorie, îți recomand să consulți traseul nostru cuprinzător Deep Learning in Python.