Nested Learning: una soluzione al catastrophic forgetting

Che cos'è il Nested Learning?

Nested Learning è un paradigma di machine learning che tratta un singolo modello non come un'unica architettura addestrata da un optimizer separato, ma come un insieme di problemi di ottimizzazione annidati che apprendono ciascuno alla propria velocità. Ridefinisce l'architettura del modello e il suo algoritmo di training come la stessa tipologia di componente: livelli di apprendimento che operano e si adattano in contemporanea.

Organizza un sistema di machine learning in più livelli di apprendimento che operano su scale temporali diverse. 

• Il livello dei parametri apprende lentamente nell'arco di migliaia di step di training. 
• Il livello della memoria decide quali informazioni mantenere tra gli input recenti. 
• Il livello dell'optimizer impara come aggiornare i livelli sottostanti. 

I livelli superiori possono influenzare il comportamento di quelli inferiori, il che rende la struttura gerarchica e non solo modulare.

Principi chiave del nested learning

Il nested learning segue questi quattro principi chiave:

• Architettura e ottimizzazione fanno parte dello stesso sistema di apprendimento. Nel Nested Learning, l'optimizer diventa parte del processo di apprendimento e può adattarsi nel tempo.
• Componenti diversi apprendono a velocità diverse. I parametri principali di un modello possono aggiornarsi lentamente su migliaia di esempi, mentre un meccanismo di contesto a breve termine si aggiorna a ogni nuovo input e un sistema di memoria si aggiorna a una velocità intermedia.
• La profondità nasce da processi di apprendimento annidati. Il deep learning tradizionale crea profondità aggiungendo layer. Il Nested Learning crea profondità impilando livelli multipli di apprendimento e adattamento, in cui parametri, sistemi di memoria, optimizer e meccanismi di aggiornamento possono apprendere su scale temporali diverse.
• L'apprendimento può continuare dopo il deployment. Componenti come sistemi di memoria e meccanismi di apprendimento possono continuare ad adattarsi anche in inferenza.

Nested learning vs deep learning tradizionale

Per anni ci siamo affidati alla deep learning architecture, in cui i dati scorrono attraverso una rete neurale, si misura quanto sono sbagliate le previsioni del modello (la loss), e si esegue un optimizer che regola i parametri del modello per ridurre quell'errore. 

Ripeti finché il modello non è abbastanza buono. Poi congeli i parametri e distribuisci il modello. Da quel momento in poi, non apprende dai nuovi input, non si adatta ai cambiamenti nei dati e non migliora con l'uso.

Nested Learning cambia questo. Oltre ai parametri del modello, anche moduli di memoria, optimizer e altre componenti continuano ad apprendere nel tempo.

Perché il Nested Learning è importante

Un modello apprende nuove informazioni aggiornando i propri parametri, ma quegli stessi aggiornamenti possono sovrascrivere conoscenze acquisite in precedenza. Questo fenomeno è noto come catastrophic forgetting.

I ricercatori hanno introdotto tecniche come il congelamento dei layer, metodi di regolarizzazione come Elastic Weight Consolidation (EWC) e replay buffer per preservare le conoscenze precedenti mentre si apprendono nuovi task. Ma questi approcci sono pensati per proteggere il modello dal dimenticare, non per cambiare fondamentalmente come avviene l'apprendimento.

Nested Learning sostiene che questo approccio a singola scala temporale è uno dei motivi per cui l'apprendimento continuo resta così difficile. Invece di affidarsi a un unico set di parametri per assorbire ogni nuova informazione, distribuisce l'adattamento su più livelli di apprendimento. 

Livelli diversi si adattano a velocità diverse, rendendo possibile incorporare nuove informazioni senza riscrivere continuamente conoscenze più vecchie. Questa idea è in parte ispirata al funzionamento della cognizione umana. Dopotutto, non tutto l'apprendimento avviene allo stesso ritmo:

• I riflessi possono adattarsi quasi istantaneamente. 
• Le memorie a breve termine si formano nell'arco di minuti o ore. 
• Credenze, abitudini ed esperienza possono richiedere mesi o anni per svilupparsi.

Come funziona il Nested Learning

Nested Learning organizza un sistema di machine learning in livelli, ciascuno un processo di apprendimento distinto con un proprio ruolo e una propria velocità di aggiornamento. Per capire come funzionano, è utile passare in rassegna ogni livello e vedere come si connettono.

Il livello dei parametri

I parametri sono i pesi all'interno della rete neurale che memorizzano ciò che il modello ha appreso dai dati di training. Durante l'addestramento, l'optimizer aggiorna questi pesi dopo ogni batch usando i gradienti calcolati. 

Ogni aggiornamento è piccolo, quindi cambiamenti significativi avvengono gradualmente in molti step di training. Di conseguenza, il livello dei parametri apprende conoscenza stabile e di lungo periodo ma è lento ad adattarsi a nuove informazioni.

Il livello della memoria

Il livello della memoria cattura informazioni dagli input recenti che il livello dei parametri è troppo lento ad apprendere. 

Invece di memorizzare tutto ciò che vede, trattiene le informazioni più utili e scarta il resto. Questo permette al modello di adattarsi a un nuovo contesto senza aggiornare immediatamente la conoscenza di lungo periodo.

Il livello dell'optimizer

L'optimizer decide come aggiornare i parametri del modello durante il training. Usa i gradienti calcolati dalle previsioni del modello per determinare l'ampiezza e la direzione di ciascun aggiornamento.

Optimizer adattivi come Adam fanno più che usare il gradiente corrente. Tengono anche traccia dei gradienti recenti e usano quella storia quando calcolano il prossimo aggiornamento dei parametri.

Se Adam già lo fa, cosa aggiunge il Nested Learning?

La differenza sta in ciò che può essere appreso. Nel deep learning standard, le regole che governano come Adam aggiorna il proprio stato sono fissate prima che inizi il training e non cambiano mai. Adam adatta i parametri, ma nulla adatta Adam. 

Nested Learning introduce un processo di meta-learning sopra l'optimizer che può valutare come sta performando e modificare le sue regole nel tempo. L'optimizer smette di essere un'infrastruttura fissa e diventa qualcosa che può migliorare a sua volta.

Come interagiscono i livelli

Questi livelli diversi non lavorano in modo indipendente. Le informazioni fluiscono tra loro e ciascun livello influenza come gli altri apprendono nel tempo. 

• Il livello dei parametri costruisce gradualmente conoscenza di lungo periodo attraverso il training. 
• Il livello della memoria fornisce contesto recente che aiuta il sistema a rispondere più rapidamente a nuove informazioni. 
• L'optimizer determina come vengono aggiornati i parametri. 

Insieme, i livelli consentono al modello di bilanciare l'adattamento a breve termine con l'apprendimento a lungo termine.

L'architettura Hope

Hope è l'architettura di prova del concetto descritta nell'articolo: una variante auto-modificante dell'architettura Titans che Google ha costruito per testare se il nested learning funzioni davvero in pratica. Abbina una memoria che può riscrivere le proprie regole di aggiornamento a un Continuum Memory System, così da continuare ad apprendere a più velocità invece di congelarsi dopo il training.

Titans auto-modificante

Titans contiene moduli di memoria per memorizzare informazioni che il modello considera sorprendenti o importanti. Invece di fare affidamento solo sui propri parametri, il modello porta avanti informazioni utili tramite questi moduli di memoria.

Hope fa un passo oltre. Man mano che arrivano nuovi dati, i moduli di memoria continuano ad aggiornarsi. Il sistema inoltre aggiusta le regole che userà per gli aggiornamenti futuri. Ecco perché l'architettura è detta auto-modificante.

Continuum Memory System

La maggior parte delle architetture di memoria divide la memoria in due categorie: breve termine e lungo termine. Le informazioni vivono in un archivio veloce e temporaneo oppure vengono consolidate in una memoria stabile di lungo periodo. Hope sostituisce questa divisione binaria con un continuum, uno spettro di moduli di memoria che si aggiornano a velocità diverse.

Alcune componenti di memoria si aggiornano rapidamente e catturano informazioni recenti. Altre cambiano più lentamente e preservano la conoscenza stabile accumulata in periodi più lunghi. Ciò significa che nuove informazioni possono entrare tramite i layer a aggiornamento rapido senza disturbare subito la memoria più lenta e stabile.

Come performa Hope

L'articolo ha valutato Hope su language modeling, ragionamento su contesti lunghi, apprendimento continuo e incorporazione della conoscenza, usando diverse baseline a seconda dei task. Il language modeling e il ragionamento di buon senso sono stati confrontati con Titans, Samba e un transformer standard, mentre i task di retrieval su contesti lunghi hanno confrontato Hope e Titans con TTT e Mamba2.

Sui benchmark di language modeling e ragionamento di buon senso, Hope ha ottenuto una minore perplexity e una maggiore accuracy rispetto a tutte e tre le baseline.

I risultati più indicativi sono arrivati da task che richiedono al modello di recuperare un'informazione specifica sepolta in un contesto lungo. L'articolo ha testato più varianti di difficoltà crescente: pass-key retrieval, number retrieval e la variante più difficile, word-level retrieval. Hope ha superato le baseline in tutte le varianti, con il design CMS che contribuisce specificamente ai guadagni sui contesti lunghi.

L'architettura si comporta bene anche sui benchmark di apprendimento continuo. Quando viene addestrata su sequenze di task che tipicamente causano catastrophic forgetting, Hope conserva più conoscenza appresa in precedenza rispetto ai modelli di confronto riportati nell'articolo.

Nested Learning vs altri approcci di apprendimento continuo

Nested Learning non è il primo tentativo di affrontare il catastrophic forgetting. Da anni i ricercatori propongono tecniche di apprendimento continuo per consentire ai modelli di mantenere le conoscenze già acquisite mentre imparano nuovi task. Vediamo le differenze chiave tra i vari approcci proposti.

Metodi come EWC, Progressive Neural Networks ed Experience Replay sono reti neurali che rallentano il forgetting durante il training. L'architettura sottostante rimane in gran parte la stessa. 

Nested Learning ripensa l'architettura stessa, in modo che l'apprendimento avvenga su più livelli e scale temporali: la memoria che cambia rapidamente gestisce l'esperienza recente, mentre i parametri che cambiano più lentamente catturano la conoscenza di lungo periodo.

Nested Learning nella pratica

Riproduzioni non ufficiali della community hanno iniziato ad apparire su GitHub, offrendo ai ricercatori un modo per sperimentare con l'architettura e provare a riprodurre i risultati pubblicati.

Detto ciò, Nested learning non ha integrazioni ufficiali con i principali framework di deep learning e non puoi semplicemente fare pip install nested learning e aggiungerlo a un progetto PyTorch o JAX esistente. Costruire e valutare questi modelli richiede ancora di lavorare direttamente con codice di ricerca.

Ma la direzione punta all'adozione nella community. Quindi tieni d'occhio l'integrazione di moduli Hope o Continuum Memory System (CMS) nei framework mainstream e la loro adozione in sistemi di produzione.

Considerazioni finali

Nested Learning mette in discussione una delle assunzioni alla base del deep learning moderno. Invece di rendere i modelli più capaci impilando più layer, esplora se l'intelligenza possa emergere da processi di apprendimento multipli che operano su scale temporali diverse.

Questo cambiamento modifica anche il modo in cui pensiamo all'ottimizzazione. Il deep learning tradizionale tratta l'architettura del modello e l'algoritmo di apprendimento come componenti separati. Nested Learning li avvicina con l'obiettivo di rendere l'apprendimento stesso gerarchico.

Siamo ancora agli inizi. Nested Learning rimane un'area di ricerca attiva e molte delle sue idee avranno bisogno di una validazione più ampia prima di diventare parte del machine learning mainstream. Se vuoi consolidare le basi dei concetti dietro il nested learning, inclusi reti neurali, ottimizzazione e meccanismi di memoria, ti consiglio di dare un'occhiata al nostro percorso completo Deep Learning in Python.