Nested Learning: uma solução para o esquecimento catastrófico

O que é Nested Learning?

Nested Learning é um paradigma de machine learning que vê um modelo não como uma única arquitetura treinada por um otimizador separado, mas como um conjunto de problemas de otimização aninhados, cada um aprendendo em seu próprio ritmo. Ele reenquadra a arquitetura do modelo e seu algoritmo de treinamento como a mesma classe de componente: níveis de aprendizado que rodam e se adaptam ao mesmo tempo.

Ele organiza um sistema de machine learning em múltiplos níveis de aprendizado que operam em diferentes escalas de tempo. 

• O nível de parâmetros aprende devagar ao longo de milhares de steps de treinamento. 
• O nível de memória decide quais informações reter a partir de entradas recentes. 
• O nível do otimizador aprende como atualizar os níveis abaixo dele. 

Níveis superiores podem influenciar o comportamento dos níveis inferiores — por isso a estrutura é hierárquica, não apenas modular.

Princípios-chave do nested learning

O nested learning segue quatro princípios centrais:

• Arquitetura e otimização fazem parte do mesmo sistema de aprendizado. No Nested Learning, o otimizador integra o processo de aprendizado e pode se adaptar ao longo do tempo.
• Componentes diferentes aprendem em velocidades diferentes. Os parâmetros centrais podem atualizar lentamente ao longo de milhares de exemplos, enquanto um mecanismo de contexto de curto prazo atualiza a cada nova entrada, e um sistema de memória atualiza em um ritmo intermediário.
• A profundidade vem de processos de aprendizado aninhados. No deep learning tradicional, a profundidade surge ao empilhar camadas. No Nested Learning, ela vem de empilhar múltiplos níveis de aprendizado e adaptação, nos quais parâmetros, sistemas de memória, otimizadores e mecanismos de atualização podem aprender em escalas de tempo distintas.
• O aprendizado pode continuar após a implantação. Componentes como sistemas de memória e mecanismos de aprendizado também podem continuar se adaptando durante a inferência.

Nested learning vs. deep learning tradicional

Por anos, confiamos na arquitetura de deep learning, em que os dados passam por uma rede neural, mede-se o quão erradas estão as previsões do modelo (a loss) e roda-se um otimizador que ajusta os parâmetros para reduzir esse erro. 

Repete-se isso até o modelo ficar bom o suficiente. Depois, você congela os parâmetros e coloca o modelo em produção. A partir daí, ele não aprende com novas entradas, não se adapta a mudanças nos dados e não melhora com o uso.

O Nested Learning muda esse jogo. Além dos parâmetros do modelo, módulos de memória, otimizadores e outros componentes também continuam aprendendo ao longo do tempo.

Por que o Nested Learning importa

Um modelo aprende novas informações ao atualizar seus parâmetros, mas essas mesmas atualizações podem sobrescrever conhecimentos anteriores. Esse fenômeno é conhecido como esquecimento catastrófico.

Pesquisadores criaram técnicas como congelamento de camadas, regularização (como o Elastic Weight Consolidation, EWC) e buffers de replay para preservar conhecimento anterior enquanto o modelo aprende novas tarefas. Mas essas abordagens protegem o modelo do esquecimento — não mudam, de forma fundamental, como o aprendizado acontece.

O Nested Learning argumenta que essa abordagem em uma única escala temporal é uma das razões pelas quais o aprendizado contínuo ainda é tão difícil. Em vez de depender de um único conjunto de parâmetros para absorver toda nova informação, ele distribui a adaptação por vários níveis de aprendizado. 

Níveis diferentes se adaptam em velocidades diferentes, o que permite incorporar informação nova sem reescrever continuamente o conhecimento antigo. Essa ideia se inspira, em parte, em como a cognição humana funciona. Afinal, nem todo aprendizado acontece no mesmo ritmo:

• Reflexos podem se ajustar quase instantaneamente. 
• Memórias de curto prazo se formam em minutos ou horas. 
• Crenças, hábitos e expertise levam meses ou anos para se desenvolver.

Como o Nested Learning funciona

O Nested Learning organiza um sistema de machine learning em níveis — cada um é um processo de aprendizado com papel e velocidade de atualização próprios. Para entender como funcionam, vale percorrer cada nível e ver como eles se conectam.

O nível de parâmetros

Parâmetros são os pesos dentro da rede neural que armazenam o que o modelo aprendeu nos dados de treinamento. Durante o treinamento, o otimizador atualiza esses pesos a cada batch usando os gradientes calculados. 

Cada atualização é pequena, então mudanças significativas acontecem gradualmente ao longo de muitos steps. Como resultado, o nível de parâmetros aprende conhecimento estável e de longo prazo, mas é lento para se adaptar a informações novas.

O nível de memória

O nível de memória captura informações de entradas recentes que o nível de parâmetros é lento demais para aprender. 

Em vez de guardar tudo o que vê, ele retém o que é mais útil e descarta o resto. Isso permite que o modelo se adapte ao novo contexto sem atualizar imediatamente o conhecimento de longo prazo.

O nível do otimizador

O otimizador decide como os parâmetros do modelo devem ser atualizados durante o treinamento. Ele usa os gradientes calculados a partir das previsões do modelo para determinar o tamanho e a direção de cada atualização.

Otimizadores adaptativos como o Adam vão além do gradiente atual. Eles acompanham gradientes recentes e usam esse histórico ao calcular a próxima atualização de parâmetros.

Se o Adam já faz isso, o que o Nested Learning adiciona?

A diferença está no que pode ser aprendido. No deep learning padrão, as regras que governam como o Adam atualiza seu estado são definidas antes do treinamento e nunca mudam. O Adam adapta os parâmetros, mas nada adapta o Adam. 

O Nested Learning introduz um processo de meta-aprendizado acima do otimizador que avalia seu desempenho e modifica suas regras ao longo do tempo. O otimizador deixa de ser infraestrutura fixa e passa a ser algo que também pode melhorar.

Como os níveis interagem

Esses níveis não funcionam de forma isolada. A informação flui entre eles, e cada nível influencia como os outros aprendem ao longo do tempo. 

• O nível de parâmetros constrói gradualmente conhecimento de longo prazo via treinamento. 
• O nível de memória fornece contexto recente que ajuda o sistema a responder mais rápido a novas informações. 
• O otimizador determina como os parâmetros são atualizados. 

Juntos, os níveis permitem equilibrar adaptação de curto prazo e aprendizado de longo prazo.

A arquitetura Hope

Hope é a arquitetura de prova de conceito do artigo — uma variante autoadaptável da arquitetura Titans que o Google construiu para testar se o nested learning funciona na prática. Ela combina uma memória que pode reescrever suas próprias regras de atualização com um Continuum Memory System, para continuar aprendendo em várias velocidades, em vez de congelar após o treinamento.

Titans autoadaptável

Titans contém módulos de memória para armazenar informações que o modelo considera surpreendentes ou importantes. Em vez de depender apenas dos parâmetros, o modelo leva adiante informações úteis por meio desses módulos de memória.

A Hope vai além. Conforme entram novos dados, os módulos de memória continuam se atualizando. O sistema também ajusta as regras que usará em atualizações futuras. É por isso que a arquitetura é chamada de autoadaptável.

Continuum Memory System

A maioria das arquiteturas de memória divide em dois baldes: curto e longo prazo. A informação vive em um armazenamento rápido e temporário ou é consolidada em armazenamento estável. A Hope substitui essa divisão binária por um contínuo — um espectro de módulos de memória que atualizam em diferentes velocidades.

Alguns componentes de memória atualizam rapidamente e capturam informações recentes. Outros mudam mais devagar e preservam conhecimento estável acumulado ao longo de períodos maiores. Isso permite que novas informações entrem pelas camadas que se atualizam rápido sem atrapalhar imediatamente as memórias mais lentas e estáveis.

Como a Hope se sai

O artigo avaliou a Hope em modelagem de linguagem, raciocínio com contexto longo, aprendizado contínuo e incorporação de conhecimento, usando diferentes baselines conforme a tarefa. Modelagem de linguagem e raciocínio de senso comum foram comparados a Titans, Samba e um transformer padrão, enquanto as tarefas de recuperação de longo contexto compararam Hope e Titans com TTT e Mamba2.

Nos benchmarks de modelagem de linguagem e raciocínio de senso comum, a Hope obteve perplexidade menor e acurácia maior do que as três baselines.

Os resultados mais reveladores vieram de tarefas que exigem recuperar uma informação específica enterrada em um contexto longo. O artigo testou várias variantes de dificuldade crescente: pass-key retrieval, number retrieval e, a mais difícil, word-level retrieval. A Hope superou as baselines em todas as variantes, com o design de CMS contribuindo especificamente para os ganhos em longo contexto.

A arquitetura também vai bem em benchmarks de aprendizado contínuo. Ao treinar em sequências de tarefas que tipicamente causam esquecimento catastrófico, a Hope retém mais conhecimento previamente aprendido do que os modelos de comparação relatados no artigo.

Nested Learning vs. outras abordagens de aprendizado contínuo

O Nested Learning não é a primeira tentativa de lidar com o esquecimento catastrófico. Há anos, pesquisadores propõem técnicas de aprendizado contínuo para manter conhecimento passado enquanto se aprendem novas tarefas. Vamos ver as diferenças-chave entre as abordagens.

Métodos como EWC, Progressive Neural Networks e Experience Replay são redes neurais que reduzem o esquecimento durante o treinamento. A arquitetura subjacente permanece, em grande parte, a mesma. 

O Nested Learning repensa a arquitetura em si, para que o aprendizado aconteça em vários níveis e escalas de tempo: memórias que mudam rápido lidam com experiências recentes, enquanto parâmetros mais lentos capturam conhecimento de longo prazo.

Nested Learning na prática

Reproduções não oficiais da comunidade começaram a aparecer no GitHub, dando aos pesquisadores um caminho para experimentar a arquitetura e tentar reproduzir os resultados publicados.

Dito isso, o nested learning não tem integrações oficiais com os principais frameworks de deep learning, e você não pode simplesmente dar um pip install em nested learning e adicioná-lo a um projeto em PyTorch ou JAX. Construir e avaliar esses modelos ainda exige trabalhar diretamente com código de pesquisa.

Mas a direção mira a adoção pela comunidade. Então, fique de olho na integração de módulos Hope ou Continuum Memory System (CMS) em frameworks mainstream e em sistemas de produção.

Considerações finais

O Nested Learning questiona uma das premissas centrais do deep learning moderno. Em vez de tornar modelos mais capazes empilhando camadas, ele explora se a inteligência pode emergir de múltiplos processos de aprendizado operando em escalas de tempo diferentes.

Essa mudança também transforma nossa visão sobre otimização. O deep learning tradicional trata a arquitetura do modelo e o algoritmo de aprendizado como componentes separados. O Nested Learning aproxima esses elementos, com o objetivo de tornar o próprio aprendizado hierárquico.

Ainda é cedo. O Nested Learning continua sendo um campo ativo de pesquisa, e muitas de suas ideias precisam de validação mais ampla antes de se tornarem parte do machine learning mainstream. Se você quer fortalecer a base nos conceitos por trás do nested learning — incluindo redes neurais, otimização e mecanismos de memória — recomendo conferir nossa trilha completa Deep Learning in Python.