Nested Learning: una solución al olvido catastrófico

¿Qué es Nested Learning?

Nested Learning es un paradigma de machine learning que no trata un modelo como una sola arquitectura entrenada por un optimizador aparte, sino como un conjunto de problemas de optimización anidados que aprenden cada uno a su propio ritmo. Reencuadra la arquitectura del modelo y su algoritmo de entrenamiento como la misma clase de elemento: distintos niveles de aprendizaje que se ejecutan y se adaptan a la vez.

Organiza un sistema de machine learning en múltiples niveles de aprendizaje que operan a distintas escalas temporales. 

• El nivel de parámetros aprende lentamente a lo largo de miles de pasos de entrenamiento. 
• El nivel de memoria decide qué información conservar de entradas recientes. 
• El nivel del optimizador aprende cómo actualizar los niveles inferiores. 

Los niveles superiores pueden influir en cómo se comportan los inferiores, lo que hace que la estructura sea jerárquica y no solo modular.

Principios clave de nested learning

Nested learning sigue cuatro principios clave:

• Arquitectura y optimización forman parte del mismo sistema de aprendizaje. En Nested Learning, el optimizador pasa a ser parte del proceso de aprendizaje y puede adaptarse con el tiempo.
• Componentes distintos aprenden a distintas velocidades. Los parámetros nucleares de un modelo pueden actualizarse lentamente a lo largo de miles de ejemplos, mientras que un mecanismo de contexto a corto plazo se actualiza con cada entrada nueva y un sistema de memoria lo hace a un ritmo intermedio.
• La profundidad surge de procesos de aprendizaje anidados. El deep learning tradicional crea profundidad añadiendo capas. Nested Learning crea profundidad apilando varios niveles de aprendizaje y adaptación, donde parámetros, sistemas de memoria, optimizadores y mecanismos de actualización pueden aprender a diferentes escalas temporales.
• El aprendizaje puede continuar tras el despliegue. Componentes como los sistemas de memoria y los mecanismos de aprendizaje también pueden seguir adaptándose durante la inferencia.

Nested learning vs deep learning tradicional

Durante años nos hemos apoyado en la arquitectura de deep learning, donde los datos fluyen por una red neuronal, se mide cuánto se equivoca el modelo en sus predicciones (la pérdida), y se ejecuta un optimizador que ajusta los parámetros del modelo para reducir ese error. 

Repites esto hasta que el modelo es suficientemente bueno. Luego congelas los parámetros y despliegas el modelo. A partir de ahí, no aprende de entradas nuevas, no se adapta a cambios en los datos y no mejora con el uso.

Nested Learning cambia eso. Además de los parámetros del modelo, los módulos de memoria, los optimizadores y otros componentes también siguen aprendiendo con el tiempo.

Por qué importa Nested Learning

Un modelo aprende información nueva actualizando sus parámetros, pero esas mismas actualizaciones pueden sobrescribir conocimientos previos. Este fenómeno se conoce como olvido catastrófico.

Los investigadores han propuesto técnicas como congelar capas, métodos de regularización como Elastic Weight Consolidation (EWC) y buffers de repetición para preservar el conocimiento anterior mientras se aprenden nuevas tareas. Pero estos enfoques están pensados para proteger al modelo del olvido, no para cambiar de raíz cómo se aprende.

Nested Learning sostiene que este enfoque de una sola escala temporal es una de las razones por las que el aprendizaje continuo sigue siendo tan difícil. En lugar de depender de un único conjunto de parámetros para absorber toda la información nueva, reparte la adaptación entre varios niveles de aprendizaje. 

Los distintos niveles se adaptan a ritmos diferentes, lo que permite incorporar información nueva sin reescribir constantemente el conocimiento anterior. Esta idea se inspira en parte en cómo funciona la cognición humana. No todo el aprendizaje ocurre al mismo ritmo:

• Los reflejos pueden adaptarse casi al instante. 
• Los recuerdos a corto plazo se forman en minutos u horas. 
• Las creencias, los hábitos y la experiencia pueden tardar meses o años en desarrollarse.

Cómo funciona Nested Learning

Nested Learning organiza un sistema de machine learning en niveles, cada uno un proceso de aprendizaje con su propio rol y velocidad de actualización. Para entender cómo funcionan, conviene recorrerlos y ver cómo se conectan.

El nivel de parámetros

Los parámetros son los pesos dentro de la red neuronal que almacenan lo que el modelo ha aprendido de sus datos de entrenamiento. Durante el entrenamiento, el optimizador actualiza estos pesos tras cada batch usando los gradientes calculados. 

Cada actualización es pequeña, así que los cambios significativos llegan gradualmente tras muchos pasos de entrenamiento. Como resultado, el nivel de parámetros aprende conocimiento estable y a largo plazo, pero se adapta lentamente a información nueva.

El nivel de memoria

El nivel de memoria captura información de entradas recientes que el nivel de parámetros es demasiado lento para aprender. 

En lugar de almacenar todo lo que ve, retiene la información más útil y descarta el resto. Así el modelo puede adaptarse a un contexto nuevo sin actualizar de inmediato su conocimiento a largo plazo.

El nivel del optimizador

El optimizador decide cómo deben actualizarse los parámetros del modelo durante el entrenamiento. Usa los gradientes calculados a partir de las predicciones del modelo para determinar el tamaño y la dirección de cada actualización.

Los optimizadores adaptativos como Adam hacen más que usar el gradiente actual. También siguen el rastro de gradientes recientes y usan ese historial al calcular la siguiente actualización de parámetros.

Si Adam ya hace esto, ¿qué aporta Nested Learning?

La diferencia está en qué puede aprenderse. En el deep learning estándar, las reglas que rigen cómo Adam actualiza su estado se fijan antes de empezar el entrenamiento y no cambian. Adam adapta los parámetros, pero nada adapta a Adam. 

Nested Learning introduce un proceso de meta-aprendizaje por encima del optimizador que puede evaluar su rendimiento y modificar sus reglas con el tiempo. El optimizador deja de ser una infraestructura fija y pasa a ser algo que también puede mejorar.

Cómo interactúan los niveles

Estos niveles no funcionan de forma independiente. La información fluye entre ellos y cada nivel influye en cómo aprenden los demás con el tiempo. 

• El nivel de parámetros construye gradualmente conocimiento a largo plazo mediante el entrenamiento. 
• El nivel de memoria aporta contexto reciente que ayuda al sistema a responder con más rapidez a la información nueva. 
• El optimizador determina cómo se actualizan los parámetros. 

En conjunto, los niveles permiten equilibrar la adaptación a corto plazo con el aprendizaje a largo plazo.

La arquitectura Hope

Hope es la arquitectura de prueba de concepto del paper, una variante auto-modificable de la arquitectura Titans que Google construyó para comprobar si el nested learning funciona en la práctica. Combina una memoria que puede reescribir sus propias reglas de actualización con un Continuum Memory System, de modo que puede seguir aprendiendo a distintas velocidades en lugar de quedarse congelada tras el entrenamiento.

Titans auto-modificable

Titans incluye módulos de memoria para almacenar información que el modelo considera sorprendente o importante. En lugar de depender solo de sus parámetros, el modelo arrastra información útil a través de estos módulos de memoria.

Hope va un paso más allá. A medida que llegan datos nuevos, los módulos de memoria siguen actualizándose. El sistema también ajusta las reglas que usará en futuras actualizaciones. Por eso se denomina arquitectura auto-modificable.

Continuum Memory System

La mayoría de arquitecturas de memoria dividen la memoria en dos: corto y largo plazo. La información vive en un almacén rápido y temporal o se consolida en un almacenamiento estable a largo plazo. Hope sustituye esa división binaria por un continuo, un espectro de módulos de memoria que se actualizan a distintas velocidades.

Algunos componentes de memoria se actualizan rápidamente y capturan información reciente. Otros cambian más despacio y preservan conocimiento estable acumulado durante periodos más largos. Eso permite que la información nueva entre por las capas que se actualizan rápido sin perturbar de inmediato la memoria más lenta y estable.

Cómo rinde Hope

El paper evaluó Hope en modelado del lenguaje, razonamiento con contexto largo, aprendizaje continuo e incorporación de conocimiento, usando distintos baselines según la tarea. El modelado del lenguaje y el razonamiento de sentido común se compararon con Titans, Samba y un transformer estándar, mientras que en recuperación de contexto largo se comparó Hope y Titans con TTT y Mamba2.

En los benchmarks de modelado del lenguaje y razonamiento de sentido común, Hope logró menor perplexity y mayor precisión que los tres baselines.

Los resultados más reveladores llegaron en tareas que exigen recuperar una pieza concreta de información enterrada en un contexto largo. El paper probó varias variantes de dificultad creciente: pass-key retrieval, number retrieval y la más difícil, word-level retrieval. Hope superó a los baselines en todas, con el diseño de CMS contribuyendo específicamente a las mejoras en contexto largo.

La arquitectura también rinde bien en benchmarks de aprendizaje continuo. Al entrenarse en secuencias de tareas que suelen provocar olvido catastrófico, Hope retiene más conocimiento previamente aprendido que los modelos de comparación reportados en el paper.

Nested Learning frente a otros enfoques de aprendizaje continuo

Nested Learning no es el primer intento de abordar el olvido catastrófico. Desde hace años, se han propuesto técnicas de aprendizaje continuo para que los modelos conserven conocimiento previo mientras aprenden tareas nuevas. Veamos las diferencias clave entre los enfoques.

Métodos como EWC, Progressive Neural Networks y Experience Replay son redes neuronales que ralentizan el olvido durante el entrenamiento. La arquitectura subyacente se mantiene en gran medida igual. 

Nested Learning replantea la propia arquitectura para que el aprendizaje suceda en múltiples niveles y escalas temporales: una memoria que cambia rápido gestiona la experiencia reciente, mientras que parámetros que cambian más despacio capturan el conocimiento a largo plazo.

Nested Learning en la práctica

Están apareciendo reproducciones no oficiales de la comunidad en GitHub, lo que permite experimentar con la arquitectura e intentar reproducir los resultados publicados.

Dicho esto, Nested Learning no tiene integraciones oficiales con los principales frameworks de deep learning, y no puedes simplemente pip install nested learning e incorporarlo a un proyecto existente de PyTorch o JAX. Construir y evaluar estos modelos aún requiere trabajar directamente con código de investigación.

Aun así, la dirección apunta a la adopción por la comunidad. Estate atento a que módulos de Hope o del Continuum Memory System (CMS) se integren en frameworks mainstream y se adopten en sistemas de producción.

Reflexiones finales

Nested Learning cuestiona uno de los supuestos clave del deep learning moderno. En lugar de hacer los modelos más capaces apilando más capas, explora si la inteligencia puede surgir de múltiples procesos de aprendizaje que operan a diferentes escalas temporales.

Ese cambio también transforma cómo pensamos la optimización. El deep learning tradicional trata la arquitectura del modelo y el algoritmo de aprendizaje como componentes separados. Nested Learning los acerca con el objetivo de hacer que el propio aprendizaje sea jerárquico.

Aún es pronto. Nested Learning sigue siendo un área activa de investigación, y muchas de sus ideas necesitarán una validación más amplia antes de convertirse en parte del machine learning mainstream. Si quieres afianzar los conceptos detrás de nested learning (redes neuronales, optimización y mecanismos de memoria), te recomendamos nuestro itinerario completo Deep Learning in Python.