Вложенное обучение: решение проблемы катастрофического забывания

Что такое вложенное обучение?

Вложенное обучение — это парадигма машинного обучения, в которой единая модель рассматривается не как одна архитектура, обучаемая отдельным оптимизатором, а как набор вложенных задач оптимизации, каждая из которых учится со своей скоростью. Она заново определяет архитектуру модели и алгоритм обучения как явления одного порядка — это уровни обучения, которые запускаются и адаптируются одновременно.

Она организует систему машинного обучения в несколько уровней, работающих на разных временных масштабах. 

• Уровень параметров обучается медленно — на протяжении тысяч шагов обучения. 
• Уровень памяти решает, какую информацию сохранять по недавним входам. 
• Уровень оптимизатора учится обновлять уровни ниже себя. 

Более высокие уровни могут влиять на поведение нижних, благодаря чему структура является иерархической, а не просто модульной.

Ключевые принципы вложенного обучения

Вложенное обучение основывается на четырёх ключевых принципах:

• Архитектура и оптимизация — части одной обучающейся системы. В вложенном обучении оптимизатор становится частью процесса обучения и может со временем адаптироваться.
• Разные компоненты учатся с разной скоростью. Базовые параметры модели могут обновляться медленно — на тысячах примеров, механизм краткосрочного контекста — на каждом новом входе, а система памяти — где-то посередине.
• Глубина возникает из вложенных процессов обучения. Традиционное глубокое обучение наращивает глубину, добавляя слои. Вложенное обучение создаёт глубину, накладывая друг на друга несколько уровней обучения и адаптации, где параметры, системы памяти, оптимизаторы и механизмы обновления могут учиться на разных временных шкалах.
• Обучение может продолжаться после развёртывания. Компоненты, такие как системы памяти и механизмы обучения, могут продолжать адаптироваться и во время инференса.

Вложенное обучение vs традиционное глубокое обучение

Годами мы опирались на архитектуру глубокого обучения, где данные проходят через нейросеть, оценивается, насколько ошибочны предсказания модели (это называется функция потерь), и запускается оптимизатор, который настраивает параметры модели, чтобы уменьшить эту ошибку. 

Это повторяется до тех пор, пока модель не станет достаточно хорошей. Затем параметры «замораживаются», и модель разворачивается. С этого момента она не учится на новых входах, не адаптируется к сдвигам в данных и не улучшается с использованием.

Вложенное обучение меняет это. Вместе с параметрами модели со временем продолжают обучаться и модули памяти, оптимизаторы и другие компоненты.e.

Почему важно вложенное обучение

Модель усваивает новую информацию, обновляя параметры, но эти же обновления могут затирать ранее выученные знания. Это явление известно как катастрофическое забывание.

Исследователи предложили техники, такие как «заморозка» слоёв, методы регуляризации вроде Elastic Weight Consolidation (EWC) и буферы повторного проигрывания, чтобы сохранить прежние знания при изучении новых задач. Но эти подходы призваны защитить модель от забывания, а не кардинально изменить сам процесс обучения.

Вложенное обучение утверждает, что подход с одной временной шкалой — одна из причин, по которой непрерывное обучение остаётся таким сложным. Вместо того чтобы полагаться на один набор параметров, поглощающий каждую новую порцию информации, оно распределяет адаптацию по нескольким уровням обучения. 

Разные уровни адаптируются с разной скоростью, что позволяет включать новую информацию, не переписывая постоянно старые знания. Эта идея отчасти вдохновлена работой человеческого мышления. Ведь не всё обучение происходит с одинаковой скоростью:

• Рефлексы могут адаптироваться почти мгновенно. 
• Кратковременные воспоминания формируются за минуты или часы. 
• Убеждения, привычки и экспертиза формируются месяцами и годами.

Как работает вложенное обучение

Вложенное обучение организует систему машинного обучения в уровни — каждый представляет собой отдельный процесс обучения со своей ролью и скоростью обновления. Чтобы понять, как это работает, полезно пройтись по каждому уровню и увидеть их взаимосвязи.

Уровень параметров

Параметры — это веса внутри нейросети, в которых хранится то, что модель выучила на обучающих данных. Во время обучения оптимизатор обновляет эти веса после каждого батча, используя вычисленные градиенты. 

Каждое обновление невелико, поэтому существенные изменения происходят постепенно, на многих шагах обучения. В результате уровень параметров усваивает стабильные долгосрочные знания, но медленно адаптируется к новой информации.

Уровень памяти

Уровень памяти захватывает информацию из недавних входов, которую уровень параметров усваивает слишком медленно. 

Он не хранит всё подряд, а сохраняет самое полезное и отбрасывает остальное. Это позволяет модели адаптироваться к новому контексту, не обновляя немедленно долгосрочные знания.

Уровень оптимизатора

Оптимизатор решает, как обновлять параметры модели во время обучения. Он использует градиенты, вычисленные из предсказаний модели, чтобы определить величину и направление каждого обновления.

Адаптивные оптимизаторы, такие как Adam, делают больше, чем просто используют текущий градиент. Они также отслеживают недавние градиенты и учитывают эту историю при вычислении следующего обновления параметров.

Если Adam уже это делает, что добавляет вложенное обучение?

Разница в том, что может обучаться. В стандартном глубоком обучении правила, по которым Adam обновляет своё состояние, фиксируются до начала обучения и не меняются. Adam адаптирует параметры, но никто не адаптирует сам Adam. 

Вложенное обучение вводит процесс мета-обучения над оптимизатором, который может оценивать его работу и со временем модифицировать его правила. Оптимизатор перестаёт быть фиксированной инфраструктурой и становится тем, что само может улучшаться.

Как уровни взаимодействуют

Эти уровни не работают изолированно. Между ними идёт обмен информацией, и каждый уровень влияет на то, как другие учатся со временем. 

• Уровень параметров постепенно накапливает долгосрочные знания в процессе обучения. 
• Уровень памяти предоставляет недавний контекст, помогая системе быстрее реагировать на новую информацию. 
• Оптимизатор определяет, как обновляются параметры. 

Совместно уровни позволяют модели балансировать краткосрочную адаптацию и долгосрочное обучение.

Архитектура Hope

Hope — это демонстрационная архитектура из статьи: самоизменяющийся вариант архитектуры Titans, созданный Google для проверки того, работает ли вложенное обучение на практике. Она сочетает память, способную переписывать собственные правила обновления, с Continuum Memory System, чтобы модель могла продолжать учиться на нескольких скоростях вместо «заморозки» после обучения.

Самоизменяющиеся Titans

Titans включают модули памяти для хранения информации, которую модель считает удивительной или важной. Вместо того чтобы полагаться только на свои параметры, модель переносит полезную информацию вперёд через эти модули памяти.

Hope идёт дальше. По мере поступления новых данных модули памяти продолжают обновляться. Система также настраивает правила, которыми она будет руководствоваться при будущих обновлениях. Поэтому архитектура называется самоизменяющейся.

Continuum Memory System

Большинство архитектур памяти делят её на два «ведра»: краткосрочную и долгосрочную. Информация либо хранится во временном быстром буфере, либо консолидируется в стабильном долговременном хранилище. Hope заменяет это бинарное разделение континуумом — спектром модулей памяти, обновляющихся с разной скоростью.

Некоторые компоненты памяти обновляются быстро и фиксируют недавнюю информацию. Другие меняются медленнее и сохраняют стабильные знания, накопленные за более длительные периоды. Это значит, что новая информация может входить через быстро обновляющиеся слои, не нарушая сразу медленную, более стабильную память.

Как показывает себя Hope

В статье оценивали Hope в задачах языкового моделирования, рассуждений на длинном контексте, непрерывного обучения и инкорпорации знаний, используя разные бейслайны для разных задач. Языковое моделирование и здравый смысл сравнивались с Titans, Samba и стандартным трансформером, а в задачах извлечения из длинного контекста Hope и Titans сравнивались с TTT и Mamba2.

На бенчмарках языкового моделирования и здравого смысла Hope показала меньшую перплексию и более высокую точность, чем все три бейслайна.

Ещё более показательные результаты были в задачах, где модели нужно извлечь конкретный фрагмент информации, спрятанный в длинном контексте. В статье тестировались несколько вариантов по возрастанию сложности: извлечение пароля, числа и самый сложный вариант — извлечение на уровне слов. Hope превзошла базовые модели во всех вариантах, причём вклад в улучшение на длинном контексте внёс именно дизайн CMS.

Архитектура также хорошо проявила себя на бенчмарках непрерывного обучения. При обучении на последовательностях задач, которые обычно вызывают катастрофическое забывание, Hope сохраняла больше ранее усвоенных знаний, чем модели сравнения, приведённые в статье.

Вложенное обучение и другие подходы к непрерывному обучению

Вложенное обучение — не первая попытка решить проблему катастрофического забывания. На протяжении многих лет исследователи предлагали методы непрерывного обучения, позволяющие моделям сохранять ранее усвоенные знания при изучении новых задач. Рассмотрим ключевые различия между предлагавшимись подходами.

Методы вроде EWC, Progressive Neural Networks и Experience Replay — это нейросетевые техники, которые замедляют забывание во время обучения. Базовая архитектура при этом в целом остаётся прежней. 

Вложенное обучение переосмысливает саму архитектуру, чтобы обучение происходило на нескольких уровнях и временных шкалах: быстро меняющаяся память обрабатывает недавний опыт, а медленнее меняющиеся параметры фиксируют долгосрочные знания.

Вложенное обучение на практике

Неофициальные репродукции от сообщества начали появляться на GitHub, давая исследователям возможность поэкспериментировать с архитектурой и попробовать воспроизвести опубликованные результаты.

При этом у вложенного обучения нет официальных интеграций с основными фреймворками глубокого обучения, и вы не можете просто pip install nested learning и подключить его к существующему проекту на PyTorch или JAX. Построение и оценка таких моделей по-прежнему требуют работы напрямую с исследовательским кодом.

Но направление ориентировано на внедрение сообществом. Следите за тем, как модули Hope или Continuum Memory System (CMS) будут интегрироваться в мейнстримные фреймворки и использоваться в продакшене.

Заключение

Вложенное обучение ставит под вопрос одну из базовых предпосылок современного глубокого обучения. Вместо того чтобы делать модели способнее путём наращивания слоёв, оно исследует, может ли интеллект возникать из множества процессов обучения, работающих на разных временных шкалах.

Этот сдвиг меняет и наше представление об оптимизации. Традиционное глубокое обучение рассматривает архитектуру модели и алгоритм обучения как отдельные компоненты. Вложенное обучение сближает их с целью сделать само обучение иерархическим.

Это всё ещё ранние дни. Вложенное обучение остаётся активной областью исследований, и многим его идеям потребуется более широкая валидация, прежде чем они станут частью мейнстримного машинного обучения. Если вы хотите укрепить базу в концепциях, лежащих в основе вложенного обучения — нейросетях, оптимизации и механизмах памяти, — рекомендую ознакомиться с нашим комплексным треком Deep Learning in Python.