Nested Learning: sposób na katastrofalne zapominanie

Czym jest Nested Learning?

Nested Learning to paradygmat uczenia maszynowego, który traktuje pojedynczy model nie jako jedną architekturę trenowaną osobnym optymalizatorem, lecz jako zbiór zagnieżdżonych problemów optymalizacyjnych, z których każdy uczy się we własnym tempie. Przedefiniowuje architekturę modelu i algorytm treningu jako ten sam rodzaj bytu — różne poziomy uczenia, które działają i adaptują się równocześnie.

Organizuje system uczenia maszynowego w wiele poziomów uczenia działających w różnych skalach czasu. 

• Poziom parametrów uczy się powoli, przez tysiące kroków treningowych. 
• Poziom pamięci decyduje, jakie informacje zachować w kontekście ostatnich wejść. 
• Poziom optymalizatora uczy się, jak aktualizować poziomy poniżej. 

Wyższe poziomy mogą wpływać na zachowanie niższych, co czyni tę strukturę hierarchiczną, a nie tylko modularną.

Kluczowe zasady nested learning

Nested learning opiera się na czterech kluczowych zasadach:

• Architektura i optymalizacja są częścią jednego systemu uczenia. W Nested Learning optymalizator staje się elementem procesu uczenia i może się z czasem adaptować.
• Różne komponenty uczą się w różnych tempach. Rdzenne parametry modelu mogą aktualizować się wolno, przez tysiące przykładów, mechanizm krótkoterminowego kontekstu — przy każdym nowym wejściu, a system pamięci — gdzieś pomiędzy.
• Głębokość pochodzi ze zagnieżdżonych procesów uczenia. Tradycyjne deep learning buduje głębokość, dodając warstwy. Nested Learning tworzy głębokość przez spiętrzanie wielu poziomów uczenia i adaptacji, gdzie parametry, systemy pamięci, optymalizatory i mechanizmy aktualizacji mogą uczyć się w różnych skalach czasu.
• Uczenie może trwać po wdrożeniu. Takie komponenty jak systemy pamięci i mechanizmy uczenia mogą adaptować się także podczas wnioskowania.

Nested learning vs tradycyjne deep learning

Przez lata polegaliśmy na architekturze deep learning, w której dane przepływają przez sieć neuronową, mierzy się, jak bardzo mylą się predykcje modelu (tzw. strata), a następnie uruchamia się optymalizator, który dostraja parametry modelu, by tę pomyłkę zmniejszyć. 

Powtarzasz to, aż model jest wystarczająco dobry. Potem zamrażasz parametry i wdrażasz model. Od tego momentu nie uczy się z nowych danych, nie adaptuje do zmian w rozkładzie i nie poprawia z użyciem.

Nested Learning to zmienia. Oprócz parametrów modelu, moduły pamięci, optymalizatory i inne komponenty również kontynuują uczenie w czasie.

Dlaczego Nested Learning ma znaczenie

Model uczy się nowych informacji, aktualizując swoje parametry, ale te same aktualizacje mogą nadpisywać wcześniej zdobytą wiedzę. To zjawisko nazywa się katastrofalnym zapominaniem.

Badacze zaproponowali techniki takie jak zamrażanie warstw, metody regularyzacji jak Elastic Weight Consolidation (EWC) oraz bufory odtwarzania, by zachować dotychczasową wiedzę podczas uczenia nowych zadań. Jednak te podejścia mają chronić model przed zapominaniem, a nie fundamentalnie zmieniać sposób uczenia.

Nested Learning argumentuje, że ten jednostrumieniowy rytm uczenia to jeden z powodów, dla których uczenie ciągłe pozostaje tak trudne. Zamiast polegać na jednym zbiorze parametrów, który ma wchłonąć każdą nową informację, rozkłada adaptację na wiele poziomów uczenia. 

Różne poziomy adaptują się w różnym tempie, co pozwala włączać nowe informacje bez ciągłego przepisywania starszej wiedzy. Pomysł częściowo inspirowany jest ludzką poznawczością. W końcu nie całe uczenie przebiega w tym samym tempie:

• Od­ruchy mogą adaptować się niemal natychmiast. 
• Pamięć krótkotrwała tworzy się w minutach lub godzinach. 
• Przekonania, nawyki i eksperckość kształtują się miesiącami lub latami.

Jak działa Nested Learning

Nested Learning organizuje system uczenia maszynowego w poziomy — każdy jest odrębnym procesem uczenia z własną rolą i tempem aktualizacji. Aby zrozumieć ich działanie, warto przejść przez każdy z nich i zobaczyć, jak się łączą.

Poziom parametrów

Parametry to wagi wewnątrz sieci neuronowej, w których zapisana jest wiedza wyniesiona z danych treningowych. Podczas treningu optymalizator aktualizuje te wagi po każdej paczce, korzystając z obliczonych gradientów. 

Każda aktualizacja jest mała, więc znaczące zmiany zachodzą stopniowo, przez wiele kroków treningowych. W efekcie poziom parametrów uczy się stabilnej, długoterminowej wiedzy, ale wolno adaptuje się do nowości.

Poziom pamięci

Poziom pamięci przechwytuje informacje z ostatnich wejść, których poziom parametrów uczy się zbyt wolno. 

Zamiast przechowywać wszystko, co widzi, zachowuje najbardziej przydatne informacje, a resztę odrzuca. Dzięki temu model może dostosować się do nowego kontekstu bez natychmiastowej aktualizacji wiedzy długoterminowej.

Poziom optymalizatora

Optymalizator decyduje, jak aktualizować parametry modelu podczas treningu. Korzysta z gradientów obliczonych na podstawie predykcji modelu, by określić rozmiar i kierunek każdej aktualizacji.

Adaptacyjne optymalizatory, takie jak Adam, robią więcej niż używanie bieżącego gradientu. Śledzą też ostatnie gradienty i wykorzystują tę historię przy obliczaniu kolejnej aktualizacji parametrów.

Skoro Adam już to robi, co dodaje Nested Learning?

Różnica tkwi w tym, co może się uczyć. W standardowym deep learning reguły rządzące aktualizacjami stanu Adama są ustalone przed startem treningu i nigdy się nie zmieniają. Adam adaptuje parametry, ale nic nie adaptuje Adama. 

Nested Learning wprowadza meta-uczenie ponad optymalizatorem, które może ocenić jego działanie i z czasem modyfikować jego reguły. Optymalizator przestaje być stałą infrastrukturą i staje się czymś, co samo może się ulepszać.

Jak poziomy współdziałają

Te różne poziomy nie działają niezależnie. Informacje płyną między nimi, a każdy wpływa na to, jak pozostałe uczą się w czasie. 

• Poziom parametrów stopniowo buduje długoterminową wiedzę poprzez trening. 
• Poziom pamięci dostarcza świeżego kontekstu, który pomaga szybciej reagować na nowe informacje. 
• Optymalizator określa, jak aktualizowane są parametry. 

Razem poziomy pozwalają zrównoważyć krótkoterminową adaptację z długoterminowym uczeniem.

Architektura Hope

Hope to koncepcyjna architektura z pracy — samomodyfikująca się odmiana Titans, którą Google zbudował, by sprawdzić, czy nested learning działa w praktyce. Łączy pamięć, która potrafi przepisywać własne reguły aktualizacji, z Continuum Memory System, dzięki czemu może uczyć się w kilku różnych tempach zamiast zastygać po treningu.

Samomodyfikujące się Titans

Titans zawierają moduły pamięci do przechowywania informacji, które model uznaje za zaskakujące lub ważne. Zamiast polegać wyłącznie na swoich parametrach, model przenosi użyteczne informacje dalej właśnie przez te moduły pamięci.

Hope idzie o krok dalej. Gdy napływają nowe dane, moduły pamięci nadal się aktualizują. System dostosowuje także reguły, których użyje przy przyszłych aktualizacjach. Dlatego architekturę nazywa się samomodyfikującą.

Continuum Memory System

Większość architektur pamięci dzieli ją na dwa kubełki: krótkoterminowy i długoterminowy. Informacje żyją albo w szybkim, tymczasowym magazynie, albo są konsolidowane w stabilnej pamięci długoterminowej. Hope zastępuje ten binarny podział kontinuum — spektrum modułów pamięci aktualizujących się w różnych tempach.

Niektóre komponenty pamięci aktualizują się szybko i przechwytują świeże informacje. Inne zmieniają się wolniej i przechowują stabilną wiedzę akumulowaną przez dłuższy czas. Dzięki temu nowe informacje mogą trafiać przez warstwy aktualizujące się szybko, bez natychmiastowego zaburzania wolniejszej, stabilniejszej pamięci.

Jak Hope wypada w testach

Praca oceniała Hope w modelowaniu języka, rozumowaniu na długich kontekstach, uczeniu ciągłym i włączaniu wiedzy, używając różnych baz dla różnych zadań. Modelowanie języka i rozumowanie zdroworozsądkowe porównano z Titans, Samba i standardowym transformerem, a zadania długiego kontekstu zestawiły Hope i Titans z TTT oraz Mamba2.

W benchmarkach modelowania języka i rozumowania zdroworozsądkowego Hope osiągnął niższą perplexity i wyższą dokładność niż wszystkie trzy baseline’y.

Najbardziej wymowne wyniki pochodzą z zadań wymagających odzyskania konkretnej informacji ukrytej w długim kontekście. Praca testowała kilka wariantów o rosnącej trudności: odzyskiwanie klucza, liczby oraz najtrudniejszy wariant — na poziomie słów. Hope przewyższył baseline’y we wszystkich wariantach, a projekt CMS wprost przyczynił się do zysków w długim kontekście.

Architektura dobrze wypada także w benchmarkach uczenia ciągłego. Trening na sekwencjach zadań typowo powodujących katastrofalne zapominanie sprawiał, że Hope zachowywał więcej wcześniej zdobytej wiedzy niż modele porównawcze raportowane w pracy.

Nested Learning vs inne podejścia do uczenia ciągłego

Nested Learning nie jest pierwszą próbą rozwiązania katastrofalnego zapominania. Od lat badacze proponują techniki uczenia ciągłego, które pozwalają modelom zachować wcześniej zdobytą wiedzę przy uczeniu nowych zadań. Zobaczmy kluczowe różnice między podejściami.

Metody takie jak EWC, Progressive Neural Networks i Experience Replay to sieci neuronowe, które spowalniają zapominanie podczas treningu. Podstawowa architektura w dużej mierze pozostaje taka sama. 

Nested Learning na nowo przemyśla samą architekturę — tak, aby uczenie zachodziło na wielu poziomach i w różnych skalach czasu: szybko zmieniająca się pamięć obsługuje świeże doświadczenia, a wolniej zmieniające się parametry przechwytują wiedzę długoterminową.

Nested Learning w praktyce

Na GitHubie zaczęły pojawiać się nieoficjalne reprodukcje społeczności, które dają badaczom możliwość eksperymentowania z architekturą i prób odtworzenia opublikowanych wyników.

Niemniej nested learning nie ma oficjalnych integracji z głównymi frameworkami deep learning i nie możesz po prostu pip install nested learning i dodać go do istniejącego projektu w PyTorch lub JAX. Budowanie i ocena tych modeli wciąż wymagają pracy bezpośrednio na kodzie badawczym.

Kierunek jest jednak nastawiony na adopcję przez społeczność. Wypatruj więc modułów Hope lub Continuum Memory System (CMS) integrowanych z głównymi frameworkami i wdrażanych w systemach produkcyjnych.

Na koniec

Nested Learning podważa jedno z podstawowych założeń współczesnego deep learning. Zamiast zwiększać możliwości modeli przez dokładanie kolejnych warstw, bada, czy inteligencja może wyłaniać się z wielu procesów uczenia działających w różnych skalach czasu.

Ta zmiana wpływa też na to, jak myślimy o optymalizacji. Tradycyjne deep learning traktuje architekturę modelu i algorytm uczenia jako osobne komponenty. Nested Learning zbliża je do siebie, by uczynnić samo uczenie hierarchicznym.

To wciąż wczesne dni. Nested Learning pozostaje aktywnym obszarem badań i wiele jego pomysłów będzie potrzebować szerszej walidacji, zanim staną się częścią głównego nurtu uczenia maszynowego. Jeśli chcesz zbudować solidniejsze podstawy koncepcji stojących za nested learning — w tym sieci neuronowych, optymalizacji i mechanizmów pamięci — polecam nasz kompleksowy kierunek Deep Learning in Python.