Nested Learning: Solusi untuk Catastrophic Forgetting

Apa itu Nested Learning?

Nested Learning adalah paradigma machine learning yang memandang satu model bukan sebagai satu arsitektur yang dilatih oleh optimizer terpisah, melainkan sebagai sekumpulan masalah optimisasi bertingkat yang masing-masing belajar pada kecepatannya sendiri. Pendekatan ini membingkai ulang arsitektur model dan algoritma pelatihannya sebagai hal yang sejenis, tingkat-tingkat pembelajaran yang berjalan dan beradaptasi secara bersamaan.

Pendekatan ini menyusun sistem machine learning menjadi beberapa tingkat pembelajaran yang beroperasi pada skala waktu berbeda. 

• Tingkat parameter belajar secara lambat selama ribuan langkah pelatihan. 
• Tingkat memori memutuskan informasi apa yang dipertahankan dari input terbaru. 
• Tingkat optimizer mempelajari cara memperbarui tingkat di bawahnya. 

Tingkat yang lebih tinggi dapat memengaruhi bagaimana tingkat yang lebih rendah berperilaku, yang menjadikannya struktur hierarkis, bukan sekadar modular.

Prinsip-prinsip utama nested learning

Nested learning mengikuti empat prinsip utama berikut:

• Arsitektur dan optimisasi adalah bagian dari sistem pembelajaran yang sama. Dalam Nested Learning, optimizer menjadi bagian dari proses pembelajaran dan dapat beradaptasi seiring waktu.
• Komponen berbeda belajar pada kecepatan berbeda. Parameter inti model mungkin diperbarui secara lambat selama ribuan contoh, sementara mekanisme konteks jangka pendek diperbarui pada setiap input baru, dan sistem memori diperbarui di antara keduanya.
• Kedalaman berasal dari proses pembelajaran bertingkat. Deep learning tradisional menciptakan kedalaman dengan menambahkan layer. Nested Learning menciptakan kedalaman dengan menumpuk beberapa tingkat pembelajaran dan adaptasi, di mana parameter, sistem memori, optimizer, dan mekanisme pembaruan semuanya dapat belajar pada skala waktu berbeda.
• Pembelajaran dapat berlanjut setelah deployment. Komponen seperti sistem memori dan mekanisme pembelajaran juga dapat terus beradaptasi saat inferensi.

Nested learning vs deep learning tradisional

Selama bertahun-tahun, kita mengandalkan arsitektur deep learning, di mana data mengalir melalui jaringan saraf, mengukur seberapa meleset prediksi model (disebut loss), dan menjalankan optimizer yang menyesuaikan parameter model untuk mengurangi kesalahan tersebut. 

Ulangi proses ini sampai model cukup baik. Lalu parameter dibekukan dan model dideploy. Sejak saat itu, model tidak belajar dari input baru, tidak beradaptasi dengan pergeseran data, dan tidak membaik seiring penggunaan.

Nested Learning mengubah itu. Selain parameter model, modul memori, optimizer, dan komponen lain juga terus belajar seiring waktu.

Mengapa Nested Learning Penting

Model mempelajari informasi baru dengan memperbarui parameternya, tetapi pembaruan yang sama dapat menimpa pengetahuan yang dipelajari sebelumnya. Fenomena ini dikenal sebagai catastrophic forgetting.

Para peneliti telah memperkenalkan teknik seperti membekukan layer, metode regularisasi seperti Elastic Weight Consolidation (EWC), dan replay buffer untuk menjaga pengetahuan sebelumnya saat mempelajari tugas baru. Namun pendekatan-pendekatan tersebut dirancang untuk melindungi model dari lupa, bukan mengubah secara mendasar bagaimana pembelajaran terjadi.

Nested Learning berpendapat bahwa pendekatan satu skala waktu ini adalah salah satu alasan pembelajaran berkelanjutan tetap sangat sulit. Alih-alih mengandalkan satu set parameter untuk menyerap setiap informasi baru, pendekatan ini menyebarkan adaptasi ke beberapa tingkat pembelajaran. 

Tingkat yang berbeda beradaptasi pada kecepatan berbeda, sehingga memungkinkan memasukkan informasi baru tanpa terus-menerus menulis ulang pengetahuan lama. Gagasan ini sebagian terinspirasi dari cara kognisi manusia bekerja. Bagaimanapun, tidak semua pembelajaran terjadi pada tempo yang sama:

• Refleks dapat beradaptasi hampir seketika. 
• Memori jangka pendek terbentuk dalam hitungan menit atau jam. 
• Keyakinan, kebiasaan, dan keahlian mungkin membutuhkan waktu berbulan-bulan atau bertahun-tahun untuk berkembang.

Bagaimana Nested Learning Bekerja

Nested Learning menyusun sistem machine learning menjadi tingkat-tingkat, masing-masing merupakan proses pembelajaran yang berbeda dengan peran dan kecepatan pembaruan sendiri. Untuk memahaminya, ada baiknya menelusuri tiap tingkat dan melihat bagaimana mereka terhubung.

Tingkat parameter

Parameter adalah bobot di dalam jaringan saraf yang menyimpan apa yang dipelajari model dari data latihnya. Selama pelatihan, optimizer memperbarui bobot ini setelah setiap batch menggunakan gradien yang dihitung. 

Setiap pembaruan kecil, sehingga perubahan bermakna terjadi secara bertahap selama banyak langkah pelatihan. Akibatnya, tingkat parameter mempelajari pengetahuan jangka panjang yang stabil namun lambat beradaptasi terhadap informasi baru.

Tingkat memori

Tingkat memori menangkap informasi dari input terbaru yang terlalu lambat dipelajari di tingkat parameter. 

Alih-alih menyimpan semua yang dilihatnya, tingkat ini mempertahankan informasi paling berguna dan membuang sisanya. Ini memungkinkan model beradaptasi dengan konteks baru tanpa segera memperbarui pengetahuan jangka panjangnya.

Tingkat optimizer

Optimizer memutuskan bagaimana parameter model harus diperbarui selama pelatihan. Ia menggunakan gradien yang dihitung dari prediksi model untuk menentukan ukuran dan arah tiap pembaruan.

Optimizer adaptif seperti Adam melakukan lebih dari sekadar menggunakan gradien saat ini. Ia juga melacak gradien terbaru dan menggunakan riwayat itu saat menghitung pembaruan parameter berikutnya.

Jika Adam sudah melakukan ini, apa yang ditambahkan Nested Learning?

Perbedaannya terletak pada apa yang bisa dipelajari. Dalam deep learning standar, aturan yang mengatur bagaimana Adam memperbarui statusnya ditetapkan sebelum pelatihan dimulai dan tidak pernah berubah. Adam mengadaptasi parameter, tetapi tidak ada yang mengadaptasi Adam. 

Nested Learning memperkenalkan proses meta-learning di atas optimizer yang dapat mengevaluasi kinerja optimizer dan memodifikasi aturannya seiring waktu. Optimizer berhenti menjadi infrastruktur tetap dan berubah menjadi sesuatu yang juga dapat ditingkatkan.

Bagaimana antar-tingkat berinteraksi

Tingkat-tingkat yang berbeda ini tidak bekerja secara independen. Informasi mengalir di antaranya, dan setiap tingkat memengaruhi bagaimana tingkat lain belajar dari waktu ke waktu. 

• Tingkat parameter secara bertahap membangun pengetahuan jangka panjang melalui pelatihan. 
• Tingkat memori menyediakan konteks terbaru yang membantu sistem merespons informasi baru lebih cepat. 
• Optimizer menentukan bagaimana parameter diperbarui. 

Bersama-sama, tingkat-tingkat ini memungkinkan model menyeimbangkan adaptasi jangka pendek dengan pembelajaran jangka panjang.

Arsitektur Hope

Hope adalah arsitektur bukti-konsep dalam paper, varian self-modifying dari arsitektur Titans yang dibangun Google untuk menguji apakah nested learning benar-benar bekerja dalam praktik. Arsitektur ini memasangkan memori yang dapat menulis ulang aturan pembaruannya sendiri dengan Continuum Memory System, sehingga dapat terus belajar pada beberapa kecepatan berbeda alih-alih membeku setelah pelatihan.

Titans yang dapat memodifikasi diri

Titans memiliki modul memori untuk menyimpan informasi yang dianggap mengejutkan atau penting oleh model. Alih-alih hanya mengandalkan parameternya, model membawa informasi berguna ke depan melalui modul-modul memori ini.

Hope melangkah lebih jauh. Saat data baru masuk, modul memori terus diperbarui. Sistem juga menyesuaikan aturan yang digunakan untuk pembaruan di masa depan. Itulah mengapa arsitektur ini disebut self-modifying.

Continuum Memory System

Kebanyakan arsitektur memori membagi memori menjadi dua kategori: jangka pendek dan jangka panjang. Informasi hidup dalam penyimpanan cepat dan sementara atau terkonsolidasi ke penyimpanan jangka panjang yang stabil. Hope menggantikan pembagian biner tersebut dengan kontinum, spektrum modul memori yang diperbarui pada kecepatan berbeda.

Beberapa komponen memori diperbarui dengan cepat dan menangkap informasi terbaru. Komponen lain berubah lebih lambat dan mempertahankan pengetahuan stabil yang terakumulasi selama periode lebih panjang. Artinya, informasi baru dapat masuk melalui lapisan yang diperbarui cepat tanpa langsung mengganggu memori yang lebih lambat dan stabil.

Kinerja Hope

Paper tersebut mengevaluasi Hope pada pemodelan bahasa, penalaran konteks panjang, continual learning, dan pengintegrasian pengetahuan, menggunakan baseline berbeda untuk tugas yang berbeda. Pemodelan bahasa dan penalaran common-sense dibenchmark terhadap Titans, Samba, dan transformer standar, sementara tugas retrieval konteks panjang membandingkan Hope dan Titans dengan TTT dan Mamba2.

Pada benchmark pemodelan bahasa dan penalaran common-sense, Hope mencapai perplexity lebih rendah dan akurasi lebih tinggi daripada ketiga baseline.

Hasil yang lebih menggugah datang dari tugas yang mengharuskan model mengambil sepotong informasi spesifik yang tersembunyi dalam konteks panjang. Paper ini menguji beberapa varian dengan tingkat kesulitan meningkat: pass-key retrieval, number retrieval, dan varian tersulit, word-level retrieval. Hope mengungguli baseline di semua varian, dengan desain CMS secara khusus berkontribusi pada peningkatan konteks panjang.

Arsitektur ini juga berkinerja baik pada benchmark continual learning. Ketika dilatih pada rangkaian tugas yang biasanya menyebabkan catastrophic forgetting, Hope mempertahankan lebih banyak pengetahuan yang telah dipelajari sebelumnya dibandingkan model pembanding yang dilaporkan dalam paper.

Nested Learning vs Pendekatan Continual Learning Lainnya

Nested Learning bukan upaya pertama untuk mengatasi catastrophic forgetting. Selama bertahun-tahun, para peneliti telah mengusulkan teknik continual learning agar model dapat mempertahankan pengetahuan yang telah dipelajari sembari mempelajari tugas baru. Mari lihat perbedaan kunci di antara pendekatan-pendekatan yang diusulkan.

Metode seperti EWC, Progressive Neural Networks, dan Experience Replay adalah jaringan saraf yang memperlambat pelupaan saat pelatihan. Arsitektur dasarnya sebagian besar tetap sama. 

Nested Learning meninjau ulang arsitekturnya sendiri, sehingga pembelajaran terjadi di berbagai tingkat dan skala waktu: memori yang cepat berubah menangani pengalaman terbaru, sementara parameter yang lebih lambat berubah menangkap pengetahuan jangka panjang.

Nested Learning dalam Praktik

Reproduksi tidak resmi dari komunitas mulai bermunculan di GitHub, memberi peneliti cara untuk bereksperimen dengan arsitektur ini dan mencoba mereproduksi hasil yang dipublikasikan.

Meski begitu, Nested learning belum memiliki integrasi resmi dengan kerangka kerja deep learning utama, dan Anda tidak bisa sekadar pip install nested learning dan menambahkannya ke proyek PyTorch atau JAX yang ada. Membangun dan mengevaluasi model-model ini masih memerlukan kerja langsung dengan kode riset.

Namun arahnya berfokus pada adopsi komunitas. Jadi pantau integrasi modul Hope atau Continuum Memory System (CMS) ke dalam kerangka kerja arus utama dan penggunaannya dalam sistem produksi.

Penutup

Nested Learning menantang salah satu asumsi inti di balik deep learning modern. Alih-alih membuat model lebih mampu dengan menumpuk lebih banyak layer, pendekatan ini mengeksplorasi apakah kecerdasan dapat muncul dari beberapa proses pembelajaran yang beroperasi pada skala waktu berbeda.

Perubahan itu juga mengubah cara kita memandang optimisasi. Deep learning tradisional memperlakukan arsitektur model dan algoritma pembelajaran sebagai komponen terpisah. Nested Learning mendekatkan keduanya dengan tujuan menjadikan pembelajaran itu sendiri bersifat hierarkis.

Ini masih masa awal. Nested Learning tetap menjadi area riset aktif, dan banyak idenya perlu divalidasi lebih luas sebelum menjadi bagian dari machine learning arus utama. Jika Anda ingin membangun fondasi yang lebih kuat dalam konsep di balik nested learning, termasuk jaringan saraf, optimisasi, dan mekanisme memori, saya sarankan meninjau track komprehensif kami Deep Learning in Python.