Nested Learning: ทางแก้ปัญหา Catastrophic Forgetting

Nested Learning คืออะไร?

Nested Learning คือกระบวนทัศน์แมชชีนเลิร์นนิงที่ไม่ได้มองโมเดลเป็นสถาปัตยกรรมเดียวที่ถูกเทรนด้วย optimizer แยกต่างหาก แต่เป็นชุดของปัญหาการหาค่าเหมาะที่สุดที่ซ้อนกัน ซึ่งแต่ละระดับเรียนรู้ด้วยความเร็วของตัวเอง มันจัดกรอบสถาปัตยกรรมของโมเดลและอัลกอริทึมการเทรนให้เป็นสิ่งชนิดเดียวกัน คือระดับของการเรียนรู้ที่ทำงานและปรับตัวไปพร้อมกัน

มันจัดระบบแมชชีนเลิร์นนิงออกเป็นหลายระดับการเรียนรู้ที่ทำงานบนช่วงเวลาต่างกัน

• ระดับพารามิเตอร์ เรียนรู้ช้า ๆ ตลอดหลายพันสเต็ปการเทรน
• ระดับหน่วยความจำ ตัดสินใจว่าจะเก็บข้อมูลใดจากอินพุตล่าสุดไว้บ้าง
• ระดับออปติไมเซอร์ เรียนรู้วิธีอัปเดตระดับที่อยู่ต่ำลงไป

ระดับที่สูงกว่าสามารถมีอิทธิพลต่อพฤติกรรมของระดับที่ต่ำกว่าได้ ซึ่งทำให้โครงสร้างนี้เป็นแบบลำดับชั้น ไม่ใช่แค่แบบโมดูลาร์

หลักการสำคัญของ nested learning

Nested learning ยึดหลักสำคัญ 4 ข้อต่อไปนี้:

• สถาปัตยกรรมและการทำให้เหมาะที่สุดเป็นส่วนหนึ่งของระบบการเรียนรู้เดียวกัน ใน Nested Learning ตัว optimizer กลายเป็นส่วนหนึ่งของกระบวนการเรียนรู้และสามารถปรับตัวได้ตามกาลเวลา
• องค์ประกอบต่าง ๆ เรียนรู้ด้วยความเร็วต่างกัน พารามิเตอร์แกนกลางของโมเดลอาจอัปเดตช้า ๆ ตลอดตัวอย่างนับพัน ขณะที่กลไกบริบทระยะสั้นอัปเดตทุกอินพุตใหม่ และระบบหน่วยความจำอัปเดตด้วยความเร็วที่อยู่ระหว่างกลาง
• ความลึกมาจากกระบวนการเรียนรู้ที่ซ้อนกัน ดีปเลิร์นนิงแบบดั้งเดิมสร้างความลึกด้วยการซ้อนเลเยอร์ Nested Learning สร้างความลึกด้วยการวางซ้อนหลายระดับของการเรียนรู้และการปรับตัว ซึ่งพารามิเตอร์ ระบบหน่วยความจำ ออปติไมเซอร์ และกลไกการอัปเดตต่างก็เรียนรู้บนสเกลเวลาที่ต่างกันได้
• การเรียนรู้สามารถดำเนินต่อหลังดีพลอย องค์ประกอบอย่างระบบหน่วยความจำและกลไกการเรียนรู้สามารถปรับตัวต่อได้ในช่วง inference เช่นกัน

Nested learning เทียบกับดีปเลิร์นนิงแบบดั้งเดิม

ตลอดหลายปีที่ผ่านมา เราได้พึ่งพาd on สถาปัตยกรรมดีปเลิร์นนิง ที่ซึ่งข้อมูลไหลผ่านโครงข่ายประสาท วัดความคลาดเคลื่อนของพยากรณ์ของโมเดล (เรียกว่า loss) and เรียกใช้ optimizer เพื่อปรับพารามิเตอร์ของโมเดลให้ลดความผิดพลาดนั้น

ทำซ้ำเช่นนี้จนโมเดลมีประสิทธิภาพเพียงพอ แล้วจึงแช่แข็งพารามิเตอร์และดีพลอยโมเดล นับจากนั้น โมเดลจะไม่เรียนรู้จากอินพุตใหม่ ไม่ปรับให้เข้ากับการเปลี่ยนแปลงของข้อมูล และไม่ดีขึ้นตามการใช้งาน

Nested Learning เปลี่ยนแปลงจุดนี้ นอกเหนือจากพารามิเตอร์ของโมเดลแล้ว โมดูลหน่วยความจำ ออปติไมเซอร์ และองค์ประกอบอื่น ๆ ก็ยังคงเรียนรู้ต่อไปตามกาลเวลe.

เหตุใด Nested Learning จึงสำคัญ

โมเดลเรียนรู้ข้อมูลใหม่โดยการอัปเดตพารามิเตอร์ แต่การอัปเดตเดียวกันนั้นอาจไปเขียนทับความรู้ที่เคยเรียนมาก่อน ปรากฏการณ์นี้เรียกว่า catastrophic forgetting.

นักวิจัยได้เสนอเทคนิคต่าง ๆ เช่นการแช่แข็งเลเยอร์ การทำเรกูลาไรซ์แบบ Elastic Weight Consolidation (EWC) และ replay buffer เพื่อคงรักษาความรู้เดิมขณะเรียนรู้งานใหม่ แต่แนวทางเหล่านี้ออกแบบมาเพื่อปกป้องโมเดลจากการลืม ไม่ได้เปลี่ยนวิธีที่การเรียนรู้เกิดขึ้นอย่างพื้นฐาน

Nested Learning ให้เหตุผลว่าวิธีที่ใช้สเกลเวลาเดียวเป็นหนึ่งในสาเหตุที่ การเรียนรู้อย่างต่อเนื่อง ยังคงยาก แทนที่จะพึ่งพาพารามิเตอร์ชุดเดียวให้ดูดซึมข้อมูลใหม่ทั้งหมด มันกระจายการปรับตัวไปตามหลายระดับการเรียนรู้

แต่ละระดับปรับตัวด้วยความเร็วต่างกัน ทำให้ผนวกข้อมูลใหม่เข้าไปได้โดยไม่ต้องเขียนทับความรู้เดิมอยู่ตลอด แนวคิดนี้ได้แรงบันดาลใจบางส่วนจากการรับรู้ของมนุษย์ ท้ายที่สุดแล้ว ไม่ใช่การเรียนรู้ทุกอย่างจะเกิดขึ้นด้วยจังหวะเดียวกัน:

• ปฏิกิริยาตอบสนองสามารถปรับตัวได้แทบจะทันที
• ความทรงจำระยะสั้นก่อตัวภายในไม่กี่นาทีหรือชั่วโมง
• ความเชื่อ นิสัย และความเชี่ยวชาญอาจต้องใช้เวลาเป็นเดือนหรือปีในการพัฒนา

Nested Learning ทำงานอย่างไร

Nested Learning จัดระเบียบระบบแมชชีนเลิร์นนิงให้เป็นหลายระดับ โดยแต่ละระดับเป็นกระบวนการเรียนรู้ที่มีบทบาทและความถี่การอัปเดตของตัวเอง เพื่อทำความเข้าใจการทำงาน ลองเดินผ่านแต่ละระดับและดูว่ามันเชื่อมโยงกันอย่างไร

ระดับพารามิเตอร์

พารามิเตอร์คือเวทภายในโครงข่ายประสาทที่เก็บสิ่งที่โมเดลเรียนรู้จากข้อมูลฝึก ระหว่างการเทรน optimizer จะอัปเดตเวทเหล่านี้หลังแต่ละแบตช์โดยใช้กราเดียนต์ที่คำนวณได้

แต่ละการอัปเดตมีขนาดเล็ก จึงเกิดการเปลี่ยนแปลงที่มีนัยสำคัญอย่างค่อยเป็นค่อยไปตลอดหลายสเต็ป ส่งผลให้ระดับพารามิเตอร์เรียนรู้ความรู้ระยะยาวที่เสถียร แต่ปรับตัวต่อข้อมูลใหม่ได้ช้า

ระดับหน่วยความจำ

ระดับหน่วยความจำจับข้อมูลจากอินพุตล่าสุดที่ระดับพารามิเตอร์ช้าเกินกว่าจะเรียนรู้ทัน

แทนการเก็บทุกอย่างที่เห็น มันจะเก็บเฉพาะข้อมูลที่มีประโยชน์ที่สุดและทิ้งส่วนที่เหลือ ทำให้โมเดลปรับตัวเข้ากับบริบทใหม่ได้โดยยังไม่ต้องอัปเดตความรู้ระยะยาวในทันที

ระดับออปติไมเซอร์

ออปติไมเซอร์ตัดสินใจว่าควรอัปเดตพารามิเตอร์ของโมเดลอย่างไรระหว่างการเทรน โดยใช้กราเดียนต์ที่คำนวณจากคำทำนายของโมเดลเพื่อกำหนดขนาดและทิศทางของแต่ละการอัปเดต

ออปติไมเซอร์แบบปรับตัวได้อย่าง Adam ทำมากกว่าการใช้กราเดียนต์ปัจจุบัน มันยังติดตามกราเดียนต์ล่าสุดและใช้ประวัตินั้นเมื่อคำนวณการอัปเดตพารามิเตอร์ถัดไป

หาก Adam ทำเช่นนี้อยู่แล้ว Nested Learning เพิ่มอะไร?

ความต่างอยู่ที่สิ่งที่สามารถเรียนรู้ได้ ในดีปเลิร์นนิงมาตรฐาน กฎที่กำหนดวิธีที่ Adam อัปเดตสถานะของมันถูกกำหนดตายตัวก่อนเริ่มเทรนและไม่เปลี่ยนแปลง Adam ปรับพารามิเตอร์ แต่ไม่มีอะไรปรับ Adam

Nested Learning เพิ่มกระบวนการเมตาเลิร์นนิงเหนือชั้นออปติไมเซอร์ที่สามารถประเมินประสิทธิภาพของออปติไมเซอร์และปรับกฎของมันตามกาลเวลา ออปติไมเซอร์จึงเลิกเป็นโครงสร้างพื้นฐานคงที่และกลายเป็นสิ่งที่พัฒนาได้เอง

การโต้ตอบระหว่างแต่ละระดับ

ระดับต่าง ๆ เหล่านี้ไม่ได้ทำงานอย่างอิสระ ข้อมูลไหลเวียนระหว่างกัน และแต่ละระดับก็มีอิทธิพลต่อวิธีที่ระดับอื่น ๆ เรียนรู้ตามกาลเวลา

• ระดับพารามิเตอร์ ค่อย ๆ สร้างความรู้ระยะยาวผ่านการเทรน
• ระดับหน่วยความจำ มอบบริบทล่าสุดเพื่อช่วยให้ระบบตอบสนองต่อข้อมูลใหม่ได้เร็วขึ้น
• ระดับออปติไมเซอร์ กำหนดวิธีอัปเดตพารามิเตอร์

เมื่อรวมกัน ระดับเหล่านี้ช่วยให้โมเดลสร้างสมดุลระหว่างการปรับตัวระยะสั้นกับการเรียนรู้ระยะยาว

สถาปัตยกรรม Hope

Hope คือสถาปัตยกรรมต้นแบบในงานวิจัย เวอร์ชันดัดแปลงตนเองของสถาปัตยกรรม Titans ที่ Google สร้างขึ้นเพื่อทดสอบว่า nested learning ใช้ได้ผลจริงหรือไม่ มันจับคู่หน่วยความจำที่ปรับกฎการอัปเดตของตนเองได้กับ Continuum Memory System ทำให้ยังคงเรียนรู้ต่อด้วยความเร็วหลายระดับ แทนการหยุดนิ่งหลังการเทรน

Titans ที่ดัดแปลงตนเอง

Titans มีโมดูลหน่วยความจำสำหรับเก็บข้อมูลที่โมเดลมองว่าน่าแปลกใจหรือสำคัญ แทนที่จะพึ่งพาเฉพาะพารามิเตอร์ของมัน โมเดลพกพาข้อมูลที่เป็นประโยชน์ต่อไปข้างหน้าผ่านโมดูลหน่วยความจำเหล่านี้

Hope ก้าวไปอีกขั้น เมื่อข้อมูลใหม่ไหลเข้ามา โมดูลหน่วยความจำจะอัปเดตต่อเนื่อง ระบบยังปรับกฎที่ใช้สำหรับการอัปเดตในอนาคตด้วย นั่นคือเหตุผลที่เรียกสถาปัตยกรรมนี้ว่าดัดแปลงตนเอง

Continuum Memory System

สถาปัตยกรรมหน่วยความจำส่วนใหญ่มักแบ่งเป็นสองถัง: ระยะสั้นและระยะยาว ข้อมูลจะอยู่ในคลังที่เร็วและชั่วคราวหรือถูกย่อรวมเป็นที่เก็บระยะยาวที่เสถียร Hope แทนที่การแบ่งแบบไบนารีนั้นด้วยสเปกตรัมของโมดูลหน่วยความจำที่อัปเดตด้วยความเร็วต่างกัน

บางองค์ประกอบของหน่วยความจำอัปเดตอย่างรวดเร็วและจับข้อมูลล่าสุด ขณะที่บางส่วนเปลี่ยนแปลงช้ากว่าและคงไว้ซึ่งความรู้ที่เสถียรซึ่งสั่งสมมานาน นั่นหมายความว่าข้อมูลใหม่สามารถไหลเข้าผ่านเลเยอร์ที่อัปเดตรวดเร็วได้โดยไม่ไปรบกวนหน่วยความจำที่ช้ากว่าและเสถียรกว่าในทันที

ประสิทธิภาพของ Hope

งานวิจัยประเมิน Hope บนงาน language modeling การให้เหตุผลบริบทยาว การเรียนรู้อย่างต่อเนื่อง และการผนวกความรู้ โดยใช้เบสไลน์ต่างกันตามงาน Language modeling และ common-sense reasoning เปรียบเทียบกับ Titans, Samba และทรานส์ฟอร์เมอร์มาตรฐาน ขณะที่งานดึงข้อมูลบริบทยาวเปรียบเทียบ Hope และ Titans กับ TTT และ Mamba2

บนเบนช์มาร์ก language modeling และ common-sense reasoning Hope ทำได้ดีกว่าเบสไลน์ทั้งสาม ด้วย perplexity ที่ต่ำกว่าและความแม่นยำที่สูงกว่า

ผลที่บอกเล่ามากที่สุดมาจากงานที่ต้องให้โมเดลดึงข้อมูลเฉพาะชิ้นจากบริบทที่ยาว งานวิจัยทดสอบหลายเวอร์ชันที่ยากขึ้นเรื่อย ๆ ได้แก่ การดึง pass-key การดึงตัวเลข และเวอร์ชันที่ยากที่สุดคือการดึงระดับคำ Hope ทำได้ดีกว่าเบสไลน์ในทุกเวอร์ชัน โดยการออกแบบ CMS มีส่วนช่วยอย่างชัดเจนต่อความสามารถในบริบทยาว

สถาปัตยกรรมนี้ยังทำได้ดีบนเบนช์มาร์กการเรียนรู้อย่างต่อเนื่อง เมื่อเทรนผ่านลำดับงานที่มักก่อให้เกิด catastrophic forgetting Hope รักษาความรู้เดิมได้มากกว่าโมเดลเปรียบเทียบที่รายงานในงานวิจัย

Nested Learning เทียบกับแนวทางการเรียนรู้อย่างต่อเนื่องอื่น ๆ

Nested Learning ไม่ใช่ความพยายามแรกในการแก้ catastrophic forgetting ตลอดหลายปี นักวิจัยได้เสนอเทคนิคการเรียนรู้อย่างต่อเนื่องเพื่อให้โมเดลคงความรู้เดิมไว้ขณะเรียนรู้งานใหม่ มาดูความแตกต่างสำคัญระหว่างแนวทางที่เสนอes.

Methods อย่าง EWC, Progressive Neural Networks และ Experience Replay เป็นโครงข่ายประสาทที่ชะลอการลืมระหว่างการเทรน สถาปัตยกรรมพื้นฐานยังคงคล้ายเดิม

Nested Learning กลับมาคิดใหม่ตั้งแต่สถาปัตยกรรม ให้การเรียนรู้เกิดขึ้นข้ามหลายระดับและหลายสเกลเวลา: หน่วยความจำที่เปลี่ยนเร็วจัดการประสบการณ์ล่าสุด ขณะที่พารามิเตอร์ที่เปลี่ยนช้ากว่าจับความรู้ระยะยาว

Nested Learning ในทางปฏิบัติ

งานทำซ้ำโดยชุมชนที่ไม่เป็นทางการเริ่มปรากฏบน GitHub เปิดทางให้นักวิจัยทดลองสถาปัตยกรรมและพยายามทำซ้ำผลลัพธ์ที่เผยแพร่

อย่างไรก็ดี Nested learning ยังไม่มีอินทิเกรชันทางการกับเฟรมเวิร์กดีปเลิร์นนิงหลัก ๆ และไม่สามารถ pip install nested learning แล้วเสียบเข้ากับโปรเจกต์ PyTorch หรือ JAX ที่มีอยู่ได้ การสร้างและประเมินโมเดลเหล่านี้ยังต้องทำงานกับโค้ดวิจัยโดยตรง

แต่ทิศทางมุ่งสู่การยอมรับของชุมชน จับตาดูโมดูล Hope หรือ Continuum Memory System (CMS) ที่อาจถูกผนวกเข้ากับเฟรมเวิร์กสายหลักและถูกนำไปใช้ในระบบโปรดักชัน

ข้อคิดส่งท้าย

Nested Learning ท้าทายสมมติฐานแกนกลางอย่างหนึ่งของดีปเลิร์นนิงสมัยใหม่ แทนที่จะทำให้โมเดลเก่งขึ้นด้วยการซ้อนเลเยอร์มากขึ้น มันสำรวจว่าเชาวน์ปัญญาจะผุดบังเกิดจากกระบวนการเรียนรู้หลายแบบที่ทำงานบนสเกลเวลาต่างกันได้หรือไม่

การเปลี่ยนแปลงนี้ยังทำให้เราคิดเรื่องการทำให้เหมาะที่สุดต่างไป ดีปเลิร์นนิงแบบดั้งเดิมแยกสถาปัตยกรรมของโมเดลออกจากอัลกอริทึมการเรียนรู้ Nested Learning ทำให้ทั้งสองเข้ามาใกล้กัน โดยมีเป้าหมายให้การเรียนรู้เองมีโครงสร้างแบบลำดับชั้น

ยังเป็นช่วงแรก ๆ Nested Learning ยังเป็นพื้นที่วิจัยที่มีความเคลื่อนไหว และหลายแนวคิดต้องการการยืนยันในวงกว้างก่อนจะecome เป็นส่วนหนึ่งของแมชชีนเลิร์นนิงสายหลัก หากต้องการวางรากฐานให้แข็งแรงยิ่งขึ้นในแนวคิดเบื้องหลัง nested learning รวมถึงโครงข่ายประสาท การทำให้เหมาะที่สุด และกลไกหน่วยความจำ ขอแนะนำให้ดูหลักสูตรแบบครบถ้วนของเรา Deep Learning in Python