नेस्टेड लर्निंग: कैटस्ट्रॉफिक फॉरगेटिंग का समाधान

नेस्टेड लर्निंग क्या है?

नेस्टेड लर्निंग एक मशीन लर्निंग पैरेडाइम है जो किसी एकल मॉडल को अलग ऑप्टिमाइज़र द्वारा प्रशिक्षित एक आर्किटेक्चर की तरह नहीं, बल्कि नेस्टेड ऑप्टिमाइज़ेशन समस्याओं के सेट की तरह मानती है, जो अपनी-अपनी गति से सीखती हैं। यह मॉडल की आर्किटेक्चर और उसके ट्रेनिंग एल्गोरिद्म को एक ही किस्म की चीज़—एक साथ चलने और अनुकूलित होने वाली अलग-अलग सीखने की परतें—के रूप में पुनर्परिभाषित करती है।

यह किसी मशीन लर्निंग सिस्टम को कई सीखने के स्तरों में संगठित करती है, जो अलग-अलग टाइमस्केल पर काम करते हैं। 

• पैरामीटर स्तर हजारों ट्रेनिंग स्टेप्स में धीरे-धीरे सीखता है। 
• मेमोरी स्तर तय करता है कि हाल के इनपुट्स में से क्या सहेजना है। 
• ऑप्टिमाइज़र स्तर नीचे के स्तरों को कैसे अपडेट करना है, यह सीखता है। 

ऊपरी स्तर निचले स्तरों के व्यवहार को प्रभावित कर सकते हैं, जिससे संरचना सिर्फ मॉड्यूलर नहीं, बल्कि हायरार्किकल बनती है।

नेस्टेड लर्निंग के प्रमुख सिद्धांत

नेस्टेड लर्निंग इन चार मुख्य सिद्धांतों का अनुसरण करती है:

• आर्किटेक्चर और ऑप्टिमाइज़ेशन एक ही लर्निंग सिस्टम का हिस्सा हैं। नेस्टेड लर्निंग में, ऑप्टिमाइज़र लर्निंग प्रक्रिया का हिस्सा बनता है और समय के साथ अनुकूलित हो सकता है।
• अलग-अलग घटक अलग-अलग गति से सीखते हैं। मॉडल के कोर पैरामीटर्स हजारों उदाहरणों में धीरे-धीरे अपडेट हो सकते हैं, जबकि शॉर्ट-टर्म कॉन्टेक्स्ट मैकेनिज़्म हर नए इनपुट पर अपडेट होता है, और मेमोरी सिस्टम इन दोनों के बीच कहीं अपडेट होता है।
• गहराई नेस्टेड लर्निंग प्रक्रियाओं से आती है। पारंपरिक डीप लर्निंग लेयर्स जोड़कर गहराई बनाती है। नेस्टेड लर्निंग पैरामीटर्स, मेमोरी सिस्टम्स, ऑप्टिमाइज़र्स और अपडेट मैकेनिज़्म जैसे कई स्तरों की लर्निंग और एडेप्टेशन को एक साथ रखकर गहराई बनाती है, जो अलग-अलग टाइमस्केल पर सीखते हैं।
• डिप्लॉयमेंट के बाद भी सीखना जारी रह सकता है। मेमोरी सिस्टम्स और लर्निंग मैकेनिज़्म जैसे घटक इन्फ्रेंस के दौरान भी अनुकूलित होते रह सकते हैं।

नेस्टेड लर्निंग बनाम पारंपरिक डीप लर्निंग

सालों तक, हम डीप लर्निंग आर्किटेक्चर पर निर्भर रहे हैं, जहाँ डेटा न्यूरल नेटवर्क से गुजरता है, मॉडल की भविष्यवाणियों की त्रुटि मापी जाती है (जिसे लॉस कहा जाता है), और एक ऑप्टिमाइज़र चलता है जो त्रुटि घटाने के लिए मॉडल के पैरामीटर्स समायोजित करता है। 

आप इसे तब तक दोहराते हैं जब तक मॉडल पर्याप्त अच्छा न हो जाए। फिर पैरामीटर्स को फ्रीज़ कर मॉडल को डिप्लॉय कर देते हैं। उसके बाद, यह नए इनपुट से नहीं सीखता, डेटा में बदलावों के अनुरूप नहीं होता, और उपयोग के साथ बेहतर नहीं होता।

नेस्टेड लर्निंग इसे बदल देती है। मॉडल के पैरामीटर्स के साथ-साथ, मेमोरी मॉड्यूल्स, ऑप्टिमाइज़र्स और अन्य घटक भी समय के साथ सीखते रहते हैं।

नेस्टेड लर्निंग क्यों महत्वपूर्ण है

मॉडल नई जानकारी अपने पैरामीटर्स अपडेट करके सीखता है, लेकिन वही अपडेट पहले सीखा हुआ ज्ञान भी ओवरराइट कर सकते हैं। इस परिघटना को कैटस्ट्रॉफिक फॉरगेटिंग कहा जाता है।

शोधकर्ताओं ने लेयर्स फ्रीज़ करना, Elastic Weight Consolidation (EWC) जैसी रेग्युलराइज़ेशन विधियाँ, और रिप्ले बफ़र्स जैसी तकनीकें पेश की हैं, ताकि नया सीखते समय पुराना ज्ञान सुरक्षित रहे। मगर ये तरीके मॉडल को भूलने से बचाने के लिए बने हैं—खुद सीखने की प्रकृति को बदलने के लिए नहीं।

नेस्टेड लर्निंग तर्क देती है कि यह सिंगल-टाइमस्केल दृष्टिकोण ही उन कारणों में से एक है कि कंटीनुअस लर्निंग अब भी इतनी कठिन क्यों है। हर नई जानकारी को एक ही पैरामीटर्स सेट में समेटने के बजाय, यह अनुकूलन को कई सीखने के स्तरों में बाँट देती है। 

अलग-अलग स्तर अलग-अलग गति से अनुकूलित होते हैं, जिससे नई जानकारी शामिल करना संभव हो जाता है, बिना पुराने ज्ञान को लगातार फिर से लिखे। यह विचार आंशिक रूप से मानवीय संज्ञान से प्रेरित है—आखिरकार, सारी सीख एक ही रफ्तार से नहीं होती:

• रिफ्लेक्स लगभग तुरंत अनुकूलित हो सकते हैं। 
• शॉर्ट-टर्म मेमोरी मिनटों या घंटों में बनती है। 
• मान्यताएँ, आदतें और विशेषज्ञता विकसित होने में महीनों या वर्षों ले सकती हैं।

नेस्टेड लर्निंग कैसे काम करती है

नेस्टेड लर्निंग किसी मशीन लर्निंग सिस्टम को स्तरों में संगठित करती है—हर स्तर अपनी भूमिका और अपडेट गति वाला अलग सीखने का प्रोसेस। इन्हें समझने के लिए, हर स्तर को अलग से देखें और देखें ये कैसे जुड़ते हैं।

पैरामीटर स्तर

पैरामीटर्स वे वेट्स हैं जो न्यूरल नेटवर्क के भीतर ट्रेनिंग डेटा से सीखी गई बातों को सहेजते हैं। ट्रेनिंग के दौरान, ऑप्टिमाइज़र हर बैच के बाद गणना किए गए ग्रेडिएंट्स से इन वेट्स को अपडेट करता है। 

हर अपडेट छोटा होता है, इसलिए सार्थक बदलाव कई ट्रेनिंग स्टेप्स में धीरे-धीरे होते हैं। नतीजतन, पैरामीटर स्तर स्थिर, दीर्घकालिक ज्ञान सीखता है, लेकिन नई जानकारी के अनुरूप होने में धीमा होता है।

मेमोरी स्तर

मेमोरी स्तर हाल के इनपुट्स से वह जानकारी पकड़ता है जिसे पैरामीटर स्तर सीखने में बहुत धीमा है। 

यह हर चीज़ सहेजने के बजाय सबसे उपयोगी जानकारी रखता है और बाकी छोड़ देता है। इससे मॉडल बिना अपनी दीर्घकालिक जानकारी को तुरंत अपडेट किए नए संदर्भ के अनुसार ढल सकता है।

ऑप्टिमाइज़र स्तर

ऑप्टिमाइज़र यह तय करता है कि ट्रेनिंग के दौरान मॉडल के पैरामीटर्स कैसे अपडेट होने चाहिए। यह मॉडल की भविष्यवाणियों से निकले ग्रेडिएंट्स का उपयोग करके हर अपडेट का आकार और दिशा निर्धारित करता है।

Adam जैसे एडेप्टिव ऑप्टिमाइज़र सिर्फ वर्तमान ग्रेडिएंट का उपयोग नहीं करते। वे हाल के ग्रेडिएंट्स का हिसाब भी रखते हैं और अगला पैरामीटर अपडेट निकालते समय उस इतिहास का उपयोग करते हैं।

यदि Adam पहले से ऐसा करता है, तो नेस्टेड लर्निंग क्या जोड़ती है?

फ़र्क इस बात में है कि क्या सीखा जा सकता है। मानक डीप लर्निंग में, Adam अपने स्टेट को कैसे अपडेट करता है, यह नियम ट्रेनिंग शुरू होने से पहले तय हो जाते हैं और कभी नहीं बदलते। Adam पैरामीटर्स को अनुकूलित करता है, लेकिन कोई चीज़ खुद Adam को अनुकूलित नहीं करती। 

नेस्टेड लर्निंग ऑप्टिमाइज़र के ऊपर एक मेटा-लर्निंग प्रक्रिया जोड़ती है, जो ऑप्टिमाइज़र के प्रदर्शन का आकलन कर उसके नियम समय के साथ संशोधित कर सकती है। ऑप्टिमाइज़र स्थिर इन्फ्रास्ट्रक्चर न रहकर ऐसा घटक बन जाता है जो स्वयं भी बेहतर हो सकता है।

स्तरों की परस्पर क्रिया

ये अलग-अलग स्तर स्वतंत्र रूप से काम नहीं करते। उनके बीच सूचना प्रवाहित होती है, और हर स्तर समय के साथ दूसरों के सीखने को प्रभावित करता है। 

• पैरामीटर स्तर ट्रेनिंग के जरिए धीरे-धीरे दीर्घकालिक ज्ञान बनाता है। 
• मेमोरी स्तर हालिया संदर्भ देता है, जिससे सिस्टम नई जानकारी पर तेज़ी से प्रतिक्रिया दे सके। 
• ऑप्टिमाइज़र पैरामीटर्स कैसे अपडेट होंगे यह निर्धारित करता है। 

मिलकर, ये स्तर मॉडल को शॉर्ट-टर्म एडेप्टेशन और लॉन्ग-टर्म लर्निंग के बीच संतुलन बनाने देते हैं।

Hope आर्किटेक्चर

Hope इस पेपर की प्रूफ-ऑफ-कॉन्सेप्ट आर्किटेक्चर है—Titans आर्किटेक्चर का एक स्व-परिवर्तनीय संस्करण—जिसे Google ने यह परखने के लिए बनाया कि नेस्टेड लर्निंग व्यवहार में सचमुच काम करती है या नहीं। यह ऐसी मेमोरी के साथ जुड़ती है जो अपने ही अपडेट नियम फिर से लिख सकती है, और Continuum Memory System के साथ मिलकर ट्रेनिंग के बाद फ्रीज़ होने के बजाय कई अलग-अलग गति पर सीखना जारी रखती है।

स्व-परिवर्तनीय Titans

Titans में ऐसी मेमोरी मॉड्यूल्स होती हैं जो मॉडल के लिए आश्चर्यजनक या महत्वपूर्ण समझी जाने वाली जानकारी को सहेजती हैं। केवल अपने पैरामीटर्स पर निर्भर रहने के बजाय, मॉडल उपयोगी जानकारी को इन मेमोरी मॉड्यूल्स के ज़रिए आगे ले जाता है।

Hope इससे एक कदम आगे जाती है। जैसे ही नया डेटा आता है, मेमोरी मॉड्यूल्स अपडेट होते रहते हैं। सिस्टम भविष्य के अपडेट्स के लिए अपने नियम भी समायोजित करता है। इसलिए आर्किटेक्चर को स्व-परिवर्तनीय कहा जाता है।

Continuum Memory System

अधिकांश मेमोरी आर्किटेक्चर मेमोरी को दो हिस्सों—शॉर्ट-टर्म और लॉन्ग-टर्म—में बाँटते हैं। जानकारी या तो तेज़, अस्थायी स्टोर में रहती है या स्थिर दीर्घकालिक स्टोरेज में समेकित हो जाती है। Hope इस द्विआधारी विभाजन को एक कंटिनुअम से बदलती है—मेमोरी मॉड्यूल्स का एक स्पेक्ट्रम, जो अलग-अलग गति से अपडेट होते हैं।

कुछ मेमोरी कंपोनेंट्स तेज़ी से अपडेट होते हैं और हालिया जानकारी पकड़ते हैं। अन्य धीरे बदलते हैं और लंबे समय में संचित स्थिर ज्ञान को सहेजते हैं। इसका मतलब है कि नई जानकारी तेज़-अपडेटिंग लेयर्स के ज़रिए अंदर आ सकती है, बिना धीमी, अधिक स्थिर मेमोरी को तुरंत बाधित किए।

Hope का प्रदर्शन

पेपर ने Hope का मूल्यांकन भाषा मॉडलिंग, लॉन्ग-कॉन्टेक्स्ट रीजनिंग, कंटीनुअल लर्निंग और नॉलेज इन्कॉरपोरेशन पर किया, अलग-अलग कार्यों के लिए अलग बेसलाइनों के साथ। भाषा मॉडलिंग और कॉमन-सेंस रीजनिंग को Titans, Samba और एक मानक ट्रांसफॉर्मर के विरुद्ध बेंचमार्क किया गया, जबकि लॉन्ग-कॉन्टेक्स्ट रिट्रीवल टास्क्स में Hope और Titans की तुलना TTT और Mamba2 से की गई।

भाषा मॉडलिंग और कॉमन-सेंस रीजनिंग बेंचमार्क्स पर, Hope ने तीनों बेसलाइनों की तुलना में कम परप्लेक्सिटी और अधिक एक्यूरेसी हासिल की।

अधिक निर्णायक नतीजे उन कार्यों से आए, जहाँ मॉडल को लंबे कॉन्टेक्स्ट में छिपी किसी विशिष्ट जानकारी को वापस लाना होता है। पेपर ने बढ़ती कठिनाई के साथ कई वैरिएंट्स टेस्ट किए: पास-की रिट्रीवल, नंबर रिट्रीवल, और सबसे कठिन—शब्द-स्तर रिट्रीवल। Hope ने सभी वैरिएंट्स में बेसलाइनों से बेहतर प्रदर्शन किया, और खासतौर पर CMS डिज़ाइन ने लॉन्ग-कॉन्टेक्स्ट लाभ में योगदान दिया।

यह आर्किटेक्चर कंटीनुअल लर्निंग बेंचमार्क्स पर भी अच्छा प्रदर्शन करती है। जब ऐसे टास्क अनुक्रमों पर प्रशिक्षित किया गया जो आमतौर पर कैटस्ट्रॉफिक फॉरगेटिंग का कारण बनते हैं, तो Hope ने पेपर में रिपोर्ट किए गए तुलना मॉडलों की अपेक्षा अधिक पूर्व में सीखा ज्ञान सहेज कर रखा।

नेस्टेड लर्निंग बनाम अन्य कंटीनुअल लर्निंग दृष्टिकोण

नेस्टेड लर्निंग कैटस्ट्रॉफिक फॉरगेटिंग को संबोधित करने का पहला प्रयास नहीं है। वर्षों से, शोधकर्ता ऐसे कंटीनुअल लर्निंग तरीके प्रस्तावित कर रहे हैं जो मॉडलों को नया सीखते हुए पहले सीखा ज्ञान बनाए रखने दें। आइए प्रस्तावित दृष्टिकोणों के मुख्य अंतर देखें।

EWC, Progressive Neural Networks और Experience Replay जैसी विधियाँ ऐसे न्यूरल नेटवर्क हैं जो ट्रेनिंग के दौरान भूलने की रफ्तार धीमी कर देती हैं। आधारभूत आर्किटेक्चर काफी हद तक वही रहता है। 

नेस्टेड लर्निंग आर्किटेक्चर के बारे में सोचना ही बदलती है, ताकि सीखना कई स्तरों और टाइमस्केल्स में हो: तेज़ी से बदलती मेमोरी हालिया अनुभव सँभालती है, जबकि धीरे-धीरे बदलते पैरामीटर्स दीर्घकालिक ज्ञान पकड़ते हैं।

व्यवहार में नेस्टेड लर्निंग

GitHub पर अनौपचारिक सामुदायिक रिप्रोडक्शंस आने लगे हैं, जो शोधकर्ताओं को इस आर्किटेक्चर के साथ प्रयोग करने और प्रकाशित परिणामों को दोहराने का अवसर दे रहे हैं।

फिर भी, नेस्टेड लर्निंग के प्रमुख डीप लर्निंग फ्रेमवर्क्स के साथ कोई आधिकारिक इंटीग्रेशन नहीं हैं, और आप सरलता से pip install नेस्टेड लर्निंग करके उसे मौजूदा PyTorch या JAX प्रोजेक्ट में नहीं जोड़ सकते। इन मॉडलों को बनाना और मूल्यांकित करना अभी भी सीधे रिसर्च कोड के साथ काम करने की माँग करता है।

लेकिन दिशा सामुदायिक अपनाने पर केंद्रित है। इसलिए Hope या Continuum Memory System (CMS) मॉड्यूल्स के मुख्यधारा फ्रेमवर्क्स में इंटीग्रेट होने और प्रोडक्शन सिस्टम्स में अपनाए जाने पर नज़र रखें।

अंतिम विचार

नेस्टेड लर्निंग आधुनिक डीप लर्निंग के एक मूलभूत अनुमान को चुनौती देती है। परतें जोड़कर मॉडल्स को अधिक सक्षम बनाने के बजाय, यह जाँचती है कि क्या अलग-अलग टाइमस्केल पर संचालित होने वाली कई सीखने की प्रक्रियाओं से बुद्धिमत्ता उभर सकती है।

यह बदलाव ऑप्टिमाइज़ेशन के बारे में हमारी सोच भी बदलता है। पारंपरिक डीप लर्निंग मॉडल आर्किटेक्चर और लर्निंग एल्गोरिद्म को अलग-अलग घटक मानती है। नेस्टेड लर्निंग उन्हें और निकट लाती है, ताकि स्वयं सीखना हायरार्किकल बन सके।

अभी शुरुआती दिन हैं। नेस्टेड लर्निंग शोध का एक सक्रिय क्षेत्र बनी हुई है, और इसकी कई अवधारणाओं को मुख्यधारा मशीन लर्निंग का हिस्सा बनने से पहले व्यापक मान्यता की ज़रूरत होगी। यदि आप नेस्टेड लर्निंग के पीछे के सिद्धांतों—न्यूरल नेटवर्क्स, ऑप्टिमाइज़ेशन और मेमोरी मैकेनिज़्म—में मजबूत नींव बनाना चाहते हैं, तो हमारी व्यापक Deep Learning in Python ट्रैक देखें।