मल्टीलायर परसेप्ट्रॉन्स इन मशीन लर्निंग: एक व्यापक मार्गदर्शिका

संक्षेप में

• मल्टीलयर परसेप्ट्रॉन (MLP) एक फीडफॉरवर्ड न्यूरल नेटवर्क है जिसमें एक या अधिक हिडन लेयर्स होती हैं, जो डेटा में गैर-रैखिक पैटर्न सीख सकता है।
• MLP में एक इनपुट लेयर, नॉनलिनियर ऐक्टिवेशन फंक्शंस वाली हिडन लेयर्स, और एक आउटपुट लेयर होती है।
• ट्रेनिंग में बैकप्रोपेगेशन से ग्रेडिएंट निकाले जाते हैं और स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) से वेट्स को क्रमिक रूप से अपडेट किया जाता है।
• डेटा तैयारी महत्वपूर्ण है: MLP को ट्रेन करने से पहले अपने डेटा को साफ करें, स्केल करें, और उसे विभाजित करें।
• एक छोटी आर्किटेक्चर से शुरू करें और जटिलता धीरे-धीरे बढ़ाएँ, ओवरफिटिंग से बचने के लिए रेग्युलराइज़ेशन तकनीकों का उपयोग करें।

न्यूरल नेटवर्क्स की मूल बातें

न्यूरल नेटवर्क्स या आर्टिफिशियल न्यूरल नेटवर्क्स मशीन लर्निंग के बुनियादी उपकरण हैं, जो कंप्यूटर विज़न, नैचुरल लैंग्वेज प्रोसेसिंग, रोबोटिक्स और अन्य कई क्षेत्रों में अत्याधुनिक एल्गोरिदम और अनुप्रयोगों को सक्षम बनाते हैं।

एक न्यूरल नेटवर्क आपस में जुड़े नोड्स (न्यूरॉन्स) से बना होता है, जो लेयर्स में व्यवस्थित होते हैं। प्रत्येक न्यूरॉन इनपुट सिग्नल प्राप्त करता है, उन पर एक ऐक्टिवेशन फंक्शन का उपयोग करके गणना करता है, और एक आउटपुट सिग्नल उत्पन्न करता है जो नेटवर्क के अन्य न्यूरॉन्स को पास किया जा सकता है। एक ऐक्टिवेशन फंक्शन दिए गए इनपुट पर न्यूरॉन का आउटपुट निर्धारित करता है। ये फंक्शन नेटवर्क में नॉनलिनियरिटी लाते हैं, जिससे यह डेटा में जटिल पैटर्न सीख सकता है।

नेटवर्क सामान्यतः लेयर्स में व्यवस्थित होता है—सबसे पहले इनपुट लेयर, जहाँ डेटा दिया जाता है; उसके बाद हिडन लेयर्स जहाँ गणनाएँ होती हैं; और अंत में आउटपुट लेयर, जहाँ भविष्यवाणियाँ या निर्णय लिए जाते हैं।

आस-पास की लेयर्स के न्यूरॉन्स वेटेड कनेक्शन्स से जुड़े होते हैं, जो एक लेयर से अगली लेयर तक सिग्नल भेजते हैं। इन कनेक्शन्स की ताकत, जो वेट्स द्वारा दर्शाई जाती है, यह निर्धारित करती है कि एक न्यूरॉन का आउटपुट दूसरे न्यूरॉन के इनपुट को कितनी प्रभावित करता है। ट्रेनिंग प्रक्रिया के दौरान, नेटवर्क ट्रेनिंग डेटासेट में दिए गए उदाहरणों के आधार पर अपने वेट्स को समायोजित करना सीखता है। इसके अतिरिक्त, प्रत्येक न्यूरॉन के साथ आमतौर पर एक बायस जुड़ा होता है, जो न्यूरॉन को अपना आउटपुट थ्रेशोल्ड समायोजित करने की अनुमति देता है।

न्यूरल नेटवर्क्स को फीडफॉरवर्ड प्रोपेगेशन और बैकप्रोपेगेशन जैसी तकनीकों से प्रशिक्षित किया जाता है। फीडफॉरवर्ड प्रोपेगेशन के दौरान, इनपुट डेटा को लेयर-दर-लेयर नेटवर्क के माध्यम से पास किया जाता है, जहाँ प्रत्येक लेयर उसे मिले इनपुट्स के आधार पर गणना करती है और परिणाम अगली लेयर को भेजती है।

बैकप्रोपेगेशन एक ऐसा एल्गोरिदम है जो न्यूरल नेटवर्क्स को ट्रेन करने के लिए प्रयोग किया जाता है—यह लॉस फंक्शन को न्यूनतम करने के उद्देश्य से नेटवर्क के वेट्स और बायस को क्रमिक रूप से समायोजित करता है। लॉस फंक्शन (जिसे कॉस्ट फंक्शन या ऑब्जेक्टिव फंक्शन भी कहा जाता है) यह मापता है कि मॉडल की भविष्यवाणियाँ ट्रेनिंग डेटा में वास्तविक टारगेट मानों से कितनी मेल खाती हैं। लॉस फंक्शन मॉडल के अनुमानित आउटपुट और वास्तविक आउटपुट के बीच के अंतर को परिमाणित करता है, जो ट्रेनिंग के दौरान ऑप्टिमाइज़ेशन प्रक्रिया को दिशा देता है।

न्यूरल नेटवर्क को ट्रेन करने का लक्ष्य वेट्स और बायस को समायोजित करके इस लॉस फंक्शन को न्यूनतम करना है। ये समायोजन ग्रेडिएंट डिसेंट जैसे ऑप्टिमाइज़ेशन एल्गोरिदम द्वारा निर्देशित होते हैं। हम इस ट्यूटोरियल में आगे चलकर इन विषयों में से कुछ पर और विस्तार से लौटेंगे।

न्यूरल नेटवर्क्स के प्रकार

जैविक न्यूरॉन बनाम आर्टिफिशियल न्यूरल नेटवर्क (स्रोत: ResearchGate)

चित्र के दाहिने हिस्से में दिखाया गया ANN एक सरल न्यूरल नेटवर्क है जिसे ‘परसेप्ट्रॉन’ कहा जाता है। इसमें एक ही लेयर होती है—इनपुट लेयर—जिसमें कई न्यूरॉन्स अपने-अपने वेट्स के साथ होते हैं; कोई हिडन लेयर नहीं होती। परसेप्ट्रॉन एल्गोरिदम इनपुट सिग्नल्स के वेट्स सीखता है ताकि एक रैखिक निर्णय सीमा खींच सके।

हालाँकि, इमेज प्रोसेसिंग, कंप्यूटर विज़न और नैचुरल लैंग्वेज प्रोसेसिंग जैसे जटिल, गैर-रैखिक समस्याओं को हल करने के लिए हम डीप न्यूरल नेटवर्क्स के साथ काम करते हैं।

डीप न्यूरल नेटवर्क्स के बारे में अधिक जानने और Python में TensorFlow और Keras का उपयोग करके उन्हें शुरू से बनाने हेतु हमारा Introduction to Deep Neural Networks ट्यूटोरियल देखें। यदि आप R भाषा का उपयोग करना पसंद करते हैं, तो हमारा Building Neural Network (NN) Models in R आपकी सहायता करेगा।

ANN के कई प्रकार होते हैं, जिन्हें विशिष्ट कार्यों और आर्किटेक्चरल आवश्यकताओं के लिए डिज़ाइन किया गया है। अगली बार MLPs में गहराई से जाने से पहले, आइए संक्षेप में कुछ सामान्य प्रकारों पर चर्चा करें।

फीडफॉरवर्ड न्यूरल नेटवर्क्स (FNN)

ये ANNs का सबसे सरल रूप हैं, जहाँ जानकारी इनपुट से आउटपुट तक एक ही दिशा में प्रवाहित होती है। नेटवर्क आर्किटेक्चर में कोई चक्र या लूप नहीं होते। मल्टीलयर परसेप्ट्रॉन (MLP) फीडफॉरवर्ड न्यूरल नेटवर्क का एक प्रकार है।

रिकरंट न्यूरल नेटवर्क्स (RNN)

RNNs में नोड्स के बीच कनेक्शन निर्देशित चक्र बनाते हैं, जिससे जानकारी समय के साथ बनी रह सकती है। यह उन्हें क्रमिक डेटा से जुड़े कार्यों, जैसे टाइम सीरीज़ पूर्वानुमान, नैचुरल लैंग्वेज प्रोसेसिंग और स्पीच रिकग्निशन के लिए उपयुक्त बनाता है।

कन्वोल्यूशनल न्यूरल नेटवर्क्स (CNN)

CNNs को ग्रिड-जैसे डेटा, जैसे कि छवियों, को प्रभावी ढंग से प्रोसेस करने के लिए डिज़ाइन किया गया है। ये कन्वोल्यूशनल फ़िल्टर्स की लेयर्स से बने होते हैं जो इनपुट डेटा के भीतर फीचर्स के पदानुक्रमित प्रतिनिधित्व सीखते हैं। CNNs छवि वर्गीकरण, ऑब्जेक्ट डिटेक्शन और इमेज सेगमेंटेशन जैसे कार्यों में व्यापक रूप से उपयोग किए जाते हैं।

लॉन्ग शॉर्ट-टर्म मेमोरी नेटवर्क्स (LSTM) और गेटेड रिकरंट यूनिट्स (GRU)

ये पारंपरिक RNN में वेनिशिंग ग्रेडिएंट समस्या को संबोधित करने के लिए डिज़ाइन किए गए रिकरंट न्यूरल नेटवर्क्स के विशेष प्रकार हैं। LSTMs और GRUs क्रमिक डेटा में लंबे-फासले की निर्भरताओं को बेहतर ढंग से पकड़ने के लिए गेटेड मेकैनिज़्म शामिल करते हैं, जिससे वे स्पीच रिकग्निशन, मशीन अनुवाद और सेंटिमेंट विश्लेषण जैसे कार्यों के लिए विशेष रूप से प्रभावी बनते हैं।

ऑटोएन्कोडर

यह अनसुपरवाइज्ड लर्निंग के लिए डिज़ाइन किया गया है और इसमें एक एन्कोडर नेटवर्क होता है जो इनपुट डेटा को कम-आयामी लैटेंट स्पेस में संपीड़ित करता है, और एक डिकोडर नेटवर्क होता है जो लैटेंट प्रतिनिधित्व से मूल इनपुट का पुनर्निर्माण करता है। ऑटोएन्कोडर्स का उपयोग अक्सर डाइमेंशनलिटी रिडक्शन, डेटा डिनॉइज़िंग और जेनेरेटिव मॉडलिंग के लिए किया जाता है।

जेनेरेटिव एडवर्सेरियल नेटवर्क्स (GAN)

GANs दो न्यूरल नेटवर्क्स—एक जेनरेटर और एक डिस्क्रिमिनेटर—से मिलकर बनते हैं, जिन्हें प्रतिस्पर्धात्मक सेटिंग में साथ-साथ प्रशिक्षित किया जाता है। जेनरेटर वास्तविक डेटा से अप्रभेद्य सिंथेटिक नमूने बनाना सीखता है, जबकि डिस्क्रिमिनेटर वास्तविक और नकली नमूनों के बीच अंतर करना सीखता है। GANs का व्यापक उपयोग यथार्थपरक छवियाँ, वीडियो और अन्य प्रकार के डेटा उत्पन्न करने के लिए किया गया है।

मल्टीलयर परसेप्ट्रॉन (MLP) क्या है?

मल्टीलयर परसेप्ट्रॉन फीडफॉरवर्ड न्यूरल नेटवर्क का एक प्रकार है, जिसमें पूरी तरह से कनेक्टेड न्यूरॉन्स और नॉनलिनियर प्रकार के ऐक्टिवेशन फंक्शन होते हैं। इसका उपयोग व्यापक रूप से ऐसे डेटा को अलग करने के लिए किया जाता है जो रैखिक रूप से सेपेरेबल नहीं होता।

MLP के घटक

MLP का उपयोग छवि पहचान, नैचुरल लैंग्वेज प्रोसेसिंग, स्पीच रिकग्निशन सहित कई क्षेत्रों में व्यापक रूप से हुआ है। उनकी आर्किटेक्चर में लचीलापन और कुछ शर्तों के तहत किसी भी फंक्शन का अनुमापन करने की क्षमता उन्हें डीप लर्निंग और न्यूरल नेटवर्क अनुसंधान में एक बुनियादी इकाई बनाती है। आइए इसके कुछ प्रमुख सिद्धांतों में थोड़ा और गहराई से जाएँ।

इनपुट लेयर

इनपुट लेयर में वे नोड्स या न्यूरॉन्स होते हैं जो प्रारंभिक इनपुट डेटा प्राप्त करते हैं। प्रत्येक न्यूरॉन इनपुट डेटा की किसी फीचर या डायमेंशन का प्रतिनिधित्व करता है। इनपुट लेयर में न्यूरॉन्स की संख्या इनपुट डेटा की विमाएँ (डायमेंशनैलिटी) निर्धारित करती है।

हिडन लेयर

इनपुट और आउटपुट लेयर्स के बीच एक या अधिक न्यूरॉन्स की लेयर्स हो सकती हैं। हिडन लेयर में प्रत्येक न्यूरॉन पिछली लेयर (इनपुट लेयर या कोई अन्य हिडन लेयर) के सभी न्यूरॉन्स से इनपुट प्राप्त करता है और एक आउटपुट उत्पन्न करता है जो अगली लेयर को पास होता है। हिडन लेयर्स की संख्या और प्रत्येक हिडन लेयर में न्यूरॉन्स की संख्या हाइपरपैरामीटर्स हैं जिन्हें मॉडल डिज़ाइन चरण के दौरान निर्धारित करना होता है।

आउटपुट लेयर

यह लेयर नेटवर्क का अंतिम आउटपुट देने वाले न्यूरॉन्स से मिलकर बनती है। आउटपुट लेयर में न्यूरॉन्स की संख्या कार्य की प्रकृति पर निर्भर करती है। बाइनरी क्लासिफिकेशन में ऐक्टिवेशन फंक्शन पर निर्भर करते हुए एक या दो न्यूरॉन्स हो सकते हैं, जो किसी एक श्रेणी से संबंधित होने की प्रायिकता का प्रतिनिधित्व करते हैं; जबकि मल्टी-क्लास क्लासिफिकेशन कार्यों में आउटपुट लेयर में कई न्यूरॉन्स हो सकते हैं।

वेट्स

आस-पास की लेयर्स के न्यूरॉन्स एक-दूसरे से पूरी तरह से जुड़े होते हैं। प्रत्येक कनेक्शन के साथ एक वेट जुड़ा होता है, जो कनेक्शन की ताकत निर्धारित करता है। ये वेट्स ट्रेनिंग प्रक्रिया के दौरान सीखे जाते हैं।

बायस न्यूरॉन्स

इनपुट और हिडन न्यूरॉन्स के अलावा, प्रत्येक लेयर (इनपुट लेयर को छोड़कर) में सामान्यतः एक बायस न्यूरॉन शामिल होता है जो अगली लेयर के न्यूरॉन्स को एक स्थिर इनपुट प्रदान करता है। बायस न्यूरॉन्स के साथ प्रत्येक कनेक्शन के लिए अपना वेट जुड़ा होता है, जिसे ट्रेनिंग के दौरान सीखा जाता है।

बायस न्यूरॉन प्रभावी रूप से अगली लेयर के न्यूरॉन्स के ऐक्टिवेशन फंक्शन को शिफ्ट करता है, जिससे नेटवर्क निर्णय सीमा में ऑफसेट या बायस सीख सकता है। बायस न्यूरॉन से जुड़े वेट्स को समायोजित करके, MLP ऐक्टिवेशन के थ्रेशोल्ड को नियंत्रित करना सीख सकता है और ट्रेनिंग डेटा के साथ बेहतर फिट हो सकता है।

नोट: MLPs के संदर्भ में, बायस दो संबंधित लेकिन अलग अवधारणाओं को संदर्भित कर सकता है: सामान्य मशीन लर्निंग में बायस और बायस न्यूरॉन (जैसा कि ऊपर परिभाषित है)। सामान्य मशीन लर्निंग में, बायस उस त्रुटि को संदर्भित करता है जो वास्तविक दुनिया की समस्या को एक सरलीकृत मॉडल से आसन्न करने पर आती है। बायस यह मापता है कि मॉडल डेटा में अंतर्निहित पैटर्न को कितना पकड़ पाता है। उच्च बायस इंगित करता है कि मॉडल बहुत सरल है और डेटा को अंडरफिट कर सकता है, जबकि कम बायस से पता चलता है कि मॉडल अंतर्निहित पैटर्न को अच्छी तरह पकड़ रहा है।

ऐक्टिवेशन फंक्शन

आम तौर पर, हिडन लेयर्स और आउटपुट लेयर में प्रत्येक न्यूरॉन अपने इनपुट्स के वेटेड सम पर एक ऐक्टिवेशन फंक्शन लागू करता है। सामान्य ऐक्टिवेशन फंक्शंस में सिग्मॉइड, टैनह, ReLU (Rectified Linear Unit) और सोफ्टमैक्स शामिल हैं। ये फंक्शंस नेटवर्क में नॉनलिनियरिटी लाते हैं, जिससे यह डेटा में जटिल पैटर्न सीख सके।

फीडफॉरवर्ड और बैकप्रोपेगेशन

MLPs को बैकप्रोपेगेशन एल्गोरिदम का उपयोग करके प्रशिक्षित किया जाता है, जो लॉस फंक्शन के सापेक्ष मॉडल के पैरामीटर्स के ग्रेडिएंट्स की गणना करता है और लॉस को कम करने के लिए पैरामीटर्स को क्रमिक रूप से अपडेट करता है।

मल्टीलयर परसेप्ट्रॉन कैसे काम करता है: लेयर-दर-लेयर

दो हिडन लेयर्स वाले MLP का उदाहरण। चित्र: लेखक

एक मल्टीलयर परसेप्ट्रॉन में, न्यूरॉन्स चरण-दर-चरण तरीके से जानकारी प्रोसेस करते हैं, जिसमें वेटेड सम और नॉनलिनियर रूपांतरण शामिल होते हैं। आइए लेयर-दर-लेयर देखें कि भीतर का जादू कैसे होता है।

इनपुट लेयर

• MLP की इनपुट लेयर इनपुट डेटा प्राप्त करती है, जो डेटासेट में इनपुट सैंपलों से निकाले गए फीचर्स हो सकते हैं। इनपुट लेयर का प्रत्येक न्यूरॉन एक फीचर का प्रतिनिधित्व करता है।
• इनपुट लेयर के न्यूरॉन्स कोई गणना नहीं करते; वे केवल इनपुट मानों को पहली हिडन लेयर के न्यूरॉन्स तक पास कर देते हैं।

हिडन लेयर्स

• MLP की हिडन लेयर्स आपस में जुड़े न्यूरॉन्स से बनी होती हैं जो इनपुट डेटा पर गणनाएँ करती हैं।
• हिडन लेयर का प्रत्येक न्यूरॉन पिछली लेयर के सभी न्यूरॉन्स से इनपुट प्राप्त करता है। इनपुट्स को संबंधित वेट्स से गुणा किया जाता है, जिन्हें w द्वारा दर्शाया जाता है। वेट्स यह निर्धारित करते हैं कि एक न्यूरॉन से आया इनपुट दूसरे के आउटपुट को कितनी प्रभावित करता है।
• वेट्स के अलावा, हिडन लेयर के प्रत्येक न्यूरॉन के साथ एक बायस जुड़ा होता है, जिसे b द्वारा दर्शाया जाता है। बायस न्यूरॉन को एक अतिरिक्त इनपुट देता है, जिससे वह अपना आउटपुट थ्रेशोल्ड समायोजित कर सके। वेट्स की तरह, बायस भी ट्रेनिंग के दौरान सीखे जाते हैं।
• हिडन लेयर या आउटपुट लेयर के प्रत्येक न्यूरॉन के लिए, उसके इनपुट्स का वेटेड सम निकाला जाता है। इसमें प्रत्येक इनपुट को उसके संबंधित वेट से गुणा करना, इन उत्पादों को जोड़ना और बायस जोड़ना शामिल है:

जहाँ n कुल इनपुट कनेक्शन्स की संख्या है, wi i-वें इनपुट का वेट है, और xi i-वें इनपुट का मान है।

• इसके बाद वेटेड सम को एक ऐक्टिवेशन फंक्शन, f, से पास किया जाता है। ऐक्टिवेशन फंक्शन नेटवर्क में नॉनलिनियरिटी लाता है, जिससे वह डेटा में जटिल संबंधों को सीख और प्रदर्शित कर सके। ऐक्टिवेशन फंक्शन न्यूरॉन की आउटपुट रेंज और अलग-अलग इनपुट मानों पर उसके व्यवहार को निर्धारित करता है। ऐक्टिवेशन फंक्शन का चुनाव कार्य की प्रकृति और नेटवर्क की वांछित विशेषताओं पर निर्भर करता है।

आउटपुट लेयर

• MLP की आउटपुट लेयर नेटवर्क की अंतिम भविष्यवाणियाँ या आउटपुट उत्पन्न करती है। आउटपुट लेयर में न्यूरॉन्स की संख्या किए जा रहे कार्य पर निर्भर करती है (जैसे, बाइनरी क्लासिफिकेशन, मल्टी-क्लास क्लासिफिकेशन, रिग्रेशन)।
• आउटपुट लेयर का प्रत्येक न्यूरॉन आखिरी हिडन लेयर के न्यूरॉन्स से इनपुट प्राप्त करता है और एक ऐक्टिवेशन फंक्शन लागू करता है। यह ऐक्टिवेशन फंक्शन आमतौर पर हिडन लेयर्स में उपयोग किए गए फंक्शंस से भिन्न होता है और अंतिम आउटपुट मान या भविष्यवाणी उत्पन्न करता है।

ट्रेनिंग प्रक्रिया के दौरान, नेटवर्क प्रत्येक न्यूरॉन के इनपुट्स से जुड़े वेट्स को इस तरह समायोजित करना सीखता है कि ट्रेनिंग डेटा में भविष्यवाणी किए गए आउटपुट और वास्तविक टारगेट मानों के बीच का अंतर न्यूनतम हो। वेट्स को समायोजित करके और उपयुक्त ऐक्टिवेशन फंक्शंस सीखकर, नेटवर्क डेटा में जटिल पैटर्न और संबंधों का अनुमापन करना सीखता है, जिससे वह नए, अनदेखे सैंपलों पर सटीक भविष्यवाणी कर सके।

यह समायोजन स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) जैसे ऑप्टिमाइज़ेशन एल्गोरिदम द्वारा निर्देशित होता है, जो लॉस फंक्शन के सापेक्ष वेट्स के ग्रेडिएंट्स की गणना करता है और वेट्स को क्रमिक रूप से अपडेट करता है।

आइए और नज़दीक से देखें कि SGD कैसे काम करता है।

स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD)

1. आरंभिककरण: SGD मॉडल के पैरामीटर्स (वेट्स और बायस) के एक प्रारंभिक सेट से शुरू होता है, जो यादृच्छिक रूप से या किसी पूर्वनिर्धारित विधि से चुने जा सकते हैं।
2. क्रमिक अनुकूलन: इस चरण का उद्देश्य लॉस फंक्शन का न्यूनतम ढूँढना है, जिसके लिए उसके मान में सबसे तेज कमी की दिशा में बार-बार आगे बढ़ा जाता है। ट्रेनिंग के प्रत्येक इटरेशन (या एपोच) में:
   • ट्रेनिंग डेटा को शफल करें ताकि मॉडल हर बार एक ही क्रम में एक ही पैटर्न से न सीखे।
   • ट्रेनिंग डेटा को मिनी-बैचेज़ (डेटा के छोटे सबसेट्स) में विभाजित करें।
   • प्रत्येक मिनी-बैच के लिए:
     • केवल मिनी-बैच के डेटा पॉइंट्स का उपयोग करके, मॉडल पैरामीटर्स के सापेक्ष लॉस फंक्शन का ग्रेडिएंट निकालें। यह ग्रेडिएंट अनुमान वास्तविक ग्रेडिएंट का एक स्टोकेस्टिक सन्निकटन है।
     • ग्रेडिएंट की विपरीत दिशा में, लर्निंग रेट से स्केल किया गया एक कदम लेते हुए, मॉडल पैरामीटर्स को अपडेट करें:

θₜ₊₁ = θₜ − η ∇J(θₜ)संचालित द्वारा

जहाँ:

• θₜ इटरेशन t पर मॉडल पैरामीटर्स (जैसे, वेट्स और बायस) का प्रतिनिधित्व करता है

• ∇J(θₜ) पैरामीटर्स के सापेक्ष इटरेशन t पर लॉस फंक्शन J का ग्रेडिएंट है

• η (एटा) लर्निंग रेट है, जो ऑप्टिमाइज़ेशन के दौरान कदम का आकार नियंत्रित करता है

3. अवरोह की दिशा: लॉस फंक्शन का ग्रेडिएंट सबसे तेज आरोह (steepest ascent) की दिशा बताता है। लॉस फंक्शन को न्यूनतम करने के लिए, ग्रेडिएंट डिसेंट विपरीत दिशा में बढ़ता है—सबसे तेज अवरोह की ओर।
4. लर्निंग रेट: ग्रेडिएंट डिसेंट के प्रत्येक इटरेशन में लिया गया कदम एक पैरामीटर, लर्निंग रेट, द्वारा निर्धारित होता है, जिसे ऊपर n के रूप में दर्शाया गया है। यह पैरामीटर न्यूनतम की ओर उठाए गए कदमों के आकार को नियंत्रित करता है। यदि लर्निंग रेट बहुत छोटा है, तो अभिसरण धीमा हो सकता है; यदि यह बहुत बड़ा है, तो एल्गोरिदम दोलन कर सकता है या विचलित हो सकता है।
5. अभिसरण: इस प्रक्रिया को एक निश्चित संख्या के इटरेशन्स तक या तब तक दोहराएँ जब तक कोई अभिसरण मापदंड पूरा न हो जाए (उदाहरण के लिए, लॉस फंक्शन में परिवर्तन किसी निश्चित सीमा से नीचे आ जाए)।

स्टोकेस्टिक ग्रेडिएंट डिसेंट छोटे-छोटे सबसेट्स का उपयोग करके मॉडल पैरामीटर्स को अधिक बार अपडेट करता है, जिससे यह विशेष रूप से बड़े डेटासेट्स के लिए संगणनात्मक रूप से कुशल हो जाता है। SGD द्वारा लाई गई यादृच्छिकता का रेग्युलराइज़ेशन प्रभाव भी हो सकता है, जो मॉडल को ट्रेनिंग डेटा पर ओवरफिट होने से रोकता है। यह ऑनलाइन लर्निंग परिदृश्यों के लिए भी उपयुक्त है, जहाँ नया डेटा क्रमिक रूप से उपलब्ध होता है, क्योंकि यह प्रत्येक नए डेटा पॉइंट या मिनी-बैच के साथ मॉडल को जल्दी अपडेट कर सकता है।

हालाँकि, SGD में कुछ चुनौतियाँ भी हो सकती हैं, जैसे ग्रेडिएंट अनुमान की स्टोकेस्टिक प्रकृति के कारण बढ़ा हुआ शोर, और लर्निंग रेट जैसे हाइपरपैरामीटर्स को ट्यून करने की आवश्यकता। SGD के विभिन्न विस्तार और रूपांतरण—जैसे मिनी-बैच स्टोकेस्टिक ग्रेडिएंट डिसेंट, मोमेंटम, और AdaGrad, RMSProp, तथा Adam जैसे अनुकूली लर्निंग रेट तरीके—इन चुनौतियों को संबोधित करने और अभिसरण व प्रदर्शन में सुधार करने के लिए विकसित किए गए हैं।

आपने मल्टीलयर परसेप्ट्रॉन की लेयर्स का कार्यप्रणाली देखी और स्टोकेस्टिक ग्रेडिएंट डिसेंट के बारे में सीखा; सब कुछ एक साथ जोड़ने के लिए, एक आखिरी विषय बचता है: बैकप्रोपेगेशन।

बैकप्रोपेगेशन

बैकप्रोपेगेशन “त्रुटियों का प्रत्यागमन” (backward propagation of errors) का संक्षिप्त रूप है। बैकप्रोपेगेशन के संदर्भ में, SGD नेटवर्क के पैरामीटर्स को प्रत्येक ट्रेनिंग बैच के दौरान निकाले गए ग्रेडिएंट्स के आधार पर क्रमिक रूप से अपडेट करता है। पूरे ट्रेनिंग डेटासेट का उपयोग करके ग्रेडिएंट्स निकालने के बजाय (जो बड़े डेटासेट्स के लिए संगणनात्मक रूप से महँगा हो सकता है), SGD डेटा के छोटे यादृच्छिक सबसेट्स, जिन्हें मिनी-बैच कहा जाता है, का उपयोग करके ग्रेडिएंट्स निकालता है। यहाँ बैकप्रोपेगेशन एल्गोरिदम कैसे काम करता है उसका एक अवलोकन है:

1. फ़ॉरवर्ड पास: फ़ॉरवर्ड पास के दौरान, इनपुट डेटा को न्यूरल नेटवर्क में भेजा जाता है और नेटवर्क का आउटपुट परत-दर-परत गणना किया जाता है। प्रत्येक न्यूरॉन अपने इनपुट्स का भारित योग निकालता है, परिणाम पर एक सक्रियण फ़ंक्शन लागू करता है, और आउटपुट अगली परत के न्यूरॉनों को भेज देता है।
2. लॉस गणना: फ़ॉरवर्ड पास के बाद, नेटवर्क के आउटपुट की वास्तविक लक्ष्य मानों से तुलना की जाती है और एक लॉस फ़ंक्शन निकाला जाता है ताकि भविष्यवाणी किए गए आउटपुट और वास्तविक आउटपुट के बीच अंतर को मापा जा सके।
3. बैकवर्ड पास (ग्रेडिएंट गणना): बैकवर्ड पास में, नेटवर्क के पैरामीटर्स (वेट्स और बायसेज़) के संदर्भ में लॉस फ़ंक्शन के ग्रेडिएंट्स की गणना कलन के चेन रूल से की जाती है। ग्रेडिएंट्स प्रत्येक पैरामीटर के संदर्भ में लॉस फ़ंक्शन के परिवर्तन की दर को दर्शाते हैं और यह जानकारी देते हैं कि लॉस घटाने के लिए पैरामीटर्स को कैसे समायोजित किया जाए।
4. पैरामीटर अपडेट: एक बार ग्रेडिएंट्स की गणना हो जाने पर, लॉस फ़ंक्शन को न्यूनतम करने के लिए नेटवर्क के पैरामीटर्स को ग्रेडिएंट्स की विपरीत दिशा में अपडेट किया जाता है। यह अपडेट आमतौर पर किसी ऑप्टिमाइज़ेशन एल्गोरिथ्म जैसे स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) का उपयोग करके किया जाता है, जिसके बारे में हमने पहले चर्चा की थी।
5. पुनरावृत्त प्रक्रिया: चरण 1-4 को निश्चित संख्या के एपॉक्स तक या तब तक दोहराया जाता है जब तक अभिसरण मानदंड पूरे न हो जाएँ। प्रत्येक इटरेशन में, बैकवर्ड पास में निकाले गए ग्रेडिएंट्स के आधार पर नेटवर्क के पैरामीटर्स समायोजित किए जाते हैं, जिससे लॉस धीरे-धीरे घटता है और मॉडल का प्रदर्शन सुधरता है।

MLP के लिए डेटा तैयारी

MLP को प्रशिक्षित करने के लिए डेटा तैयार करना सफाई, प्रीप्रोसेसिंग, स्केलिंग, स्प्लिटिंग, फ़ॉर्मेटिंग और जरूरत पड़ने पर ऑगमेंटेशन शामिल करता है। प्रयुक्त सक्रियण फ़ंक्शनों और इनपुट फीचर्स के पैमाने के आधार पर डेटा को स्टैंडर्डाइज़ या नॉर्मलाइज़ करने की आवश्यकता हो सकती है। विभिन्न प्रीप्रोसेसिंग तकनीकों के साथ प्रयोग करना और उनके मॉडल प्रदर्शन पर प्रभाव का मूल्यांकन करना अक्सर किसी दिए गए डेटासेट और कार्य के लिए सबसे उपयुक्त दृष्टिकोण तय करने के लिए आवश्यक होता है।

• डेटा क्लीनिंग और प्रीप्रोसेसिंग
  • मिसिंग वैल्यूज़ का प्रबंधन: डेटासेट में गुम मानों को हटाएँ या इम्प्यूट करें।
  • श्रेणीबद्ध वेरिएबल्स को एन्कोड करें: श्रेणीबद्ध वेरिएबल्स को संख्यात्मक रूप में बदलें, जैसे वन-हॉट एन्कोडिंग।
• फीचर स्केलिंग
  • स्टैंडर्डाइज़ेशन या नॉर्मलाइज़ेशन: फीचर्स को समान पैमाने पर फिर से स्केल करें ताकि ऑप्टिमाइज़ेशन प्रक्रिया कुशलतापूर्वक अभिसरण करे।
    • स्टैंडर्डाइज़ेशन (Z-स्कोर नॉर्मलाइज़ेशन): प्रत्येक फीचर का माध्य घटाएँ और उसे उसके मानक विचलन से भाग दें। यह डेटा को शून्य के आसपास केंद्रित करता है और यूनिट वैरिएंस पर स्केल करता है।
    • नॉर्मलाइज़ेशन (मिन-मैक्स स्केलिंग): फीचर्स को एक निश्चित दायरे में स्केल करें, आमतौर पर 0 और 1 के बीच, जिसमें न्यूनतम मान घटाकर और रेंज (अधिकतम-न्यूनतम) से भाग देकर किया जाता है।

फीचर स्केलिंग के बारे में और जानने के लिए, Datacamp का Feature Engineering for Machine Learning in Python कोर्स देखें।

• ट्रेन-वैलिडेशन-टेस्ट स्प्लिट
  • डेटासेट को प्रशिक्षण, वैलिडेशन और टेस्ट सेट में बाँटें। प्रशिक्षण सेट मॉडल को प्रशिक्षित करने के लिए उपयोग होता है, वैलिडेशन सेट हाइपरपैरामीटर्स ट्यून करने और मॉडल प्रदर्शन की निगरानी के लिए, और टेस्ट सेट अनदेखे डेटा पर अंतिम मॉडल के प्रदर्शन का आकलन करने के लिए उपयोग होता है।
• डेटा फ़ॉर्मेटिंग
  • सुनिश्चित करें कि डेटा प्रशिक्षण के लिए उपयुक्त फ़ॉर्मेट में है। इसमें डेटा को रीशेप करना या आवश्यक डेटा प्रकार में बदलना शामिल हो सकता है (उदा., श्रेणीबद्ध वेरिएबल्स को संख्यात्मक में बदलना)।
• वैकल्पिक डेटा ऑगमेंटेशन
  • इमेज क्लासिफिकेशन जैसे कार्यों के लिए, रोटेशन, फ्लिपिंग और स्केलिंग जैसी डेटा ऑगमेंटेशन तकनीकें लागू की जा सकती हैं ताकि प्रशिक्षण डेटा की विविधता बढ़े और मॉडल का जनरलाइज़ेशन सुधरे।
• नॉर्मलाइज़ेशन और सक्रियण फ़ंक्शंस
  • स्टैंडर्डाइज़ेशन और नॉर्मलाइज़ेशन के बीच चुनाव MLP में प्रयुक्त सक्रियण फ़ंक्शंस पर निर्भर कर सकता है। सिग्मॉयड और टैनह जैसे सक्रियण फ़ंक्शंस इनपुट डेटा के पैमाने के प्रति संवेदनशील होते हैं और स्टैंडर्डाइज़ेशन से लाभान्वित हो सकते हैं। दूसरी ओर, ReLU जैसे सक्रियण फ़ंक्शंस पैमाने के प्रति कम संवेदनशील होते हैं और उन्हें स्टैंडर्डाइज़ेशन की आवश्यकता नहीं भी पड़ सकती।

इंप्लीमेंटेशन टिप्स और सर्वश्रेष्ठ प्रथाएँ

एक MLP को लागू करना डेटा प्रीप्रोसेसिंग से लेकर मॉडल प्रशिक्षण और मूल्यांकन तक कई चरणों में होता है। MLP के लिए परतों और न्यूरॉनों की संख्या का चयन मॉडल की जटिलता, प्रशिक्षण समय और जनरलाइज़ेशन प्रदर्शन के बीच संतुलन बनाता है। इसका कोई एकमात्र सही उत्तर नहीं है, क्योंकि इष्टतम आर्किटेक्चर कार्य की जटिलता, उपलब्ध डेटा की मात्रा और कंप्यूट संसाधनों जैसे कारकों पर निर्भर करता है। फिर भी, MLP लागू करते समय विचार करने के लिए कुछ सामान्य दिशानिर्देश निम्न हैं:

1. मॉडल आर्किटेक्चर

• सरल आर्किटेक्चर से शुरू करें और आवश्यकता अनुसार धीरे-धीरे जटिलता बढ़ाएँ। एक हीडन लेयर और कम संख्या में न्यूरॉनों से शुरू करें, और जरूरत पड़े तो अधिक परतें और न्यूरॉन्स जोड़ने के साथ प्रयोग करें।

2. कार्य की जटिलता

• तुलनात्मक रूप से कम जटिलता वाले सरल कार्यों के लिए, जैसे छोटे डेटासेट्स पर बाइनरी क्लासिफिकेशन या रिग्रेशन, कम परतों और न्यूरॉनों वाली उथली आर्किटेक्चर पर्याप्त हो सकती है।
• अधिक जटिल कार्यों के लिए, जैसे मल्टी-क्लास क्लासिफिकेशन या उच्च-आयामी डेटा पर रिग्रेशन, डेटा में जटिल पैटर्न पकड़ने के लिए अधिक परतों और न्यूरॉनों वाली गहरी आर्किटेक्चर आवश्यक हो सकती है।

3. डेटा प्रीप्रोसेसिंग

• अपने डेटा को साफ़ करें और प्रीप्रोसेस करें, जिसमें मिसिंग वैल्यूज़ संभालना, श्रेणीबद्ध वेरिएबल्स को एन्कोड करना और संख्यात्मक फीचर्स को स्केल करना शामिल है।
• मॉडल के प्रदर्शन का आकलन करने के लिए अपने डेटा को प्रशिक्षण, वैलिडेशन और टेस्ट सेट्स में बाँटें।

4. इनिशियलाइज़ेशन

• अपने MLP के वेट्स और बायसेज़ को उपयुक्त रूप से इनिशियलाइज़ करें। सामान्य तकनीकों में छोटे वेट्स के साथ रैंडम इनिशियलाइज़ेशन या Xavier तथा He इनिशियलाइज़ेशन जैसी विधियाँ शामिल हैं।

5. प्रयोग

• अंततः सर्वोत्तम तरीका अलग-अलग आर्किटेक्चर्स के साथ, परतों और न्यूरॉनों की संख्या बदलकर प्रयोग करना और उनके प्रदर्शन का अनुभवजन्य मूल्यांकन करना है।
• क्रॉस-वैलिडेशन और हाइपरपैरामीटर ट्यूनिंग जैसी तकनीकों का उपयोग करें ताकि व्यवस्थित रूप से विभिन्न आर्किटेक्चर्स का अन्वेषण कर सकें और उस विकल्प को ढूँढ सकें जो दिए गए कार्य पर सर्वश्रेष्ठ प्रदर्शन करता है।

6. प्रशिक्षण

• अपने MLP को प्रशिक्षण डेटा से ट्रेन करें और वैलिडेशन सेट पर उसके प्रदर्शन की निगरानी करें।
• इष्टतम प्रशिक्षण सेटिंग्स खोजने के लिए अलग-अलग बैच साइज़, एपॉक्स की संख्या और अन्य हाइपरपैरामीटर्स के साथ प्रयोग करें।
• लॉस और एक्यूरेसी जैसे मैट्रिक्स का उपयोग कर प्रशिक्षण की प्रगति को विज़ुअलाइज़ करें ताकि समस्याओं का निदान हो सके और अभिसरण को ट्रैक किया जा सके।

7. ऑप्टिमाइज़ेशन एल्गोरिथ्म

• विभिन्न लर्निंग रेट्स के साथ प्रयोग करें और लर्निंग रेट शेड्यूल्स या एडेप्टिव लर्निंग रेट्स जैसी तकनीकों पर विचार करें।

8. ओवरफ़िटिंग से बचें

• अनावश्यक जटिलता जोड़कर मॉडल को प्रशिक्षण डेटा पर ओवरफ़िट न होने दें।
• ओवरफ़िटिंग को रोकने और जनरलाइज़ेशन प्रदर्शन सुधारने के लिए रेग्युलराइज़ेशन (उदा., L1, L2 रेग्युलराइज़ेशन), ड्रॉपआउट और अर्ली स्टॉपिंग जैसी तकनीकों का उपयोग करें।
• वैलिडेशन सेट पर मॉडल के प्रदर्शन के आधार पर रेग्युलराइज़ेशन स्ट्रेंथ ट्यून करें।

9. मॉडल मूल्यांकन

• प्रशिक्षण के दौरान एक अलग वैलिडेशन सेट पर मॉडल के प्रदर्शन की निगरानी करें ताकि आर्किटेक्चर में बदलावों का प्रभाव आंका जा सके।
• टेस्ट सेट पर प्रशिक्षित मॉडल का मूल्यांकन करें ताकि उसके जनरलाइज़ेशन प्रदर्शन का आकलन हो सके।
• एक्यूरेसी, लॉस और वैलिडेशन एरर जैसे मैट्रिक्स का उपयोग कर मॉडल के प्रदर्शन का मूल्यांकन करें और आर्किटेक्चरल निर्णयों का मार्गदर्शन करें।

10. दोहराएँ और प्रयोग करें

• मॉडल के प्रदर्शन को बेहतर बनाने के लिए अलग-अलग आर्किटेक्चर्स, हाइपरपैरामीटर्स और ऑप्टिमाइज़ेशन रणनीतियों के साथ प्रयोग करें।
• प्रशिक्षण और मूल्यांकन परिणामों से मिली समझ के आधार पर अपने इंप्लीमेंटेशन को दोहराएँ।

MLP के लाभ और सीमाएँ

अपने प्रोजेक्ट के लिए MLP चुनने से पहले, यह समझना उपयोगी है कि वे किन क्षेत्रों में उत्कृष्ट हैं और किन परिस्थितियों में अन्य आर्किटेक्चर्स अधिक उपयुक्त हो सकते हैं।

लाभ

• यूनिवर्सल एप्रॉक्सिमेशन: पर्याप्त न्यूरॉन्स और परतें दिए जाने पर MLP किसी भी सतत फ़ंक्शन का सन्निकटन कर सकते हैं, जिससे वे व्यापक कार्यों के लिए अत्यंत लचीले बनते हैं।
• गैर-रेखीय मॉडलिंग: सिंगल-लेयर परसेप्ट्रॉन्स के विपरीत, MLP अपनी हिडन लेयर्स और गैर-रेखीय सक्रियण फ़ंक्शंस के माध्यम से गैर-रेखीय रूप से पृथक डेटा को संभालते हैं।
• बहुमुखी प्रतिभा: MLP वित्त, स्वास्थ्य सेवा और नैचुरल लैंग्वेज प्रोसेसिंग जैसे क्षेत्रों में क्लासिफिकेशन, रिग्रेशन और पैटर्न रिकग्निशन के लिए अच्छी तरह काम करते हैं।
• सरल इंप्लीमेंटेशन: Keras, PyTorch और scikit-learn जैसी लाइब्रेरीज़ न्यूनतम सेटअप के साथ तैयार-उपयोग MLP इंप्लीमेंटेशंस प्रदान करती हैं।

सीमाएँ

• स्थानिक या अनुक्रमिक डेटा के लिए आदर्श नहीं: इमेज के लिए, CNNs स्थानिक संरचना का लाभ उठाकर MLPs से बेहतर प्रदर्शन करते हैं। अनुक्रमों के लिए, RNNs और LSTMs समय-निर्भरता को बेहतर तरीके से पकड़ते हैं।
• ओवरफ़िटिंग की प्रवृत्ति: बहुत से पैरामीटर्स होने पर, MLPs प्रशिक्षण डेटा को याद कर सकते हैं। रेग्युलराइज़ेशन, ड्रॉपआउट और अर्ली स्टॉपिंग जैसी तकनीकें इसे कम करने में मदद करती हैं।
• कम्प्यूटेशनल रूप से महँगे: पूरी तरह से कनेक्टेड लेयर्स इनपुट आयाम बढ़ने के साथ अच्छी तरह स्केल नहीं करतीं, और CNNs जैसी आर्किटेक्चर्स की तुलना में अधिक पैरामीटर्स और प्रशिक्षण समय की आवश्यकता होती है।
• फीचर स्केलिंग के प्रति संवेदनशील: प्रशिक्षण के दौरान कुशल अभिसरण के लिए MLPs को ठीक से स्केल किए गए इनपुट फीचर्स की आवश्यकता होती है।
• ब्लैक-बॉक्स प्रकृति: किसी MLP ने क्या सीखा है, इसकी व्याख्या करना ट्री-आधारित मॉडल्स या रैखिक विधियों की तुलना में अधिक चुनौतीपूर्ण होता है।

निष्कर्ष

मल्टीलयर परसेप्ट्रॉन्स कृत्रिम न्यूरल नेटवर्क्स की एक बुनियादी और बहुमुखी श्रेणी का प्रतिनिधित्व करते हैं, जिन्होंने मशीन लर्निंग और आर्टिफिशियल इंटेलिजेंस की प्रगति में महत्वपूर्ण योगदान दिया है। आपस में जुड़े न्यूरॉनों की परतों और गैर-रेखीय सक्रियण फ़ंक्शंस के माध्यम से, MLP डेटा में जटिल पैटर्न और संबंध सीखने में सक्षम हैं, जिससे वे विभिन्न प्रकार के कार्यों के लिए उपयुक्त बनते हैं। MLPs का इतिहास शुरुआती परसेप्ट्रॉन मॉडलों से लेकर आधुनिक डीप लर्निंग आर्किटेक्चर्स तक अन्वेषण, खोज और नवाचार की यात्रा को दर्शाता है, जो आज कई अत्याधुनिक प्रणालियों को शक्ति देते हैं।

इस लेख में, आपने कृत्रिम न्यूरल नेटवर्क्स की मूल बातें, मल्टीलयर परसेप्ट्रॉन्स पर केंद्रित सामग्री, स्टोकेस्टिक ग्रेडिएंट डिसेंट और बैकप्रोपेगेशन के बारे में सीखा। यदि आप व्यावहारिक अनुभव हासिल करना चाहते हैं और आवास की कीमतों की भविष्यवाणी करने, छवियों और पाठ को मॉडल करने के लिए न्यूरल नेटवर्क बनाने जैसी वास्तविक-जीवन की चुनौतियों को हल करने हेतु डीप लर्निंग तकनीकों का उपयोग करना चाहते हैं—तो हम हमारे Keras toolbox track का अनुसरण करने की जोरदार अनुशंसा करते हैं।

Keras के साथ काम करते हुए, आप न्यूरल नेटवर्क्स, डीप लर्निंग मॉडल वर्कफ़्लोज़ और अपने मॉडलों को कैसे ऑप्टिमाइज़ करें, इसके बारे में सीखेंगे। Datacamp के पास एक Keras चीट शीट भी है, जो आपके काम आ सकती है!