मशीन लर्निंग में लॉस फ़ंक्शंस: आसान व्याख्या

संक्षेप में

• लॉस फ़ंक्शन किसी मॉडल की भविष्यवाणियों और वास्तविक लक्ष्य मानों के बीच अंतर को मापता है और वज़न समायोजित कर सटीकता बढ़ाने के लिए एल्गोरिदम को मार्गदर्शन देता है।
• रिग्रेशन के लिए, बड़े त्रुटियों को कड़ी सज़ा देनी हो तो MSE का उपयोग करें, आउटलायर को बराबर वज़न देना हो तो MAE, और दोनों के बीच संतुलन चाहिए तो Huber Loss।
• क्लासिफिकेशन के लिए, दो-क्लास समस्याओं में Binary Cross-Entropy, मल्टीक्लास में Categorical Cross-Entropy, और SVM जैसे मार्जिन-आधारित क्लासिफ़ायर के लिए Hinge Loss।
• scikit-learn, TensorFlow, और PyTorch जैसी लाइब्रेरीज़ में प्रचलित लॉस फ़ंक्शंस पहले से उपलब्ध होते हैं।

लॉस फ़ंक्शंस एक नज़र में

लॉस फ़ंक्शन मशीन लर्निंग मॉडल के प्रदर्शन और सटीकता को नापने का मापनीय तरीका है। यह मॉडल या एल्गोरिदम के भीतर सीखने की प्रक्रिया के लिए मार्गदर्शक का काम करता है।

मशीन लर्निंग मॉडल के प्रशिक्षण में लॉस फ़ंक्शन की भूमिका अत्यंत महत्वपूर्ण है और इसमें शामिल हैं:

• प्रदर्शन मापन: भविष्यवाणियों और वास्तविक परिणामों के बीच अंतर को मापकर लॉस फ़ंक्शंस प्रदर्शन का स्पष्ट मीट्रिक प्रदान करते हैं।
• सुधार की दिशा: लॉस फ़ंक्शंस एल्गोरिदम को वज़न(पैरामीटर्स) क्रमिक रूप से समायोजित करने का संकेत देते हैं ताकि लॉस घटे और भविष्यवाणियाँ बेहतर हों।
• बायस-वैरिएंस संतुलन: प्रभावी लॉस फ़ंक्शंस मॉडल के बायस (अति-सरलीकरण) और वैरिएंस (ओवरफ़िटिंग) में संतुलन बनाने में मदद करते हैं, जो नए डेटा पर सामान्यीकरण के लिए आवश्यक है।
• मॉडल व्यवहार पर प्रभाव: कुछ लॉस फ़ंक्शंस मॉडल के व्यवहार को प्रभावित कर सकते हैं, जैसे आउटलायर के प्रति अधिक मज़बूत होना या विशिष्ट प्रकार की त्रुटियों को प्राथमिकता देना।

आगे के हिस्सों में हम विशिष्ट लॉस फ़ंक्शंस की भूमिकाएँ देखेंगे और उनके बारे में सहज समझ विकसित करेंगे।

लॉस फ़ंक्शन क्या है?

लॉस फ़ंक्शन, जिसे एरर फ़ंक्शन भी कहा जाता है, मशीन लर्निंग में एक अहम घटक है जो किसी एल्गोरिदम के अनुमानित आउटपुट और वास्तविक लक्ष्य मानों के बीच के अंतर को मापता है।

उदाहरण के लिए, ऐतिहासिक डेटा के आधार पर कार की कीमत का पूर्वानुमान करने वाली रिग्रेशन समस्या में, लॉस फ़ंक्शन प्रशिक्षण डेटा से एक नमूने पर न्यूरल नेटवर्क की भविष्यवाणी का मूल्यांकन करता है। यह नेटवर्क द्वारा अनुमानित कार कीमत और वास्तविक कीमत के बीच अंतर या त्रुटि-सीमा को मापता है।

इससे मिलने वाला मान, यानी लॉस, मॉडल की भविष्यवाणियों की सटीकता दर्शाता है। प्रशिक्षण के दौरान, बैकप्रोपेगेशन जैसे सीखने वाले एल्गोरिदम मॉडल के पैरामीटर्स के सापेक्ष लॉस फ़ंक्शन के ग्रेडिएंट का उपयोग करते हैं ताकि पैरामीटर्स समायोजित कर लॉस घटाया जा सके और मॉडल का प्रदर्शन बेहतर हो।

अकसर लॉस फ़ंक्शन और कॉस्ट फ़ंक्शन शब्द एक-दूसरे के स्थान पर उपयोग किए जाते हैं; फिर भी, दोनों की परिभाषाएँ अलग हैं:

जैसा पहले बताया, लॉस फ़ंक्शन, जिसे एरर फ़ंक्शन भी कहते हैं, यह मापता है कि किसी एक प्रशिक्षण उदाहरण पर एल्गोरिदम की भविष्यवाणी वास्तविक लक्ष्य मान की तुलना में कितनी अच्छी है। मुख्य बात यह है कि लॉस फ़ंक्शन एकल प्रशिक्षण उदाहरण पर लागू होता है और सीखने वाले एल्गोरिदम को वज़न और पैरामीटर्स अपडेट करने का संकेत प्रदान करता है।

कॉस्ट फ़ंक्शन, जिसे कभी-कभी ऑब्जेक्टिव फ़ंक्शन भी कहते हैं, पूरे प्रशिक्षण सेट के लॉस का औसत होता है जिसमें कई प्रशिक्षण उदाहरण शामिल होते हैं। कॉस्ट फ़ंक्शन पूरे प्रशिक्षण डेटा पर मॉडल के प्रदर्शन को मापता है।

अब देखें कि लॉस फ़ंक्शंस कैसे काम करते हैं।

लॉस फ़ंक्शंस कैसे काम करते हैं

यद्यपि लॉस फ़ंक्शंस के प्रकार कई हैं, पर मूल रूप से सभी का काम डेटा सेट में मॉडल की भविष्यवाणियों और वास्तविक लक्ष्य मानों के बीच के अंतर को मापना है। इस संख्यात्मक मापन को पूर्वानुमान त्रुटि कहते हैं। मशीन लर्निंग मॉडल के सीखने वाले एल्गोरिदम और तंत्र इसी पूर्वानुमान त्रुटि को न्यूनतम करने के लिए अनुकूलित होते हैं। यानी, लॉस फ़ंक्शन के मान की गणना के बाद, जो इसी त्रुटि से निर्धारित होता है, एल्गोरिदम इस जानकारी का उपयोग वज़न और पैरामीटर्स को अपडेट करने में करता है ताकि अगली ट्रेनिंग पास में त्रुटि और कम हो।

लॉस फ़ंक्शन, एल्गोरिदम और न्यूरल नेटवर्क की सीखने की प्रक्रिया पर चर्चा करते समय एम्पिरिकल रिस्क मिनिमाइज़ेशन (ERM) का विषय आता है। ERM वह दृष्टिकोण है जिसमें मशीन लर्निंग एल्गोरिदम के ऐसे इष्टतम पैरामीटर्स चुने जाते हैं जो अनुभवजन्य जोखिम को न्यूनतम करें। यहाँ अनुभवजन्य जोखिम प्रशिक्षण डेटा सेट पर आधारित होता है।

ERM का रिस्क मिनिमाइज़ेशन घटक वह प्रक्रिया है जिसके माध्यम से आंतरिक सीखने वाला एल्गोरिदम ज्ञात डेटा सेट पर पूर्वानुमान त्रुटि को घटाता है ताकि मॉडल अनदेखे डेटा पर, जिसका सांख्यिकीय वितरण आरंभिक प्रशिक्षण डेटा से मिलता-जुलता हो सकता है, अपेक्षित प्रदर्शन और सटीकता दिखा सके।

लॉस फ़ंक्शंस के प्रकार

मशीन लर्निंग में लॉस फ़ंक्शंस को उन कार्यों के आधार पर वर्गीकृत किया जा सकता है जिन पर वे लागू होते हैं। अधिकांश लॉस फ़ंक्शंस रिग्रेशन और क्लासिफिकेशन समस्याओं पर लागू होते हैं। रिग्रेशन में मॉडल से निरंतर मानों का पूर्वानुमान अपेक्षित होता है, जबकि क्लासिफिकेशन में मॉडल डेटा सेट की श्रेणियों के अनुसार असतत लेबल लौटाता है।

नीचे मानक लॉस फ़ंक्शंस और वे किन प्रकार की समस्याओं में उपयुक्त बैठते हैं, उसका वर्गीकरण दिया है। इनमे से अधिकतर पर आगे विस्तार से चर्चा की गई है।

रिग्रेशन के लिए लॉस फ़ंक्शंस

मीन स्क्वायर्ड एरर (MSE) / L2 लॉस

मीन स्क्वायर्ड एरर (MSE) या L2 लॉस वह लॉस फ़ंक्शन है जो भविष्यवाणी और लक्ष्य मानों के बीच वर्ग-तरफ का औसत लेकर त्रुटि की परिमाण को मापता है। भविष्यवाणी और लक्ष्य मानों के बीच अंतर का वर्ग करने से लक्ष्य से बड़े विचलनों पर अधिक दंड लगता है। त्रुटियों का औसत लेना डेटा सेट के नमूनों की संख्या के सापेक्ष कुल त्रुटि को सामान्यीकृत करता है।

मीन स्क्वायर्ड एरर (MSE) या L2 लॉस का गणितीय समीकरण है:

MSE = (1/n) * Σ(yᵢ - ȳ)²संचालित द्वारा

जहाँ:

• n डेटा सेट में नमूनों की संख्या है
• yᵢ i-वें नमूने के लिए भविष्यवाणी है
• ȳ i-वें नमूने के लिए लक्ष्य मान है

MSE कब उपयोग करें

मॉडल विकास में MSE का उपयोग कब करें, यह समझना महत्वपूर्ण है। अधिकांश रिग्रेशन कार्यों में MSE मानक लॉस फ़ंक्शन है क्योंकि यह मॉडल को पूर्वानुमान और लक्ष्य के बीच वर्ग-अंतर को घटाने हेतु अनुकूलित करता है।

जहाँ आउटलायरों को सख्ती से दंडित करना सीखने की प्रक्रिया के लिए लाभकारी है, वहाँ MSE अनुशंसित है। परन्तु यदि आउटलायर वास्तविक संकेत की बजाय डेटा में शोर के कारण हैं, तो MSE हमेशा उपयुक्त नहीं होता।

उदाहरण के तौर पर, रियल एस्टेट कीमत पूर्वानुमान या व्यापक रूप से प्रेडिक्टिव मॉडलिंग में MSE उपयोगी है। कमरों की संख्या, लोकेशन, क्षेत्रफल, सुविधाओं से दूरी जैसे फीचर्स के आधार पर घरों की कीमतें अनुमानित की जाती हैं। किसी क्षेत्र में कीमतें सामान्यतः नॉर्मली डिस्ट्रीब्यूटेड होती हैं, इसलिए आउटलायर को दंडित करना सटीक पूर्वानुमान के लिए आवश्यक है।

रियल एस्टेट में छोटे प्रतिशत की त्रुटि भी बड़ी रक़म बन सकती है। उदाहरण के लिए, $200,000 के घर में 5% त्रुटि $10,000 है, जो काफ़ी बड़ी है। इसलिए त्रुटियों का वर्ग करना (MSE) बड़ी त्रुटियों को अधिक वज़न देता है और मॉडल को उच्च-मूल्य वाली संपत्तियों पर अधिक सटीक बनने की ओर धकेलता है।

मीन एब्सोल्यूट एरर (MAE) / L1 लॉस

मीन एब्सोल्यूट एरर (MAE), जिसे L1 लॉस भी कहते हैं, रिग्रेशन में उपयोग होने वाला लॉस फ़ंक्शन है जो मॉडल की भविष्यवाणियों और वास्तविक लक्ष्य मानों के बीच औसत निरपेक्ष अंतर निकालता है। MSE के विपरीत, MAE अंतर का वर्ग नहीं करता, यानी सभी त्रुटियों को उनके आकार से परे समान वज़न देता है।

मीन एब्सोल्यूट एरर (MAE) या L1 लॉस का गणितीय समीकरण:

MAE = (1/n) * Σ|yᵢ - ȳ|संचालित द्वारा

जहाँ:

• n डेटा सेट में नमूनों की संख्या है
• yᵢ i-वें नमूने के लिए भविष्यवाणी है
• ȳ i-वें नमूने के लिए लक्ष्य मान है

MAE कब उपयोग करें

MAE औसत निरपेक्ष त्रुटि को मापता है। अन्तर का वर्ग न करने से यह आउटलायर के प्रति कम संवेदनशील होता है। MSE की तुलना में, MAE स्वाभाविक रूप से आउटलायर के प्रभाव को सीमित करता है क्योंकि वह सभी त्रुटियों को समान वज़न देता है।

यानी, जहाँ आउटलायर MSE में वर्ग होने पर अत्यधिक प्रभाव डालते हैं, MAE में उनका प्रभाव नियंत्रित रहता है। MAE उपयोग करने पर आउटलायर का समग्र त्रुटि मीट्रिक पर असर न्यूनतम होता है, जबकि MSE त्रुटि पदों के वर्ग के कारण आउटलायर प्रभाव को बढ़ा देता है।

MAE उस स्थिति में उपयुक्त है जहाँ हम आउटलायर को अधिक दंडित नहीं करना चाहते—जैसे किसी फ़ूड डिलीवरी कंपनी के लिए डिलीवरी समय का पूर्वानुमान।

UberEats, Deliveroo, या DoorDash जैसी कंपनी ग्राहक संतुष्टि बढ़ाने के लिए डिलीवरी समय अनुमानित करने वाले मॉडल बना सकती हैं। डिलीवरी समय पर मौसम, ट्रैफिक हादसे, सड़क निर्माण आदि का प्रभाव पड़ता है।

इन कारकों को सँभालना समय-आकलन के लिए अहम है। एक तरीका यह है कि ऐसे घटनाक्रमों को आउटलायर माना जाए और प्रशिक्षण में उनका असर कम रखा जाए। इस परिदृश्य में MAE उपयुक्त है क्योंकि यह सड़क निर्माण या दुर्लभ घटनाओं से बने आउटलायर डेटा बिंदुओं को कम कठोरता से ट्रीट करता है, जिससे त्रुटि मीट्रिक और सीखने की प्रक्रिया पर उनका प्रभाव घटता है।

MAE सभी डेटा बिंदुओं को समान त्रुटि-वज़न देता है; इस परिदृश्य में आउटलायर को दंडित करना समय के अतिरंजन या अधिरंजन (over/under-estimation) का कारण बन सकता है।

ह्यूबर लॉस / स्मूथ मीन एब्सोल्यूट एरर

ह्यूबर लॉस या स्मूथ MAE, MAE और MSE दोनों के लाभकारी गुणों को एक ही लॉस फ़ंक्शन में समाहित करता है। इसकी हाइब्रिड प्रकृति इसे MAE की तरह आउटलायर के प्रति कम संवेदनशील बनाती है, साथ ही MSE की तरह छोटी त्रुटियों को भी दंडित करती है। ह्यूबर लॉस भी रिग्रेशन कार्यों में प्रयुक्त होता है।

ह्यूबर लॉस का गणितीय समीकरण इस प्रकार है:

L(δ, y, f(x)) = (1/2) * (f(x) - y)^2   if |f(x) - y| <= δ
               = δ * |f(x) - y| - (1/2) * δ^2   if |f(x) - y| > δसंचालित द्वारा

जहाँ:

• L ह्यूबर लॉस फ़ंक्शन को दर्शाता है
• δ डेल्टा पैरामीटर है, जो यह तय करता है कि लॉस कब क्वाड्रेटिक से लीनियर भाग में बदलेगा
• y वास्तविक या लक्ष्य मान है
• f(x) अनुमानित मान है

ह्यूबर लॉस / स्मूथ MAE कब उपयोग करें

ह्यूबर लॉस त्रुटियों को दो तरह से संभालता है, और इन दोनों के बीच संक्रमण बिंदु सीमा δ से तय होता है:

• छोटी त्रुटियों के लिए क्वाड्रेटिक घटक: जब त्रुटि δ से छोटी हो, तो (1/2) * (f(x) - y)^2 लागू होता है
• बड़ी त्रुटियों के लिए लीनियर घटक: जब त्रुटि δ से बड़ी हो, तो δ * |f(x) - y| - (1/2) * δ^2 लागू होता है

ह्यूबर लॉस दो मोड में काम करता है, जो वास्तविक और अनुमानित मान के अंतर के आकार पर निर्भर है। यहाँ प्रमुख शब्द है डेल्टा (δ)—यह वह दहलीज़ है जहाँ लॉस क्वाड्रेटिक से लीनियर गणना में स्विच करता है।

ह्यूबर लॉस का क्वाड्रेटिक भाग MSE के उन लाभों को दर्शाता है जो आउटलायर को दंडित करते हैं; ह्यूबर में यह छोटी त्रुटियों (डेल्टा से कम) पर लागू होकर अधिक सटीक भविष्यवाणी सुनिश्चित करता है।

यदि त्रुटि, यानी वास्तविक और अनुमानित के बीच का अंतर, डेल्टा से बड़ा है, तो ह्यूबर MAE जैसी लीनियर गणना अपनाता है ताकि बड़ा लॉस होने पर भी अति-दंड से बचा जा सके—विशेषकर तब जब डेटा सेट में आउटलायर या दुर्लभ नमूने मौजूद हों।

क्लासिफिकेशन के लिए लॉस फ़ंक्शंस

बाइनरी क्रॉस-एंट्रॉपी लॉस / लॉग लॉस

बाइनरी क्रॉस-एंट्रॉपी लॉस (BCE) उन क्लासिफिकेशन मॉडलों का प्रदर्शन मापता है जो 0 और 1 के बीच प्रायिकता के रूप में भविष्यवाणी देते हैं—यह मान किसी नमूने के किसी वर्ग से संबंधित होने की संभावना दर्शाता है। BCE के मामले में दो स्पष्ट क्लास होते हैं। इसकी एक किस्म, कैटेगोरिकल क्रॉस-एंट्रॉपी, मल्टीक्लास परिदृश्यों में लागू होती है।

बाइनरी क्रॉस-एंट्रॉपी, जिसे लॉग लॉस भी कहते हैं, समझने के लिए इसके घटकों पर नज़र डालते हैं।

• लॉस: एल्गोरिदम की भविष्यवाणी और वास्तविक लक्ष्य मान के बीच अंतर का गणितीय परिमाणीकरण।
• एंट्रॉपी: किसी प्रणाली में अनियमितता/अव्यवस्था की मात्रा का आकलन।
• क्रॉस एंट्रॉपी: सूचना सिद्धांत का पद, जो दो प्रायिकता वितरणों के बीच अंतर मापता है जिन्हें किसी ऑब्ज़र्वेशन की पहचान में उपयोग किया जा सकता है।
• बाइनरी: दो स्थितियों—0 या 1—से संख्यात्मक अभिव्यक्ति। बाइनरी क्लासिफिकेशन में, हम दो क्लास (A और B) को 0 और 1 से निरूपित करते हैं।

बाइनरी क्रॉस एंट्रॉपी लॉस (या लॉग लॉस) वह परिमाण है जो एल्गोरिदम की भविष्यवाणियों की प्रायिकताओं के लॉगरिद्म के योग के ऋणात्मक मान का औसत लेकर त्रुटि को दर्शाता है। BCE का उपयोग लॉजिस्टिक रिग्रेशन और ऐसे आर्टिफिशियल न्यूरल नेटवर्क के प्रशिक्षण में होता है जो किसी नमूने के किसी वर्ग में होने की संभावना का अनुमान लगाते हैं और आंतरिक रूप से sigmoid activation function का उपयोग करते हैं।

बाइनरी क्रॉस-एंट्रॉपी लॉस (लॉग लॉस) का समीकरण:

L(y, f(x)) = -[y * log(f(x)) + (1 - y) * log(1 - f(x))]संचालित द्वारा

जहाँ:

• L बाइनरी क्रॉस-एंट्रॉपी लॉस फ़ंक्शन है
• y वास्तविक बाइनरी लेबल है (0 या 1)
• f(x) पॉज़िटिव क्लास की अनुमानित प्रायिकता है (0 और 1 के बीच)

बाइनरी क्रॉस-एंट्रॉपी / लॉग लॉस कब उपयोग करें

उपरोक्त समीकरण तब लागू है जब एल्गोरिदम दो क्लास में से एक चुनता है—यानी बाइनरी क्लासिफिकेशन।

जैसा कि समीकरण में ऋण चिह्न ‘-’ से स्पष्ट है, BCE दो पदों के ऋणात्मक का औसत लेता है:

1. जब पॉज़िटिव क्लास उपस्थित हो तो मॉडल की अनुमानित प्रायिकता का लॉगरिद्म: y * log(f(x))
2. नेगेटिव क्लास की 1 माइनस अनुमानित प्रायिकता का लॉगरिद्म: (1 - y) * log(1 - f(x))

BCE उन भविष्यवाणियों को कड़ी सज़ा देता है जो वास्तविक क्लास से काफ़ी भिन्न हों—अर्थात जिनमें एंट्रॉपी अधिक हो। इसे सीखने वाले एल्गोरिदम में उपयोग करने से मॉडल प्रशिक्षण के दौरान उचित क्लास के लिए प्रायिकता-अनुमानों को परिष्कृत करता है।

हिंज लॉस

हिंज लॉस ऐसे क्लासिफ़ायर प्रशिक्षित करने में प्रयुक्त होता है जो डेटा बिंदुओं और डिसीज़न बाउंड्री के बीच मार्जिन बढ़ाने के लिए अनुकूलन करते हैं; अतः यह मुख्यतः मैक्सिमम मार्जिन क्लासिफिकेशन में उपयोगी है। अधिकतम मार्जिन सुनिश्चित करने के लिए, हिंज लॉस गलत वर्गीकृत भविष्यवाणियों को दंडित करता है—यानी जो मार्जिन बाउंड्री के गलत तरफ़ हों—साथ ही वे सही वर्गीकृत भविष्यवाणियाँ भी दंडित करता है जो डिसीज़न बाउंड्री के बहुत क़रीब हों।

हिंज लॉस की यह विशेषता सुनिश्चित करती है कि मॉडल लक्ष्य लेबल का सटीक वर्गीकरण ऐसे आत्मविश्वास के साथ करे जो डिसीज़न बाउंड्री की दहलीज़ से ऊपर हो। यह दृष्टिकोण मॉडल की जनरलाइज़ेशन क्षमता को बढ़ाता है।

हिंज लॉस का समीकरण:

L(y, f(x)) = max(0, 1 - y * f(x))संचालित द्वारा

जहाँ:

• L हिंज लॉस है
• y वास्तविक लेबल या लक्ष्य मान है (-1 या 1)
• f(x) अनुमानित मान या डिसीज़न फ़ंक्शन आउटपुट है

सही लॉस फ़ंक्शन कैसे चुनें

मशीन लर्निंग एल्गोरिदम के लिए उपयुक्त लॉस फ़ंक्शन चुनना आवश्यक है, क्योंकि प्रदर्शन इस पर निर्भर करता है कि एल्गोरिदम आंतरिक वज़नों को डेटा के अनुरूप कितनी अच्छी तरह सीखता/ढालता है।

मॉडल का प्रदर्शन प्रयुक्त लॉस फ़ंक्शन से परिभाषित होता है, क्योंकि यही घटक उस सीखने वाले एल्गोरिदम को प्रभावित करता है जो मॉडल की त्रुटि (लॉस/कॉस्ट) को घटाता है। मूल रूप से, लॉस फ़ंक्शन यह निर्धारित करता है कि मॉडल डेटा के पैटर्न के अनुरूप अपने वज़न कितना प्रभावी ढंग से सीखता और समायोजित करता है।

उचित लॉस फ़ंक्शन चुनने पर सीखने वाला एल्गोरिदम प्रशिक्षण के दौरान इष्टतम लॉस तक अच्छी तरह अभिसरित होता है और अनदेखे नमूनों पर अच्छा सामान्यीकरण करता है। यह एक मार्गदर्शक की तरह काम करता है, एल्गोरिदम को सटीकता और विश्वसनीयता की ओर ले जाते हुए यह सुनिश्चित करता है कि वह डेटा के अंतर्निहित पैटर्न पकड़ ले और ओवरफ़िटिंग या अंडरफ़िटिंग से बचे।

लॉस फ़ंक्शन चुनते समय विचार करने योग्य कारक

समस्या के प्रकार को समझना पहली कड़ी है जिससे लॉस फ़ंक्शन की श्रेणी तय होती है। अलग-अलग समस्याओं के लिए अलग लॉस फ़ंक्शंस उपयुक्त होते हैं।

क्लासिफिकेशन बनाम रिग्रेशन

क्लासिफिकेशन में डेटा बिंदुओं को किसी श्रेणी-लेबल में सौंपा जाता है। ऐसे कार्यों में मॉडल का आउटपुट सामान्यतः प्रायिकताओं का सेट होता है।

क्लासिफिकेशन के लिए प्रायः क्रॉस-एंट्रॉपी लॉस उपयोग किया जाता है। जबकि, रिग्रेशन में, जहाँ मॉडल इनपुट के आधार पर निरंतर मान का अनुमान देता है, मीन स्क्वायर्ड एरर या मीन एब्सोल्यूट एरर जैसे लॉस फ़ंक्शन बेहतर रहते हैं।

बाइनरी बनाम मल्टीक्लास क्लासिफिकेशन

बाइनरी क्लासिफिकेशन में दो श्रेणियाँ होती हैं, जबकि मल्टीक्लास में दो से अधिक। बाइनरी समस्याओं के लिए बाइनरी क्रॉस-एंट्रॉपी सर्वोत्तम है। जब लक्ष्य दो से अधिक क्लास हों, तो कैटेगोरिकल क्रॉस-एंट्रॉपी अपनाएँ।

संवेदनशीलता

आउटलायर के प्रति लॉस फ़ंक्शन की संवेदनशीलता भी महत्वपूर्ण है। कुछ परिदृश्यों में आउटलायर को प्रशिक्षण के दौरान दंडित करना वांछनीय है—ऐसे में MSE उपयुक्त है।

वहीं जहाँ आउटलायर ‘दुर्लभ घटनाएँ’ हों, उन्हें दंडित करने से मॉडल का प्रदर्शन बिगड़ सकता है—ऐसी स्थिति में MAE उपयोगी है। और दोनों के संतुलन के लिए ह्यूबर लॉस पर विचार करें—यह छोटी त्रुटियों पर दंड देता है और बड़ी त्रुटियों पर संवेदनशीलता घटाता है।

कम्प्यूटेशनल दक्षता

कम्प्यूटेशनल संसाधन मशीन लर्निंग में एक मूल्यवान परिसंपत्ति हैं। अधिक क्षमता प्रयोग और जटिल समस्याएँ सुलझाने में मदद करती है। कुछ लॉस फ़ंक्शंस अधिक गणनात्मक रूप से महँगे होते हैं, विशेषकर बड़े डेटा सेट पर। इसलिए लॉस फ़ंक्शन की कम्प्यूटेशनल दक्षता भी चयन का एक कारक है।

आउटलायर और डेटा वितरण का प्रभाव

आउटलायर वे नमूने हैं जो डेटा सेट के समग्र सांख्यिकीय वितरण से बाहर आते हैं—इन्हें अनोमली या अनियमितताएँ भी कहते हैं। आउटलायर को कैसे संभाला जाता है, यह प्रशिक्षित मॉडल के प्रदर्शन और सटीकता को निर्धारित करता है।

जैसा पहले उल्लेख किया गया, लॉस फ़ंक्शन के अनुसार आउटलायर त्रुटि मानों को प्रभावित करते हैं। आउटलायर का यह प्रभाव सीखने की प्रक्रिया के नतीजों तक पहुँचता है, जो वांछित या अवांछित व्यवहार ला सकता है।

उदाहरण के लिए, MSE आउटलायर को अधिक दंड देता है जिससे बड़े त्रुटि पद बनते हैं; परिणामस्वरूप प्रशिक्षण के दौरान मॉडल वज़न इस प्रकार समायोजित होते हैं कि वे आउटलायर को समायोजित करना सीखें। यदि यह वांछित नहीं है, तो अंतिम मॉडल अनदेखे डेटा पर खराब सामान्यीकरण कर सकता है। ऐसी स्थितियों में, जहाँ आउटलायर के प्रभाव को घटाना है, MAE और ह्यूबर लॉस अधिक उपयुक्त हैं।

लॉस फ़ंक्शंस का इम्प्लीमेंटेशन

सामान्य लॉस फ़ंक्शंस के इम्प्लीमेंटेशन के उदाहरण

Python में MAE का इम्प्लीमेंटेशन

# Python implementation of Mean Absolute Error (MAE)

def mean_absolute_error(actual:list, predicted:list) -> float:
    """
    Calculate the Mean Absolute Error between actual and predicted values

    :param actual: list, actual values
    :param predicted: list, predicted values
    :return: float, the calculated MAE
    """
    # Ensure the length of the two lists are the same
    if len(actual) != len(predicted):
        raise ValueError("The length of actual values and predicted values must be the same")

    # Calculate the absolute differences
    absolute_diffs = [abs(act - pred) for act, pred in zip(actual, predicted)]
    
    # Calculate the mean of the absolute differences
    mae = sum(absolute_diffs) / len(actual)
    
    return mae

# Example usage:
# actual values
y_true = [3, -0.5, 2, 7]

# predicted values
y_pred = [2.5, 0.0, 2, 8]

# Calculate MAE
mae_value = mean_absolute_error(y_true, y_pred)
print(mae_value)
# 0.5संचालित द्वारा

Python में MSE का इम्प्लीमेंटेशन

# Python implementation of Mean Squared Error (MSE) / L2 Loss

def mean_squared_error(actual:list, predicted:list) -> float:
    """
    Calculate the Mean Squared Error between actual and predicted values

    :param actual: list, actual values
    :param predicted: list ,predicted values
    :return: float, the calculated MSE
    """
    # Ensure the length of the two lists are the same
    if len(actual) != len(predicted):
        raise ValueError("The length of actual values and predicted values must be the same")

    # Calculate the squared differences
		# (yᵢ - ȳ)²
    squared_diffs = [(act - pred) ** 2 for act, pred in zip(actual, predicted)]
    
    # Calculate the mean of the squared differences
    mse = sum(squared_diffs) / len(actual)
    
    return mse

# Example usage:
# actual values
y_true = [1, 2, 3, 4, 5]

# predicted values
y_pred = [1.1, 2.2, 2.9, 4.1, 4.9]

# Calculate MSE
mse_value = mean_squared_error(y_true, y_pred)
print(mse_value)
# 0.015999999999999993संचालित द्वारा

लॉस फ़ंक्शन इम्प्लीमेंटेशन के लिए लाइब्रेरीज़ का उपयोग

हालाँकि कस्टम लॉस फ़ंक्शंस बनाना संभव है, और TensorFlow व PyTorch जैसी डीप लर्निंग लाइब्रेरीज़ कस्टम लॉस का समर्थन भी करती हैं, फिर भी Scikit-learn, TensorFlow, और PyTorch में प्रचलित लॉस फ़ंक्शंस के बिल्ट-इन इम्प्लीमेंटेशन उपलब्ध हैं।

ये पूर्व-एकीकृत क्षमता विकास प्रक्रिया को सरल बनाती है और इम्प्लीमेंटेशन की जटिलताओं से मुक्ति दिलाती है।

इन डीप लर्निंग लाइब्रेरीज़ का उपयोग शुद्ध Python इम्प्लीमेंटेशन की तुलना में कई लाभ देता है, जैसे:

• उपयोग में सरलता
• दक्षता और अनुकूलन
• GPU और पैरेलल कम्प्यूटिंग का समर्थन
• डेवलपर समुदाय का सहयोग

scikit-learn के साथ मीन एब्सोल्यूट एरर (MAE)

from sklearn.metrics import mean_absolute_error

# actual values
y_true = [3, -0.5, 2, 7]

# predicted values
y_pred = [2.5, 0.0, 2, 8]

# Calculate MAE using scikit-learn
mae_value = mean_absolute_error(y_true, y_pred)
print(mae_value)
#0.5संचालित द्वारा

scikit-learn के साथ मीन स्क्वायर्ड एरर (MSE)

from sklearn.metrics import mean_squared_error

# actual values
y_true = [1, 2, 3, 4, 5]

# predicted values
y_pred = [1.1, 2.2, 2.9, 4.1, 4.9]

# Calculate MSE using scikit-learn
mse_value = mean_squared_error(y_true, y_pred)
print(mse_value)
# 0.016संचालित द्वारा

निष्कर्ष

संक्षेप में, सही लॉस फ़ंक्शन चुनना प्रभावी मॉडल प्रशिक्षण के लिए अत्यंत महत्वपूर्ण है। इस लेख में प्रमुख लॉस फ़ंक्शंस, एल्गोरिदम में उनकी भूमिका, और अलग-अलग कार्यों के लिए उनकी उपयुक्तता पर चर्चा हुई। MSE से लेकर ह्यूबर लॉस तक, हर फ़ंक्शन की अपनी विशेषताएँ हैं—चाहे आउटलायर हैंडलिंग हो या बायस-वैरिएंस संतुलन।

कस्टम या प्री-बिल्ट लॉस फ़ंक्शंस (Scikit-learn, TensorFlow, PyTorch) का चयन प्रोजेक्ट की ज़रूरतों, कम्प्यूटेशनल दक्षता और विशेषज्ञता पर निर्भर करता है। ये लाइब्रेरीज़ आसान इम्प्लीमेंटेशन, समुदाय सहयोग और नियमित अपडेट प्रदान करती हैं।

मशीन लर्निंग के विकास के बावजूद, लॉस फ़ंक्शंस का महत्व स्थिर है। भविष्य में अधिक विशिष्ट लॉस संभव हैं, पर मूल सिद्धांत बने रहने की संभावना है। और गहराई से सीखने के लिए DataCamp का Machine Learning Scientist with Python ट्रैक देखें।