20 मिनट में समझें 8 मशीन लर्निंग मॉडल

मशीन लर्निंग मॉडल क्यों इस्तेमाल करें?

आज कई बड़ी संस्थाएँ राजस्व अधिकतम करने और व्यापार वृद्धि के लिए किसी न किसी रूप में प्रेडिक्टिव मॉडलिंग का उपयोग करती हैं।

मशीन लर्निंग के अलग-अलग क्षेत्रों में कई उपयोग-केस हैं। उदाहरण के लिए, Netflix और Spotify जैसी सब्सक्रिप्शन-आधारित प्लेटफ़ॉर्म उपयोगकर्ता की ऐप गतिविधि के आधार पर कंटेंट सुझाने के लिए मशीन लर्निंग का इस्तेमाल करते हैं। 

रिकमेंडेशन सिस्टम इन कंपनियों के लिए प्रत्यक्ष व्यावसायिक मूल्य जोड़ते हैं, क्योंकि बेहतर उपयोगकर्ता अनुभव ग्राहकों को प्लेटफ़ॉर्म की सदस्यता जारी रखने के लिए प्रेरित करता है। यह अनसुपरवाइज़्ड मशीन लर्निंग मॉडल का उदाहरण है।

इसी तरह, कोई मोबाइल सेवा प्रदाता उपयोगकर्ता भावना का विश्लेषण करने और बाज़ार माँग के अनुसार अपने प्रोडक्ट ऑफ़रिंग क्यूरेट करने हेतु मशीन लर्निंग का उपयोग कर सकता है। यह सुपरवाइज़्ड मशीन लर्निंग मॉडल का उदाहरण है।

सभी मशीन लर्निंग मॉडलों को सुपरवाइज़्ड या अनसुपरवाइज़्ड के रूप में वर्गीकृत किया जा सकता है। दोनों के बीच सबसे बड़ा अंतर यह है कि सुपरवाइज़्ड एल्गोरिदम को लेबल किए गए इनपुट और आउटपुट ट्रेनिंग डेटा की आवश्यकता होती है, जबकि अनसुपरवाइज़्ड मॉडल कच्चे, बिना लेबल वाले डाटासेट को प्रोसेस कर सकता है।

सुपरवाइज़्ड मशीन लर्निंग मॉडलों को आगे रिग्रेशन और क्लासिफ़िकेशन एल्गोरिदम में विभाजित किया जा सकता है, जिनकी व्याख्या इस लेख में विस्तार से की जाएगी।

मशीन लर्निंग रिग्रेशन मॉडल

रिग्रेशन एल्गोरिदम स्वतंत्र चर (x) की मदद से सतत आउटपुट (y) की भविष्यवाणी करने के लिए उपयोग किए जाते हैं। 

उदाहरण के लिए, नीचे दी गई तालिका देखें:

चित्र: लेखक द्वारा

इस मामले में, हम घर के आकार, बेडरूम की संख्या, और फुली-फर्निश्ड होने के आधार पर किराया अनुमानित करना चाहते हैं। आश्रित चर “Rent” संख्यात्मक है, जो इसे रिग्रेशन समस्या बनाता है। 

उपरोक्त की तरह कई इनपुट वेरिएबल वाले समस्या को मल्टीवेरिएट रिग्रेशन समस्या कहा जाता है।

रिग्रेशन मेट्रिक्स

डेटा साइंस के शुरुआती लोगों में एक आम भ्रांति है कि रिग्रेशन मॉडल का मूल्यांकन एक्यूरेसी जैसी मेट्रिक से किया जा सकता है। एक्यूरेसी का उपयोग क्लासिफ़िकेशन मॉडलों के प्रदर्शन का आकलन करने के लिए किया जाता है, जैसा कि आगे इस लेख में समझाया जाएगा।

दूसरी ओर, रिग्रेशन मॉडलों का मूल्यांकन MAE (Mean Absolute Error), MSE (Mean Squared Error) और RMSE (Root Mean Squared Error) जैसी मेट्रिक्स से किया जाता है।

आइए, ऊपर वाले हाउस प्राइस उदाहरण में प्रेडिक्टेड वैल्यू जोड़कर कुछ रिग्रेशन मेट्रिक्स के माध्यम से उनका आकलन करें:

चित्र: लेखक द्वारा

1. Mean Absolute Error: 

मीन एब्सोल्यूट एरर सभी वास्तविक और भविष्यवाणी की गई मानों के बीच अंतर के परिमानों (absolute differences) का योग निकालकर उसे कुल ऑब्जर्वेशन्स की संख्या से भाग देता है। MAE की गणना का सूत्र यहाँ है:

आइए, इस सूत्र का उपयोग कर ऊपर दिए गए मानों का Mean Absolute Error निकालते हैं:

वास्तविक और अनुमानित हाउस प्राइस के बीच मीन एब्सोल्यूट एरर लगभग $155 है।

2. Mean Squared Error: 

मॉडल का मीन स्क्वेयर्ड एरर निकालने का सूत्र, मीन एब्सोल्यूट एरर के समान ही है:

ध्यान दें कि जहाँ MAE वास्तविक और अनुमानित मानों के बीच औसत परिमाणित दूरी निकालता है, वहीं MSE वास्तविक और अनुमानित मानों के बीच औसत वर्ग दूरी (squared distance) निकालता है।

आइए, ऊपर दिए गए वास्तविक और अनुमानित मानों के बीच MSE निकालते हैं:

3. Root Mean Squared Error: 

किसी estimator का RMSE, उसके MSE का वर्गमूल लेकर निकाला जाता है। MSE की तुलना में RMSE का एक लाभ यह है कि त्रुटि उसी इकाई में मिलती है जिस चर का हम अनुमान लगा रहे हैं।

इस मामले में, उदाहरण के लिए, RMSE है √54,520.25 = 233.5। यह मान व्याख्यायोग्य है क्योंकि यह हाउस प्राइस की इकाई में है, जबकि Mean Squared Error नहीं था।

अब जब आप रिग्रेशन की अवधारणा समझ चुके हैं, तो विभिन्न प्रकार के रिग्रेशन मॉडलों पर नज़र डालते हैं:

सिंपल लीनियर रिग्रेशन

लीनियर रिग्रेशन आश्रित और एक या अधिक स्वतंत्र चरों के बीच संबंध का रैखिक दृष्टिकोण है। यह एल्गोरिदम ऐसे रेखा खोजने पर आधारित है जो दिए गए डेटा पर सबसे अच्छी तरह फिट हो। 

यहाँ देखें कि सिंपल लीनियर रिग्रेशन मॉडल कैसे काम करता है:

चित्र: लेखक द्वारा

ऊपर का चार्ट हाउस प्राइस और साइज के बीच संबंध दिखाता है। लीनियर रिग्रेशन मॉडल इस संबंध को मॉडल करने के लिए एक ऐसी रेखा बनाएगा जो सबसे अच्छा फिट देती है। साइज के विभिन्न मानों के सापेक्ष घर के मूल्य के सभी पूर्वानुमान इस बेस्ट-फिट लाइन पर होंगे।

ध्यान दें कि आरेख में तीन रेखाएँ खींची गई हैं। इनमें से “लाइन ऑफ़ बेस्ट फिट” कौन-सी है?

लाइन ऑफ़ बेस्ट फिट

केवल आरेख को देखकर हम देख सकते हैं कि नारंगी रेखा सभी डेटा बिंदुओं के सबसे क़रीब है। इसलिए, सहज रूप से कहा जा सकता है कि यह “लाइन ऑफ़ बेस्ट फिट” का प्रतिनिधित्व करती है। 

यहाँ देखें कि लीनियर रिग्रेशन में लाइन ऑफ़ बेस्ट फिट कैसे पाई जाती है, इसका औपचारिक स्पष्टीकरण:

सीधी रेखा का समीकरण y = mx + c है। यहाँ m रेखा का ढलान (slope) है और c उसका y-इंटरसेप्ट। m और c के अनंत संभावित मान हो सकते हैं, इसलिए यह रेखा अनंत तरीकों से खींची जा सकती है।

लाइन ऑफ़ बेस्ट फिट, जिसे लीस्ट स्क्वेयर्स रिग्रेशन लाइन भी कहा जाता है, वास्तविक और पूर्वानुमानित मानों के बीच वर्ग दूरी के योग को न्यूनतम करके पाई जाती है:

लीनियर रिग्रेशन मशीन लर्निंग मॉडल और उसके इम्प्लीमेंटेशन की गहरी समझ के लिए आप Essentials of Linear Regression in Python ट्यूटोरियल पढ़ सकते हैं।

रिज रिग्रेशन

रिज रिग्रेशन ऊपर बताए गए लीनियर रिग्रेशन मॉडल का विस्तार है। यह तकनीक रिग्रेशन मॉडल के कोएफ़िशिएंट्स को यथासंभव छोटा रखने के लिए उपयोग की जाती है।

सिंपल लीनियर रिग्रेशन मॉडल की एक समस्या यह है कि इसके कोएफ़िशिएंट्स बड़े हो सकते हैं, जिससे मॉडल इनपुट्स के प्रति अधिक संवेदनशील हो जाता है। इससे ओवरफ़िटिंग हो सकती है।

ओवरफ़िटिंग की अवधारणा समझने के लिए एक सरल उदाहरण देखें:

चित्र: लेखक द्वारा

ऊपर दिए चित्र में, बेस्ट-फिट लाइन X और y के बीच संबंध को पूरी तरह मॉडल करती है, और वास्तविक व पूर्वानुमानित मानों के बीच वर्ग दूरी का योग 0 है। याद करें कि इस रेखा का समीकरण y = mx + c है।

यह रेखा ट्रेनिंग डाटासेट पर भले ही परफेक्ट फिट हो, लेकिन यह टेस्ट डेटा पर अच्छी तरह सामान्यीकरण (generalize) नहीं करेगी। इस घटना को ओवरफ़िटिंग कहा जाता है, और इसके बारे में अधिक जानने के लिए आप overfitting पर यह लेख पढ़ सकते हैं।

सरल शब्दों में, अत्यधिक जटिल मॉडल ट्रेनिंग डेटा की अनावश्यक बारीकियों को पकड़ लेता है जो वास्तविक दुनिया में परिलक्षित नहीं होतीं। ऐसा मॉडल ट्रेनिंग डेटा पर बहुत अच्छा प्रदर्शन करेगा, लेकिन जिस डेटा पर इसे प्रशिक्षित नहीं किया गया, उस पर कमज़ोर रहेगा।

बड़े कोएफ़िशिएंट्स वाला लीनियर रिग्रेशन मॉडल ओवरफ़िटिंग के प्रति संवेदनशील होता है।

रिज रिग्रेशन एक रेग्युलराइज़ेशन तकनीक है जो हानि फ़ंक्शन (loss function) में अतिरिक्त लागत जोड़कर एल्गोरिदम को छोटे कोएफ़िशिएंट्स चुनने के लिए बाध्य करती है।

पहले वाले सेक्शन में दिखाया गया था कि सिंपल लीनियर रिग्रेशन में हम किस त्रुटि को न्यूनतम करना चाहते हैं:

रिज रिग्रेशन में यह समीकरण थोड़ा बदल जाता है और ऊपर दी गई त्रुटि में एक पेनल्टी टर्म जोड़ दिया जाता है:

ध्यान दें कि मॉडल के कोएफ़िशिएंट्स से एक मान (lambda) गुणा किया गया है। चूँकि इस मॉडल में केवल एक चर है, तो एक ही कोएफ़िशिएंट है जिस पर पेनल्टी टर्म जोड़ा गया है। यदि कई स्वतंत्र चर हों, तो लैम्ब्डा को स्क्वेयर्ड कोएफ़िशिएंट्स के योग से गुणा किया जाएगा। 

यह पेनल्टी टर्म मॉडल को बड़े कोएफ़िशिएंट्स चुनने पर दंडित करता है। उद्देश्य कोएफ़िशिएंट मानों को सिकोड़ना है ताकि जिन वेरिएबल्स का परिणाम में छोटा योगदान है, उनके कोएफ़िशिएंट 0 के क़रीब आ जाएँ। इससे मॉडल वेरिएंस कम होता है और ओवरफ़िटिंग को कम करने में मदद मिलती है।

रिज रिग्रेशन के लिए इष्टतम लैम्ब्डा मान क्या है?

ध्यान दें कि लैम्ब्डा का मान 0 होने पर कोई प्रभाव नहीं पड़ेगा और पेनल्टी टर्म समाप्त हो जाएगा। लैम्ब्डा का बड़ा मान अधिक श्रिंकिंग पेनल्टी जोड़ेगा और मॉडल कोएफ़िशिएंट्स 0 के क़रीब आ जाएँगे। 

लैम्ब्डा चुनते समय सादगी और ट्रेनिंग डेटा पर अच्छे फिट के बीच संतुलन साधें। लैम्ब्डा का बड़ा मान सरल, सामान्यीकृत मॉडल देता है, लेकिन बहुत बड़ा मान अंडरफ़िटिंग का जोखिम लाता है। दूसरी ओर, लैम्ब्डा का बहुत छोटा मान अत्यधिक जटिल मॉडल की ओर ले जा सकता है। 

लासो रिग्रेशन

लासो रिग्रेशन लीनियर रिग्रेशन का एक और विस्तार है जो कॉस्ट फ़ंक्शन में पेनल्टी टर्म जोड़कर मॉडल कोएफ़िशिएंट्स को सिकोड़ता है।

लासो रिग्रेशन में जिसे न्यूनतम करना होता है, वह त्रुटि यह है:

ध्यान दें कि यह समीकरण रिज रिग्रेशन जैसा ही है, फर्क बस इतना है कि यहाँ लैम्ब्डा को कोएफ़िशिएंट के वर्ग के बजाय उसके परिमाण (absolute value) से गुणा किया जाता है।

रिज और लासो रिग्रेशन के बीच सबसे बड़ा अंतर यह है कि रिज रिग्रेशन में कोएफ़िशिएंट्स भले 0 के क़रीब जा सकते हैं, पर वे वास्तव में 0 नहीं होते। लासो रिग्रेशन में, कोएफ़िशिएंट्स का 0 हो जाना संभव है। 

यदि किसी स्वतंत्र चर का कोएफ़िशिएंट 0 हो जाए, तो उस फीचर को मॉडल से हटाया जा सकता है। इससे फीचर स्पेस छोटा होता है और एल्गोरिदम को समझना आसान होता है, जो लासो रिग्रेशन का सबसे बड़ा लाभ है। 

इसी कारण, लासो रिग्रेशन को फीचर चयन तकनीक के रूप में भी इस्तेमाल किया जा सकता है, क्योंकि कम महत्व वाले वेरिएबल्स के कोएफ़िशिएंट 0 तक पहुँच सकते हैं और उन्हें मॉडल से पूरी तरह हटा दिया जाएगा। 

Python में रिग्रेशन मशीन लर्निंग मॉडल कैसे बनाएँ

आप Scikit-Learn लाइब्रेरी का उपयोग करके लीनियर, रिज, और लासो रिग्रेशन मॉडल बना सकते हैं:

1. लीनियर रिग्रेशन

from sklearn.linear_model import LinearRegression
lr_model = LinearRegression()संचालित द्वारा

मॉडल को अपने ट्रेनिंग डाटासेट पर फिट करने के लिए चलाएँ:

lr_model.fit(X_train,y_train)संचालित द्वारा

2. रिज रिग्रेशन

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)संचालित द्वारा

मॉडल परिभाषित करते समय “alpha” पैरामीटर के माध्यम से लैम्ब्डा टर्म कॉन्फ़िगर किया जा सकता है। 

3. लासो रिग्रेशन

from sklearn.linear_model import Lasso
model = Lasso(alpha=1.0)संचालित द्वारा

यदि आप लिनियर मॉडलों और उन्हें Python में बनाने के तरीकों के बारे में अधिक जानना चाहते हैं, तो हमारा Introduction to Linear Modeling in Python कोर्स करें।

मशीन लर्निंग क्लासिफ़िकेशन मॉडल

हम क्लासिफ़िकेशन एल्गोरिदम का उपयोग स्वतंत्र चरों (x) की मदद से विविक्त (discrete) आउटपुट (y) की भविष्यवाणी करने के लिए करते हैं। इस मामले में आश्रित चर हमेशा कोई क्लास या श्रेणी होता है। 

उदाहरण के लिए, रिस्क फ़ैक्टर्स के आधार पर यह भविष्यवाणी करना कि कोई रोगी हृदय रोग विकसित करने की संभावना रखता है या नहीं, एक क्लासिफ़िकेशन समस्या है:

चित्र: लेखक द्वारा

ऊपर तालिका में चार स्वतंत्र चर और एक आश्रित चर—हृदय रोग—के साथ एक क्लासिफ़िकेशन समस्या दिखाई गई है। चूँकि केवल दो संभावित परिणाम (Yes और No) हैं, इसे बाइनरी क्लासिफ़िकेशन समस्या कहा जाता है। 

बाइनरी क्लासिफ़िकेशन के अन्य उदाहरणों में ईमेल को स्पैम या वैध के रूप में वर्गीकृत करना, कस्टमर चर्न की भविष्यवाणी, और किसी को ऋण देना है या नहीं का निर्णय शामिल हैं।

मल्टीक्लास क्लासिफ़िकेशन समस्या वह है जिसमें तीन या अधिक संभावित परिणाम हों, जैसे मौसम का पूर्वानुमान या अलग-अलग पशु प्रजातियों में भेद करना।

क्लासिफ़िकेशन मेट्रिक्स

क्लासिफ़िकेशन मॉडल का मूल्यांकन करने के कई तरीके हैं। यद्यपि एक्यूरेसी सबसे अधिक प्रयुक्त मेट्रिक है, यह हमेशा सबसे भरोसेमंद नहीं होती।

नीचे दिए गए डाटासेट के आधार पर क्लासिफ़िकेशन एल्गोरिदम का आकलन करने के कुछ सामान्य तरीकों पर नज़र डालते हैं:

चित्र: लेखक द्वारा

1. Accuracy: एक्यूरेसी को मशीन लर्निंग मॉडल द्वारा की गई सही भविष्यवाणियों के अंश के रूप में परिभाषित किया जा सकता है।

एक्यूरेसी की गणना का सूत्र:

इस मामले में, एक्यूरेसी 4/6, या 0.67 है।

2. Precision: प्रिसीज़न वह मेट्रिक है जो मॉडल द्वारा की गई पॉज़िटिव भविष्यवाणियों की गुणवत्ता बताती है। इसे इस प्रकार परिभाषित किया जाता है:

ऊपर वाले मॉडल का प्रिसीज़न 2/4, या 0.5 है।

3. Recall: रिकॉल का उपयोग मॉडल द्वारा की गई नेगेटिव भविष्यवाणियों की गुणवत्ता आँकने के लिए किया जाता है। इसे इस प्रकार परिभाषित किया जाता है:

ऊपर वाले मॉडल का रिकॉल 2/2 या 1 है।

प्रिसीज़न और रिकॉल के अंतर को समझने के लिए एक सरल उदाहरण देखें:

एक दुर्लभ, घातक बीमारी है जो आबादी के एक छोटे हिस्से को प्रभावित करती है। किसी अस्पताल के डेटाबेस में 95% रोगियों को यह बीमारी नहीं है, जबकि केवल 5% को है। यदि हम एक ऐसा मशीन लर्निंग एल्गोरिदम बनाते हैं जो भविष्यवाणी करे कि किसी को भी बीमारी नहीं है, तो मॉडल की ट्रेनिंग एक्यूरेसी 95% होगी। उच्च एक्यूरेसी के बावजूद, हम जानते हैं कि यह अच्छा मॉडल नहीं है क्योंकि यह बीमारी वाले रोगियों की पहचान करने में विफल रहता है।

यहीं पर प्रिसीज़न और रिकॉल जैसी मेट्रिक काम आती हैं। प्रिसीज़न, या स्पेसिफ़िसिटी, बताती है कि बिना बीमारी वाले लोगों की सही पहचान करने की मॉडल की क्षमता क्या है। रिकॉल, या सेंसिटिविटी, बताती है कि बीमारी वाले लोगों की पहचान करने में मॉडल कितना सक्षम है।

“अच्छा” प्रिसीज़न और रिकॉल मान सापेक्ष है और आपके उपयोग-केस पर निर्भर करता है। 

इस बीमारी-पूर्वानुमान परिदृश्य में, हम हमेशा बीमारी वाले लोगों की पहचान करना चाहेंगे, भले ही इससे फ़ॉल्स पॉज़िटिव का जोखिम रहे। यहाँ हम मॉडल को प्रिसीज़न से अधिक रिकॉल पर केंद्रित करेंगे।

दूसरी ओर, यदि हम किसी ई-कॉमर्स वेबसाइट में दुर्भावनापूर्ण उपयोगकर्ताओं को प्रवेश से रोकने के लिए मॉडल बनाएँ, तो हम उच्च प्रिसीज़न चाहेंगे क्योंकि वैध उपयोगकर्ताओं को ब्लॉक करने से बिक्री घटेगी।

हम अक्सर F1-Score नामक मेट्रिक का उपयोग करते हैं जो किसी क्लासिफ़ायर के प्रिसीज़न और रिकॉल का हार्मोनिक मीन निकालती है। सरल शब्दों में, F1-Score प्रिसीज़न और रिकॉल को औसत लेकर एकल मेट्रिक में संयोजित करती है। 

AUC, या Area Under the Curve, क्लासिफ़िकेशन मॉडल के प्रदर्शन को मापने के लिए प्रयुक्त एक और लोकप्रिय मेट्रिक है। किसी एल्गोरिदम का AUC हमें यह बताता है कि वह पॉज़िटिव और नेगेटिव क्लासों के बीच कितना अच्छा भेद कर सकता है।

AUC जैसी मापों और उनकी गणना के बारे में अधिक जानने के लिए Datacamp का Supervised Learning in R कोर्स करें।

अब, अलग-अलग प्रकार के क्लासिफ़िकेशन मॉडलों और उनके काम करने के तरीके पर नज़र डालते हैं:

लॉजिस्टिक रिग्रेशन

लॉजिस्टिक रिग्रेशन एक सरल क्लासिफ़िकेशन मॉडल है जो किसी घटना के होने की प्रायिकता (probability) का अनुमान लगाता है।

यहाँ देखें कि लॉजिस्टिक रिग्रेशन मॉडल कैसे काम करता है:

चित्र: लेखक द्वारा

ऊपर का चार्ट एक लॉजिस्टिक फ़ंक्शन दिखाता है जो ईमेल डेटा को उसके टेक्स्ट में नकारात्मक कीवर्ड्स की आवृत्ति के आधार पर “Spam” और “Not Spam” दो श्रेणियों में मैप करता है।

ध्यान दें कि, लीनियर रिग्रेशन एल्गोरिदम के विपरीत, लॉजिस्टिक रिग्रेशन S-आकृति वाले कर्व से मॉडल किया जाता है। इसे लॉजिस्टिक फ़ंक्शन कहा जाता है और इसका सूत्र निम्नलिखित है:

जहाँ लीनियर फ़ंक्शन की ऊपर और नीचे कोई सीमा नहीं होती, वहीं लॉजिस्टिक फ़ंक्शन 0 और 1 के बीच होता है। मॉडल 0 से 1 के बीच प्रायिकता की भविष्यवाणी करता है, जो यह निर्धारित करती है कि डेटा बिंदु किस श्रेणी का है।

इस स्पैम ईमेल उदाहरण में, यदि टेक्स्ट में संदिग्ध कीवर्ड बहुत कम या न हों, तो स्पैम होने की प्रायिकता कम होगी और 0 के क़रीब होगी। दूसरी ओर, कई संदिग्ध कीवर्ड वाले ईमेल के स्पैम होने की प्रायिकता अधिक होगी और 1 के क़रीब होगी।

इसके बाद इस प्रायिकता को क्लासिफ़िकेशन परिणाम में बदला जाता है:

चित्र: लेखक द्वारा

लाल रंग वाले सभी बिंदुओं के स्पैम होने की प्रायिकता >= 0.5 है। इसलिए, उन्हें स्पैम के रूप में वर्गीकृत किया जाता है और लॉजिस्टिक रिग्रेशन मॉडल 1 का परिणाम देगा। हरे रंग वाले बिंदुओं में स्पैम होने की प्रायिकता < 0.5 है, अतः उन्हें मॉडल “Not Spam” के रूप में वर्गीकृत करेगा और 0 का परिणाम देगा।

उपरोक्त जैसे बाइनरी क्लासिफ़िकेशन समस्याओं में, लॉजिस्टिक रिग्रेशन मॉडल की डिफ़ॉल्ट थ्रेशोल्ड 0.5 होती है, यानी 0.5 से अधिक प्रायिकता वाले डेटा बिंदुओं को 1 का लेबल दिया जाता है। बेहतर परिणामों के लिए आप अपने उपयोग-केस के अनुसार इस थ्रेशोल्ड मान को मैन्युअली बदल सकते हैं।

अब याद करें कि लीनियर रिग्रेशन में, हमने पूर्वानुमानित और वास्तविक मानों के बीच स्क्वेयर्ड एरर के योग को न्यूनतम करके लाइन ऑफ़ बेस्ट फिट पाई थी। लेकिन लॉजिस्टिक रिग्रेशन में, कोएफ़िशिएंट्स का आकलन लीस्ट स्क्वेयर्स के बजाय मैक्सिमम लाइक्लीहुड एस्टीमेशन नामक तकनीक से किया जाता है।

मैक्सिमम लाइक्लीहुड एस्टीमेशन की अवधारणा और लॉजिस्टिक रिग्रेशन कैसे काम करता है, यह जानने के लिए Python logistic regression ट्यूटोरियल पढ़ें।

K-Nearest Neighbors

KNN एक क्लासिफ़िकेशन एल्गोरिदम है जो किसी डेटा बिंदु को उसके सबसे क़रीबी डेटा बिंदुओं के समूह के आधार पर वर्गीकृत करता है।

यहाँ K-Nearest Neighbors मॉडल कैसे काम करता है, इसका एक सरल उदाहरण है:

चित्र: लेखक द्वारा

ऊपर दिए आरेख में दो वर्गों के डेटा बिंदु हैं—A और B। काला त्रिभुज एक नया डेटा बिंदु दर्शाता है, जिसे इन दो वर्गों में से किसी एक में वर्गीकृत करना है।

K-Nearest Neighbors एल्गोरिदम इस प्रकार काम करता है:

• चरण 1: मॉडल पहले सभी ट्रेनिंग डेटा को संग्रहीत करता है।
• चरण 2: फिर, यह नए डेटा बिंदु से डाटासेट के सभी बिंदुओं तक की दूरी की गणना करता है।
• चरण 3: मॉडल इन डेटा बिंदुओं को नए बिंदु से दूरी के आधार पर क्रमबद्ध करता है।
• चरण 4: “k” के मान के अनुसार नए डेटा बिंदु को उसके निकटतम पड़ोसियों की श्रेणी में सौंप दिया जाता है।

ऊपर के दृश्य में k का मान 1 है। इसका मतलब है कि हम केवल एक सबसे नज़दीकी पड़ोसी को देखते हैं और डेटा बिंदु को उसी वर्ग में सौंप देते हैं। नया डेटा बिंदु नीले बिंदु के सबसे क़रीब है, इसलिए हम उसे नीली श्रेणी, यानी वर्ग B, में सौंपते हैं।

अब, k के मान को बदलते हैं। मान लें k के दो संभावित मान 3 और 7 आज़माते हैं:

चित्र: लेखक द्वारा

अब ध्यान दें कि जब हम k = 3 चुनते हैं, तो नया डेटा बिंदु दो श्रेणियों के बीच आता है। इसका मतलब हम बहुमत वाले वर्ग को चुनते हैं। दो निकटतम पड़ोसी नीले हैं और एक हरा, इसलिए डेटा बिंदु फिर से नीले बिंदुओं वाले वर्ग, यानी वर्ग B, में जाएगा।

जब k = 7 होता है, तो स्थिति बदलती है। अब दो निकटतम पड़ोसी नीले हैं और सात हरे। इस स्थिति में, डेटा बिंदु हरे वर्ग, यानी वर्ग A, में जाएगा।

k के अलग-अलग मान चुनने से यह प्रभावित होगा कि नए बिंदु को किस वर्ग में रखा जाएगा। 

बहुत छोटा मान चुनना नॉइज़ी हो सकता है और आउटलाईयर्स से प्रभावित हो सकता है, जबकि बहुत बड़ा मान चुनने पर कम डेटा बिंदुओं वाली श्रेणियाँ नज़रअंदाज़ हो सकती हैं।

यदि आप K-Nearest Neighbors एल्गोरिदम और इष्टतम “k” मान चुनने के तरीकों के बारे में अधिक जानना चाहते हैं, तो यह KNN ट्यूटोरियल पढ़ें।

Python में क्लासिफ़िकेशन मॉडल बनाएँ

यहाँ कुछ कोड स्निपेट दिए गए हैं जिनका उपयोग आप Scikit-Learn लाइब्रेरी के साथ Python में क्लासिफ़िकेशन मॉडल बनाने के लिए कर सकते हैं:

1. लॉजिस्टिक रिग्रेशन

from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression()संचालित द्वारा

2. K-Nearest Neighbors

from sklearn.neighbors import KNeighborsClassifier
knn = KNeighborsClassifier()संचालित द्वारा

मशीन लर्निंग ट्री-आधारित मॉडल

ट्री-आधारित मॉडल सुपरवाइज़्ड मशीन लर्निंग एल्गोरिदम हैं जो पूर्वानुमान के लिए पेड़ जैसी संरचना बनाते हैं। इन्हें क्लासिफ़िकेशन और रिग्रेशन दोनों समस्याओं में इस्तेमाल किया जा सकता है।

इस सेक्शन में, हम दो सबसे अधिक उपयोग किए जाने वाले ट्री-आधारित मशीन लर्निंग मॉडलों—डिसीज़न ट्री और रैंडम फ़ॉरेस्ट—का अध्ययन करेंगे।

डिसीज़न ट्री

डिसीज़न ट्री सबसे सरल ट्री-आधारित मशीन लर्निंग एल्गोरिदम है। यह मॉडल विशेष पैरामीटर्स के आधार पर डाटासेट को बार-बार विभाजित करता है, जब तक कि अंतिम निर्णय न हो जाए।

यहाँ डिसीज़न ट्री एल्गोरिदम कैसे काम करता है, इसका एक सरल उदाहरण है:

चित्र: लेखक द्वारा

डिसीज़न ट्री अलग-अलग नोड्स पर विभाजन करता जाता है जब तक कोई परिणाम न मिल जाए। 

इस मामले में, यदि कोई छात्र हर सप्ताह पढ़ाई नहीं करता, तो वह फेल होगा। यदि वह हर सप्ताह पढ़ता है लेकिन होमवर्क पूरा नहीं करता, तब भी परिणाम “Fail” है। वह तभी पास करेगा जब वह हर सप्ताह पढ़ाई करे और अपना सारा होमवर्क पूरा करे।

ध्यान दें कि ऊपर दिया डिसीज़न ट्री पहले “Studies Every Week?” वेरिएबल पर विभाजन करता है। यदि उत्तर “No” है, तो यह आगे विभाजन रोक देता है और कहता है कि छात्र फेल होगा। 

डिसीज़न ट्री पहले किस वेरिएबल पर विभाजन करेगा, यह एंट्रॉपी नामक मेट्रिक के आधार पर चुना जाता है। जब “शुद्ध विभाजन” (pure split) मिल जाता है—अर्थात जब सभी डेटा बिंदु एक ही क्लास के हों—तो यह विभाजन रोक देता है।

डिसीज़न ट्री बनाने के कई तरीके हैं। ट्री को पहला, दूसरा, तीसरा आदि किस फीचर पर विभाजन करना है, यह इन्फ़ॉर्मेशन गेन नामक मेट्रिक के आधार पर तय किया जाता है। सर्वश्रेष्ठ संभव डिसीज़न ट्री वह है जिसका इन्फ़ॉर्मेशन गेन अधिकतम हो।

डिसीज़न ट्री कैसे काम करते हैं, साथ ही एंट्रॉपी और इन्फ़ॉर्मेशन गेन जैसी मेट्रिक्स के बारे में अधिक जानने के लिए यह Python डिसीज़न ट्री क्लासिफ़िकेशन लेख देखें।

डिसीज़न ट्री का एक बड़ा लाभ यह है कि वे अत्यधिक व्याख्यायोग्य (interpretable) होते हैं। यह समझना आसान है कि ट्रेनिंग डाटासेट के आधार पर किसी डिसीज़न ट्री ने अंतिम परिणाम कैसे प्राप्त किया।

हालाँकि, यदि डिसीज़न ट्री को पूरी तरह बढ़ने दिया जाए, तो वे ओवरफ़िटिंग के प्रति अत्यधिक संवेदनशील होते हैं। इसका कारण यह है कि वे ट्रेनिंग डाटासेट के सभी सैंपल्स पर परफेक्ट स्प्लिट करने की ओर प्रवृत्त होते हैं, जिससे बाहरी डेटा पर सामान्यीकरण कमज़ोर हो जाता है।

डिसीज़न ट्री की इस कमी को रैंडम फ़ॉरेस्ट एल्गोरिदम से दूर किया जा सकता है।

रैंडम फ़ॉरेस्ट

रैंडम फ़ॉरेस्ट मॉडल एक ट्री-आधारित एल्गोरिदम है जो डिसीज़न ट्री का उपयोग करते समय उत्पन्न होने वाली कुछ समस्याओं—जैसे ओवरफ़िटिंग—को कम करने में मदद करता है। रैंडम फ़ॉरेस्ट कई डिसीज़न ट्री मॉडलों द्वारा की गई भविष्यवाणियों को मिलाकर एक एकल आउटपुट देता है।

यह दो चरणों में ऐसा करता है:

• चरण 1: पहले, डाटासेट की पंक्तियों और वेरिएबल्स का रिप्लेसमेंट के साथ रैंडम सैंपल लिया जाता है। फिर हर डेटा सैंपल पर कई डिसीज़न ट्री बनाए और प्रशिक्षित किए जाते हैं। 
• चरण 2: इसके बाद, इन सभी डिसीज़न ट्री द्वारा की गई भविष्यवाणियों को मिलाकर एक एकल आउटपुट निकाला जाता है। उदाहरण के लिए, यदि 3 अलग-अलग डिसीज़न ट्री प्रशिक्षित किए गए और उनमें से 2 ने “Yes” और 1 ने “No” की भविष्यवाणी की, तो रैंडम फ़ॉरेस्ट एल्गोरिदम का अंतिम परिणाम “Yes” होगा।

रिग्रेशन समस्या के मामले में, आउटपुट सभी डिसीज़न ट्री की औसत भविष्यवाणी होगा।

यहाँ रैंडम फ़ॉरेस्ट एल्गोरिदम कैसे काम करता है, इसका एक सरल दृश्य है:

चित्र: लेखक द्वारा

ऊपर दिए आरेख में पहला और तीसरा डिसीज़न ट्री “Yes” की भविष्यवाणी करते हैं जबकि दूसरा “No” की।

चूँकि यह क्लासिफ़िकेशन कार्य है, इसलिए बहुमत वाली श्रेणी चुनी जाती है। इस मामले में, 3 में से 2 डिसीज़न ट्री की भविष्यवाणी के आधार पर रैंडम फ़ॉरेस्ट एल्गोरिदम “Yes” का अंतिम परिणाम देगा।

रैंडम फ़ॉरेस्ट एल्गोरिदम का एक बड़ा लाभ यह है कि यह अच्छी तरह सामान्यीकृत करता है, क्योंकि यह फीचर्स के सबसेट पर प्रशिक्षित कई डिसीज़न ट्री के आउटपुट को जोड़ता है।

इसके अलावा, एकल डिसीज़न ट्री का आउटपुट ट्रेनिंग डाटासेट में छोटे बदलाव से काफ़ी बदल सकता है, लेकिन रैंडम फ़ॉरेस्ट में यह समस्या नहीं आती क्योंकि ट्रेनिंग डाटासेट का कई बार सैंपल लिया जाता है।

Python में ट्री-आधारित मॉडल बनाएँ

Scikit-Learn के साथ ट्री-आधारित मशीन लर्निंग एल्गोरिदम बनाने के लिए निम्न पंक्तियाँ चलाएँ:

1. डिसीज़न ट्री 

# classification

from sklearn.tree import DecisionTreeClassifier
clf = DecisionTreeClassifier()

# regression

from sklearn.tree import DecisionTreeRegressor
dt_reg = DecisionTreeRegressor()संचालित द्वारा

2. रैंडम फ़ॉरेस्ट

# classification

from sklearn.ensemble import RandomForestClassifier
rf_clf = RandomForestClassifier()

# regression

from sklearn.ensemble import RandomForestRegressor
rf_reg = RandomForestRegressor()संचालित द्वारा

मशीन लर्निंग क्लस्टरिंग

अब तक, हमने क्लासिफ़िकेशन और रिग्रेशन समस्याओं से निपटने के लिए सुपरवाइज़्ड मशीन लर्निंग मॉडलों का अध्ययन किया। अब, हम क्लस्टरिंग नामक एक लोकप्रिय अनसुपरवाइज़्ड लर्निंग दृष्टिकोण में गहराई से जाएँगे।

सरल शब्दों में, क्लस्टरिंग का कार्य ऐसे ऑब्जेक्ट्स के समूह बनाना है जो एक-दूसरे से मिलते-जुलते हों और दूसरों से अलग हों। यह तकनीक कई व्यावसायिक उपयोग-केस में काम आती है, जैसे वीडियो स्ट्रीमिंग साइट पर समान देखने के पैटर्न वाले उपयोगकर्ताओं को फ़िल्में सुझाना, विसंगति (anomaly) का पता लगाना, और कस्टमर सेगमेंटेशन।

इस सेक्शन में, हम K-Means क्लस्टरिंग नामक एल्गोरिदम की जाँच करेंगे—अनसुपरवाइज़्ड लर्निंग कार्यों के लिए इस्तेमाल होने वाला सबसे सरल और लोकप्रिय मशीन लर्निंग मॉडल।

K-Means क्लस्टरिंग

K-Means क्लस्टरिंग एक अनसुपरवाइज़्ड मशीन लर्निंग तकनीक है जिसका उपयोग डेटा में समान ऑब्जेक्ट्स को एक साथ समूहित करने के लिए किया जाता है।

यहाँ K-Means क्लस्टरिंग एल्गोरिदम कैसे काम करता है, इसका एक उदाहरण है:

चित्र: लेखक द्वारा

चरण 1: ऊपर की छवि में बिना लेबल वाले ऑब्ज़र्वेशन्स हैं जिन्हें अभी समूहित नहीं किया गया है। प्रारंभ में, प्रत्येक ऑब्ज़र्वेशन को किसी क्लस्टर में यादृच्छिक रूप से असाइन किया जाएगा। फिर प्रत्येक क्लस्टर के लिए एक सेंट्रॉइड की गणना की जाएगी। 

आरेख में इन्हें “+” चिह्न से दर्शाया गया है:

चित्र: लेखक द्वारा

चरण 2: अगला, प्रत्येक डेटा बिंदु से सेंट्रॉइड तक की दूरी मापी जाती है और हर बिंदु को निकटतम सेंट्रॉइड को सौंप दिया जाता है:

चित्र: लेखक द्वारा

चरण 3: इसके बाद नए क्लस्टर का सेंट्रॉइड फिर से गणना किया जाता है, और डेटा बिंदुओं को तदनुसार पुनः असाइन किया जाता है।

चरण 4: यह प्रक्रिया तब तक दोहराई जाती है जब तक डेटा बिंदुओं का पुन: असाइनमेंट होना बंद न हो जाए:

चित्र: लेखक द्वारा

ध्यान दें कि ऊपर दिए उदाहरण में तीन क्लस्टर बनाए गए। K-Means क्लस्टरिंग एल्गोरिदम में क्लस्टर्स की संख्या को “k” कहा जाता है, और इसे हमें निर्धारित करना होता है।

“k” चुनने के कुछ अलग-अलग तरीके हैं, जिनमें सबसे लोकप्रिय एल्बो मेथड है। इस तकनीक में अलग-अलग क्लस्टर संख्याओं के लिए त्रुटि को ग्राफ़ पर प्लॉट किया जाता है और कर्व के इंफ्लेक्शन पॉइंट को “k” के रूप में चुना जाता है। 

K-Means clustering in Python ट्यूटोरियल में एल्बो मेथड और K-Means क्लस्टरिंग की अंतर्निहित कार्यप्रणाली के बारे में विस्तार से जानें।

Python में K-Means क्लस्टरिंग मॉडल बनाएँ

from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters = 3, init='k-means++')संचालित द्वारा

n_clusters आर्गुमेंट उस “k” (क्लस्टर की संख्या) को दर्शाता है जिसे एल्गोरिदम बनाते समय आपको परिभाषित करना होता है।

मशीन लर्निंग मॉडल समझाए गए — आगे के चरण:

यदि आपने इस पूरे लेख के साथ चलते हुए समझ लिया है, तो बधाई! अब आप सबसे लोकप्रिय सुपरवाइज़्ड और अनसुपरवाइज़्ड मशीन लर्निंग मॉडलों और एल्गोरिदम के बारे में जानते हैं, और यह भी कि इन्हें तरह-तरह की प्रेडिक्टिव मॉडलिंग समस्याओं को हल करने में कैसे लागू किया जा सकता है।

डेटा साइंटिस्ट बनने के लिए, आपको यह समझना होगा कि अलग-अलग प्रकार के मशीन लर्निंग मॉडल कैसे काम करते हैं, ताकि उन्हें समस्या सुलझाने में लागू किया जा सके। उदाहरण के लिए, यदि आप ऐसा मॉडल बनाना चाहते हैं जो व्याख्यायोग्य हो और गणना समय कम ले, तो डिसीज़न ट्री समझ में आता है। लेकिन यदि आपका लक्ष्य अच्छा सामान्यीकरण करने वाला मॉडल बनाना है, तो आप रैंडम फ़ॉरेस्ट एल्गोरिदम चुन सकते हैं।

मशीन लर्निंग मॉडलों का मूल्यांकन करना समझना भी महत्वपूर्ण है। “अच्छा” मॉडल सापेक्ष होता है और आपके उपयोग-केस पर अत्यधिक निर्भर करता है। उदाहरण के लिए, क्लासिफ़िकेशन समस्याओं में केवल उच्च एक्यूरेसी अच्छा मॉडल होने का संकेतक नहीं है। एक डेटा साइंटिस्ट के रूप में, आपको प्रिसीज़न, रिकॉल और F1-Score जैसी मेट्रिक्स की समीक्षा करनी चाहिए ताकि मॉडल के प्रदर्शन की बेहतर तस्वीर मिल सके।

यदि आप इस लेख में कवर की गई अवधारणाओं से आगे जाकर मशीन लर्निंग मॉडलों की गहरी समझ पाना चाहते हैं, तो Machine Learning Scientist with Python कोर्स करें। यह करियर ट्रैक आपको मशीन लर्निंग मॉडलों के संचालन के पीछे का सिद्धांत और उन्हें Python में लागू करने के तरीके सिखाएगा। आप इस कोर्स में नॉर्मलाइज़ेशन, डिकॉरिलेशन, और फीचर चयन जैसी डेटा तैयारी तकनीकें भी सीखेंगे।