मशीन लर्निंग में Confusion Matrix क्या है? मॉडल मूल्यांकन टूल समझाया गया

यह साल डेटा साइंस के क्षेत्र में नवाचार का रहा है, जहां कृत्रिम बुद्धिमत्ता और मशीन लर्निंग सुर्खियों में छाई रहीं। 2023 में हुई प्रगति पर कोई संदेह नहीं, लेकिन यह समझना महत्वपूर्ण है कि इन में से कई मशीन लर्निंग प्रगतियां केवल इसलिए संभव हो पाई हैं क्योंकि मॉडलों का सही तरीके से मूल्यांकन किया गया। डेटा प्रैक्टिशनर्स का काम है यह सुनिश्चित करना कि मशीन लर्निंग मॉडल के प्रदर्शन को मापने के लिए सटीक मूल्यांकन और प्रक्रियाएं अपनाई जाएं। यह केवल लाभकारी नहीं—यह अनिवार्य है।

यदि आप डेटा साइंस की कला को समझना चाहते हैं, तो यह लेख आपको confusion matrix के माध्यम से मॉडल मूल्यांकन के अहम चरणों से ले जाएगा—एक अपेक्षाकृत सरल लेकिन शक्तिशाली टूल जो मॉडल मूल्यांकन में व्यापक रूप से इस्तेमाल होता है।

तो आइए, confusion matrix के बारे में विस्तार से जानते हैं।

Confusion Matrix क्या है?

Confusion matrix एक ऐसा टूल है जिसका उपयोग किसी मॉडल के प्रदर्शन का मूल्यांकन करने के लिए किया जाता है और इसे दृश्य रूप से एक तालिका के रूप में दर्शाया जाता है। यह डेटा प्रैक्टिशनर्स को मॉडल के प्रदर्शन, त्रुटियों और कमजोरियों पर गहरी अंतर्दृष्टि प्रदान करता है। इससे वे अपने मॉडल का और विश्लेषण कर उसे fine-tune कर सकते हैं।

Confusion Matrix की संरचना

आइए स्पैम ईमेल की पहचान के उदाहरण से confusion matrix की मूलभूत संरचना को समझते हैं—ईमेल स्पैम है या स्पैम नहीं है।

• True Positive (TP) - आपके मॉडल ने पॉजिटिव श्रेणी की भविष्यवाणी की। उदाहरण के लिए, स्पैम ईमेल को स्पैम बताना।
• True Negative (TN) - आपके मॉडल ने निगेटिव श्रेणी की सही भविष्यवाणी की। उदाहरण के लिए, सामान्य ईमेल को स्पैम नहीं बताना।
• False Positive (FP) - आपके मॉडल ने पॉजिटिव श्रेणी की गलत भविष्यवाणी की। उदाहरण के लिए, सामान्य ईमेल को स्पैम बताना।
• False Negative (FN) - आपके मॉडल ने निगेटिव श्रेणी की गलत भविष्यवाणी की। उदाहरण के लिए, स्पैम ईमेल को सामान्य ईमेल बताना।

Confusion matrix की अवधारणा को वास्तव में समझने के लिए, नीचे दिए गए विज़ुअलाइज़ेशन पर नज़र डालें:

Confusion matrix की बुनियादी संरचना

Confusion Matrix की पारिभाषिक शब्दावली

Confusion matrix को गहराई से समझने के लिए, उन महत्वपूर्ण मेट्रिक्स को समझना ज़रूरी है जिनसे मॉडल के प्रदर्शन को मापा जाता है।

आइए महत्वपूर्ण मेट्रिक्स को परिभाषित करें:

Accuracy

Accuracy कुल सही वर्गीकरणों की संख्या को कुल मामलों की संख्या से भाग देकर मापी जाती है।

Recall/Sensitivity

Recall/Sensitivity वास्तविक पॉजिटिव मामलों में से सही पहचाने गए true positives के अनुपात को मापता है।

Precision

Precision, भविष्यवाणी किए गए पॉजिटिव मामलों में से true positives के अनुपात को मापता है।

Specificity

Specificity वास्तविक निगेटिव मामलों में से सही पहचाने गए true negatives के अनुपात को मापता है।

F1 Score

F1 Score एकल मेट्रिक है जो precision और recall का हार्मोनिक माध्य होता है।

Confusion Matrix की भूमिका

Confusion matrix को बेहतर समझने के लिए, उसके उद्देश्य और व्यापक उपयोग को समझना आवश्यक है।

जब किसी मॉडल के प्रदर्शन—या किसी भी चीज़—को मापने की बात आती है, तो लोग अक्सर accuracy पर ध्यान केंद्रित करते हैं। हालांकि, accuracy मेट्रिक पर अत्यधिक निर्भरता गलत निर्णयों की ओर ले जा सकती है। इसे समझने के लिए, हम accuracy को एक standalone मेट्रिक के रूप में उपयोग करने की सीमाओं से गुजरेंगे।

Standalone मेट्रिक के रूप में accuracy की सीमाएं

जैसा कि ऊपर परिभाषित है, accuracy कुल सही वर्गीकरणों की संख्या को कुल मामलों की संख्या से भाग देकर मापी जाती है। हालांकि, इसे अकेले उपयोग करने पर कुछ सीमाएं होती हैं, जैसे:

• Imbalanced डेटा के साथ काम करना: कोई भी डेटा पूर्ण नहीं आता, और accuracy मेट्रिक का उपयोग इसकी भविष्यवाणी क्षमता के संदर्भ में आंका जाना चाहिए। उदाहरण के लिए, ऐसे डेटासेट पर काम करना जहां एक वर्ग दूसरे पर हावी हो, मॉडल को अधिक accuracy दर दिला सकता है क्योंकि वह बहुसंख्यक वर्ग की भविष्यवाणी करता रहेगा।
• त्रुटि के प्रकार: किसी विशिष्ट संदर्भ में अपने मॉडल के प्रदर्शन को समझना और उससे सीखना आपको fine-tuning और प्रदर्शन सुधार में मदद करेगा। उदाहरण के लिए, confusion matrix के माध्यम से FP और FN जैसे त्रुटि प्रकारों के बीच अंतर करना, मॉडल की सीमाओं को समझने देता है।

इन सीमाओं के मद्देनज़र, confusion matrix और उसके साथ जुड़े विभिन्न मेट्रिक्स मॉडल के प्रदर्शन को बेहतर बनाने के लिए अधिक विस्तृत अंतर्दृष्टि प्रदान करते हैं।

Confusion matrix के लाभ

जैसा कि confusion matrix की बुनियादी संरचना में देखा गया, भविष्यवाणियों को चार श्रेणियों में बांटा जाता है: True Positive, True Negative, False Positive, और False Negative।

यह विस्तृत विभाजन मॉडल के प्रदर्शन को सुधारने के लिए मूल्यवान अंतर्दृष्टि और समाधान प्रदान करता है:

• Imbalanced डेटा का समाधान: जैसा कि देखा, अकेले accuracy का उपयोग imbalanced डेटा के मामले में सीमित है। Precision और recall जैसे अन्य मेट्रिक्स का उपयोग अधिक संतुलित दृष्टि और सटीक प्रतिनिधित्व देता है। उदाहरण के लिए, वित्त जैसे क्षेत्रों में false positives और false negatives के गंभीर नतीजे हो सकते हैं।
• त्रुटि प्रकार का अंतर: मशीन लर्निंग मॉडल द्वारा उत्पन्न विभिन्न त्रुटि प्रकारों को समझना उसकी सीमाओं और सुधार के क्षेत्रों के बारे में जानकारी देता है।
• ट्रेड-ऑफ्स: Confusion matrix में अलग-अलग मेट्रिक्स के बीच ट्रेड-ऑफ महत्वपूर्ण है क्योंकि वे एक-दूसरे को प्रभावित करते हैं। उदाहरण के लिए, precision में बढ़ोतरी आमतौर पर recall में कमी लाती है। इससे प्रभावित मेट्रिक मूल्यों से मिली जानकारी के आधार पर मॉडल के प्रदर्शन में सुधार करने में मार्गदर्शन मिलता है।

Confusion Matrix की गणना

अब जब हमें confusion matrix, उसकी पारिभाषिक शब्दावली और उपयोग की अच्छी समझ है, तो आइए एक confusion matrix को मैन्युअल रूप से गणना करना सीखते हैं, और फिर एक व्यावहारिक उदाहरण देखते हैं।

Confusion matrix की मैन्युअल गणना

यहां Confusion Matrix को मैन्युअल रूप से गणना करने के चरणवार निर्देश दिए गए हैं।

परिणामों को परिभाषित करें

पहला चरण है आपके कार्य के दो संभावित परिणामों की पहचान करना: Positive या Negative।

भविष्यवाणियां एकत्र करना

जब संभावित परिणाम तय हो जाएं, तो अगला चरण होगा मॉडल की सभी भविष्यवाणियां एकत्र करना—जिसमें हर वर्ग की कितनी बार भविष्यवाणी हुई और उसकी आवृत्ति शामिल है।

परिणामों का वर्गीकरण

सभी भविष्यवाणियां इकट्ठी होने के बाद, अगला चरण है परिणामों को चार श्रेणियों में बांटना:

• True Positive (TP)
• True Negative (TN)
• False Positive (FP)
• False Negative (FN)

एक मैट्रिक्स बनाएं

परिणामों के वर्गीकृत हो जाने के बाद, अगला चरण है उन्हें एक मैट्रिक्स तालिका में प्रस्तुत करना, ताकि विभिन्न मेट्रिक्स की मदद से आगे विश्लेषण किया जा सके।

Confusion matrix का व्यावहारिक उदाहरण

इस प्रक्रिया को प्रदर्शित करने के लिए एक व्यावहारिक उदाहरण देखते हैं।

ईमेल को स्पैम या स्पैम नहीं पहचानने वाले उसी उदाहरण को जारी रखते हुए, एक काल्पनिक डेटासेट बनाते हैं जहां स्पैम Positive है और स्पैम नहीं Negative। हमारे पास निम्न डेटा है:

• 200 ईमेल में से, 80 वास्तव में स्पैम हैं जिनमें से मॉडल 60 को सही तरीके से स्पैम पहचानता है (TP)।
• 200 ईमेल में से, 120 स्पैम नहीं हैं जिनमें से मॉडल 100 को सही तरीके से स्पैम नहीं पहचानता है (TN)।
• 200 ईमेल में से, मॉडल 20 गैर-спैम ईमेल को गलत तरीके से स्पैम पहचानता है (FP)।
• 200 ईमेल में से, मॉडल 20 स्पैम ईमेल को छोड़ देता है और उन्हें गैर-спैम पहचानता है (FN)।

इस बिंदु पर हमने परिणामों को परिभाषित कर डेटा एकत्र कर लिया है; अगला चरण है परिणामों को चार श्रेणियों में बांटना:

• True Positive: 60
• True Negative: 100
• False Positive: 20
• False Negative: 20

अब इसे Confusion Matrix में बदलते हैं:

तो यह Confusion Matrix हमें क्या बताती है?

• True Positives और True Negatives सटीक भविष्यवाणियों को दर्शाते हैं।
• False Positives दिखाते हैं कि मॉडल ने पॉजिटिव श्रेणी की गलत भविष्यवाणी की।
• False Negatives दिखाते हैं कि मॉडल पॉजिटिव श्रेणी को पहचानने और भविष्यवाणी करने में विफल रहा।

इस confusion matrix का उपयोग कर, हम विभिन्न मेट्रिक्स निकाल सकते हैं: Accuracy, Recall/Sensitivity, Precision, Specificity और F1 Score।

Confusion matrix मेट्रिक्स का आउटपुट

Precision बनाम Recall

आप सोच रहे होंगे कि F1 स्कोर के सूत्र में precision और recall क्यों शामिल हैं। F1 स्कोर imbalanced डेटा से निपटने या precision और recall के बीच संतुलन बनाने के लिए महत्वपूर्ण है।

Precision पॉजिटिव भविष्यवाणियों की शुद्धता मापता है। यह सवाल का जवाब देता है: ‘जब मॉडल ने TRUE की भविष्यवाणी की, तो वह कितनी बार सही था?’ विशेष रूप से तब महत्वपूर्ण जब false positive की कीमत अधिक हो।

Recall या sensitivity उन वास्तविक पॉजिटिव मामलों की संख्या मापता है जिन्हें मॉडल ने सही पहचाना। यह सवाल का जवाब देता है: ‘जब वर्ग वास्तव में TRUE था, तो क्लासिफायर कितनी बार सही था?’

Recall तब महत्वपूर्ण है जब किसी पॉजिटिव उदाहरण (FN) को छोड़ देना, निगेटिव उदाहरणों को गलत तरीके से पॉजिटिव लेबल करने से कहीं अधिक बुरा माना जाता है।

• Precision का उपयोग: False positives के गंभीर परिणाम हो सकते हैं। उदाहरण के लिए, वित्त क्षेत्र में इस्तेमाल होने वाला कोई क्लासिफिकेशन मॉडल किसी लेन-देन को गलत तरीके से धोखाधड़ी बताता है। ऐसे परिदृश्यों में precision मेट्रिक महत्वपूर्ण है।
• Recall का उपयोग: सभी पॉजिटिव मामलों की पहचान अनिवार्य हो सकती है। उदाहरण के लिए, चिकित्सा क्षेत्र में उपयोग किए जाने वाले क्लासिफिकेशन मॉडल का सही निदान करने में विफल रहना हानिकारक हो सकता है। ऐसे मामलों में जहां सभी पॉजिटिव मामलों की सही पहचान जरूरी है, recall मेट्रिक महत्वपूर्ण है।

Python में Scikit-learn का उपयोग कर Confusion Matrix

इसे व्यवहार में देखने के लिए, Python में Scikit-learn का उपयोग कर एक confusion matrix बनाते हैं, जिसमें हम Random Forest classifier का उपयोग करेंगे।

पहला चरण आवश्यक लाइब्रेरी इम्पोर्ट करना और अपना synthetic डेटासेट बनाना होगा।

# Import Libraries
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import confusion_matrix
import matplotlib.pyplot as plt
import seaborn as sns

# Synthetic Dataset
X, y = make_classification(n_samples=1000, n_features=20,
                           n_classes=2, random_state=42)

# Split into Training and Test Sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)संचालित द्वारा

अगला चरण है एक साधारण random forest classifier के साथ मॉडल को ट्रेन करना।

# Train the Model
model = RandomForestClassifier(random_state=42)
model.fit(X_train, y_train)संचालित द्वारा

जैसा कि हमने व्यावहारिक उदाहरण में किया, हमें परिणामों को वर्गीकृत कर उसे confusion matrix में बदलना होगा। इसके लिए पहले टेस्ट डेटा पर भविष्यवाणी करेंगे और फिर Confusion Matrix जनरेट करेंगे:

# Predict on the Test Data
y_pred = model.predict(X_test)

# Generate the confusion matrix
cm = confusion_matrix(y_test, y_pred)संचालित द्वारा

अब हम confusion matrix का एक दृश्य प्रतिनिधित्व बनाना चाहते हैं:

# Create a Confusion Matrix
plt.figure(figsize=(8, 8))
sns.heatmap(cm, annot=True, fmt='d', cmap='Greens')
plt.title('Confusion Matrix')
plt.ylabel('True label')
plt.xlabel('Predicted label')
plt.show()संचालित द्वारा

यह आउटपुट है:

Random Forest Confusion Matrix आउटपुट

तैयार! 🎉 आपने Scikit-learn का उपयोग कर अपनी पहली Confusion Matrix सफलतापूर्वक बना ली है!

निष्कर्ष

इस लेख में, हमने Confusion Matrix की परिभाषा, इस मूल्यांकन टूल से जुड़ी महत्वपूर्ण पारिभाषिक शब्दावली, और विभिन्न मेट्रिक्स की सीमाएं व महत्व देखा। Confusion Matrix को मैन्युअल रूप से गणना करना आपकी डेटा साइंस की नींव के लिए महत्वपूर्ण है, साथ ही Scikit-learn जैसी लाइब्रेरी का उपयोग कर इसे लागू करना भी।

यदि आप Confusion Matrix में और गहराई से जाना चाहते हैं, तो R में confusion matrices का अभ्यास करें: Understanding Confusion Matrix in R। और थोड़ा और गहराई में जाने के लिए हमारा Model Validation in Python कोर्स देखें, जहां आप मॉडल वैलिडेशन की बुनियाद, वैलिडेशन तकनीकों को सीखेंगे और validated व उच्च-प्रदर्शन वाले मॉडल बनाना शुरू करेंगे।