रीग्रेशन में मल्टिकॉलीनियरिटी: डेटा वैज्ञानिकों के लिए एक गाइड

एक प्रभावी रीग्रेशन मॉडल बनाने की मुख्य चुनौतियों में से एक है जिसे हम मल्टिकॉलीनियरिटी कहते हैं। मल्टिकॉलीनियरिटी तब उत्पन्न होती है जब किसी मॉडल में दो या अधिक स्वतंत्र चर आपस में बहुत अधिक सहसम्बंधित होते हैं, जिसके कारण सांख्यिकीय निष्कर्ष अविश्वसनीय हो जाते हैं। यह बड़ी समस्या हो सकती है, खासकर जब आपको अपने रीग्रेशन कोएफ़िशिएंट्स की सही व्याख्या करनी हो या उनके प्रति अपने भरोसे का परीक्षण करना हो।

यहाँ, मैं आपको मल्टिकॉलीनियरिटी की प्रमुख अवधारणाओं, इसे कैसे पहचानें, और इसे कैसे संबोधित करें, के बारे में मार्गदर्शन दूँगा। यदि आप लीनियर रीग्रेशन में नए हैं, तो आरंभ के लिए हमारा ट्यूटोरियल Simple Linear Regression: Everything You Need to Know पढ़ें, और इसके बाद अवश्य पढ़ें Multiple Linear Regression in R: Tutorial With Examples, जिसमें एक से अधिक स्वतंत्र चरों के साथ रीग्रेशन सिखाया जाता है—यही वह जगह है जहाँ मल्टिकॉलीनियरिटी सामने आ सकती है। 

मल्टिकॉलीनियरिटी क्या है?

सटीक मशीन लर्निंग मॉडल बनाना चुनौतीपूर्ण कार्य है क्योंकि इसमें कई कारक प्रभाव डालते हैं। डेटा की गुणवत्ता, मात्रा आदि उपयुक्त होनी चाहिए। फिर आपको सही प्रकार के मशीन लर्निंग एल्गोरिदम बनाने होते हैं। हालाँकि, इन दोनों के बीच डेटा प्रिपरेशन का एक चरण होता है, जो भविष्यवाणी करने वाले मॉडल बनाने जितना आकर्षक नहीं दिखता, परन्तु अक्सर यही चरण मशीन लर्निंग लाइफसाइकिल में सफलता या असफलता तय करता है। 

डेटा प्रिपरेशन के दौरान हम मल्टिकॉलीनियरिटी पर नज़र रखते हैं, जो तब होती है जब रीग्रेशन मॉडल के स्वतंत्र चर आपस में सहसम्बंधित होते हैं, यानी वे एक-दूसरे से स्वतंत्र नहीं होते। यह मॉडल के लिए अच्छा संकेत नहीं है, क्योंकि मल्टिकॉलीनियरिटी अक्सर रीग्रेशन कोएफ़िशिएंट्स के आकलन को विकृत करती है, मानक त्रुटियों को बढ़ाती है और इस प्रकार, मॉडल की सांख्यिकीय शक्ति को घटाती है। इससे मॉडल में व्यक्तिगत चरों के महत्व का निर्धारण करना भी कठिन हो जाता है।

मल्टिकॉलीनियरिटी के प्रकार

मल्टिकॉलीनियरिटी दो मुख्य रूप ले सकती है, जो यह प्रभावित करती है कि रीग्रेशन मॉडल में स्वतंत्र चर कैसे परस्पर क्रिया करते हैं और प्राप्त आकलन कितने विश्वसनीय हैं।

परफेक्ट मल्टिकॉलीनियरिटी

परफेक्ट मल्टिकॉलीनियरिटी तब होती है जब रीग्रेशन मॉडल का कोई एक स्वतंत्र चर अन्य एक या अधिक स्वतंत्र चरों से बिल्कुल सटीक रूप से अनुमानित किया जा सके। इसका अर्थ है कि उनके बीच एक पूर्ण संबंध है। 

कल्पना करें कि आपके पास दो चर X1 और X2 हैं, और वे इस समीकरण से जुड़े हैं: X1 = 2*X2 + 3। इसका मूल अर्थ यह है कि रीग्रेशन मॉडल X1 और X2 के प्रभावों को अलग नहीं कर पाएगा, क्योंकि वे मूल रूप से एक ही बात बता रहे हैं। दूसरे शब्दों में, एक चर दूसरे का परिपूर्ण रैखिक फलन है। 

इम्परफेक्ट मल्टिकॉलीनियरिटी

इम्परफेक्ट मल्टिकॉलीनियरिटी में चर अत्यधिक सहसम्बंधित होते हैं, परन्तु परफेक्ट मल्टिकॉलीनियरिटी की तरह एक-से-एक, बिल्कुल सही संबंध नहीं होता। चरों में उच्च सहसम्बंध हो सकता है—यानी एक चर बदलता है तो दूसरा भी बदलने की प्रवृत्ति दिखाता है—लेकिन यह सटीक भविष्यवाणी नहीं होती। 

ऐसी स्थिति में मॉडल परिणाम तो देगा, लेकिन समस्या यह है कि परिणाम अस्थिर हो सकते हैं—मतलब डेटा में छोटे-से बदलाव से भी अनुमानित कोएफ़िशिएंट्स में बड़े बदलाव आ सकते हैं। इससे प्रत्येक चर के महत्व की विश्वसनीय व्याख्या करना कठिन हो जाता है।

स्ट्रक्चरल मल्टिकॉलीनियरिटी

स्ट्रक्चरल मल्टिकॉलीनियरिटी मॉडल के बनाए जाने के तरीके से उत्पन्न होती है, न कि चरों के प्राकृतिक संबंधों से। यह अक्सर तब होती है जब आप अपने मॉडल में इंटरेक्शन टर्म्स या पॉलीनॉमियल टर्म्स शामिल करते हैं।

उदाहरण के लिए, यदि आपको लगता है कि किसी एक चर का प्रभाव दूसरे चर के बढ़ने के साथ बढ़ता है, तो आप एक इंटरेक्शन टर्म जोड़ने पर विचार कर सकते हैं। पर समस्या यह है कि यदि ये चर पहले से कुछ हद तक सहसम्बंधित हैं, तो इंटरेक्शन टर्म जोड़ना इसे और बढ़ा सकता है और मल्टिकॉलीनियरिटी की समस्याएँ पैदा कर सकता है।

रीग्रेशन में मल्टिकॉलीनियरिटी

मल्टिकॉलीनियरिटी रीग्रेशन विश्लेषण को प्रभावित करती है क्योंकि यह स्वतंत्र चरों (प्रेडिक्टर्स) और आश्रित चर (आउटकम) के बीच संबंध का आकलन करने में समस्याएँ पैदा करती है। विशेष रूप से, मल्टिकॉलीनियरिटी कोएफ़िशिएंट आकलनों का वैरिअन्स बढ़ा देती है, जिससे वे मॉडल या डेटा में छोटे-छोटे परिवर्तनों के प्रति संवेदनशील हो जाते हैं। 

जब कोएफ़िशिएंट्स अस्थिर हो जाते हैं, तो मानक त्रुटियाँ बड़ी हो जाती हैं, जो आगे चलकर p-वैल्यूज़ को गैर-महत्वपूर्ण दर्शा सकती हैं, भले ही चर वास्तव में महत्वपूर्ण हों। यह जानना आवश्यक है कि मल्टिकॉलीनियरिटी मॉडल की समग्र भविष्यवाणीय शक्ति को प्रभावित नहीं करती। लेकिन यह मॉडल की व्याख्या को प्रभावित करती है क्योंकि हमारे मॉडल में त्रुटियाँ बढ़ जाती हैं और आकलन अस्थिर हो जाते हैं।

मल्टिकॉलीनियरिटी कैसे पहचानें

मल्टिकॉलीनियरिटी का पता लगाने के लिए कई डायग्नोस्टिक टूल्स की आवश्यकता होती है। हम इन्हें Kaggle पर Housing Prices Competition के डेटासेट के एक सबसेट से समझेंगे। जिस डेटा सबसेट का हम उपयोग करेंगे, वह आपको इस GitHub रिपॉजिटरी पर मिल जाएगा। आइए नीचे दिए गए कोड से डेटासेट लोड और एक्सप्लोर करें: 

import pandas as pd
import numpy as np
import seaborn as sns
from statsmodels.stats.outliers_influence import variance_inflation_factor

df = pd.read_csv('mc_df.csv')
df.head()संचालित द्वारा

कोरिलेशन मैट्रिक्स

मल्टिकॉलीनियरिटी का पता लगाने की एक व्यापक तकनीक कोरिलेशन मैट्रिक्स है, जो चरों के बीच संबंधों की ताकत को दृश्य रूप में दिखाने में मदद करती है। यह मैट्रिक्स चरों के बीच पेयरवाइज़ कोरिलेशन कोएफ़िशिएंट्स दिखाती है, जो दर्शाते हैं कि वे रैखिक रूप से कितने प्रबलता से जुड़े हैं (मान -1 से 1 तक होते हैं)। मेरा नियम है कि 0.6 से ऊपर के एब्सोल्यूट कोरिलेशन मान मजबूत मल्टिकॉलीनियरिटी का संकेत देते हैं।

चूँकि मल्टिकॉलीनियरिटी स्वतंत्र चरों के लिए जाँची जाती है, हमें अपने डेटासेट से टारगेट वेरिएबल SalePrice को हटाने की आवश्यकता है। यह नीचे दिए गए कोड से किया जाता है।

multi_c_df = multi_c_df.drop('SalePrice', axis=1)संचालित द्वारा

अब हम कोरिलेशन विश्लेषण के लिए तैयार हैं। नीचे दिया गया कोड DataFrame multi_c_df के लिए कोरिलेशन मैट्रिक्स की गणना करता है। कोरिलेशन निकालने के बाद, कोड Seaborn के heatmap() फ़ंक्शन का उपयोग करके कोरिलेशन मैट्रिक्स को हीटमैप के रूप में दर्शाता है। annot=True आर्ग्युमेंट हीटमैप पर संख्यात्मक कोरिलेशन मान सीधे जोड़ देता है। 

# Correlation matrix
correlation_matrix = multi_c_df.corr()

# Set up the matplotlib figure
plt.figure(figsize=(10, 6))

# Create a heatmap for the correlation matrix
sns.heatmap(correlation_matrix, annot=True, cmap="coolwarm", fmt=".2f", linewidths=0.5)

# Title for the heatmap
plt.title("Correlation Heatmap", fontsize=16)

# Show the heatmap
plt.show()संचालित द्वारा

हीटमैप द्वारा प्रदर्शित कोरिलेशन मैट्रिक्स। चित्र: लेखक

ऊपर के आउटपुट से पता चलता है कि कुछ स्वतंत्र चरों के बीच सहसम्बंध है। उदाहरण के लिए, BedroomAbvGr और TotRmsAbvGrd में अपेक्षाकृत उच्च सहसम्बंध (0.68) है। इसी तरह, GarageCars और OverallQual का सहसम्बंध 0.60 है, जो इनके आपसी संबंध का संकेत देता है। अतः ऐसे स्वतंत्र चर हैं जिनमें पर्याप्त सहसम्बंध है, जो कुछ—यदि सभी नहीं—चरों में मल्टिकॉलीनियरिटी की मौजूदगी का सुझाव देता है। 

इस चरण पर यह नोट करना बहुत आवश्यक है कि मल्टिकॉलीनियरिटी तब भी हो सकती है जब चरों के बीच स्पष्ट पेयरवाइज़ सहसम्बंध न दिखे, क्योंकि कोई एक चर एक से अधिक अन्य चरों के रैखिक संयोजन से सहसम्बंधित हो सकता है। यही कारण है कि वैरिअन्स इन्फ्लेशन फैक्टर पर भी विचार करना महत्वपूर्ण है, जिसे हम आगे कवर करेंगे।  

वैरिअन्स इन्फ्लेशन फैक्टर (VIF)

वैरिअन्स इन्फ्लेशन फैक्टर (VIF) मल्टिकॉलीनियरिटी का पता लगाने की सबसे सामान्य तकनीकों में से एक है। सरल शब्दों में, यह एक संख्यात्मक मान देता है जो दर्शाता है कि मल्टिकॉलीनियरिटी के कारण रीग्रेशन कोएफ़िशिएंट के वैरिअन्स में कितनी वृद्धि हुई है। VIF का मान 5 से अधिक होने पर मध्यम मल्टिकॉलीनियरिटी और 10 से अधिक होने पर गंभीर मल्टिकॉलीनियरिटी का संकेत मिलता है।

इसे अपने डेटासेट पर आज़माएँ। अब हम प्रत्येक स्वतंत्र चर के लिए VIF मान की गणना करेंगे। यह कार्य नीचे दिए गए कोड में variance_inflation_factor() फंक्शन से किया गया है।

# Calculate VIF for each numerical feature 
vif_data = pd.DataFrame()
vif_data["feature"] = multi_c_df.columns

# Calculate VIF and round to 4 decimal places
vif_data["VIF"] = [round(variance_inflation_factor(multi_c_df.values, i), 4) for i in range(df.shape[1])]

# Sort VIF values in descending order
vif_data = vif_data.sort_values(by="VIF", ascending=False)

# Display the VIF DataFrame
print(vif_data)संचालित द्वारा

संख्यात्मक चरों के लिए VIF मान। चित्र: लेखक

आप देख सकते हैं कि कई चरों के VIF मान 10 से अधिक हैं, जो मल्टिकॉलीनियरिटी की मौजूदगी दर्शाते हैं।

कंडीशन इंडेक्स

कंडीशन इंडेक्स मल्टिकॉलीनियरिटी का एक और डायग्नोस्टिक टूल है; 10 से ऊपर के मान मध्यम और 30 से ऊपर के मान गंभीर मल्टिकॉलीनियरिटी का संकेत देते हैं। कंडीशन इंडेक्स स्वतंत्र चरों की आपसी निर्भरता की जाँच उनके ईगेनवैल्यूज़ के संबंधों का विश्लेषण करके करता है।

नीचे दिया गया कोड रीग्रेशन मॉडल में मल्टिकॉलीनियरिटी जाँचने हेतु कंडीशन इंडेक्स की गणना करता है। यह पहले कोरिलेशन मैट्रिक्स (जो चरों के आपसी संबंध दिखाती है) के ईगेनवैल्यूज़ निकालता है। फिर सबसे बड़े ईगेनवैल्यू को सबसे छोटे से भाग देकर कंडीशन इंडेक्स निकाला जाता है। 

from numpy.linalg import eigvals

# Calculate the condition index
eigenvalues = eigvals(correlation_matrix)
condition_index = max(eigenvalues) / min(eigenvalues)

print(f'Condition Index: {condition_index}')संचालित द्वारा

हमारे मामले में कंडीशन इंडेक्स का मान 13 है, जो मॉडल में मध्यम मल्टिकॉलीनियरिटी का संकेत देता है। कंडीशन इंडेक्स के अनुसार यह स्तर गंभीर नहीं है, फिर भी यह रीग्रेशन कोएफ़िशिएंट आकलनों की परिशुद्धता को प्रभावित कर सकता है और सहसम्बंधित चरों के व्यक्तिगत योगदानों को अलग-अलग पहचानना कठिन बना सकता है। यदि आप ईगेनवैल्यूज़ के बारे में और जानना चाहते हैं, तो हमारा लेख Eigenvectors and Eigenvalues: Key Insights for Data Science पढ़ें।

मल्टिकॉलीनियरिटी को कैसे संबोधित करें

रीग्रेशन मॉडलों में मल्टिकॉलीनियरिटी को प्रभावी ढंग से प्रबंधित करने के लिए कई तकनीकें उपलब्ध हैं। ये तरीके सुनिश्चित करते हैं कि स्वतंत्र चर आपस में क़रीबी रूप से संबंधित होने पर भी मॉडल सटीक और व्याख्यायोग्य बना रहे।

अनावश्यक प्रेडिक्टर्स हटाना

मल्टिकॉलीनियरिटी से निपटने का सबसे सरल तरीका है अत्यधिक सहसम्बंधित चरों में से किसी एक को हटाना, अक्सर वह जिसका VIF मान सबसे अधिक हो। यह प्रभावी है, परन्तु यदि सावधानी से न किया जाए तो उपयोगी जानकारी के नुकसान का जोखिम रहता है।

चरों का संयोजन

दूसरी तकनीक यह है कि जब दो या अधिक चर अत्यधिक सहसम्बंधित हों, तो Principal Component Analysis (PCA) जैसी तकनीकों से उन्हें एक एकल प्रेडिक्टर में समेटा जा सकता है। इससे मॉडल का आयाम घटता है और सबसे महत्वपूर्ण जानकारी बनी रहती है। मुख्य कमी व्याख्येयता का ह्रास है, क्योंकि गैर-तकनीकी दर्शकों को PCA के विज्ञान और गणित को समझाना कठिन होता है। 

रिज और लैसो रीग्रेशन

डेटा वैज्ञानिकों के लिए, रिज और लैसो रीग्रेशन जैसी रेग्युलराइज़ेशन तकनीकें मल्टिकॉलीनियरिटी की समस्या से निपटने का एक लोकप्रिय तरीका हैं। ये तकनीकें रीग्रेशन मॉडल पर पेनल्टी लागू करती हैं, सहसम्बंधित चरों के कोएफ़िशिएंट्स को सिकोड़ती हैं और इस प्रकार मल्टिकॉलीनियरिटी के प्रभावों को कम करती हैं।

आम त्रुटियाँ और सर्वश्रेष्ठ प्रथाएँ

मल्टिकॉलीनियरिटी से निपटते समय कुछ सामान्य गलतियाँ होती हैं जो मॉडल के प्रदर्शन को खराब कर सकती हैं। इन त्रुटियों के प्रति सजग रहना और सर्वश्रेष्ठ प्रथाओं का पालन करना अधिक विश्वसनीय रीग्रेशन मॉडल बनाने के लिए महत्वपूर्ण है।

उच्च VIF मानों की गलत व्याख्या

जब आप किसी चर के लिए उच्च वैरिअन्स इन्फ्लेशन फैक्टर (VIF) देखते हैं, तो यह मान लेना लुभावना होता है कि वही मल्टिकॉलीनियरिटी का कारण है और उसे तुरंत मॉडल से हटा दें। पर यह गलती हो सकती है, क्योंकि किसी चर का VIF ऊँचा होने पर भी वह आउटकम की भविष्यवाणी के लिए बहुत महत्वपूर्ण हो सकता है। यदि आप उसके महत्व स्कोर की जाँच किए बिना उसे हटा देंगे, तो आपका मॉडल और खराब प्रदर्शन कर सकता है। इसलिए निर्णय लेने से पहले सावधानीपूर्वक जाँचें कि वह चर आवश्यक है या नहीं।

कोरिलेशन मैट्रिक्स पर अत्यधिक निर्भरता

कोरिलेशन मैट्रिक्स चरों के बीच संबंध की परिमाण और दिशा पहचानने का उपयोगी तरीका है, पर समस्या यह है कि यह केवल रैखिक संबंध दिखाती है। जटिल, गैर-रैखिक संबंधों का क्या? दुर्भाग्य से, वे मैट्रिक्स में कैप्चर नहीं होते। इसलिए केवल कोरिलेशन मैट्रिक्स पर निर्भर रहना आपको पूर्ण चित्र नहीं देगा। यही कारण है कि अधिक व्यापक दृष्टि पाने के लिए VIF और कंडीशन इंडेक्स जैसे अन्य मेट्रिक्स का उपयोग करना आवश्यक है।

मल्टिकॉलीनियरिटी से निपटने के विकल्प

पारंपरिक तरीकों के अलावा, मल्टिकॉलीनियरिटी की समस्या को संभालने के लिए कई उन्नत विधियाँ भी उपलब्ध हैं। इनमें से कुछ तकनीकों पर नीचे चर्चा की गई है।

फ़ीचर सेलेक्शन विधियाँ

Recursive Feature Elimination (RFE) जैसी स्वचालित फ़ीचर सेलेक्शन विधियाँ एक अच्छा विकल्प हो सकती हैं। ये तरीके प्रत्येक प्रेडिक्टर के महत्व का विश्लेषण करते हैं और जो अधिक मूल्य नहीं जोड़ते, उन्हें स्वतः हटा देते हैं। इससे प्रक्रिया सुव्यवस्थित हो जाती है और आपको यह तय करने के लिए मैन्युअल हस्तक्षेप कम करना पड़ता है कि किन चरों को हटाया जाए।

अधिक डेटा एकत्र करना

सैंपल साइज बढ़ाने से डेटासेट में अधिक परिवर्तनशीलता आती है, जिससे अलग-अलग प्रेडिक्टर्स के योगदानों को अलग करना आसान हो जाता है और मल्टिकॉलीनियरिटी कम हो सकती है। अतः एक और समाधान है अधिक डेटा एकत्र करना। जब डेटासेट का आकार बढ़ता है, तो चरों में विविधता बढ़ती है, जिससे अलग-अलग प्रेडिक्टर्स के प्रभावों को अलग-अलग पहचानना आसान होता है। इससे मल्टिकॉलीनियरिटी का प्रभाव कम करने में मदद मिलती है।

निष्कर्ष

मल्टिकॉलीनियरिटी को समझना और संबोधित करना मजबूत और व्याख्यायोग्य रीग्रेशन मॉडल बनाने के लिए आवश्यक है। VIF, कोरिलेशन मैट्रिक्स और कंडीशन इंडेक्स जैसी तकनीकों से मल्टिकॉलीनियरिटी का पता लगाकर, और लैसो और रिज रीग्रेशन या अनावश्यक प्रेडिक्टर्स हटाने जैसे उपायों से इसे हल करके, आप विश्वसनीय और सार्थक मॉडल परिणाम सुनिश्चित कर सकते हैं। अपने रीग्रेशन मॉडलों में हमेशा मल्टिकॉलीनियरिटी की जाँच करें और अपने विश्लेषण की अखंडता बनाए रखने के लिए उपयुक्त समाधान लागू करें।

आगे सीखने और अपने पसंदीदा वर्कस्पेस में लीनियर रीग्रेशन करने की याद ताज़ा करने के लिए, निम्न स्रोतों को देखें:

• Essentials of Linear Regression in Python: जानें कि एक रीग्रेशन समस्या कैसे बनती है और Python में लीनियर रीग्रेशन एल्गोरिदम कैसे काम करता है।
• Linear Regression in Excel: A Comprehensive Guide For Beginners: Excel में लीनियर रीग्रेशन करने, परिणामों की व्याख्या करने और कारगर इनसाइट्स के लिए डेटा को विज़ुअलाइज़ करने की चरणबद्ध मार्गदर्शिका।
• How to Do Linear Regression in R: R का उपयोग करके चरों के बीच संबंधों का विश्लेषण करने वाला सांख्यिकीय मॉडल—लीनियर रीग्रेशन—सीखें।