OLS प्रतिगमन: मुख्य विचार समझाए गए

OLS (ordinary least squares) प्रतिगमन सीखना निश्चित रूप से फायदेमंद है क्योंकि यह सांख्यिकी और मशीन लर्निंग का एक बहुत बड़ा हिस्सा है। इसका उपयोग परिणामों की भविष्यवाणी करने या चर के बीच संबंधों का विश्लेषण करने के लिए किया जाता है, और इन दोनों उपयोगों के अनुप्रयोगों में परिकल्पना परीक्षण से लेकर पूर्वानुमान तक सब कुछ शामिल है।

इस लेख में, मैं आपको OLS प्रतिगमन की बुनियादी बातें, इसके अनुप्रयोग, मान्यताएँ, और Excel, R, तथा Python में इसके कार्यान्वयन को समझने में मदद करूँगा। सीखने के लिए बहुत कुछ है, इसलिए समाप्त करने के बाद, हमारे नियत प्रतिगमन पाठ्यक्रम जैसे Introduction to Regression in Python और Introduction to Regression in R लें, और हमारे ट्यूटोरियल जैसे Linear Regression in Excel पढ़ें।

OLS प्रतिगमन क्या है?

OLS प्रतिगमन एक या अधिक स्वतंत्र चरों (predictors) और आश्रित चर (response) के बीच संबंध का अनुमान लगाता है। यह ऐसा प्रेक्षित डेटा पर एक रैखिक समीकरण फिट करके करता है। यह समीकरण इस प्रकार दिखता है: 

यहाँ:

• y आश्रित चर है।
• x1, x2, … स्वतंत्र चर हैं।
• β0​ अवरोध (intercept) है।
• β1, β2, …​ गुणांक (coefficients) हैं।
• ϵ त्रुटि पद (error term) को दर्शाता है।

ऊपर की समीकरण में, मैंने कई β पद दिखाए हैं, जैसे β1 और β2। लेकिन स्पष्ट करने के लिए, प्रतिगमन समीकरण में β0 के अलावा केवल एक β पद भी हो सकता है, जिस स्थिति में हम इसे सरल रैखिक प्रतिगमन कहेंगे। दो या अधिक प्रेडिक्टर्स, जैसे β1 और β2, होने पर हम इसे एकाधिक रैखिक प्रतिगमन कहेंगे। यदि ordinary least squares estimator का उपयोग हो, तो दोनों OLS प्रतिगमन के अंतर्गत आएँगे। 

OLS न्यूनिकीकरण समस्या क्या है?

OLS प्रतिगमन के केंद्र में एक अनुकूलन चुनौती होती है: ऐसी रेखा (या उच्च आयामों में हाइपरप्लेन) खोजना जो डेटा को सबसे अच्छा फिट करे। लेकिन "सबसे अच्छा फिट" का क्या अर्थ है? यहाँ "सबसे अच्छा फिट" का अर्थ है वर्ग अवशेषों के योग को न्यूनतम करना।

आइए अवशेषों की धारणा के साथ-साथ न्यूनतम करने की समस्या को समझाने की कोशिश करता हूँ। 

• अवशेषों की व्याख्या: अवशेष प्रेक्षित वास्तविक मानों और प्रतिगमन मॉडल द्वारा अनुमानित मानों के बीच का अंतर होते हैं। हर डेटा बिंदु के लिए, अवशेष बताता है कि हमारी भविष्यवाणी कितनी chook गई।
• अवशेषों का वर्ग क्यों करें? प्रत्येक अवशेष का वर्ग करने से हम सुनिश्चित करते हैं कि धनात्मक और ऋणात्मक अंतर एक-दूसरे को निरस्त न कर दें। वर्ग करने से बड़े त्रुटियों को अधिक वज़न भी मिलता है, यानी मॉडल बड़े गलतियों को कम करने को प्राथमिकता देता है।

वर्ग अवशेषों के योग को न्यूनतम करके, प्रतिगमन रेखा स्वतंत्र और आश्रित चरों के बीच संबंध का एक सटीक निरूपण बन जाती है। दरअसल, वर्ग अवशेषों के योग को न्यूनतम करके, हमारे मॉडल की भविष्यवाणियों में समग्र त्रुटि यथासंभव कम हो जाती है। अवशेषों और प्रतिगमन विघटन के बारे में अधिक जानने के लिए हमारा ट्यूटोरियल Understanding Sum of Squares: A Guide to SST, SSR, and SSE पढ़ें।

ordinary least squares estimator क्या है? 

प्रतिगमन के संदर्भ में, अनुमापक (estimators) उन गुणांकों की गणना के लिए उपयोग किए जाते हैं जो स्वतंत्र चरों और आश्रित चर के बीच संबंध का वर्णन करते हैं। ordinary least squares (OLS) estimator ऐसा ही एक तरीका है। यह उन गुणांक मानों को खोजता है जो प्रेक्षित मानों और मॉडल द्वारा अनुमानित मानों के बीच वर्ग अंतरों के योग को न्यूनतम करते हैं।

मैं यह शब्दावली स्पष्ट रखने के लिए बता रहा हूँ। प्रतिगमन अन्य अनुमापकों से भी किया जा सकता है, जो डेटा और विश्लेषण के उद्देश्यों के अनुसार अलग-अलग लाभ देते हैं। उदाहरण के लिए, कुछ अनुमापक अपवाद मानों (outliers) के प्रति अधिक robust होते हैं, जबकि कुछ मॉडल पैरामीटरों को regularize करके overfitting को रोकने में मदद करते हैं।

OLS प्रतिगमन के पैरामीटर कैसे अनुमानित किए जाते हैं?

प्रतिगमन मॉडल को सबसे अच्छी तरह फिट करने वाले गुणांकों को निर्धारित करने के लिए, OLS estimator वर्ग अवशेषों के योग को न्यूनतम करने हेतु गणितीय तकनीकों का उपयोग करता है। एक संभावित तरीका है normal equation, जो डेटा के आधार पर समीकरणों की एक प्रणाली बनाकर और प्रेक्षित व अनुमानित मानों के बीच वर्ग अंतरों के योग को न्यूनतम करने वाले गुणांकों के लिए हल करके प्रत्यक्ष समाधान देता है।

हालाँकि, normal equation को हल करना, खासकर बड़े डेटासेट के साथ, संगणनात्मक रूप से कठिन हो सकता है। इसे संबोधित करने के लिए, एक अन्य तकनीक QR decomposition का अक्सर उपयोग किया जाता है। QR decomposition स्वतंत्र चरों के मैट्रिक्स को दो सरल मैट्रिक्स में विभाजित करता है: एक orthogonal मैट्रिक्स (Q) और एक upper triangular मैट्रिक्स (R)। यह सरलीकरण गणनाओं को अधिक कुशल बनाता है और संख्यात्मक स्थिरता भी सुधारता है।

OLS प्रतिगमन का उपयोग कब करें

हम OLS प्रतिगमन का उपयोग करने का निर्णय कैसे लें? इस निर्णय में, हमें अपने डेटासेट की विशेषताओं का आकलन करना होता है और साथ ही वह विशिष्ट समस्या भी परिभाषित करनी होती है जिसे हम हल करने की कोशिश कर रहे हैं। 

OLS प्रतिगमन की मान्यताएँ

OLS प्रतिगमन लागू करने से पहले, हमें सुनिश्चित करना चाहिए कि हमारे डेटा में निम्नलिखित मान्यताएँ पूरी होती हैं ताकि परिणाम विश्वसनीय हों:

1. रैखिकता: स्वतंत्र और आश्रित चरों के बीच संबंध रैखिक होना चाहिए।
2. त्रुटियों की स्वतंत्रता: अवशेष एक-दूसरे से असहसंबद्ध होने चाहिए।
3. समविचलनशीलता (Homoscedasticity): अवशेषों का विचलन सभी स्वतंत्र चरों के स्तरों पर स्थिर होना चाहिए।
4. त्रुटियों की सामान्यता: अवशेष सामान्य रूप से वितरित होने चाहिए।

इन मान्यताओं के गंभीर उल्लंघन पक्षपाती अनुमानों या अविश्वसनीय भविष्यवाणियों की ओर ले जा सकते हैं। इसलिए, आगे बढ़ने से पहले हमें संभावित समस्याओं का आकलन और समाधान अवश्य करना चाहिए।

OLS प्रतिगमन के अनुप्रयोग

एक बार मान्यताएँ संतुष्ट हो जाने पर, OLS प्रतिगमन विभिन्न उद्देश्यों के लिए उपयोग किया जा सकता है:

• पूर्वानुमानित मॉडलिंग: बिक्री, राजस्व, या रुझानों जैसे परिणामों का पूर्वानुमान।
• संबंध विश्लेषण: आश्रित चर पर स्वतंत्र चरों के प्रभाव को समझना।
• परिकल्पना परीक्षण: यह आकलन करना कि क्या विशिष्ट प्रेडिक्टर्स परिणाम चर को महत्वपूर्ण रूप से प्रभावित करते हैं।

R, Python, और Excel में OLS प्रतिगमन

अब देखते हैं कि R, Python, और Excel में OLS प्रतिगमन कैसे करें।

R में OLS प्रतिगमन

R OLS प्रतिगमन के लिए lm() फ़ंक्शन प्रदान करता है। यह एक उदाहरण है:

# Let's create sample data
predictor_variable <- c(1, 2, 3, 4, 5)
response_variable <- c(2, 4, 5, 4, 5)

# We now fit the OLS regression model using the lm() function from base R
ols_regression_model <- lm(response_variable ~ predictor_variable)

# OLS regression model summary
summary(ols_regression_model)संचालित द्वारा

ध्यान दें कि R में OLS प्रतिगमन करने के लिए हमें कोई अतिरिक्त पैकेज आयात करने की आवश्यकता नहीं है। 

Python में OLS प्रतिगमन

Python OLS प्रतिगमन के लिए statsmodels और scikit-learn जैसी लाइब्रेरी प्रदान करता है। आइए statsmodels का उपयोग करते हुए एक उदाहरण देखें:

import statsmodels.api as sm

# We can create some sample data
ols_regression_predictor = [1, 2, 3, 4, 5]
ols_regression_response = [2, 4, 5, 4, 5]

# Adding a constant for the intercept
ols_regression_predictor = sm.add_constant(ols_regression_predictor)

# We now fit our OLS regression model
ols_regression_model = sm.OLS(ols_regression_response, ols_regression_predictor).fit()

# Summary of our OLS regression 
print(ols_regression_model.summary())संचालित द्वारा

Excel में OLS प्रतिगमन

Excel भी अपने अंतर्निर्मित टूल्स के माध्यम से OLS प्रतिगमन करने का तरीका प्रदान करता है। बस ये चरण अनुसरण करें:

अपने डेटा को तैयार करें

अपने डेटा को दो कॉलमों में व्यवस्थित करें: एक स्वतंत्र चर/चरों के लिए और एक आश्रित चर के लिए। सुनिश्चित करें कि आपके डेटासेट में कोई खाली सेल नहीं है।

Data Analysis ToolPak सक्षम करें

जाएँ File > Options > Add-Ins। Manage बॉक्स में Excel Add-ins चुनें, फिर Go पर क्लिक करें। Analysis ToolPak का बॉक्स चेक करें और OK क्लिक करें।

प्रतिगमन विश्लेषण चलाएँ

जाएँ Data > Data Analysis और विकल्पों की सूची में से Regression चुनें। OK पर क्लिक करें।

Regression डायलॉग बॉक्स में:

• Input Y Range को अपने आश्रित चर वाले कॉलम पर सेट करें।
• Input X Range को अपने स्वतंत्र चर/चरों पर सेट करें।
• यदि आपके इनपुट रेंज में कॉलम हेडर शामिल हैं तो Labels चेक करें।
• परिणामों के लिए आउटपुट रेंज या नई वर्कशीट चुनें।

OLS प्रतिगमन मॉडलों का मूल्यांकन कैसे करें

अब हमने एक OLS प्रतिगमन मॉडल बना लिया है। अगला कदम है मॉडल डायग्नॉस्टिक्स और मॉडल आँकड़ों को देखकर यह जाँचना कि क्या यह प्रभावी है।

डायग्नॉस्टिक प्लॉट्स

हम विज़ुअल टूल्स का उपयोग करके मॉडल की मान्यताओं और फिट की गुणवत्ता का आकलन कर OLS प्रतिगमन मॉडल का मूल्यांकन कर सकते हैं। कुछ विकल्पों में residuals बनाम fitted values प्लॉट शामिल है, जो ऐसे पैटर्न की जाँच करता है जो गैर-रैखिकता या heteroscedasticity का संकेत दे सकते हैं, या Q-Q प्लॉट, जो यह जाँचता है कि अवशेष सामान्य वितरण जैसे किसी वितरण का पालन करते हैं या नहीं।

मॉडल आँकड़े

हम मॉडल के प्रदर्शन और प्रेडिक्टर्स के महत्व की जानकारी देने वाले सांख्यिकीय मापदंडों से भी मॉडल का मूल्यांकन कर सकते हैं। सामान्य मॉडल आँकड़ों में R-squared और adjusted R-squared शामिल हैं, जो मॉडल द्वारा समझाए गए विचरण के अनुपात को मापते हैं। हम F-आँकड़े और p-मूल्य भी देख सकते हैं, जो मॉडल की समग्र महत्वता और व्यक्तिगत प्रेडिक्टर्स का परीक्षण करते हैं।

ट्रेन/टेस्ट वर्कफ़्लो

अंत में, यह भी कहना चाहिए कि डेटा विश्लेषक मॉडल की पूर्वानुमान क्षमता को मान्य करने के लिए एक संरचित प्रक्रिया अपनाते हैं। इसमें डेटा विभाजन की प्रक्रिया शामिल होती है, जहाँ डेटा को प्रशिक्षण और परीक्षण उपसमूहों में बाँटा जाता है; प्रशिक्षण प्रक्रिया में मॉडल फिट किया जाता है; और फिर परीक्षण प्रक्रिया में अनदेखे परीक्षण डेटा पर प्रदर्शन का मूल्यांकन किया जाता है। इस प्रक्रिया में k-fold cross-validation जैसे cross-validation चरण भी शामिल हो सकते हैं।

OLS प्रतिगमन के गहन अंतर्दृष्टि

अब जब हमने OLS प्रतिगमन की बुनियादी बातें देख ली हैं, तो कुछ अधिक उन्नत अवधारणाओं का अन्वेषण करते हैं। 

OLS प्रतिगमन और अधिकतम संभाव्यता अनु अनुमान (maximum likelihood estimation)

Maximum likelihood estimation (MLE) एक और अवधारणा है जिस पर OLS प्रतिगमन के साथ चर्चा होती है, और वाजिब कारण से। अब तक हमने इस पर समय बिताया है कि OLS कैसे गुणांकों का अनुमान लगाने के लिए वर्ग अवशेषों के योग को न्यूनतम करता है। अब एक कदम पीछे हटकर MLE की बात करते हैं।  

MLE हमारे मॉडल के तहत दिए गए डेटा के प्रेक्षणीय होने की संभाव्यता को अधिकतम करता है। यह त्रुटि पद के लिए एक विशिष्ट प्रायिकता वितरण मानकर काम करता है। यह प्रायिकता वितरण आमतौर पर सामान्य, या Gaussian, वितरण होता है। हमारे प्रायिकता वितरण का उपयोग करते हुए, हम ऐसे पैरामीटर मान ढूँढते हैं जो प्रेक्षित डेटा को सर्वाधिक संभाव्य बनाते हैं।

मैं अभी maximum likelihood estimation इसलिए ला रहा हूँ क्योंकि, OLS प्रतिगमन के संदर्भ में, यदि त्रुटियाँ सामान्य रूप से वितरित हों तो MLE पद्धति वही गुणांक देती है जो हम वर्ग त्रुटियों के योग को न्यूनतम करके पाते हैं। 

भारित औसत के रूप में OLS प्रतिगमन की व्याख्या

OLS प्रतिगमन पर एक और रोचक दृष्टिकोण इसकी व्याख्या एक भारित औसत के रूप में है। प्रो. एंड्रयू गेलमैन इस विचार पर चर्चा करते हैं कि OLS प्रतिगमन में गुणांकों को प्रेक्षित डेटा बिंदुओं के एक भारित औसत के रूप में सोचा जा सकता है, जहाँ वज़न प्रेडिक्टर्स के विचरण और मॉडल की संरचना द्वारा निर्धारित होते हैं।

यह दृष्टिकोण यह समझने में कुछ अंतर्दृष्टि देता है कि प्रतिगमन प्रक्रिया कैसे काम करती है और ऐसा क्यों व्यवहार करती है, क्योंकि OLS प्रतिगमन वास्तव में उन प्रेक्षणों को अधिक वज़न दे रहा होता है जिनका विचरण कम होता है या जो मॉडल की भविष्यवाणियों के अधिक निकट होते हैं। आप हमारे DataFramed पॉडकास्ट एपिसोड Election Forecasting and Polling को भी सुन सकते हैं ताकि यह जानें कि प्रोफेसर गेलमैन चुनावी पोलिंग में प्रतिगमन के उपयोग के बारे में क्या कहते हैं। 

OLS प्रतिगमन बनाम समान प्रतिगमन विधियाँ

कई अन्य प्रतिगमन विधियों के नाम मिलते-जुलते लग सकते हैं, लेकिन उनके उद्देश्य अलग होते हैं या वे अलग मान्यताओं के तहत काम करती हैं। आइए कुछ समान-सुनाई देने वालों पर नज़र डालें: 

OLS बनाम weighted least squares (WLS)

WLS OLS का एक विस्तार है जो प्रेक्षणों के विचरण के आधार पर प्रत्येक डेटा बिंदु को अलग-अलग वज़न देता है। जब अवशेषों के स्थिर विचरण की मान्यता का उल्लंघन होता है, तब WLS विशेष रूप से उपयोगी होता है। प्रेक्षणों को उनके विचरण के व्युत्क्रमानुपाती वज़न देकर, WLS विषमविचलन (heteroscedastic) डेटा से निपटते समय अधिक विश्वसनीय अनुमान प्रदान करता है।

OLS बनाम partial least squares (PLS) प्रतिगमन

PLS principal component analysis और multiple regression की विशेषताओं को मिलाकर ऐसे गुप्त चर (latent variables) निकालता है जो प्रेडिक्टर्स और response चर के बीच अधिकतम सहप्रभा (covariance) को पकड़ते हैं। PLS उन स्थितियों में लाभकारी है जहाँ multicollinearity हो या प्रेडिक्टर्स की संख्या प्रेक्षणों से अधिक हो। यह मात्रात्मकता (dimensionality) को कम करते हुए भविष्यवाणी शक्ति को अधिकतम करता है, जिसे OLS स्वभावतः संबोधित नहीं करता।

OLS बनाम generalized least squares (GLS)

WLS की तरह, GLS OLS का सामान्यीकरण है जो अवशेषों के सहसंबद्ध और/या गैर-स्थिर विचरण की अनुमति देता है। GLS OLS की अवशेषों संबंधी मान्यताओं के उल्लंघन का हिसाब रखने के लिए अनुमापन प्रक्रिया को समायोजित करता है, और ऐसी परिस्थितियों में अधिक दक्ष और अप्रभावित (unbiased) अनुमान प्रदान करता है।

OLS बनाम total least squares (TLS)

orthogonal regression के नाम से भी जाना जाने वाला TLS, OLS द्वारा न्यूनतम किए जाने वाले ऊर्ध्वाधर दूरी के बजाय डेटा बिंदुओं से प्रतिगमन रेखा तक की लंबवत दूरियों को न्यूनतम करता है। जब स्वतंत्र और आश्रित दोनों चरों में त्रुटि होती है, तब TLS उपयोगी है, जबकि OLS मानता है कि केवल आश्रित चर में मापन त्रुटि है।

OLS प्रतिगमन के विकल्प

जब चरों के बीच संबंध जटिल या गैर-रैखिक हो, तो अपरामित (non-parametric) प्रतिगमन विधियाँ OLS के लिए लचीले विकल्प प्रदान करती हैं, क्योंकि वे प्रतिगमन फ़ंक्शन के रूप को डेटा द्वारा निर्धारित होने देती हैं। पिछले सभी उदाहरण ("समान-सुनाई देने वाले") पैरामेट्रिक मॉडलों की श्रेणी में आते हैं। लेकिन अपरामित मॉडल तब भी उपयोग किए जा सकते हैं जब आप पैटर्नों को पैरामेट्रिक मान्यताओं के बंधनों के बिना मॉडल करना चाहते हैं।

अंतिम विचार

OLS प्रतिगमन डेटा संबंधों को समझने और भविष्यवाणी करने के लिए एक मौलिक उपकरण है। OLS में महारत हासिल करके, आप उन्नत मॉडलों और तकनीकों का अन्वेषण करने के लिए एक ठोस आधार बनाते हैं। R और Python में प्रतिगमन पर DataCamp के पाठ्यक्रमों का अन्वेषण करें और अपने कौशल सेट का विस्तार करें: Introduction to Regression with statsmodels in Python और Introduction to Regression in R)। साथ ही, हमारे बेहद लोकप्रिय Machine Learning Scientist in Python करियर ट्रैक पर भी विचार करें।