स्टेपवाइज़ रिग्रेशन: प्रेडिक्टर्स को एक-एक करके चुनें
स्टेपवाइज़ रिग्रेशन फॉरवर्ड, बैकवर्ड, और बाइडायरेक्शनल खोज के साथ प्रेडिक्टर चयन को स्वचालित करता है, लेकिन इसकी सरलता स्थिरता और ओवरफिटिंग में समझौते के साथ आती है।
क्या आपने कभी 20 प्रेडिक्टर्स वाले रिग्रेशन डेटासेट को देखकर सोचा है कि मॉडल में किन्हें शामिल किया जाए?
अगर आप सभी को जोड़ देंगे, तो मॉडल सिग्नल के साथ शोर को भी फिट कर सकता है। अगर आप हाथ से चुनते हैं, तो दो विश्लेषक एक ही डेटा को देखकर दो अलग-अलग मॉडल बना सकते हैं। और यह कहने की ज़रूरत नहीं कि केवल 20 प्रेडिक्टर्स के साथ भी तुलना करने के लिए दस लाख से अधिक संभावित सबसेट होते हैं।
स्टेपवाइज़ रिग्रेशन इस खोज को स्वचालित करता है—यह p-वैल्यू या AIC जैसे सांख्यिकीय मापदंड के आधार पर एक समय में एक प्रेडिक्टर जोड़ता या हटाता है। यह व्यापक रूप से सिखाया और इस्तेमाल किया जाता है, लेकिन इसमें कुछ सांख्यिकीय सीमाएँ भी हैं, इसलिए इसे डिफ़ॉल्ट फीचर-सेलेक्शन विधि की तरह नहीं अपनाना चाहिए।
इस लेख में, मैं आपको तीन मुख्य तरीकों से परिचित कराऊँगा: फॉरवर्ड सेलेक्शन, बैकवर्ड एलीमिनेशन, और बाइडायरेक्शनल स्टेपवाइज़ सेलेक्शन।
और फीचर सेलेक्शन तकनीकें खोज रहे हैं? हमारे Python फीचर सेलेक्शन ट्यूटोरियल को पढ़ें — इस विषय की शुरुआती-अनुकूल भूमिका के लिए।
स्टेपवाइज़ रिग्रेशन क्या है?
स्टेपवाइज़ रिग्रेशन एक स्वचालित प्रक्रिया है जो तय करती है कि रिग्रेशन मॉडल में कौन-कौन से प्रेडिक्टर्स शामिल हों।
यह एक मॉडल नहीं, बल्कि उम्मीदवार मॉडलों की एक श्रृंखला फिट करता है, और हर कदम पर एक चयन मापदंड के आधार पर एक प्रेडिक्टर जोड़ता या हटाता है। खोज तब रुकती है जब कोई भी और बदलाव, उस मापदंड के अनुसार, मॉडल को बेहतर नहीं बनाता।
मान लीजिए आप भविष्यवाणी करना चाहते हैं कि कोई ग्राहक साल में कितना खर्च करता है। आपके पास पाँच संभावित प्रेडिक्टर्स हैं:
income
age
education
location
years_experience
स्टेपवाइज़ रिग्रेशन income से शुरू कर सकता है, फिर जाँच सकता है कि age मॉडल में सुधार करता है या नहीं, फिर education, और इसी तरह। अंतिम मॉडल केवल income और education को रख सकता है, अगर बाकी तीन मानदंड को पर्याप्त रूप से बेहतर नहीं करते।
एक महत्वपूर्ण बात याद रखने की है कि स्टेपवाइज़ रिग्रेशन कोई अलग प्रकार का रिग्रेशन मॉडल नहीं है।
यह एक वैरिएबल चयन प्रक्रिया है जिसे आप किसी ज्ञात मॉडल—आमतौर पर लीनियर रिग्रेशन—के ऊपर चलाते हैं। आउटपुट फिर भी एक साधारण रिग्रेशन मॉडल ही होता है, स्टेपवाइज़ केवल यह तय करता है कि उसमें कौन से प्रेडिक्टर्स जाएँ।
स्टेपवाइज़ रिग्रेशन कैसे काम करता है
हर स्टेपवाइज़ प्रक्रिया एक ही लूप से गुजरती है:
प्रारंभिक मॉडल से शुरू करें: इसमें कोई प्रेडिक्टर नहीं हो सकता, सब हो सकते हैं, या बीच का कोई सेट
एक बदलाव प्रस्तावित करें: एक प्रेडिक्टर जोड़ें या एक हटाएँ
नए मॉडल को स्कोर करें: इसे पूर्व-निर्धारित मापदंड से परखें
बदलाव रखें या अस्वीकार करें: केवल तभी रखें जब मापदंड कहे कि नया मॉडल बेहतर है
दोहराएँ: तब तक चरण 2 पर लौटते रहें जब तक कोई शेष बदलाव मॉडल में सुधार नहीं करता
स्टेपवाइज़ रिग्रेशन लूप
एल्गोरिद्म कभी भी एक से अधिक कदम आगे नहीं देखता। यह केवल पूछता है कि अगला एकल बदलाव मदद करता है या नहीं।
मापदंड तय करता है कि "बेहतर" का अर्थ क्या है। ये चार सबसे आम हैं:
p-वैल्यू: कोई प्रेडिक्टर मॉडल में तब आता है जब उसकी p-वैल्यू एंट्री थ्रेशहोल्ड से कम हो, और बाहर जाता है जब वह रिमूवल थ्रेशहोल्ड से ऊपर चली जाए
AIC: अकाइके इंफॉर्मेशन क्राइटेरियन मॉडल फिट को रिवॉर्ड करता है और हर अतिरिक्त पैरामीटर पर पेनल्टी लगाता है, और कम मान बेहतर होते हैं
BIC: बेयज़ियन इंफॉर्मेशन क्राइटेरियन AIC जैसा ही काम करता है, लेकिन इसकी प्रति-पैरामीटर पेनल्टी सैंपल साइज़ के साथ बढ़ती है, इसलिए यह आमतौर पर छोटे मॉडल पर रुकता है
एडजस्टेड R-स्क्वेयर्ड: सामान्य R-स्क्वेयर्ड किसी प्रेडिक्टर को जोड़ने पर कभी घटता नहीं, इसलिए समायोजित संस्करण प्रेडिक्टर्स की संख्या के लिए दंड जोड़कर सही करता है, और उच्च मान बेहतर हैं
सटीक प्रक्रिया खोज की दिशा और मापदंड पर निर्भर करती है। फॉरवर्ड सेलेक्शन केवल जोड़ता है, बैकवर्ड एलीमिनेशन केवल हटाता है, और बाइडायरेक्शनल सेलेक्शन दोनों करता है। और एक ही डेटासेट अलग-अलग मापदंड चुनने पर अलग अंतिम मॉडल दे सकता है।
इसलिए जब कोई कहता है कि उन्होंने स्टेपवाइज़ रिग्रेशन चलाया, तो पूछने के लिए पहले दो सवाल होते हैं—किस दिशा में और कौन सा मापदंड।
स्टेपवाइज़ रिग्रेशन के प्रकार
स्टेपवाइज़ रिग्रेशन के तीन प्रकार हैं, और वे एक बात में अलग हैं—खोज की दिशा।
फॉरवर्ड सेलेक्शन
फॉरवर्ड सेलेक्शन छोटा शुरू करता है और वहाँ से बनाता है।
आप इंटरसेप्ट-ओनली मॉडल से शुरू करते हैं, या कुछ ऐसे प्रेडिक्टर्स के साथ जिन्हें आप हर हाल में रखना चाहते हैं। फिर एल्गोरिद्म शेष प्रत्येक प्रेडिक्टर के लिए एक-एक उम्मीदवार मॉडल फिट करता है, जिनमें वह एक प्रेडिक्टर जोड़ा जाता है। जो प्रेडिक्टर मापदंड को सबसे अधिक सुधारता है, वह मॉडल में शामिल हो जाता है।
फिर लूप बड़े मॉडल को नए बेस के रूप में लेकर फिर चलता है। यह तब रुकता है जब कोई भी शेष प्रेडिक्टर चयन नियम को पूरा नहीं करता—उदाहरण के लिए जब कोई जोड़ AIC को कम नहीं करता।
फॉरवर्ड सेलेक्शन तब भी शुरू हो सकता है जब उम्मीदवार प्रेडिक्टर्स की संख्या ऑब्ज़र्वेशंस से अधिक हो, क्योंकि इसे कभी भी फुल मॉडल फिट करने की ज़रूरत नहीं पड़ती। सीमा यह है कि एक बार कोई प्रेडिक्टर अंदर आ गया, तो वह बना रहता है—भले ही बाद के जोड़ उसे अनावश्यक बना दें।
बैकवर्ड एलीमिनेशन
बैकवर्ड एलीमिनेशन उल्टा चलता है।
आप फुल मॉडल से शुरू करते हैं, जिसमें हर उम्मीदवार प्रेडिक्टर शामिल होता है। एल्गोरिद्म एक-एक करके हर प्रेडिक्टर को हटाने की कोशिश करता है और उस प्रेडिक्टर को छोड़ देता है जिसकी हटाने से मापदंड सबसे ज़्यादा बेहतर होता है। फिर छोटा मॉडल रिफिट करता है और दोहराता है। जब कोई हटाना मापदंड को बेहतर नहीं करता, खोज रुक जाती है।
इस तरीके का मतलब है कि फुल मॉडल का अनुमान लगाया जा सकना चाहिए। आपको पैरामीटर्स से अधिक ऑब्ज़र्वेशंस चाहिए, और कोई प्रेडिक्टर अन्य का सटीक रैखिक संयोजन नहीं होना चाहिए। यदि आपके पास 50 प्रेडिक्टर्स और 40 पंक्तियाँ हैं, तो बैकवर्ड एलीमिनेशन शुरू भी नहीं हो सकता।
और इसमें फॉरवर्ड सेलेक्शन की उल्टी समस्या भी है—एक बार कोई प्रेडिक्टर बाहर गया, तो वह बाहर ही रहता है।
बाइडायरेक्शनल स्टेपवाइज़ सेलेक्शन
बाइडायरेक्शनल सेलेक्शन दोनों को जोड़ता है। हर जोड़ के बाद, एल्गोरिद्म चेक करता है कि क्या अब मॉडल में मौजूद कोई प्रेडिक्टर हट जाना चाहिए।
यह इसलिए मायने रखता है क्योंकि किसी प्रेडिक्टर का महत्व इस पर निर्भर करता है कि मॉडल में और क्या है। मान लीजिए bedrooms पहले आता है क्योंकि यह घर के आकार से सह-संबद्ध है। जब बाद में square_feet आता है, तो bedrooms शायद ही कुछ जोड़ता हो। बाइडायरेक्शनल सेलेक्शन उस समय इसे हटा सकता है, जबकि फॉरवर्ड सेलेक्शन इसे रखेगा।
कीमत यह है कि प्रति स्टेप अधिक मॉडल फिट करने पड़ते हैं। आप बाइडायरेक्शनल सेलेक्शन को खाली या फुल, किसी भी मॉडल से शुरू कर सकते हैं।
तीनों की तुलना यूँ है:
फॉरवर्ड सेलेक्शन
बैकवर्ड एलीमिनेशन
बाइडायरेक्शनल सेलेक्शन
शुरुआती मॉडल
केवल इंटरसेप्ट या एक छोटा बेस सेट
सभी उम्मीदवारों वाला फुल मॉडल
या तो खाली या फुल मॉडल
अनुमत ऑपरेशंस
सिर्फ जोड़ें
सिर्फ हटाएँ
जोड़ें या हटाएँ
विचारणीय बातें
जब प्रेडिक्टर्स ऑब्ज़र्वेशंस से अधिक हों तब भी शुरू हो सकता है, पर शुरुआती जोड़ फिर नहीं देखे जाते
अनुमेय फुल मॉडल चाहिए, और हटे प्रेडिक्टर्स वापस नहीं आते
प्रति स्टेप अधिक मॉडल फिट, लेकिन यह पहले के फैसलों को पलट सकता है
स्टेपवाइज़ रिग्रेशन के प्रकार
स्टेपवाइज़ रिग्रेशन उदाहरण
आइए इसे थोड़ा ठोस बनाते हैं।
मैंने 200 घरों का एक सिंथेटिक डेटासेट बनाया और पाँच उम्मीदवार प्रेडिक्टर्स से price की भविष्यवाणी करना चाहता हूँ:
square_feet
bedrooms
age_years
distance_km (शहर के केंद्र से दूरी)
lot_size_sqft
मैं AIC को मापदंड रखते हुए फॉरवर्ड सेलेक्शन का उपयोग करूँगा, जहाँ कम AIC बेहतर होता है। आप वही डेटा Python सेक्शन में फिर देखेंगे।
इंटरसेप्ट-ओनली मॉडल का AIC 5057.0 है। हर स्टेप कुछ यूँ दिखता है — हर सेल दिखाता है कि वर्तमान मॉडल में वह प्रेडिक्टर जोड़ने पर AIC क्या होगा:
उम्मीदवार
स्टेप 1
स्टेप 2
स्टेप 3
स्टेप 4
स्टेप 5
square_feet
4955.1
in model
in model
in model
in model
distance_km
5020.3
4855.6
in model
in model
in model
age_years
5050.2
4926.4
4841.4
in model
in model
lot_size_sqft
5057.9
4955.1
4844.4
4839.8
in model
bedrooms
4993.4
4950.0
4885.1
4842.0
4840.8
वर्तमान मॉडल AIC
5057.0
4955.1
4885.6
4841.4
4839.8
AIC तुलना
हर स्टेप पर यह होता है:
स्टेप 1:square_feet AIC को लगभग 102 अंकों से घटाता है, इसलिए यह पहले प्रवेश करता है। bedrooms दूसरे स्थान पर आता है क्योंकि यह घर के आकार से सह-संबद्ध है
स्टेप 2:distance_km सबसे बड़ा गिरावट देता है। bedrooms अब शायद ही मदद करता है, क्योंकि square_feet में पहले से ही इसकी अधिकांश जानकारी है
स्टेप 3:age_years शामिल होता है
स्टेप 4:lot_size_sqft AIC को केवल 1.6 अंक घटाता है, लेकिन कम तो कम है, इसलिए यह प्रवेश करता है
स्टेप 5:bedrooms जोड़ने से AIC 4840.8 तक बढ़ जाएगा, इसलिए खोज रुक जाती है
अंतिम मॉडल square_feet, distance_km, age_years और lot_size_sqft का उपयोग करता है।
यह एक उचित परिणाम है। मैंने डेटा इस तरह बनाया कि bedrooms का कीमत पर कोई प्रत्यक्ष प्रभाव नहीं है, और प्रक्रिया ने इसे बाहर ही रखा।
यदि आप उसी डेटा पर बैकवर्ड एलीमिनेशन चलाते हैं, तो यह 4840.8 के फुल मॉडल से शुरू करता है, bedrooms को हटा देता है, और उन्हीं चार प्रेडिक्टर्स पर रुकता है। फॉरवर्ड और बैकवर्ड हमेशा सहमत नहीं होंगे, लेकिन यहाँ वे होते हैं।
हर फॉरवर्ड स्टेप के बाद वर्तमान मॉडल का AIC
स्टेपवाइज़ रिग्रेशन में वैरिएबल कैसे चुने जाते हैं
खोज की दिशा तय करती है कि एल्गोरिद्म कैसे बर्ताव करेगा। मापदंड तय करता है कि यह कब रुकेगा।
p-वैल्यू-आधारित सेलेक्शन
यह सबसे पुराना तरीका है, और यह दो थ्रेशहोल्ड का उपयोग करता है:
एंट्री थ्रेशहोल्ड: कोई उम्मीदवार मॉडल में आता है यदि उसकी p-वैल्यू इस मान से कम हो, जैसे 0.05
रिमूवल थ्रेशहोल्ड: कोई प्रेडिक्टर मॉडल से बाहर जाता है यदि उसकी p-वैल्यू इस मान से ऊपर चली जाए, जैसे 0.10
रिमूवल थ्रेशहोल्ड आमतौर पर एंट्री थ्रेशहोल्ड से अधिक सेट किया जाता है, ताकि कोई प्रेडिक्टर हर स्टेप पर अंदर-बाहर न होता रहे। दोनों मान परंपराएँ हैं, नियम नहीं।
हर p-वैल्यू मानती है कि आपने पहले से योजनाबद्ध एक परीक्षण चलाया। स्टेपवाइज़ हर स्टेप पर परीक्षणों का एक बैच चलाता है और सबसे छोटी p-वैल्यू रखता है। यदि आप 20 स्वतंत्र परीक्षण 0.05 पर उन प्रेडिक्टर्स पर चलाते हैं जिनका कोई प्रभाव नहीं, तो कम से कम एक के महत्त्वपूर्ण दिखने की संभावना 1 − 0.95^20 होती है, जो लगभग 64% है। चुने गए प्रेडिक्टर्स वास्तविकता से अधिक मज़बूत दिखेंगे—और क्यों, यह मैं समस्याओं वाले खंड में कवर करूँगा।
हाउस प्राइस उदाहरण में, lot_size_sqft की p-वैल्यू स्टेप 4 पर लगभग 0.063 है। 0.05 एंट्री थ्रेशहोल्ड के साथ, फॉरवर्ड सेलेक्शन तीन प्रेडिक्टर्स पर रुकता है।
AIC
अकाइके इंफॉर्मेशन क्राइटेरियन मॉडल फिट और जटिलता में संतुलन बनाता है:
AIC सूत्र
यहाँ k अनुमानित पैरामीटर्स की संख्या है और L̂ मॉडल की अधिकतम संभावना (मैक्सिमाइज़्ड लाइकलीहुड) है। दूसरा पद फिट को रिवॉर्ड करता है, और पहला हर पैरामीटर पर 2 अंक का शुल्क लगाता है।
नया प्रेडिक्टर लाइकलीहुड को कभी घटाता नहीं, इसलिए फिट वाला पद केवल बेहतर हो सकता है। सवाल यह है कि क्या वह 2-अंकों के शुल्क से अधिक सुधार करता है। एक पैरामीटर जोड़ने के लिए, यह लगभग 0.157 p-वैल्यू थ्रेशहोल्ड वाले लाइकलीहुड रेशियो टेस्ट के बराबर है।
इसीलिए lot_size_sqft AIC में तो शामिल हो गया, लेकिन 0.05 p-वैल्यू नियम में नहीं। AIC ज़्यादा उदार है, और भविष्यवाणी में मदद करने वाले अपेक्षाकृत कमजोर प्रेडिक्टर्स को रखने की प्रवृत्ति रखता है।
BIC
बेयज़ियन इंफॉर्मेशन क्राइटेरियन की संरचना वही है, पेनल्टी अलग है:
BIC सूत्र
इस सूत्र में n ऑब्ज़र्वेशंस की संख्या है। हर पैरामीटर अब 2 की जगह ln(n) अंक खर्च करता है, इसलिए जैसे ही आपके पास 8 या अधिक ऑब्ज़र्वेशंस होते हैं, BIC जटिलता पर AIC से अधिक पेनल्टी लगाता है। और गैप सैंपल साइज़ के साथ बढ़ता है।
200 घरों के साथ, ln(200) लगभग 5.3 है, जो एक पैरामीटर जोड़ने के लिए लगभग 0.021 के निहित p-वैल्यू थ्रेशहोल्ड में बदलता है। हाउस डेटा पर BIC के साथ फॉरवर्ड सेलेक्शन तीन प्रेडिक्टर्स पर रुकता है और lot_size_sqft को बाहर छोड़ देता है।
एडजस्टेड R-स्क्वेयर्ड
साधारण R-स्क्वेयर्ड एक चयन मापदंड के रूप में बेकार है।
लीनियर रिग्रेशन मॉडल में कोई भी प्रेडिक्टर जोड़ने पर यह कभी घटता नहीं—even अगर वह रैंडम शोर का कॉलम ही क्यों न हो। अगर आप R-स्क्वेयर्ड से चुनते हैं, तो फुल मॉडल हमेशा सबसे अच्छा दिखेगा।
एडजस्टेड R-स्क्वेयर्ड प्रेडिक्टर्स की संख्या के लिए पेनल्टी जोड़ता है:
एडजस्टेड R-स्क्वेयर्ड सूत्र
यहाँ p प्रेडिक्टर्स की संख्या है, और उच्च मान बेहतर हैं। पेनल्टी हल्की है। नया प्रेडिक्टर एडजस्टेड R-स्क्वेयर्ड बढ़ा देता है जब भी उसके t-स्टैटिस्टिक का परिमाण 1 से ऊपर हो—इसलिए यह चारों मापदंडों में सबसे उदार है।
हाउस डेटा पर, एडजस्टेड R-स्क्वेयर्ड lot_size_sqft को रखता है और bedrooms को पाँचवें दशमलव स्थान के अंतर से खारिज करता है।
दोनों भाषाएँ स्टेपवाइज़ रिग्रेशन चला सकती हैं, लेकिन तरीके अलग हैं। मैं दोनों में ऊपर वाले उदाहरण का वही हाउस प्राइस डेटा इस्तेमाल करूँगा।
Python में स्टेपवाइज़ रिग्रेशन
Python में कोई मानक स्टेपवाइज़ रिग्रेशन फ़ंक्शन नहीं है।
न statsmodels और न ही scikit-learn में R के step() का समकक्ष है जो AIC या p-वैल्यू से प्रेडिक्टर्स चुनता हो। इसलिए सबसे पारदर्शी विकल्प है कि आप statsmodels के ऊपर खुद लूप लिखें। यह लगभग 25 लाइनों का है, और आप हर निर्णय देख सकते हैं।
स्पष्ट करने के लिए, नीचे दी गई forward_selection() फ़ंक्शन मेरी अपनी हेल्पर है, statsmodels की विशेषता नहीं। statsmodels केवल मॉडल फिट करता है और उनके .aic और .bic एट्रिब्यूट्स रिपोर्ट करता है।
पहले डेटासेट जनरेट करें और सेव करें, ताकि R सेक्शन वही पंक्तियाँ उपयोग कर सके:
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
rng = np.random.default_rng(42)
n =200
square_feet = rng.normal(1800,450, n).clip(700,3500)
bedrooms = np.clip(np.round(square_feet /600+ rng.normal(0,0.6, n)),1,6)
age_years = rng.uniform(0,60, n)
distance_km = rng.uniform(1,30, n)
lot_size_sqft = rng.normal(6000,1500, n).clip(2000,12000)# Bedrooms has no direct effect on price, lot size has a small one
price =(60000+140* square_feet
-1200* age_years
-3500* distance_km
+4* lot_size_sqft
+ rng.normal(0,45000, n))
house = pd.DataFrame({"square_feet": square_feet,"bedrooms": bedrooms,"age_years": age_years,"distance_km": distance_km,"lot_size_sqft": lot_size_sqft,"price": price,})
house.to_csv("house_prices.csv", index=False)संचालित द्वारा
अगला, सेलेक्शन लूप। यह इंटरसेप्ट-ओनली मॉडल से शुरू होता है, शेष हर उम्मीदवार के लिए एक मॉडल फिट करता है, और सबसे कम मापदंड मान वाले जोड़ को रखता है:
defforward_selection(data, target, candidates, criterion="aic"):
selected =[]
remaining =list(candidates)# Score the intercept-only model first
null_model = smf.ols(f"{target} ~ 1", data=data).fit()
current_score =getattr(null_model, criterion)print(f"Start: {criterion.upper()} = {current_score:.1f}")while remaining:# Fit one model per remaining candidate
scores ={}for candidate in remaining:
formula =f"{target} ~ {' + '.join(selected +[candidate])}"
scores[candidate]=getattr(smf.ols(formula, data=data).fit(), criterion)
best =min(scores, key=scores.get)# Stop when the best addition doesn't lower the criterionif scores[best]>= current_score:print(f"Stop: adding {best} gives {scores[best]:.1f}")break
selected.append(best)
remaining.remove(best)
current_score = scores[best]print(f"Add {best}: {criterion.upper()} = {current_score:.1f}")return selected
candidates =["square_feet","bedrooms","age_years","distance_km","lot_size_sqft"]
aic_predictors = forward_selection(house,"price", candidates, criterion="aic")print()
bic_predictors = forward_selection(house,"price", candidates, criterion="bic")संचालित द्वारा
Python में फॉरवर्ड सेलेक्शन
ये वही AIC मान हैं जो उदाहरण तालिका में थे। AIC चार प्रेडिक्टर्स पर समाप्त होता है, और BIC तीन पर रुकता है क्योंकि lot_size_sqft अपनी बड़ी पेनल्टी को पार नहीं कर पाता।
यदि आप पैकेज का उपयोग करना पसंद करते हैं, तो scikit-learn में SequentialFeatureSelector है। यह फॉरवर्ड या बैकवर्ड सेलेक्शन चलाता है, लेकिन हर उम्मीदवार को AIC या p-वैल्यू के बजाय क्रॉस-वैलिडेशन से स्कोर करता है:
from sklearn.feature_selection import SequentialFeatureSelector
from sklearn.linear_model import LinearRegression
X = house.drop(columns="price")
y = house["price"]
sfs = SequentialFeatureSelector(
LinearRegression(),
n_features_to_select="auto",
tol=0.001,
direction="forward",
scoring="r2",
cv=5,)
sfs.fit(X, y)print(list(X.columns[sfs.get_support()]))संचालित द्वारा
Python में चयनित फीचर्स
जब n_features_to_select="auto" होता है, तो खोज तब रुकती है जब क्रॉस-वैलिडेटेड R-स्क्वेयर्ड tol से कम बेहतर होती है। इस डेटा पर, यह AIC जैसे ही चार प्रेडिक्टर्स के साथ समाप्त होती है।
R में स्टेपवाइज़ रिग्रेशन
R में स्टेपवाइज़ रिग्रेशन बिल्ट-इन है।
step() फ़ंक्शन बेस R के stats पैकेज के साथ आता है, इसलिए कुछ इंस्टॉल करने की ज़रूरत नहीं। आप इसे एक शुरुआती मॉडल, एक स्कोप जो सबसे बड़े मॉडल को परिभाषित करता है जिसे यह विचार कर सकता है, और एक दिशा देते हैं:
# Load the same data generated in the Python section
house <- read.csv("house_prices.csv")# Intercept-only model and full model
null_model <- lm(price ~1, data = house)
full_model <- lm(
price ~ square_feet + bedrooms + age_years + distance_km + lot_size_sqft,
data = house
)# Forward selection with AIC
aic_model <- step(null_model, scope = formula(full_model), direction ="forward")# Forward selection with BIC
bic_model <- step(
null_model,
scope = formula(full_model),
direction ="forward",
k = log(nrow(house)))
formula(aic_model)
formula(bic_model)संचालित द्वारा
R में AIC और BIC फॉर्मूले
step() जिस मापदंड को मिनिमाइज़ करता है, वह एक आर्ग्युमेंट से नियंत्रित होता है — k।
यह -2 log-likelihood + k * edf की गणना करता है, जहाँ edf अनुमानित गुणांकों की संख्या है। डिफ़ॉल्ट k = 2 आपको AIC देता है। अगर आप k = log(n) सेट करें, तो आपको BIC मिलता है, लेकिन प्रिंटेड ट्रेस फिर भी मानों को "AIC" लेबल करता है—तो इससे भ्रमित न हों।
बैकवर्ड एलीमिनेशन के लिए, फुल मॉडल से शुरू करें:
backward_model <- step(full_model, direction ="backward")संचालित द्वारा
इस डेटा पर यह bedrooms हटाता है और फॉरवर्ड AIC जैसे ही चार प्रेडिक्टर्स पर रुकता है। यदि आप scope पास करें और direction छोड़ दें, तो step() डिफ़ॉल्ट रूप से बाइडायरेक्शनल सेलेक्शन करता है।
स्टेपवाइज़ रिग्रेशन बनाम अन्य फीचर सेलेक्शन तरीके
प्रेडिक्टर्स चुनने का यह एकमात्र तरीका नहीं है। यहाँ तीन लोकप्रिय विकल्पों से तुलना है।
स्टेपवाइज़ रिग्रेशन बनाम बेस्ट सबसेट सेलेक्शन
स्टेपवाइज़ रिग्रेशन एक ग्रीडी खोज है। हर स्टेप पर यह सबसे अच्छा एकल कदम उठाता है और कभी पीछे मुड़कर नहीं देखता—जब तक कि आप इसे दोनों दिशाओं में न चलाएँ।
बेस्ट सबसेट सेलेक्शन प्रेडिक्टर्स के हर संभव संयोजन को फिट करता है और सबसे अच्छे मापदंड मान वाले को रखता है। 5 प्रेडिक्टर्स के साथ, यह 32 मॉडल हैं। 20 के साथ, यह दस लाख से अधिक है, और 40 के साथ, यह ट्रिलियन से ऊपर है। R के leaps पैकेज में ब्रांच-एंड-बाउंड जैसे एल्गोरिद्म उस काम का बहुत हिस्सा छोड़ सकते हैं, लेकिन लागत फिर भी प्रेडिक्टर्स की संख्या के साथ तेज़ी से बढ़ती है।
हाउस प्राइस डेटा पर, AIC के साथ बेस्ट सबसेट सेलेक्शन फॉरवर्ड सेलेक्शन जैसे ही चार प्रेडिक्टर्स चुनता है। यह हमेशा ऐसा नहीं होगा, इसे ध्यान में रखें।
स्टेपवाइज़ रिग्रेशन बनाम लैसो रिग्रेशन
स्टेपवाइज़ रिग्रेशन हाँ-या-नहीं के फैसले करता है। कोई प्रेडिक्टर या तो मॉडल में अपने पूर्ण लीस्ट-स्क्वेयर्स गुणांक के साथ होता है, या बाहर शून्य गुणांक के साथ।
लैसो रिग्रेशन सभी प्रेडिक्टर्स को एक साथ फिट करता है और गुणांकों के परिमाणों के योग पर पेनल्टी जोड़ता है। यह पेनल्टी हर गुणांक को शून्य की ओर सिकोड़ती है और सबसे कमजोरों को पूरी तरह शून्य तक धकेल देती है—इस तरह चयन और आकलन एक ही स्टेप में होते हैं।
डेटा में छोटा बदलाव लैसो के गुणांकों को थोड़ा-सा हिलाता है, जबकि यह स्टेपवाइज़ के निर्णय को अंदर से बाहर कर सकता है। आप पेनल्टी की ताकत क्रॉस-वैलिडेशन से चुनते हैं—जैसे scikit-learn में LassoCV या R में cv.glmnet() से।
सिकुड़े हुए गुणांक जानबूझकर शून्य की ओर बायस्ड होते हैं। यह अधिक स्थिर आकलन और बेहतर आउट-ऑफ-सैंपल भविष्यवाणी के लिए किया गया समझौता है।
स्टेपवाइज़ रिग्रेशन बनाम रिकर्सिव फीचर एलीमिनेशन
रिकर्सिव फीचर एलीमिनेशन, या RFE, दिखने में बैकवर्ड एलीमिनेशन जैसा है। आप सभी फीचर्स पर मॉडल फिट करते हैं, सबसे कमजोरों को हटाते हैं, फिर दोबारा फिट करते हैं, और दोहराते हैं।
अंतर यह है कि "सबसे कमजोर" का मतलब क्या है। बैकवर्ड एलीमिनेशन AIC या p-वैल्यू जैसे सांख्यिकीय मापदंड का उपयोग करता है। RFE मॉडल के अपने इम्पॉर्टेंस स्कोर उपयोग करता है—जैसे गुणांकों के परिमाण या ट्री-आधारित फीचर इम्पॉर्टेंस।
इससे RFE पहले मशीन लर्निंग टूल बन जाता है। यह किसी भी मॉडल के साथ काम करता है जिसमें फीचर इम्पॉर्टेंस हो—जैसे रैंडम फॉरेस्ट्स और सपोर्ट वेक्टर मशीन—और आप आमतौर पर इसे scikit-learn के RFECV से क्रॉस-वैलिडेशन के साथ जोड़ते हैं। आपको फीचर सेट मिलता है जो अच्छी भविष्यवाणी करता है, लेकिन कोई लाइकलीहुड-आधारित मापदंड और p-वैल्यू नहीं।
स्टेपवाइज़ रिग्रेशन की समस्याएँ
स्टेपवाइज़ रिग्रेशन चलाना और समझाना आसान है। यही वजह है कि इसकी समस्याएँ नज़रअंदाज़ करना भी आसान है।
सांख्यिकीविद इस विधि की दशकों से आलोचना करते आए हैं—फ्रैंक हैरेल की Regression Modeling Strategies और Whittingham व अन्य (2006), Journal of Animal Ecology में, इसके प्रसिद्ध उदाहरण हैं। 2018 के Journal of Big Data के एक पेपर में, गैरी स्मिथ तर्क देते हैं कि संभावित व्याख्यात्मक वैरिएबल्स जितने अधिक होंगे, स्टेपवाइज़ रिग्रेशन उतना ही कम प्रभावी होगा—यानी यह बहुत अधिक प्रेडिक्टर्स की समस्या हल नहीं करता।
अस्थिर वैरिएबल चयन
डेटा में छोटे बदलाव से चुने गए प्रेडिक्टर्स बदल सकते हैं।
यदि आप कुछ पंक्तियाँ हटा दें या उसी आबादी से नया सैंपल लें, तो स्टेपवाइज़ अलग मॉडल दे सकता है। चयन थ्रेशहोल्ड के पास वाले प्रेडिक्टर्स सबसे नाज़ुक होते हैं। छोटे लेकिन वास्तविक प्रभाव वाला प्रेडिक्टर, जैसे उदाहरण में lot_size_sqft, एक सैंपल में अंदर आ सकता है और अगले में बाहर रह सकता है। बिना प्रभाव वाला प्रेडिक्टर, जैसे bedrooms, तब अंदर घुस सकता है जब सैंपल संयोगवश उसके पक्ष में हो।
यह इसलिए मायने रखता है क्योंकि आप केवल एक ही सैंपल देखते हैं। स्टेपवाइज़ जो मॉडल देता है, वह संभावित मॉडलों की एक रेंज में से एक है—और आउटपुट आपको यह नहीं बताता कि वह रेंज कितनी चौड़ी है।
बायस्ड गुणांक आकलन
स्टेपवाइज़ वही डेटा उपयोग करता है प्रेडिक्टर्स चुनने और उनके गुणांक के आकलन के लिए।
कमज़ोर प्रेडिक्टर मुख्यतः उन्हीं सैंपलों में मॉडल में आता है जहाँ उसका प्रभाव वास्तविकता से अधिक दिखाई देता है। जहाँ वह कमज़ोर दिखता है, वहाँ वह बाहर रह जाता है। इसलिए चयन के बाद दिखने वाले गुणांक औसतन बहुत बड़े होते हैं।
सीधी भाषा में, स्टेपवाइज़ रिग्रेशन विजेताओं की रिपोर्ट करता है—और विजेता वास्तविकता से बेहतर दिखते हैं।
भ्रामक p-वैल्यू और कॉन्फिडेंस इंटरवल
रिग्रेशन समरी में p-वैल्यू मानती हैं कि आपने डेटा देखने से पहले मॉडल चुना था।
स्टेपवाइज़ उल्टा करता है। यह परीक्षणों का बैच चलाता है, थ्रेशहोल्ड पार करने वाले प्रेडिक्टर्स रखता है, और फिर p-वैल्यू ऐसे रिपोर्ट करता है जैसे आपने केवल उन्हीं का परीक्षण किया हो। इसलिए p-वैल्यू बहुत छोटी और कॉन्फिडेंस इंटरवल बहुत संकरे निकलते हैं।
समस्या तब और बढ़ती है जब बहुत सारे उम्मीदवारों का कोई प्रभाव नहीं होता। डेविड फ़्रीडमैन ने 1983 में The American Statistician में यह दिखाया—जब उन्होंने शुद्ध शोर प्रेडिक्टर्स की स्क्रीनिंग की और मॉडल को फिर से फिट किया, तो परिणाम सांख्यिकीय रूप से महत्त्वपूर्ण दिखा जबकि खोजने के लिए कुछ था ही नहीं। स्मिथ भी यही बात कहते हैं: अनुपयोगी वैरिएबल्स संयोगवश महत्त्वपूर्ण हो सकते हैं, जबकि वास्तविक वाले थ्रेशहोल्ड से चूक सकते हैं।
यदि आप उन p-वैल्यू को साक्ष्य के रूप में रिपोर्ट करते हैं, तो आप शोर ही रिपोर्ट कर सकते हैं।
ओवरफिटिंग
ओवरफिटिंग इसी समस्या का प्रेडिक्शन पक्ष है।
हर उम्मीदवार प्रेडिक्टर स्टेपवाइज़ को एक और मौका देता है केवल आपके सैंपल में मौजूद पैटर्न फिट करने का। चुना गया मॉडल उसी डेटा पर अच्छा दिखता है जिस पर यह बना है, लेकिन वे पैटर्न नए डेटा में दोहरते नहीं। नतीजतन, मॉडल इन-सैंपल अच्छा फिट हो सकता है, लेकिन आउट-ऑफ-सैंपल खराब कर सकता है।
और आप जितने अधिक उम्मीदवार प्रेडिक्टर्स देते हैं, इसे उतने ही अधिक मौके मिलते हैं गैर-मौजूद पैटर्न खोजने के।
कोरिलेटेड प्रेडिक्टर्स
जब दो प्रेडिक्टर्स में समान जानकारी होती है, तो स्टेपवाइज़ को उनमें से चुनना पड़ता है, और सैंपल में छोटे अंतर निर्णय तय करते हैं।
square_feet और bedrooms हाउस डेटा में एक हल्का उदाहरण हैं—एक बार square_feet मॉडल में आ गया, तो bedrooms लगभग कुछ नहीं जोड़ता। अधिक मज़बूत सह-संबंध में, चुनाव लगभग रैंडम हो जाता है। एक सैंपल वैरिएबल A रखता है, अगला वैरिएबल B, और हर मॉडल आउटकम को ड्राइव करने वाली अलग कहानी कहता है।
कोई भी कहानी भरोसेमंद नहीं है। स्टेपवाइज़ आपको यह नहीं बता सकता कि दो प्रेडिक्टर्स परस्पर-विनिमेय हैं—यह बस एक को चुन लेता है।
ग्रीडी खोज
स्टेपवाइज़ एक समय में एक निर्णय लेता है, और हर निर्णय पहले वाले निर्णयों पर निर्भर करता है।
इसका मतलब है कि यह सबसे अच्छा मॉडल मिस कर सकता है। मान लें कि दो प्रेडिक्टर्स अकेले में बेकार हैं पर साथ में मज़बूत—जो तब हो सकता है जब हर एक दूसरे में शोर को सही करे। फॉरवर्ड सेलेक्शन कभी भी किसी को नहीं जोड़ेगा, क्योंकि कोई भी एकल स्टेप में मॉडल को बेहतर नहीं करता।
बैकवर्ड एलीमिनेशन और बाइडायरेक्शनल सेलेक्शन जोखिम घटाते हैं, हटाते नहीं। तीनों में से कोई भी सभी संयोजनों को नहीं परखता, इसलिए कोई भी चुने गए मापदंड के लिए सर्वश्रेष्ठ मॉडल का वादा नहीं कर सकता।
स्टेपवाइज़ रिग्रेशन कब उपयोग करें?
स्टेपवाइज़ रिग्रेशन एक संकीर्ण काम वाला टूल है।
यह इन स्थितियों के लिए अच्छा विकल्प है:
एक्सप्लोरेटरी विश्लेषण: यह जल्दी से पहली झलक देता है कि कौन से प्रेडिक्टर्स मायने रख सकते हैं—जब तक आप परिणाम को हाइपोथेसिस की तरह मानते हैं
वैरिएबल सेलेक्शन सिखाना: स्टेप-बाय-स्टेप ट्रेस मॉडल सेलेक्शन के विचार—और उसकी समस्याएँ—आसानी से दिखाता है
उम्मीदवार सेट घटाना: यह प्रेडिक्टर्स की लंबी सूची को संकीर्ण कर सकता है—यदि आप परिणाम की स्थिरता जाँचें
ऑटोमेटेड बेसलाइन मॉडल: यह आपको एक त्वरित संदर्भ मॉडल देता है जिससे अधिक सावधानी से बने मॉडलों की तुलना की जा सके
कन्फर्मेटरी इंफरेंस और कॉज़ल एनालिसिस के लिए यह गलत विकल्प है।
यदि आपका लक्ष्य परखना है कि कोई प्रेडिक्टर प्रभाव डालता है या नहीं, तो स्टेपवाइज़ चयन के बाद की p-वैल्यू वह जवाब नहीं दे सकतीं। और यदि आपका लक्ष्य कारणात्मक है, तो सही वैरिएबल सेट डेटा कैसे जेनरेट हुआ उससे आता है—न कि किन वैरिएबल्स से AIC घटता है। स्टेपवाइज़ को यह पता नहीं होता कि कौन सा वैरिएबल किसका कारण है।
भविष्यवाणी के लिए, आपके पास बेहतर विकल्प हैं। रेगुलराइज़ेशन तरीके, जैसे लैसो और इलास्टिक नेट, अधिक स्थिर हैं, और क्रॉस-वैलिडेटेड फीचर सेलेक्शन मॉडलों का मूल्यांकन उस डेटा पर करता है जिसे उन्होंने नहीं देखा।
स्टेपवाइज़ रिग्रेशन के सर्वश्रेष्ठ अभ्यास
यदि आप स्टेपवाइज़ रिग्रेशन उपयोग करने का निर्णय लेते हैं, तो ये कदम परिणामों को अधिक ईमानदार बना सकते हैं:
विश्वसनीय प्रेडिक्टर्स से शुरू करें: केवल वही उम्मीदवार शामिल करें जिन्हें आप डोमेन ज्ञान से सही ठहरा सकें—क्योंकि हर अतिरिक्त उम्मीदवार एल्गोरिद्म को शोर चुनने का एक और मौका देता है
मापदंड सोच-समझकर चुनें: AIC भविष्यवाणी की ओर झुकता है, BIC छोटे मॉडलों की ओर, और p-वैल्यू थ्रेशहोल्ड परंपराएँ हैं—तो वही चुनें जो आपके लक्ष्य से मेल खाए और पहले से तय करें
चयनित p-वैल्यू को सतही तौर पर न लें: उन्हें वर्णनात्मक समझें, साक्ष्य नहीं—क्योंकि चयन उसी डेटा पर आधारित है जिस पर वे हैं
अनदेखे डेटा पर वैलिडेट करें: अंतिम मॉडल का मूल्यांकन होल्डआउट सेट पर या पूरी प्रक्रिया की क्रॉस-वैलिडेशन से करें—सिर्फ अंतिम मॉडल की नहीं
मल्टिकॉलीनियरिटी जाँचे: उम्मीदवारों के बीच सहसंबंध और वैरिएंस इन्फ्लेशन फैक्टर्स देखें—ताकि आपको पता रहे कौन-से चुनाव लगभग रैंडम हो सकते हैं
स्थिरता जाँचें: बूटस्ट्रैप सैंपल्स पर चयन को फिर चलाएँ और रिपोर्ट करें कि हर प्रेडिक्टर कितनी बार चुना गया
दूसरे मॉडलों से तुलना करें: एक लैसो मॉडल और डोमेन ज्ञान से बना मॉडल फिट करें, और देखें कि होल्डआउट डेटा पर स्टेपवाइज़ इससे बेहतर करता है या नहीं
प्रक्रिया रिपोर्ट करें: उम्मीदवार सेट, दिशा, मापदंड, और थ्रेशहोल्ड लिखें—ताकि अन्य लोग परिणाम को दुहरा और परख सकें
निष्कर्ष
स्टेपवाइज़ रिग्रेशन प्रेडिक्टर चयन को स्वचालित करता है। यह एक बार में एक वैरिएबल जोड़ता या हटाता है और तब रुकता है जब आपकी चुनी हुई कसौटी के अनुसार कोई बदलाव मॉडल को बेहतर नहीं बनाता।
फॉरवर्ड सेलेक्शन खाली से शुरू करता है और केवल जोड़ता है। बैकवर्ड एलीमिनेशन फुल मॉडल से शुरू करता है और केवल हटाता है। बाइडायरेक्शनल सेलेक्शन दोनों करता है, इसलिए यह पहले का फैसला पलट सकता है।
लेकिन सरलता का मतलब है कि चुने गए प्रेडिक्टर्स सैंपल-टू-सैंपल बदल सकते हैं, मॉडल शोर को फिट कर सकता है, और चयन के बाद की p-वैल्यू और कॉन्फिडेंस इंटरवल भरोसेमंद नहीं होते—यह ध्यान में रखने वाली बात है। इसलिए स्टेपवाइज़ रिग्रेशन को एक मॉडल-सेलेक्शन तकनीक की तरह ट्रीट करें; यह रिग्रेशन मॉडल बनाने का डिफ़ॉल्ट तरीका नहीं है।
क्रोएशिया में स्थित सीनियर डेटा साइंटिस्ट। 700 से अधिक प्रकाशित लेखों के साथ टॉप टेक राइटर, जिनसे 10M+ व्यूज़ प्राप्त हुए। Machine Learning Automation with TPOT के पुस्तक लेखक।
स्टेपवाइज़ रिग्रेशन FAQs
स्टेपवाइज़ रिग्रेशन क्या है?⌄
स्टेपवाइज़ रिग्रेशन एक स्वचालित प्रक्रिया है जो तय करती है कि रिग्रेशन मॉडल में कौन से प्रेडिक्टर्स शामिल हों। यह एक समय में एक प्रेडिक्टर जोड़ता या हटाता है और हर बदलाव तभी रखता है जब वह AIC, BIC, या p-वैल्यू थ्रेशहोल्ड जैसे मापदंड को बेहतर करे। यह कोई अलग रिग्रेशन प्रकार नहीं है, क्योंकि अंतिम परिणाम फिर भी एक साधारण रिग्रेशन मॉडल ही होता है।
फॉरवर्ड सेलेक्शन और बैकवर्ड एलीमिनेशन में क्या अंतर है?⌄
फॉरवर्ड सेलेक्शन खाली मॉडल से शुरू करता है और हर स्टेप पर सबसे उपयोगी प्रेडिक्टर जोड़ता है। बैकवर्ड एलीमिनेशन सभी उम्मीदवार प्रेडिक्टर्स के साथ शुरू करता है और हर स्टेप पर सबसे कम उपयोगी को हटाता है। बैकवर्ड एलीमिनेशन को फुल मॉडल का अनुमेय होना ज़रूरी है, इसलिए जब प्रेडिक्टर्स ऑब्ज़र्वेशंस से अधिक हों, यह शुरू नहीं हो सकता।
क्या आज भी स्टेपवाइज़ रिग्रेशन उपयोग करने के लिए अच्छा तरीका है?⌄
एक्सप्लोरेशन, शिक्षण और त्वरित बेसलाइन मॉडलों के लिए यह ठीक है। लेकिन यह अस्थिर प्रेडिक्टर सेट, बायस्ड गुणांक, और वास्तविकता से अधिक मज़बूत दिखने वाली p-वैल्यू पैदा करता है। भविष्यवाणी के लिए, लैसो जैसी रेगुलराइज़ेशन विधियाँ आमतौर पर बेहतर विकल्प हैं, और कॉज़ल सवालों के लिए प्रेडिक्टर्स डोमेन ज्ञान से आने चाहिए।
AIC और BIC अलग मॉडल क्यों चुनते हैं?⌄
दोनों मापदंड मॉडल फिट को रिवॉर्ड करते हैं और अतिरिक्त पैरामीटर्स पर पेनल्टी लगाते हैं, लेकिन पेनल्टी अलग है। AIC प्रति पैरामीटर 2 अंक चार्ज करता है, जबकि BIC ln(n) चार्ज करता है, जो 8 या अधिक ऑब्ज़र्वेशंस पर बड़ा होता है। इसलिए BIC आमतौर पर छोटे मॉडलों पर रुकता है, खासकर बड़े डेटासेट्स पर।
क्या मैं स्टेपवाइज़ रिग्रेशन से चुने गए मॉडल की p-वैल्यू पर भरोसा कर सकता/सकती हूँ?⌄
नहीं, सतही तौर पर नहीं। p-वैल्यू मानती हैं कि आपने डेटा देखने से पहले मॉडल चुना, लेकिन स्टेपवाइज़ ने उन्हीं डेटा से तय किया कि किन प्रेडिक्टर्स को रखना है। इसलिए रिपोर्ट की गई p-वैल्यू बहुत छोटी और कॉन्फिडेंस इंटरवल बहुत संकरे होते हैं।
क्या आपने कभी 20 प्रेडिक्टर्स वाले रिग्रेशन डेटासेट को देखकर सोचा है कि मॉडल में किन्हें शामिल किया जाए?
अगर आप सभी को जोड़ देंगे, तो मॉडल सिग्नल के साथ शोर को भी फिट कर सकता है। अगर आप हाथ से चुनते हैं, तो दो विश्लेषक एक ही डेटा को देखकर दो अलग-अलग मॉडल बना सकते हैं। और यह कहने की ज़रूरत नहीं कि केवल 20 प्रेडिक्टर्स के साथ भी तुलना करने के लिए दस लाख से अधिक संभावित सबसेट होते हैं।
स्टेपवाइज़ रिग्रेशन इस खोज को स्वचालित करता है—यह p-वैल्यू या AIC जैसे सांख्यिकीय मापदंड के आधार पर एक समय में एक प्रेडिक्टर जोड़ता या हटाता है। यह व्यापक रूप से सिखाया और इस्तेमाल किया जाता है, लेकिन इसमें कुछ सांख्यिकीय सीमाएँ भी हैं, इसलिए इसे डिफ़ॉल्ट फीचर-सेलेक्शन विधि की तरह नहीं अपनाना चाहिए।
इस लेख में, मैं आपको तीन मुख्य तरीकों से परिचित कराऊँगा: फॉरवर्ड सेलेक्शन, बैकवर्ड एलीमिनेशन, और बाइडायरेक्शनल स्टेपवाइज़ सेलेक्शन।
और फीचर सेलेक्शन तकनीकें खोज रहे हैं? हमारे Python फीचर सेलेक्शन ट्यूटोरियल को पढ़ें — इस विषय की शुरुआती-अनुकूल भूमिका के लिए।
स्टेपवाइज़ रिग्रेशन क्या है?
स्टेपवाइज़ रिग्रेशन एक स्वचालित प्रक्रिया है जो तय करती है कि रिग्रेशन मॉडल में कौन-कौन से प्रेडिक्टर्स शामिल हों।
यह एक मॉडल नहीं, बल्कि उम्मीदवार मॉडलों की एक श्रृंखला फिट करता है, और हर कदम पर एक चयन मापदंड के आधार पर एक प्रेडिक्टर जोड़ता या हटाता है। खोज तब रुकती है जब कोई भी और बदलाव, उस मापदंड के अनुसार, मॉडल को बेहतर नहीं बनाता।
मान लीजिए आप भविष्यवाणी करना चाहते हैं कि कोई ग्राहक साल में कितना खर्च करता है। आपके पास पाँच संभावित प्रेडिक्टर्स हैं:
incomeageeducationlocationyears_experienceस्टेपवाइज़ रिग्रेशन
incomeसे शुरू कर सकता है, फिर जाँच सकता है किageमॉडल में सुधार करता है या नहीं, फिरeducation, और इसी तरह। अंतिम मॉडल केवलincomeऔरeducationको रख सकता है, अगर बाकी तीन मानदंड को पर्याप्त रूप से बेहतर नहीं करते।एक महत्वपूर्ण बात याद रखने की है कि स्टेपवाइज़ रिग्रेशन कोई अलग प्रकार का रिग्रेशन मॉडल नहीं है।
यह एक वैरिएबल चयन प्रक्रिया है जिसे आप किसी ज्ञात मॉडल—आमतौर पर लीनियर रिग्रेशन—के ऊपर चलाते हैं। आउटपुट फिर भी एक साधारण रिग्रेशन मॉडल ही होता है, स्टेपवाइज़ केवल यह तय करता है कि उसमें कौन से प्रेडिक्टर्स जाएँ।
स्टेपवाइज़ रिग्रेशन कैसे काम करता है
हर स्टेपवाइज़ प्रक्रिया एक ही लूप से गुजरती है:
स्टेपवाइज़ रिग्रेशन लूप
एल्गोरिद्म कभी भी एक से अधिक कदम आगे नहीं देखता। यह केवल पूछता है कि अगला एकल बदलाव मदद करता है या नहीं।
मापदंड तय करता है कि "बेहतर" का अर्थ क्या है। ये चार सबसे आम हैं:
सटीक प्रक्रिया खोज की दिशा और मापदंड पर निर्भर करती है। फॉरवर्ड सेलेक्शन केवल जोड़ता है, बैकवर्ड एलीमिनेशन केवल हटाता है, और बाइडायरेक्शनल सेलेक्शन दोनों करता है। और एक ही डेटासेट अलग-अलग मापदंड चुनने पर अलग अंतिम मॉडल दे सकता है।
इसलिए जब कोई कहता है कि उन्होंने स्टेपवाइज़ रिग्रेशन चलाया, तो पूछने के लिए पहले दो सवाल होते हैं—किस दिशा में और कौन सा मापदंड।
स्टेपवाइज़ रिग्रेशन के प्रकार
स्टेपवाइज़ रिग्रेशन के तीन प्रकार हैं, और वे एक बात में अलग हैं—खोज की दिशा।
फॉरवर्ड सेलेक्शन
फॉरवर्ड सेलेक्शन छोटा शुरू करता है और वहाँ से बनाता है।
आप इंटरसेप्ट-ओनली मॉडल से शुरू करते हैं, या कुछ ऐसे प्रेडिक्टर्स के साथ जिन्हें आप हर हाल में रखना चाहते हैं। फिर एल्गोरिद्म शेष प्रत्येक प्रेडिक्टर के लिए एक-एक उम्मीदवार मॉडल फिट करता है, जिनमें वह एक प्रेडिक्टर जोड़ा जाता है। जो प्रेडिक्टर मापदंड को सबसे अधिक सुधारता है, वह मॉडल में शामिल हो जाता है।
फिर लूप बड़े मॉडल को नए बेस के रूप में लेकर फिर चलता है। यह तब रुकता है जब कोई भी शेष प्रेडिक्टर चयन नियम को पूरा नहीं करता—उदाहरण के लिए जब कोई जोड़ AIC को कम नहीं करता।
फॉरवर्ड सेलेक्शन तब भी शुरू हो सकता है जब उम्मीदवार प्रेडिक्टर्स की संख्या ऑब्ज़र्वेशंस से अधिक हो, क्योंकि इसे कभी भी फुल मॉडल फिट करने की ज़रूरत नहीं पड़ती। सीमा यह है कि एक बार कोई प्रेडिक्टर अंदर आ गया, तो वह बना रहता है—भले ही बाद के जोड़ उसे अनावश्यक बना दें।
बैकवर्ड एलीमिनेशन
बैकवर्ड एलीमिनेशन उल्टा चलता है।
आप फुल मॉडल से शुरू करते हैं, जिसमें हर उम्मीदवार प्रेडिक्टर शामिल होता है। एल्गोरिद्म एक-एक करके हर प्रेडिक्टर को हटाने की कोशिश करता है और उस प्रेडिक्टर को छोड़ देता है जिसकी हटाने से मापदंड सबसे ज़्यादा बेहतर होता है। फिर छोटा मॉडल रिफिट करता है और दोहराता है। जब कोई हटाना मापदंड को बेहतर नहीं करता, खोज रुक जाती है।
इस तरीके का मतलब है कि फुल मॉडल का अनुमान लगाया जा सकना चाहिए। आपको पैरामीटर्स से अधिक ऑब्ज़र्वेशंस चाहिए, और कोई प्रेडिक्टर अन्य का सटीक रैखिक संयोजन नहीं होना चाहिए। यदि आपके पास 50 प्रेडिक्टर्स और 40 पंक्तियाँ हैं, तो बैकवर्ड एलीमिनेशन शुरू भी नहीं हो सकता।
और इसमें फॉरवर्ड सेलेक्शन की उल्टी समस्या भी है—एक बार कोई प्रेडिक्टर बाहर गया, तो वह बाहर ही रहता है।
बाइडायरेक्शनल स्टेपवाइज़ सेलेक्शन
बाइडायरेक्शनल सेलेक्शन दोनों को जोड़ता है। हर जोड़ के बाद, एल्गोरिद्म चेक करता है कि क्या अब मॉडल में मौजूद कोई प्रेडिक्टर हट जाना चाहिए।
यह इसलिए मायने रखता है क्योंकि किसी प्रेडिक्टर का महत्व इस पर निर्भर करता है कि मॉडल में और क्या है। मान लीजिए
bedroomsपहले आता है क्योंकि यह घर के आकार से सह-संबद्ध है। जब बाद मेंsquare_feetआता है, तोbedroomsशायद ही कुछ जोड़ता हो। बाइडायरेक्शनल सेलेक्शन उस समय इसे हटा सकता है, जबकि फॉरवर्ड सेलेक्शन इसे रखेगा।कीमत यह है कि प्रति स्टेप अधिक मॉडल फिट करने पड़ते हैं। आप बाइडायरेक्शनल सेलेक्शन को खाली या फुल, किसी भी मॉडल से शुरू कर सकते हैं।
तीनों की तुलना यूँ है:
स्टेपवाइज़ रिग्रेशन के प्रकार
स्टेपवाइज़ रिग्रेशन उदाहरण
आइए इसे थोड़ा ठोस बनाते हैं।
मैंने 200 घरों का एक सिंथेटिक डेटासेट बनाया और पाँच उम्मीदवार प्रेडिक्टर्स से price की भविष्यवाणी करना चाहता हूँ:
square_feetbedroomsage_yearsdistance_km(शहर के केंद्र से दूरी)lot_size_sqftमैं AIC को मापदंड रखते हुए फॉरवर्ड सेलेक्शन का उपयोग करूँगा, जहाँ कम AIC बेहतर होता है। आप वही डेटा Python सेक्शन में फिर देखेंगे।
इंटरसेप्ट-ओनली मॉडल का AIC 5057.0 है। हर स्टेप कुछ यूँ दिखता है — हर सेल दिखाता है कि वर्तमान मॉडल में वह प्रेडिक्टर जोड़ने पर AIC क्या होगा:
square_feetdistance_kmage_yearslot_size_sqftbedroomsAIC तुलना
हर स्टेप पर यह होता है:
स्टेप 1:
square_feetAIC को लगभग 102 अंकों से घटाता है, इसलिए यह पहले प्रवेश करता है।bedroomsदूसरे स्थान पर आता है क्योंकि यह घर के आकार से सह-संबद्ध हैस्टेप 2:
distance_kmसबसे बड़ा गिरावट देता है। bedrooms अब शायद ही मदद करता है, क्योंकि square_feet में पहले से ही इसकी अधिकांश जानकारी हैस्टेप 3:
age_yearsशामिल होता हैस्टेप 4:
lot_size_sqftAIC को केवल 1.6 अंक घटाता है, लेकिन कम तो कम है, इसलिए यह प्रवेश करता हैस्टेप 5:
bedroomsजोड़ने से AIC 4840.8 तक बढ़ जाएगा, इसलिए खोज रुक जाती हैअंतिम मॉडल
square_feet,distance_km,age_yearsऔरlot_size_sqftका उपयोग करता है।यह एक उचित परिणाम है। मैंने डेटा इस तरह बनाया कि
bedroomsका कीमत पर कोई प्रत्यक्ष प्रभाव नहीं है, और प्रक्रिया ने इसे बाहर ही रखा।यदि आप उसी डेटा पर बैकवर्ड एलीमिनेशन चलाते हैं, तो यह 4840.8 के फुल मॉडल से शुरू करता है,
bedroomsको हटा देता है, और उन्हीं चार प्रेडिक्टर्स पर रुकता है। फॉरवर्ड और बैकवर्ड हमेशा सहमत नहीं होंगे, लेकिन यहाँ वे होते हैं।हर फॉरवर्ड स्टेप के बाद वर्तमान मॉडल का AIC
स्टेपवाइज़ रिग्रेशन में वैरिएबल कैसे चुने जाते हैं
खोज की दिशा तय करती है कि एल्गोरिद्म कैसे बर्ताव करेगा। मापदंड तय करता है कि यह कब रुकेगा।
p-वैल्यू-आधारित सेलेक्शन
यह सबसे पुराना तरीका है, और यह दो थ्रेशहोल्ड का उपयोग करता है:
रिमूवल थ्रेशहोल्ड आमतौर पर एंट्री थ्रेशहोल्ड से अधिक सेट किया जाता है, ताकि कोई प्रेडिक्टर हर स्टेप पर अंदर-बाहर न होता रहे। दोनों मान परंपराएँ हैं, नियम नहीं।
हर p-वैल्यू मानती है कि आपने पहले से योजनाबद्ध एक परीक्षण चलाया। स्टेपवाइज़ हर स्टेप पर परीक्षणों का एक बैच चलाता है और सबसे छोटी p-वैल्यू रखता है। यदि आप 20 स्वतंत्र परीक्षण 0.05 पर उन प्रेडिक्टर्स पर चलाते हैं जिनका कोई प्रभाव नहीं, तो कम से कम एक के महत्त्वपूर्ण दिखने की संभावना
1 − 0.95^20होती है, जो लगभग 64% है। चुने गए प्रेडिक्टर्स वास्तविकता से अधिक मज़बूत दिखेंगे—और क्यों, यह मैं समस्याओं वाले खंड में कवर करूँगा।हाउस प्राइस उदाहरण में,
lot_size_sqftकी p-वैल्यू स्टेप 4 पर लगभग 0.063 है। 0.05 एंट्री थ्रेशहोल्ड के साथ, फॉरवर्ड सेलेक्शन तीन प्रेडिक्टर्स पर रुकता है।AIC
अकाइके इंफॉर्मेशन क्राइटेरियन मॉडल फिट और जटिलता में संतुलन बनाता है:
AIC सूत्र
यहाँ
kअनुमानित पैरामीटर्स की संख्या है औरL̂मॉडल की अधिकतम संभावना (मैक्सिमाइज़्ड लाइकलीहुड) है। दूसरा पद फिट को रिवॉर्ड करता है, और पहला हर पैरामीटर पर 2 अंक का शुल्क लगाता है।नया प्रेडिक्टर लाइकलीहुड को कभी घटाता नहीं, इसलिए फिट वाला पद केवल बेहतर हो सकता है। सवाल यह है कि क्या वह 2-अंकों के शुल्क से अधिक सुधार करता है। एक पैरामीटर जोड़ने के लिए, यह लगभग 0.157 p-वैल्यू थ्रेशहोल्ड वाले लाइकलीहुड रेशियो टेस्ट के बराबर है।
इसीलिए
lot_size_sqftAIC में तो शामिल हो गया, लेकिन 0.05 p-वैल्यू नियम में नहीं। AIC ज़्यादा उदार है, और भविष्यवाणी में मदद करने वाले अपेक्षाकृत कमजोर प्रेडिक्टर्स को रखने की प्रवृत्ति रखता है।BIC
बेयज़ियन इंफॉर्मेशन क्राइटेरियन की संरचना वही है, पेनल्टी अलग है:
BIC सूत्र
इस सूत्र में
nऑब्ज़र्वेशंस की संख्या है। हर पैरामीटर अब 2 की जगहln(n)अंक खर्च करता है, इसलिए जैसे ही आपके पास 8 या अधिक ऑब्ज़र्वेशंस होते हैं, BIC जटिलता पर AIC से अधिक पेनल्टी लगाता है। और गैप सैंपल साइज़ के साथ बढ़ता है।200 घरों के साथ,
ln(200)लगभग 5.3 है, जो एक पैरामीटर जोड़ने के लिए लगभग 0.021 के निहित p-वैल्यू थ्रेशहोल्ड में बदलता है। हाउस डेटा पर BIC के साथ फॉरवर्ड सेलेक्शन तीन प्रेडिक्टर्स पर रुकता है औरlot_size_sqftको बाहर छोड़ देता है।एडजस्टेड R-स्क्वेयर्ड
साधारण R-स्क्वेयर्ड एक चयन मापदंड के रूप में बेकार है।
लीनियर रिग्रेशन मॉडल में कोई भी प्रेडिक्टर जोड़ने पर यह कभी घटता नहीं—even अगर वह रैंडम शोर का कॉलम ही क्यों न हो। अगर आप R-स्क्वेयर्ड से चुनते हैं, तो फुल मॉडल हमेशा सबसे अच्छा दिखेगा।
एडजस्टेड R-स्क्वेयर्ड प्रेडिक्टर्स की संख्या के लिए पेनल्टी जोड़ता है:
एडजस्टेड R-स्क्वेयर्ड सूत्र
यहाँ p प्रेडिक्टर्स की संख्या है, और उच्च मान बेहतर हैं। पेनल्टी हल्की है। नया प्रेडिक्टर एडजस्टेड R-स्क्वेयर्ड बढ़ा देता है जब भी उसके t-स्टैटिस्टिक का परिमाण 1 से ऊपर हो—इसलिए यह चारों मापदंडों में सबसे उदार है।
हाउस डेटा पर, एडजस्टेड R-स्क्वेयर्ड
lot_size_sqftको रखता है औरbedroomsको पाँचवें दशमलव स्थान के अंतर से खारिज करता है।एक ही डेटा, एक ही फॉरवर्ड खोज, अलग-अलग उत्तर:
विभिन्न मापदंडों के आधार पर वैरिएबल चयन
Python और R में स्टेपवाइज़ रिग्रेशन
दोनों भाषाएँ स्टेपवाइज़ रिग्रेशन चला सकती हैं, लेकिन तरीके अलग हैं। मैं दोनों में ऊपर वाले उदाहरण का वही हाउस प्राइस डेटा इस्तेमाल करूँगा।
Python में स्टेपवाइज़ रिग्रेशन
Python में कोई मानक स्टेपवाइज़ रिग्रेशन फ़ंक्शन नहीं है।
न statsmodels और न ही scikit-learn में R के
step()का समकक्ष है जो AIC या p-वैल्यू से प्रेडिक्टर्स चुनता हो। इसलिए सबसे पारदर्शी विकल्प है कि आप statsmodels के ऊपर खुद लूप लिखें। यह लगभग 25 लाइनों का है, और आप हर निर्णय देख सकते हैं।स्पष्ट करने के लिए, नीचे दी गई
forward_selection()फ़ंक्शन मेरी अपनी हेल्पर है, statsmodels की विशेषता नहीं। statsmodels केवल मॉडल फिट करता है और उनके.aicऔर.bicएट्रिब्यूट्स रिपोर्ट करता है।पहले डेटासेट जनरेट करें और सेव करें, ताकि R सेक्शन वही पंक्तियाँ उपयोग कर सके:
अगला, सेलेक्शन लूप। यह इंटरसेप्ट-ओनली मॉडल से शुरू होता है, शेष हर उम्मीदवार के लिए एक मॉडल फिट करता है, और सबसे कम मापदंड मान वाले जोड़ को रखता है:
Python में फॉरवर्ड सेलेक्शन
ये वही AIC मान हैं जो उदाहरण तालिका में थे। AIC चार प्रेडिक्टर्स पर समाप्त होता है, और BIC तीन पर रुकता है क्योंकि
lot_size_sqftअपनी बड़ी पेनल्टी को पार नहीं कर पाता।यदि आप पैकेज का उपयोग करना पसंद करते हैं, तो scikit-learn में
SequentialFeatureSelectorहै। यह फॉरवर्ड या बैकवर्ड सेलेक्शन चलाता है, लेकिन हर उम्मीदवार को AIC या p-वैल्यू के बजाय क्रॉस-वैलिडेशन से स्कोर करता है:Python में चयनित फीचर्स
जब
n_features_to_select="auto"होता है, तो खोज तब रुकती है जब क्रॉस-वैलिडेटेड R-स्क्वेयर्डtolसे कम बेहतर होती है। इस डेटा पर, यह AIC जैसे ही चार प्रेडिक्टर्स के साथ समाप्त होती है।R में स्टेपवाइज़ रिग्रेशन
R में स्टेपवाइज़ रिग्रेशन बिल्ट-इन है।
step()फ़ंक्शन बेस R के stats पैकेज के साथ आता है, इसलिए कुछ इंस्टॉल करने की ज़रूरत नहीं। आप इसे एक शुरुआती मॉडल, एक स्कोप जो सबसे बड़े मॉडल को परिभाषित करता है जिसे यह विचार कर सकता है, और एक दिशा देते हैं:R में AIC और BIC फॉर्मूले
step()जिस मापदंड को मिनिमाइज़ करता है, वह एक आर्ग्युमेंट से नियंत्रित होता है —k।यह
-2 log-likelihood + k * edfकी गणना करता है, जहाँ edf अनुमानित गुणांकों की संख्या है। डिफ़ॉल्टk = 2आपको AIC देता है। अगर आपk = log(n)सेट करें, तो आपको BIC मिलता है, लेकिन प्रिंटेड ट्रेस फिर भी मानों को "AIC" लेबल करता है—तो इससे भ्रमित न हों।बैकवर्ड एलीमिनेशन के लिए, फुल मॉडल से शुरू करें:
इस डेटा पर यह
bedroomsहटाता है और फॉरवर्ड AIC जैसे ही चार प्रेडिक्टर्स पर रुकता है। यदि आपscopeपास करें औरdirectionछोड़ दें, तोstep()डिफ़ॉल्ट रूप से बाइडायरेक्शनल सेलेक्शन करता है।स्टेपवाइज़ रिग्रेशन बनाम अन्य फीचर सेलेक्शन तरीके
प्रेडिक्टर्स चुनने का यह एकमात्र तरीका नहीं है। यहाँ तीन लोकप्रिय विकल्पों से तुलना है।
स्टेपवाइज़ रिग्रेशन बनाम बेस्ट सबसेट सेलेक्शन
स्टेपवाइज़ रिग्रेशन एक ग्रीडी खोज है। हर स्टेप पर यह सबसे अच्छा एकल कदम उठाता है और कभी पीछे मुड़कर नहीं देखता—जब तक कि आप इसे दोनों दिशाओं में न चलाएँ।
बेस्ट सबसेट सेलेक्शन प्रेडिक्टर्स के हर संभव संयोजन को फिट करता है और सबसे अच्छे मापदंड मान वाले को रखता है। 5 प्रेडिक्टर्स के साथ, यह 32 मॉडल हैं। 20 के साथ, यह दस लाख से अधिक है, और 40 के साथ, यह ट्रिलियन से ऊपर है। R के
leapsपैकेज में ब्रांच-एंड-बाउंड जैसे एल्गोरिद्म उस काम का बहुत हिस्सा छोड़ सकते हैं, लेकिन लागत फिर भी प्रेडिक्टर्स की संख्या के साथ तेज़ी से बढ़ती है।हाउस प्राइस डेटा पर, AIC के साथ बेस्ट सबसेट सेलेक्शन फॉरवर्ड सेलेक्शन जैसे ही चार प्रेडिक्टर्स चुनता है। यह हमेशा ऐसा नहीं होगा, इसे ध्यान में रखें।
स्टेपवाइज़ रिग्रेशन बनाम लैसो रिग्रेशन
स्टेपवाइज़ रिग्रेशन हाँ-या-नहीं के फैसले करता है। कोई प्रेडिक्टर या तो मॉडल में अपने पूर्ण लीस्ट-स्क्वेयर्स गुणांक के साथ होता है, या बाहर शून्य गुणांक के साथ।
लैसो रिग्रेशन सभी प्रेडिक्टर्स को एक साथ फिट करता है और गुणांकों के परिमाणों के योग पर पेनल्टी जोड़ता है। यह पेनल्टी हर गुणांक को शून्य की ओर सिकोड़ती है और सबसे कमजोरों को पूरी तरह शून्य तक धकेल देती है—इस तरह चयन और आकलन एक ही स्टेप में होते हैं।
डेटा में छोटा बदलाव लैसो के गुणांकों को थोड़ा-सा हिलाता है, जबकि यह स्टेपवाइज़ के निर्णय को अंदर से बाहर कर सकता है। आप पेनल्टी की ताकत क्रॉस-वैलिडेशन से चुनते हैं—जैसे scikit-learn में
LassoCVया R मेंcv.glmnet()से।सिकुड़े हुए गुणांक जानबूझकर शून्य की ओर बायस्ड होते हैं। यह अधिक स्थिर आकलन और बेहतर आउट-ऑफ-सैंपल भविष्यवाणी के लिए किया गया समझौता है।
स्टेपवाइज़ रिग्रेशन बनाम रिकर्सिव फीचर एलीमिनेशन
रिकर्सिव फीचर एलीमिनेशन, या RFE, दिखने में बैकवर्ड एलीमिनेशन जैसा है। आप सभी फीचर्स पर मॉडल फिट करते हैं, सबसे कमजोरों को हटाते हैं, फिर दोबारा फिट करते हैं, और दोहराते हैं।
अंतर यह है कि "सबसे कमजोर" का मतलब क्या है। बैकवर्ड एलीमिनेशन AIC या p-वैल्यू जैसे सांख्यिकीय मापदंड का उपयोग करता है। RFE मॉडल के अपने इम्पॉर्टेंस स्कोर उपयोग करता है—जैसे गुणांकों के परिमाण या ट्री-आधारित फीचर इम्पॉर्टेंस।
इससे RFE पहले मशीन लर्निंग टूल बन जाता है। यह किसी भी मॉडल के साथ काम करता है जिसमें फीचर इम्पॉर्टेंस हो—जैसे रैंडम फॉरेस्ट्स और सपोर्ट वेक्टर मशीन—और आप आमतौर पर इसे scikit-learn के
RFECVसे क्रॉस-वैलिडेशन के साथ जोड़ते हैं। आपको फीचर सेट मिलता है जो अच्छी भविष्यवाणी करता है, लेकिन कोई लाइकलीहुड-आधारित मापदंड और p-वैल्यू नहीं।स्टेपवाइज़ रिग्रेशन की समस्याएँ
स्टेपवाइज़ रिग्रेशन चलाना और समझाना आसान है। यही वजह है कि इसकी समस्याएँ नज़रअंदाज़ करना भी आसान है।
सांख्यिकीविद इस विधि की दशकों से आलोचना करते आए हैं—फ्रैंक हैरेल की Regression Modeling Strategies और Whittingham व अन्य (2006), Journal of Animal Ecology में, इसके प्रसिद्ध उदाहरण हैं। 2018 के Journal of Big Data के एक पेपर में, गैरी स्मिथ तर्क देते हैं कि संभावित व्याख्यात्मक वैरिएबल्स जितने अधिक होंगे, स्टेपवाइज़ रिग्रेशन उतना ही कम प्रभावी होगा—यानी यह बहुत अधिक प्रेडिक्टर्स की समस्या हल नहीं करता।
अस्थिर वैरिएबल चयन
डेटा में छोटे बदलाव से चुने गए प्रेडिक्टर्स बदल सकते हैं।
यदि आप कुछ पंक्तियाँ हटा दें या उसी आबादी से नया सैंपल लें, तो स्टेपवाइज़ अलग मॉडल दे सकता है। चयन थ्रेशहोल्ड के पास वाले प्रेडिक्टर्स सबसे नाज़ुक होते हैं। छोटे लेकिन वास्तविक प्रभाव वाला प्रेडिक्टर, जैसे उदाहरण में
lot_size_sqft, एक सैंपल में अंदर आ सकता है और अगले में बाहर रह सकता है। बिना प्रभाव वाला प्रेडिक्टर, जैसेbedrooms, तब अंदर घुस सकता है जब सैंपल संयोगवश उसके पक्ष में हो।यह इसलिए मायने रखता है क्योंकि आप केवल एक ही सैंपल देखते हैं। स्टेपवाइज़ जो मॉडल देता है, वह संभावित मॉडलों की एक रेंज में से एक है—और आउटपुट आपको यह नहीं बताता कि वह रेंज कितनी चौड़ी है।
बायस्ड गुणांक आकलन
स्टेपवाइज़ वही डेटा उपयोग करता है प्रेडिक्टर्स चुनने और उनके गुणांक के आकलन के लिए।
कमज़ोर प्रेडिक्टर मुख्यतः उन्हीं सैंपलों में मॉडल में आता है जहाँ उसका प्रभाव वास्तविकता से अधिक दिखाई देता है। जहाँ वह कमज़ोर दिखता है, वहाँ वह बाहर रह जाता है। इसलिए चयन के बाद दिखने वाले गुणांक औसतन बहुत बड़े होते हैं।
सीधी भाषा में, स्टेपवाइज़ रिग्रेशन विजेताओं की रिपोर्ट करता है—और विजेता वास्तविकता से बेहतर दिखते हैं।
भ्रामक p-वैल्यू और कॉन्फिडेंस इंटरवल
रिग्रेशन समरी में p-वैल्यू मानती हैं कि आपने डेटा देखने से पहले मॉडल चुना था।
स्टेपवाइज़ उल्टा करता है। यह परीक्षणों का बैच चलाता है, थ्रेशहोल्ड पार करने वाले प्रेडिक्टर्स रखता है, और फिर p-वैल्यू ऐसे रिपोर्ट करता है जैसे आपने केवल उन्हीं का परीक्षण किया हो। इसलिए p-वैल्यू बहुत छोटी और कॉन्फिडेंस इंटरवल बहुत संकरे निकलते हैं।
समस्या तब और बढ़ती है जब बहुत सारे उम्मीदवारों का कोई प्रभाव नहीं होता। डेविड फ़्रीडमैन ने 1983 में The American Statistician में यह दिखाया—जब उन्होंने शुद्ध शोर प्रेडिक्टर्स की स्क्रीनिंग की और मॉडल को फिर से फिट किया, तो परिणाम सांख्यिकीय रूप से महत्त्वपूर्ण दिखा जबकि खोजने के लिए कुछ था ही नहीं। स्मिथ भी यही बात कहते हैं: अनुपयोगी वैरिएबल्स संयोगवश महत्त्वपूर्ण हो सकते हैं, जबकि वास्तविक वाले थ्रेशहोल्ड से चूक सकते हैं।
यदि आप उन p-वैल्यू को साक्ष्य के रूप में रिपोर्ट करते हैं, तो आप शोर ही रिपोर्ट कर सकते हैं।
ओवरफिटिंग
ओवरफिटिंग इसी समस्या का प्रेडिक्शन पक्ष है।
हर उम्मीदवार प्रेडिक्टर स्टेपवाइज़ को एक और मौका देता है केवल आपके सैंपल में मौजूद पैटर्न फिट करने का। चुना गया मॉडल उसी डेटा पर अच्छा दिखता है जिस पर यह बना है, लेकिन वे पैटर्न नए डेटा में दोहरते नहीं। नतीजतन, मॉडल इन-सैंपल अच्छा फिट हो सकता है, लेकिन आउट-ऑफ-सैंपल खराब कर सकता है।
और आप जितने अधिक उम्मीदवार प्रेडिक्टर्स देते हैं, इसे उतने ही अधिक मौके मिलते हैं गैर-मौजूद पैटर्न खोजने के।
कोरिलेटेड प्रेडिक्टर्स
जब दो प्रेडिक्टर्स में समान जानकारी होती है, तो स्टेपवाइज़ को उनमें से चुनना पड़ता है, और सैंपल में छोटे अंतर निर्णय तय करते हैं।
square_feetऔरbedroomsहाउस डेटा में एक हल्का उदाहरण हैं—एक बारsquare_feetमॉडल में आ गया, तोbedroomsलगभग कुछ नहीं जोड़ता। अधिक मज़बूत सह-संबंध में, चुनाव लगभग रैंडम हो जाता है। एक सैंपल वैरिएबल A रखता है, अगला वैरिएबल B, और हर मॉडल आउटकम को ड्राइव करने वाली अलग कहानी कहता है।कोई भी कहानी भरोसेमंद नहीं है। स्टेपवाइज़ आपको यह नहीं बता सकता कि दो प्रेडिक्टर्स परस्पर-विनिमेय हैं—यह बस एक को चुन लेता है।
ग्रीडी खोज
स्टेपवाइज़ एक समय में एक निर्णय लेता है, और हर निर्णय पहले वाले निर्णयों पर निर्भर करता है।
इसका मतलब है कि यह सबसे अच्छा मॉडल मिस कर सकता है। मान लें कि दो प्रेडिक्टर्स अकेले में बेकार हैं पर साथ में मज़बूत—जो तब हो सकता है जब हर एक दूसरे में शोर को सही करे। फॉरवर्ड सेलेक्शन कभी भी किसी को नहीं जोड़ेगा, क्योंकि कोई भी एकल स्टेप में मॉडल को बेहतर नहीं करता।
बैकवर्ड एलीमिनेशन और बाइडायरेक्शनल सेलेक्शन जोखिम घटाते हैं, हटाते नहीं। तीनों में से कोई भी सभी संयोजनों को नहीं परखता, इसलिए कोई भी चुने गए मापदंड के लिए सर्वश्रेष्ठ मॉडल का वादा नहीं कर सकता।
स्टेपवाइज़ रिग्रेशन कब उपयोग करें?
स्टेपवाइज़ रिग्रेशन एक संकीर्ण काम वाला टूल है।
यह इन स्थितियों के लिए अच्छा विकल्प है:
कन्फर्मेटरी इंफरेंस और कॉज़ल एनालिसिस के लिए यह गलत विकल्प है।
यदि आपका लक्ष्य परखना है कि कोई प्रेडिक्टर प्रभाव डालता है या नहीं, तो स्टेपवाइज़ चयन के बाद की p-वैल्यू वह जवाब नहीं दे सकतीं। और यदि आपका लक्ष्य कारणात्मक है, तो सही वैरिएबल सेट डेटा कैसे जेनरेट हुआ उससे आता है—न कि किन वैरिएबल्स से AIC घटता है। स्टेपवाइज़ को यह पता नहीं होता कि कौन सा वैरिएबल किसका कारण है।
भविष्यवाणी के लिए, आपके पास बेहतर विकल्प हैं। रेगुलराइज़ेशन तरीके, जैसे लैसो और इलास्टिक नेट, अधिक स्थिर हैं, और क्रॉस-वैलिडेटेड फीचर सेलेक्शन मॉडलों का मूल्यांकन उस डेटा पर करता है जिसे उन्होंने नहीं देखा।
स्टेपवाइज़ रिग्रेशन के सर्वश्रेष्ठ अभ्यास
यदि आप स्टेपवाइज़ रिग्रेशन उपयोग करने का निर्णय लेते हैं, तो ये कदम परिणामों को अधिक ईमानदार बना सकते हैं:
निष्कर्ष
स्टेपवाइज़ रिग्रेशन प्रेडिक्टर चयन को स्वचालित करता है। यह एक बार में एक वैरिएबल जोड़ता या हटाता है और तब रुकता है जब आपकी चुनी हुई कसौटी के अनुसार कोई बदलाव मॉडल को बेहतर नहीं बनाता।
फॉरवर्ड सेलेक्शन खाली से शुरू करता है और केवल जोड़ता है। बैकवर्ड एलीमिनेशन फुल मॉडल से शुरू करता है और केवल हटाता है। बाइडायरेक्शनल सेलेक्शन दोनों करता है, इसलिए यह पहले का फैसला पलट सकता है।
लेकिन सरलता का मतलब है कि चुने गए प्रेडिक्टर्स सैंपल-टू-सैंपल बदल सकते हैं, मॉडल शोर को फिट कर सकता है, और चयन के बाद की p-वैल्यू और कॉन्फिडेंस इंटरवल भरोसेमंद नहीं होते—यह ध्यान में रखने वाली बात है। इसलिए स्टेपवाइज़ रिग्रेशन को एक मॉडल-सेलेक्शन तकनीक की तरह ट्रीट करें; यह रिग्रेशन मॉडल बनाने का डिफ़ॉल्ट तरीका नहीं है।
यदि आप आगे बढ़ना चाहते हैं, तो सामान्य फीचर सेलेक्शन पर पढ़ें, देखें कि AIC और BIC मॉडल्स की तुलना कैसे करते हैं, और लैसो रिग्रेशन आज़माएँ—यह रेगुलराइज़ेशन की ओर पहला कदम है।