सिम्पसन का पैरेडॉक्स: डेटा से गुमराह होने से बचें

कॉलेज में जब मैंने पहली बार सिम्पसन’s पैरेडॉक्स के बारे में सीखा, तो यह मुझे बेहद उलझाने वाला लगा। मुझे लगभग समझ ही नहीं आ रहा था कि मैं देख क्या रहा हूँ। वहाँ एक ऊपरी-स्तर का रुझान था और कहानी साफ दिख रही थी। लेकिन जैसे ही मैंने अधीनस्थ समूहों को अलग किया, रुझान उलट गया।

यह देखकर मेरा पहला ख्याल कुछ ऐसा था, ‘लगता है सांख्यिकी पर भरोसा नहीं किया जा सकता।’ लेकिन बीच के समय में मैंने पढ़ाई की है और अब खुशी से कह सकता हूँ कि मुझे फिर से सांख्यिकी पर भरोसा है। अगर आप भी मेरी तरह उलझन में हैं, तो पढ़ते रहें, मैं समझाने में मदद करूँगा कि यहाँ क्या हो रहा है। 

सिम्पसन का पैरेडॉक्स क्या है?

एक अनुभवी डेटा विश्लेषक सीख लेता है कि व्यापक रुझानों के प्रति संशय रखना चाहिए। क्योंकि एक साधारण औसत डेटा में मौजूद किसी अधिक जटिल सच्चाई को छिपा सकता है। सिम्पसन’s पैरेडॉक्स में यह ‘कुछ और’ काफी चौंकाने वाला होता है: समेकित (aggregated) डेटा सिर्फ तथ्यों को अस्पष्ट नहीं करता, बल्कि ठीक उलटा निष्कर्ष सुझा देता है।

दूसरे शब्दों में, सिम्पसन’s पैरेडॉक्स तब होता है जब अलग-अलग समूहों में कोई रुझान दिखता है, लेकिन उन समूहों को मिलाने पर वह रुझान गायब हो जाता है या पूरी तरह उलट जाता है। यह यह तीखा स्मरण है कि हिस्सों को समझे बिना सिर्फ समग्र तस्वीर देखने से मुश्किल हो सकती है।

सिम्पसन’s पैरेडॉکس का एक उदाहरण

इसे उदाहरण से सबसे अच्छा समझाया जा सकता है। मैं एक सरल उदाहरण से शुरू करूँगा और फिर कुछ प्रसिद्ध उदाहरणों की ओर इशारा करूँगा जिन्हें आप खुद देख सकते हैं। 

मान लीजिए एक अध्ययन दो प्रकार की मिट्टियों, मिट्टी A और मिट्टी B, के पेड़ की वृद्धि पर सफलतादर की तुलना करता है। जब हम मिट्टी के प्रकार के आधार पर पेड़ों की वृद्धि देखते हैं, तो परिणाम स्पष्ट लगते हैं:

• ठंडे मौसम (समूह 1) में पेड़ों के लिए, मिट्टी A का परिणाम बेहतर है।
• गर्म मौसम (समूह 2) में पेड़ों के लिए, मिट्टी A फिर भी बेहतर परिणाम देती है।

इसके आधार पर, मिट्टी A स्पष्ट विजेता दिखती है। लेकिन जैसे ही हम सारे डेटा को मिला देते हैं, पैरेडॉक्स सामने आता है: हमें दिखता है कि कुल मिलाकर वास्तव में मिट्टी B अधिक प्रभावी है।

अगर आपको यकीन नहीं हो रहा, तो मैं इसमें संख्याएँ रख देता हूँ:

ठंडे मौसम में पेड़ों की वृद्धि

ठंडे मौसम में, मिट्टी A तेज growth का समर्थन करती है।

गर्म मौसम में पेड़ों की वृद्धि

गर्म मौसम में, मिट्टी A अब भी better प्रदर्शन करती है, हालांकि फर्क कम है।

लेकिन जब आप सारे पेड़ों को मिला दें

अब हमें दिखता है कि कुल मिलाकर मिट्टी B बेहतर है, जबकि दोनों जलवायुओं में मिट्टी A उससे बेहतर थी। 

तो यह संभव कैसे है? जवाब है एक दखल देने वाला चर (confounder)—एक छिपा कारक जो अध्ययन किए जा रहे समूहों और अंतिम परिणाम दोनों को प्रभावित करता है। इस मामले में, जलवायु वही confounder है। 

विशेष रूप से, हमें यह कहना चाहिए कि: 

• मिट्टी A का उपयोग ठंडे मौसम में अधिक होता है, जहाँ किसी भी मिट्टी में पेड़ सामान्यतः धीमे बढ़ते हैं।
• और मिट्टी B का उपयोग गर्म मौसम में अधिक होता है, जहाँ पेड़ सामान्यतः तेज बढ़ते हैं।

तो, जलवायु वृद्धि दर को प्रभावित करती है और यह मिट्टी के समूहों के बीच असमान रूप से वितरित भी है।

सिम्पसन’s पैरेडॉक्स के प्रचलित उदाहरण 

सिम्पसन’s पैरेडॉक्स को अक्सर कुछ ऐतिहासिक मामलों से पढ़ाया जाता है जो सच में दिखाते हैं कि क्या हो रहा है।

एक प्रसिद्ध उदाहरण 1970 के दशक में UC Berkeley में प्रवेश से आता है। शुरुआत में डेटा से लगा कि महिलाओं को पुरुषों की तुलना में कम दर पर स्वीकार किया गया। लेकिन जब विभाग-वार देखा गया, तो ज्यादातर विभागों ने महिलाओं को समान या अधिक दर पर प्रवेश दिया। Confounder था विभाग का चुनाव: महिलाएँ अधिक प्रतिस्पर्धी विभागों में आवेदन करती थीं जहाँ समग्र स्वीकृति दर कम थी, जबकि पुरुष कम प्रतिस्पर्धी विभागों में आवेदन करते थे।

एक और मामला 1986 के गुर्दे की पथरी के उपचार पर अध्ययन का है। कुल मिलाकर, कम इनवेसिव विधि अधिक प्रभावी लगी। लेकिन जब पथरी के आकार के अनुसार विभाजित किया गया, तो अधिक इनवेसिव सर्जरी की सफलता दर छोटे और बड़े, दोनों आकारों के लिए अधिक थी। यहाँ confounder था केस की गंभीरता: कठिन मामलों को सर्जरी के लिए भेजा जाता था, जिससे उसके समग्र आँकड़े खराब दिखे।

दोनों मामलों में, संयुक्त डेटा ने गलत छाप दी। चीजों को तोड़कर देखने के बाद ही सच सामने आया।

सिम्पसन’s पैरेडॉक्स क्यों होता है?

सिम्पसन’s पैरेडॉक्स में, संयुक्त और व्यक्तिगत दोनों समूहों के लिए संख्याएँ सही होती हैं। यानी किसी तरह की गणितीय गलती नहीं है। समस्या व्याख्या की है। यह हमारी क्षमता की परीक्षा है कि हम सारे तथ्यों को सही क्रम में रख पाते हैं या नहीं। 

समझने में मदद के लिए—और इसका जिक्र मैं पहले भी कर चुका हूँ—सिम्पसन’s पैरेडॉक्स तब होता है जब दो स्थितियाँ एक साथ पूरी होती हैं:

1. एक दखल देने वाला चर मौजूद हो: ऐसा तीसरा कारक हो जो स्वतंत्र चर और परिणाम, दोनों से जुड़ा हो।
2. समूह असंतुलित हों: हमारे पेड़ों के उदाहरण में, ठंडे मौसम में मिट्टी A का उपयोग अधिक हुआ, जहाँ समग्र रूप से पेड़ धीमे बढ़ते हैं। गर्म मौसम में मिट्टी B का उपयोग अधिक हुआ, जहाँ वृद्धि तेज होती है। यह असंतुलन संयुक्त औसत को तिरछा कर देता है और उलटफेर कराता है।

सिम्पसन&rsquos पैरेडॉक्स से कैसे निपटें

अब यह शायद सबसे महत्वपूर्ण भाग है: अपनी विश्लेषण प्रक्रिया में आप सिम्पसन&rsquos पैरेडॉक्स से कैसे बचें ताकि यह अनजाने में न आ जाए, और अगर आ भी जाए, तो आपको कौन-सा संस्करण रिपोर्ट करना चाहिए? 

पहले से क्या करें

शायद, सिम्पसन&rsquos पैरेडॉक्स से सबसे अच्छा निपटारा तभी है जब उसे आपके निष्कर्षों को बिगाड़ने का मौका ही न मिले। इसका मतलब है कुछ अनुशासित आदतें विकसित करना:

• डेटा का विभाजन करें: सिर्फ शीर्ष-स्तरीय औसत पर निर्भर न रहें। डेटा को प्रासंगिक उपसमूहों—जैसे उम्र, क्षेत्र, उत्पाद प्रकार, गंभीरता, आदि—में तोड़ें और देखें कि क्या रुझान उन हिस्सों में भी कायम है।
• Confounding चर खोजें: हमेशा पूछें: और क्या इस परिणाम को प्रभावित कर सकता है? ऐसे कारकों को खोजें जो आपके समूहों में असमान रूप से वितरित हो सकते हैं, खासकर वे जिन्हें आप अपने डोमेन ज्ञान से जानते हैं।
• याद रखें, सहसंबंध कारण-कार्य नहीं है: सिर्फ इसलिए कि समेकित डेटा में कोई रुझान दिखता है, इसका यह मतलब नहीं कि वह वास्तविक कारण-प्रभाव संबंध दर्शाता है। सिम्पसन&rsquos पैरेडॉक्स अक्सर तब उभरता है जब सतही सहसंबंध किसी गहरे असंतुलन को छिपा देता है।
• संदर्भ पर जोर दें: जानें कि आपका डेटा कहाँ से आया है और उसे क्या आकार दे रहा है। संग्रह की विधियाँ, विषयों का स्वभाव और बाहरी प्रभाव—सब मायने रखते हैं।

उभरने के बाद क्या करें

अगर सिम्पसन&rsquos पैरेडॉक्स दिखाई दे, तो घबराएँ नहीं। यह संकेत है कि अब थोड़ा और गहराई से देखें:

• असंतुलन की जाँच करें। समूहों में क्या असमान रूप से वितरित है? वही आपका संभावित confounder है।
• दोनों दृष्टिकोण रिपोर्ट करें, पर स्पष्टता को प्राथमिकता दें। समेकित परिणाम दिखाना भी ठीक है, पर यह जरूर समझाएँ कि वह भ्रामक क्यों है और असमेकित (disaggregated) विश्लेषण पर रोशनी डालें जो वास्तविक पैटर्न को बेहतर दर्शाता है।
• अपने उद्देश्य को रिपोर्टिंग का मार्गदर्शक बनाएँ। अगर आप नीतिगत फैसले या परिचालन बदलाव कर रहे हैं, तो आम तौर पर आप समेकित सारांशों के बजाय उपसमूह-स्तरीय अंतर्दृष्टियों पर कार्रवाई करना चाहेंगे।

अगर आप खुद से पूछ रहे हैं कि क्या परिणाम का कोई एक संस्करण “बेहतर” है—समेकित या असमेकित? तो जान लें कि यहाँ कोई एक जैसा लागू होने वाला उत्तर नहीं है। फिर भी, जब confounding मौजूद हो, तो मुझे लगता है कि असमेकित विश्लेषण आमतौर पर अधिक भरोसेमंद होता है। समूहबद्ध निष्कर्ष आमतौर पर अधिक सूचनात्मक होते हैं क्योंकि वे दिखाते हैं कि कोई चर अलग-अलग परिस्थितियों या संदर्भों में कैसे व्यवहार करता है, और यदि कोई confounding चर समूहबद्धता और परिणाम दोनों को प्रभावित करता है, तो समेकित निष्कर्ष भ्रामक हो सकते हैं। सबसे अहम बात यह है कि उलटफेर क्यों होता है, इसे समझना और अपनी रिपोर्टिंग में साफ-साफ बताना।

निष्कर्ष

सिम्पसन’s पैरेडॉक्स डेटा की व्याख्या की कला का शानदार सबक है। भ्रामक कुल योग से आगे देख पाने और यह पूछने की क्षमता—"मैं क्या मिस कर रहा/रही हूँ?"—एक परिपक्व विश्लेषक की निशानी है। यही कौशल किसी ऐसे व्यक्ति को अलग करता है जो सिर्फ संख्या बताता है, उससे जो अंतर्दृष्टि निकालता है।

अगर आप इन उलटफेरों के पीछे के "क्यों" में दिलचस्पी रखते हैं (मुझे तो है ही), तो यह पैरेडॉक्स कारणात्मक अनुमान (causal inference) के व्यापक क्षेत्र में प्रवेश का अच्छा माध्यम है। हमारा Machine Learning for Business कोर्स कारणात्मक मॉडलों आदि को सिखाता है। साथ ही, आज ही हमारे Foundations of Inference in Python कोर्स में नामांकन करें—यह भी सीखने का एक बहुत अच्छा विकल्प है।