भ्रामक सहसंबंध: एक महत्वपूर्ण सांख्यिकीय जाल (और इससे कैसे बचें)

सांख्यिकी और मशीन लर्निंग में, केवल पैटर्न मिलना उत्तर मिलने जैसा नहीं है।

आपने शायद वह चार्ट देखा होगा जो आइसक्रीम की बिक्री को डूबने की दर से जोड़ता है, या वह जो निकोलस केज की फिल्मों को स्विमिंग पूल में मौतों से जोड़ता है। ये ध्यान खींचते हैं और याद रहते हैं, लेकिन ये साफ़ उदाहरण हैं कि सहसंबंध का मतलब कारण-कार्य संबंध नहीं होता। साथ ही, ये इतने ज़्यादा उद्धृत हो चुके हैं कि आपके काम में इस समस्या का असल महत्व छूट जाता है।

भ्रामक सहसंबंध को आप दो चर के बीच एक ऐसे दिखने वाले संबंध के रूप में सोच सकते हैं जिसका असल में कोई वास्तविक जुड़ाव नहीं है। यह सिर्फ़ संयोग से या किसी छिपे हुए चर के कारण होता है जिसे आप मॉनिटर नहीं कर रहे। अगर आप इसे उपयोगी जानकारी मान लेते हैं, तो आप ऐसे पैटर्न के पीछे समय गंवाएँगे जो न तो समझ में आते हैं और न ही वास्तविक दुनिया में लागू होते हैं।

इस लेख में, मैं बताऊँगा कि भ्रामक सहसंबंध क्यों होते हैं, इन्हें कैसे पहचानें, और इन पर आधारित निर्णय लेने से कैसे बचें।

लेकिन सहसंबंध है क्या? हमारे ब्लॉग पर पढ़ें डेटा में संबंधों का मापन, जहाँ विभिन्न सहसंबंध गुणांकों और उनके उपयोगों के बारे में बताया गया है।

भ्रामक सहसंबंध क्या है?

भ्रामक सहसंबंध दो चरों के बीच एक ऐसा दिखावटी सांख्यिकीय संबंध है जो उनके बीच किसी वास्तविक जुड़ाव के कारण नहीं होता।

सहसंबंध का मान अपने-आप में वास्तविक होता है। जब आप विश्लेषण चलाते हैं, तो एक ऐसा मान मिलता है जो सार्थक और उचित लगता है। गणना में कोई गलती या मनगढ़ंत बात नहीं—और यही असल समस्या है।

जो गायब है, वह है कारण-कार्य संबंध।

एक चर में कुछ भी ऐसा नहीं है जो दूसरे को होने के लिए प्रेरित कर रहा हो। वे साथ-साथ इसलिए चल सकते हैं क्योंकि कोई असंबद्ध वजह है—या फिर बिल्कुल कोई वजह ही नहीं। डेटा जो दिखाता है और वास्तव में जो हो रहा है, उसके बीच का यही अंतर भ्रामक सहसंबंध की जड़ है।

भ्रामक सहसंबंध क्यों होते हैं

भ्रामक सहसंबंध आमतौर पर कुछ तंत्रों से समझाए जा सकते हैं, और एक बार आपको पता हो कि क्या देखना है, तो आप सहसंबंध पर आँख बंद करके भरोसा नहीं करेंगे।

संमिश्र (कंफाउंडिंग) चर

एक कंफाउंडर वह छिपा हुआ चर है जो उन दोनों चीज़ों को प्रभावित करता है जिन्हें आप माप रहे हैं।

क्लासिक आइसक्रीम और डूबने वाले उदाहरण को लें। आइसक्रीम की बिक्री डूबने का कारण नहीं बनती। गर्म मौसम दोनों को बढ़ाता है—ज़्यादा लोग आइसक्रीम खरीदते हैं और ज़्यादा लोग तैरते हैं, जिससे डूबने की घटनाएँ बढ़ जाती हैं।

यहाँ तापमान कंफाउंडर है। अगर आपका डेटा इसे मॉनिटर नहीं कर रहा, तो इसे पकड़ना आसान नहीं।

संयोग

कभी-कभी दो चर बिना किसी वजह के साथ-साथ चलते हैं।

अगर आप पर्याप्त डेटासेट्स में काफी तुलनाएँ करेंगे, तो कुछ तो सिर्फ़ संयोग से मेल खा जाएँगे। निकोलस केज और स्विमिंग पूल में मौतों वाला सहसंबंध इसी तरह बनता है—दो असंबद्ध टाइम सीरीज़ जो एक ही वर्षों में साथ-साथ ट्रेंड कर गईं।

बहुत सारे चरों के मौजूद होने पर, कुछ मात्रा में आकस्मिक मेल दिखाई देना अपेक्षित है।

साझा प्रवृत्तियाँ

कुछ चर समय के साथ साथ-साथ चलते हैं, और यह ओवरलैप ऐसा लगता है जैसे कोई संबंध हो, जबकि असल में ऐसा नहीं होता।

जनसंख्या, GDP, इंटरनेट उपयोग, और प्लास्टिक उत्पादन को सोचिए। इनमें से कई दशकों से बढ़े हैं। अगर आप इनमें से किसी भी दो की तुलना करें, तो आपको मज़बूत सहसंबंध मिलेगा, सिर्फ़ इसलिए कि दोनों ही ऊपर की ओर ट्रेंड कर रहे हैं।

लेकिन ये केवल दिशा साझा करते हैं; चरों के बीच खुद कोई वास्तविक कड़ी नहीं होती।

नमूनाकरण पक्षपात

भ्रामक सहसंबंध उस डेटा से भी आ सकता है जो आपने एकत्र किया है, न कि उस दुनिया से जिसे वह दर्शाना चाहिए।

अगर आपका नमूना उस जनसंख्या का प्रतिनिधि नहीं है जिसे आप अध्ययन कर रहे हैं, तो ऐसा संबंध बन सकता है जो सिर्फ़ आपके डेटासेट में ही मौजूद है। उदाहरण के लिए, अगर आप केवल ऐप के ज़रिये ग्राहकों का सर्वे करते हैं, तो आपको "ऐप उपयोग" कई चीज़ों से सहसंबद्ध मिलता दिखाई देगा। ऐसा इसलिए नहीं कि ऐप उपयोग उनका कारण है, बल्कि इसलिए क्योंकि आपका नमूना ऐप उपयोग करने वालों की ओर झुका हुआ है।

भ्रामक सहसंबंध के उदाहरण

भ्रामक सहसंबंध जितना आप सोचते हैं, उससे ज़्यादा आम है। इसे कैसे पहचाने और क्या करें—यहाँ देखें।

क्लासिक सांख्यिकीय उदाहरण

आइसक्रीम और डूबने का सहसंबंध सभी को पता है। आइसक्रीम बिक्री और डूबने से मौतें साथ-साथ बढ़ती-घटती हैं, लेकिन कोई भी दूसरे का कारण नहीं। गर्म मौसम कंफाउंडर है और दोनों को एक साथ चलाता है।

निकोलस केज का उदाहरण अलग है। वर्षों में उनकी फिल्मों की संख्या उसी अवधि में पूल में डूबने की घटनाओं से सहसंबद्ध दिखती है, और इसमें कोई कंफाउंडर शामिल नहीं। यह संयोग है—दो असंबद्ध रुझान जो एक साथ लाइन अप हो गए।

दोनों उदाहरण भ्रामक सहसंबंध की बात साबित करते हैं, लेकिन दुर्भाग्य से, वास्तविक मामलों में यह इतना स्पष्ट नहीं दिखता।

व्यवसाय और शोध के उदाहरण

व्यवसाय विश्लेषण में, भ्रामक सहसंबंध अक्सर ऐसे आँकड़ों के पीछे छिप जाते हैं जो ऊपर-ऊपर से एक-दूसरे से जुड़े लगते हैं।

मान लीजिए कोई कंपनी दो वर्षों तक साप्ताहिक मार्केटिंग खर्च और साप्ताहिक राजस्व को ट्रैक करती है। आप इसे फॉलो करने के लिए यह Python कोड चला सकते हैं:

import numpy as np
import pandas as pd

np.random.seed(42)
weeks = 104

# Seasonal effect
seasonality = 10 * np.sin(np.linspace(0, 8 * np.pi, weeks)) + 20

marketing_spend = seasonality + np.random.normal(0, 2, weeks)
revenue = seasonality * 50 + np.random.normal(0, 30, weeks)

df = pd.DataFrame({
    "week": range(1, weeks + 1),
    "marketing_spend": marketing_spend,
    "revenue": revenue
})

print(df["marketing_spend"].corr(df["revenue"]))

Output: 0.9707905810711147

आपको marketing_spend और revenue के बीच एक मज़बूत धनात्मक सहसंबंध मिलेगा। इसे "मार्केटिंग खर्च बढ़ाने से राजस्व बढ़ता है" के रूप में पढ़ना लुभावना है—और हो सकता है सच भी हो—लेकिन ऊपर का कोड इसे साबित नहीं करता। दोनों चर एक ही मौसमी माँग चक्र से संचालित हो रहे हैं। अगर कंपनी उसी सप्ताह ज़्यादा खर्च करती है जब माँग स्वाभाविक रूप से अधिक है, तो सहसंबंध दिखेगा, चाहे मार्केटिंग अपने-आप में कुछ कर रही हो या नहीं।

यह गलती व्यवसाय विश्लेषण में बहुत आम है।

ग्राहक व्यवहार और मार्केटिंग परिणाम जैसी चीज़ें मौसम, अर्थव्यवस्था, या दर्जन भर अन्य छिपे कारकों के साथ बदलती रहती हैं। दो मीट्रिक का सहसंबद्ध होना आपको नहीं बताता कि इनमें से कौन, अगर कोई है भी, ज़िम्मेदार है।

मशीन लर्निंग के उदाहरण

मशीन लर्निंग मॉडल "कारण" का अर्थ नहीं समझते। वे बस वही पैटर्न ढूँढ़ते हैं जो त्रुटि मीट्रिक को कम करे, और अगर किसी शॉर्टकट से ट्रेनिंग डेटा पर काम बनता है, तो मॉडल वही अपनाएगा।

उदाहरण के लिए:

• पृष्ठभूमि पर निर्भरता: गाय पहचानने के लिए प्रशिक्षित इमेज क्लासिफ़ायर "गाय" को हरी चरागाह से जोड़ लेता है, न कि जानवर से। आप उसे समुद्र तट पर खड़ी गाय दिखाएँ, तो वह विफल हो जाता है।
• जनसांख्यिकीय और भौगोलिक प्रॉक्सी: ऐतिहासिक डेटा पर प्रशिक्षित मॉडल, प्रशिक्षण सेट में आय या नस्ल जैसे चर न होने पर भी, ज़िप कोड को उनके प्रॉक्सी के रूप में पकड़ लेता है।
• डेटासेट कलाकृतियाँ: एक मेडिकल इमेजिंग मॉडल सीख लेता है कि किसी अस्पताल की पुरानी मशीन से आए स्कैन रोग से सहसंबद्ध हैं, क्योंकि उस अस्पताल में ज़्यादा गंभीर मामले आते थे—न कि इसलिए कि मशीन का आउटपुट रोग के बारे में कुछ बताता है।

यही विचार यहाँ एक सिंथेटिक उदाहरण के रूप में है जिसे आप खुद चला सकते हैं। एक मॉडल ऋण डिफ़ॉल्ट जोखिम की भविष्यवाणी करता है, और zip_code वास्तव में मायने रखने वाले चर income का प्रॉक्सी बन जाता है।

import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression

np.random.seed(42)
n = 1000

# Zip code correlates with income, income drives default risk
zip_code = np.random.choice([1, 2, 3], size=n)
income = 80000 - zip_code * 15000 + np.random.normal(0, 5000, n)
default_risk = (income < 40000).astype(int)

df = pd.DataFrame({"zip_code": zip_code, "income": income, "default": default_risk})

model = LogisticRegression()
model.fit(df[["zip_code"]], df["default"])
print(model.score(df[["zip_code"]], df["default"]))

मशीन लर्निंग उदाहरण मॉडल स्कोर

यह मॉडल केवल zip_code के आधार पर डिफ़ॉल्ट जोखिम की भविष्यवाणी कर सकता है, बिना कभी income देखे। इस डेटासेट पर यह काम करता है, लेकिन अगर आप इसे ऐसे नए शहर पर चलाएँ जहाँ ज़िप कोड और आय का पैटर्न सही न हो, तो मॉडल की सटीकता घट जाएगी।

यही शॉर्टकट लर्निंग की समस्या है।

भ्रामक सहसंबंध पर बना मॉडल ट्रेनिंग डेटा पर अच्छे स्कोर ला सकता है, फिर भी जैसे ही वह ऐसे माहौल से टकराता है जहाँ वह सहसंबंध लागू नहीं, वह विफल हो जाता है।

भ्रामक सहसंबंध कैसे पहचानें

बुरी खबर यह है कि आप भ्रामक सहसंबंधों को पूरी तरह खत्म नहीं कर सकते, लेकिन आप ऐसी आदतें बना सकते हैं जो इनमें से अधिकांश को पकड़ लें।

यहाँ कुछ व्यावहारिक सुझाव हैं:

• कंफाउंडिंग चरों की जाँच करें: सहसंबंध पर भरोसा करने से पहले पूछें कि और क्या दोनों चरों को चला रहा हो सकता है। तापमान और मौसमी प्रभाव आम संदिग्ध हैं।
• विषय-ज्ञान का उपयोग करें: अगर कोई संबंध आपके विषय-ज्ञान के हिसाब से समझ में नहीं आता, तो आँकड़े को उस सहजबोध पर हावी न होने दें।
• डेटा का दृश्यांकन करें: एक स्कैटर प्लॉट या टाइम-सीरीज़ चार्ट अक्सर कोई साझा रुझान या स्पष्ट अपवाद दिखा देता है जिसे सहसंबंध गुणांक छिपा देता है।
• अतिरिक्त सांख्यिकीय परीक्षण चलाएँ: आंशिक सहसंबंध या अलग-अलग उपसमूहों में संबंध कायम रहता है या नहीं—यह जाँचना सहसंबंध को पुष्ट या खारिज कर सकता है।
• संभव हो तो प्रयोग डिज़ाइन करें: रैंडमाइज़्ड कंट्रोल्ड ट्रायल्स कंफाउंडर्स को हटाते हैं, क्योंकि आप नियंत्रित करते हैं कि किस समूह को कौन-सा उपचार मिले।

संक्षेप में, सहसंबंध गुणांक बस बताता है कि दो चीज़ें साथ चलीं। इसका मतलब क्या है—यह निर्णय आपको ही लेना होता है।

भ्रामक सहसंबंध बनाम अन्य सांख्यिकीय अवधारणाएँ

कुछ शब्द अक्सर भ्रामक सहसंबंध के साथ परस्पर विनिमेय रूप में इस्तेमाल होते हैं, जिससे भ्रम होता है। इस खंड में, मैं दिखाऊँगा कि ये सांख्यिकीय अवधारणाएँ क्या हैं और कैसे भिन्न हैं।

भ्रामक सहसंबंध बनाम कंफाउंडिंग

कंफाउंडिंग, भ्रामक सहसंबंध का एक विशिष्ट कारण है। यह उसका पर्याय नहीं है।

कंफाउंडिंग तब होती है जब कोई तीसरा चर उन दोनों चरों को प्रभावित करता है जिन्हें आप माप रहे हैं, और एक ऐसा संबंध बनता है जो सीधा लगता है, पर होता नहीं। तापमान कंफाउंडिंग कर सकता है क्योंकि यह आइसक्रीम बिक्री और डूबने—दोनों को चलाता है।

भ्रामक सहसंबंध व्यापक श्रेणी है। इसमें कंफाउंडिंग शामिल है, लेकिन इसमें संयोग, नमूनाकरण पक्षपात, और समय के साथ साझा प्रवृत्तियाँ भी आती हैं, जिनमें किसी छिपे तीसरे चर की आवश्यकता नहीं। निकोलस केज का उदाहरण बिल्कुल कंफाउंडिंग नहीं है, क्योंकि फिल्मों की संख्या को पूल में मौतों से जोड़ने वाला कोई चर नहीं। यह सिर्फ़ संयोग है—पर फिर भी भ्रामक है।

तो हर कंफाउंडेड संबंध भ्रामक होता है। पर हर भ्रामक संबंध कंफाउंडेड नहीं होता।

भ्रामक सहसंबंध बनाम कारण-कार्य संबंध

भ्रामक सहसंबंध और कारणात्मक संबंध एक जैसे स्कैटर प्लॉट दे सकते हैं। फ़र्क़ अंदर क्या हो रहा है—और वही फ़र्क़ तय करता है कि आप डेटा से क्या कर सकते हैं।

यहाँ इन अंतरों का सार-सारणीबद्ध विवरण है:

भ्रामक सहसंबंध कभी भी कारण-कार्य संबंध नहीं दर्शाता, चाहे सहसंबंध गुणांक कितना भी मज़बूत दिखे। कारण सिद्ध करने के लिए नियंत्रित प्रयोग या स्थापित कारणात्मक अनुज्ञान विधियाँ चाहिए—सिर्फ़ एक सांख्यिकीय परीक्षण से आगे।

भ्रामक सहसंबंध का जोखिम कैसे घटाएँ

अपने-आप में, बाद में भ्रामक सहसंबंध पहचान पाना उपयोगी है। लेकिन इससे बेहतर है कि आप ऐसा वर्कफ़्लो बनाएँ जो शुरुआत में ही इससे बचा दे।

इस वर्कफ़्लो में आपको यह करना चाहिए:

• बेहतर डेटा एकत्र करें: कई भ्रामक सहसंबंध ऐसे नमूनों से शुरू होते हैं जो आपके अध्ययन की विषय-वस्तु का प्रतिनिधित्व नहीं करते। विश्लेषण से पहले जाँचें कि आपका डेटा संग्रह सही जनसंख्या और सही परिस्थितियों को कवर करता है।
• संभव हो तो यादृच्छिक (रैंडमाइज़्ड) प्रयोग करें: रैंडमाइज़ेशन कंफाउंडिंग के ख़िलाफ़ सबसे अच्छा बचाव है, क्योंकि यह छिपे चरों को समूहों में समान रूप से बाँट देता है। अगर आप प्रेक्षणात्मक डेटा पर निर्भर होने के बजाय A/B टेस्ट चला सकते हैं, तो चलाएँ।
• नए डेटासेट पर मान्य करें: कोई सहसंबंध जो केवल एक ही डेटासेट में दिखे, चेतावनी संकेत है। भरोसा करने से पहले जाँचें कि यह संबंध अलग समयावधि, अलग व्यक्ति, अलग जनसंख्या, या अलग स्रोत के डेटा पर भी कायम है या नहीं।
• कारणात्मक विश्लेषण करें: कंफाउंडर्स को नियंत्रित करने या कारणात्मक ग्राफ़ जैसी तकनीकें आपको "ये दो चीज़ें साथ चलती हैं" से आगे ले जाती हैं और जाँचने देती हैं कि क्या एक सच में दूसरे को प्रभावित कर रहा है।
• डोमेन विशेषज्ञता शामिल करें: विषय-वस्तु को समझने वाला व्यक्ति अक्सर वह भ्रामक संबंध पकड़ लेगा जो सांख्यिकीय परीक्षण नहीं पकड़ पाएगा। अगर कोई सहसंबंध डोमेन ज्ञान की कसौटी पर खरा नहीं उतरता, तो उस पर निर्माण करने से पहले उसे सवालों के घेरे में लें।

सच कहें, तो इनमें से कोई भी कदम यह गारंटी नहीं देता कि आप हर भ्रामक सहसंबंध पकड़ लेंगे, लेकिन मिलकर ये किसी अविश्वसनीय निष्कर्ष या मॉडल बनाने की संभावना कम कर देते हैं।

निष्कर्ष

उच्च सहसंबंध गुणांक उत्तर जैसा लग सकता है, लेकिन अनुभवी डेटा पेशेवरों के लिए यह वास्तव में एक प्रश्न है।

यह संख्या बस बताती है कि दो चीज़ें साथ चलीं। यह नहीं बताती कि क्यों—और इसे कारण का प्रमाण मान लेना ही वह रास्ता है जिससे ग़लत अनुमानों की शुरुआत होती है, शोध का गलत अर्थ निकलता है, व्यावसायिक निर्णय गलत होते हैं, और मॉडल नए डेटा देखते ही विफल हो जाते हैं। अंकों के पीछे क्या है, यह स्वयं अंकों से अधिक महत्वपूर्ण है।

इसीलिए सबसे मज़बूत निष्कर्ष केवल आँकड़ों से नहीं, बल्कि आँकड़ों और विषय-ज्ञान के संयोजन से आते हैं। जब आप दोनों का उपयोग करते हैं, तो आपके निष्कर्ष उस डेटासेट से बाहर भी टिकते हैं जिसने उन्हें पैदा किया।

यदि आपको सहसंबंध और भ्रामक सहसंबंध की अवधारणा उलझनभरी लगती है, तो हमारे प्रायिकता और सांख्यिकी पाठ्यक्रमों का अन्वेषण करें। हम परिचय से लेकर प्रायोगिक डिज़ाइन और परिकल्पना परीक्षण तक सब कुछ कवर करते हैं।