HARKing समझाया: क्यों परिणामों के बाद परिकल्पना करना शोध को गुमराह कर सकता है

एक नैदानिक परीक्षण समाप्त होता है। प्राथमिक परिणाम शून्य आता है, लेकिन एक उपसमूह में नियंत्रण समूह की तुलना में उपचार का बेहतर असर दिखता है। किसी ने उस उपसमूह प्रभाव की भविष्यवाणी नहीं की थी। उसे प्रोटोकॉल में नहीं लिखा गया था।

फिर पेपर संशोधित होता है। भूमिका (Introduction) उस उपसमूह प्रभाव को शुरू से ही शोध परिकल्पना के रूप में प्रस्तुत करती है। विफल प्राथमिक परिणाम पृष्ठभूमि में चला जाता है। सहकर्मी-समीक्षा तक आते-आते, अध्ययन एक सधा हुआ सफल प्रयोग लगता है।

इसे HARKing कहते हैं: Hypothesizing After the Results are Known—परिणाम मालूम होने के बाद परिकल्पना गढ़ना। नॉर्बर्ट केर ने 1998 में यह शब्द उन मामलों के लिए गढ़ा था जहाँ शोधकर्ता बाद में बनी परिकल्पनाओं को ऐसे पेश करते हैं मानो वे अध्ययन शुरू होने से पहले तय थीं। कभी मूल परिकल्पना को फिर से लिखा जाता है, कभी उसे हटा दिया जाता है।

अन्वेषण सामान्य है। समस्या तब है जब खोजी (exploratory) निष्कर्ष को पुष्टिकारी (confirmatory) बताकर प्रस्तुत किया जाता है। पाठकों को चेतावनी का लेबल खो जाता है: यह शुरुआती साक्ष्य है, प्रमाण नहीं।

शोध में HARKing क्या है?

केर की मूल परिभाषा अब भी सबसे स्पष्ट शुरुआती बिंदु है: HARKing तब होता है जब शोधकर्ता "एक post hoc परिकल्पना... को अपने शोध-प्रतिवेदन में ऐसे प्रस्तुत करता है मानो वह वास्तव में a priori परिकल्पना हो।" a priori परिकल्पना डेटा संग्रह से पहले बनती है। post hoc परिकल्पना परिणाम देख लेने के बाद बनती है। समस्या लेबल की है, हमेशा विश्लेषण की नहीं।

केर ने एक दूसरा रूप भी बताया था जिस पर कम ध्यान जाता है: उन मूल परिकल्पनाओं को छोड़ देना जिनकी जाँच की गई और वे नकारात्मक निकलीं। दोनों रूप असल में क्या हुआ, यह छिपाते हैं। समय के साथ, सिद्धांत वास्तविकता से ज्यादा सटीक दिखने लगते हैं।

HARKing के प्रकार

शोधकर्ता HARKing को कुछ प्रकारों में बाँटते हैं।

• CHARKing (Constructing HARKing) वैसा ही है जैसा अधिकतर लोग सोचते हैं। शोधकर्ता एक अप्रत्याशित महत्वपूर्ण परिणाम पाता है, उसे समझाने के लिए नई परिकल्पना बनाता है, और उस परिकल्पना को अध्ययन की शुरुआती बिंदु के रूप में प्रस्तुत करता है। सिद्धांत डेटा के मुताबिक गढ़ा जाता है।
• SHARKing (Secretly HARKing) अलग तरह से काम करता है। नई परिकल्पना बनाने के बजाय, शोधकर्ता इस साक्ष्य को हटा देता है कि एक मूल भविष्यवाणी की गई थी और वह विफल रही। पेपर में सिर्फ सकारात्मक परिणाम ही दिखते हैं। विफल भविष्यवाणियाँ गायब हो जाती हैं।
• THARKing (Transparent HARKing) अपवाद है। होलेनबेक और राइट ने 2017 में यह शब्द उन post-hoc परिकल्पनाओं के लिए इस्तेमाल किया जो स्पष्ट रूप से खोजी के रूप में चिह्नित हों। तब पाठक परिणाम को उसी रूप में परख सकते हैं। इस पर आगे थोड़ी देर में।

शोधकर्ता HARKing क्यों करते हैं

प्रकाशन पक्षपात एक कारण है। पत्रिकाएँ अक्सर सकारात्मक, सांख्यिकीय रूप से महत्वपूर्ण निष्कर्षों को शून्य परिणामों पर प्राथमिकता देती रही हैं। जब पदोन्नति, अनुदान, और विभागीय प्रतिष्ठा प्रकाशनों की संख्या और जर्नल की साख पर टिकी हो, तो डेटा को अधिक अनुकूल रूप में प्रस्तुत करना तर्कसंगत लगने लगता है।

दबाव हमेशा शोधकर्ताओं से शुरू नहीं होता। निष्क्रिय HARKing तब होता है जब संपादक या समीक्षक लेखक से अप्रत्याशित निष्कर्ष के इर्द-गिर्द अध्ययन को दोबारा फ्रेम करने, या न बनी परिकल्पनाओं को हटाने को कहते हैं। इससे शोधकर्ता कठिन स्थिति में पड़ जाता है।

एक अचेतन रास्ता भी है। hindsight bias से शोधकर्ताओं को लग सकता है कि उन्होंने वही अपेक्षा की थी जो असल में नहीं की थी। स्मृति धुंधली पड़ती है, और बाद की कहानी खाली जगह भर देती है। कुछ मामले जानबूझकर की गई धोखाधड़ी नहीं होते।

मनोविज्ञान के सर्वेक्षण प्रमाण पैमाने का अंदाज़ा देते हैं। जॉन, लोवेनस्टीन, और प्रेलेक ने पाया कि लगभग 27% मनोवैज्ञानिकों ने कहा कि उन्होंने किसी अप्रत्याशित निष्कर्ष की शुरुआत से भविष्यवाणी करने का दावा किया था। कई सर्वेक्षणों की समीक्षा में HARKing के किसी न किसी रूप का स्तर लगभग 43% निकला। ये स्व-रिपोर्टेड आँकड़े हैं, इसलिए कम भी हो सकते हैं।

HARKing बनाम खोजी और पुष्टिकारी शोध

यहीं लेख जरूरत से ज्यादा कड़ा लग सकता है। अन्वेषण समस्या नहीं है। समस्या यह है कि क्या पेपर अन्वेषण को ऐसे पेश करता है जैसे वह योजनाबद्ध परीक्षण था।

खोजी विश्लेषण

खोजी विश्लेषण तब होता है जब आप बिना ठोस पूर्व-दावे के डेटा देखते हैं कि क्या मिलने की उम्मीद है। आप वितरणों को देखते हैं, पैटर्न पहचानते हैं, चर (variables) की तुलना करते हैं, और डेटासेट का अनुभव लेते हैं। उद्देश्य परिकल्पनाएँ बनाना है, उन्हें परखना नहीं।

मुझे यह भेद उपयोगी लगता है क्योंकि इससे आलोचना सही जगह रहती है। वैज्ञानिक प्रगति का बहुत कुछ तब शुरू होता है जब कोई कुछ अप्रत्याशित नोटिस करता है और तय करता है कि इसे दोबारा देखना चाहिए।

पुष्टिकारी विश्लेषण

पुष्टिकारी विश्लेषण परीक्षण का चरण है। आप डेटा देखे बिना बनाई गई एक विशिष्ट भविष्यवाणी से शुरू करते हैं, नियोजित सांख्यिकीय परीक्षण चलाते हैं, और देखते हैं कि डेटा उस भविष्यवाणी का समर्थन करता है या नहीं। परिकल्पना पहले आई। डेटा बाद में।

जब परिकल्पना उसी डेटासेट को देखकर बनाई जाती है और फिर उसी पर जाँची जाती है, तो परीक्षण स्वतंत्र नहीं रहता। परिकल्पना उसी नमूने में मौजूद शोर से आकार पाती है।

यही वह चेतावनी है जो भूमिका में अधिक तकनीकी शब्दों में कही गई थी: लेबल बदलता है, परीक्षण नहीं।

अच्छे परीक्षणों में परिकल्पना डेटा से पहले आती है। चित्र: लेखक।

व्यावहारिक नियम: वही डेटासेट पहले परिकल्पना गढ़े और फिर उसी को परखे—यह न्यायसंगत नहीं।

HARKing के उदाहरण

नीचे दिए गए उदाहरण काल्पनिक परिदृश्य हैं, प्रलेखित मामले नहीं। मकसद पैटर्न दिखाना है, किसी विशेष अध्ययन पर आरोप लगाना नहीं।

• मनोविज्ञान प्रयोग: एक टीम जाँचती है कि क्या माइंडफुलनेस संज्ञानात्मक प्रदर्शन बेहतर करती है। मुख्य प्रभाव महत्वपूर्ण नहीं निकलता, लेकिन 50 वर्ष से ऊपर के प्रतिभागियों में मजबूत सकारात्मक प्रभाव दिखता है। अंतिम पेपर में आयु-समूह का निष्कर्ष मूल परिकल्पना बन जाता है, और शून्य मुख्य प्रभाव एक फुटनोट भर रह जाता है।
• मार्केटिंग विश्लेषण: एक कंपनी जाँचती है कि क्या लॉयल्टी प्रोग्राम खरीद आवृत्ति बढ़ाता है। कुल प्रभाव सीमांत है, लेकिन नए सदस्यों में स्पष्ट बढ़ोतरी दिखती है। अंतिम रिपोर्ट उस समूह को योजनाबद्ध फोकस के रूप में पेश करती है, बिना यह बताए कि यह बाद में पाया गया था।
• क्लिनिकल ट्रायल: एक चिकित्सा अध्ययन पूर्व-निर्दिष्ट प्राथमिक परिणाम पर नई दवा की जाँच करता है। दवा नियंत्रण से बेहतर नहीं निकलती, लेकिन एक द्वितीयक बायोमार्कर में सुधार दिखता है। अध्ययन को इस तरह संशोधित किया जाता है कि बायोमार्कर प्राथमिक परिकल्पना बन जाए। जैसा मैं आगे बताऊँगा, इसी कारण ट्रायल रजिस्ट्रियाँ शोधकर्ताओं से प्राथमिक परिणामों को डेटा संग्रह शुरू होने से पहले दर्ज करने को कहती हैं।

HARKing शोध निष्कर्षों को कैसे विकृत कर सकता है

सबसे सीधा नतीजा झूठे-सकारात्मक (false positive) दर का बढ़ना है। जब परिकल्पना उसी डेटा को देखकर बनती है जिस पर उसे परखा जाता है, तो सांख्यिकीय परीक्षण किसी स्वतंत्र भविष्यवाणी की जाँच नहीं करता। वह यह परखता है कि डेटा के मुताबिक गढ़ी परिकल्पना डेटा पर कितनी फिट बैठती है। यह परिणाम दोहराए न भी जाएँ, क्योंकि यह सिग्नल से ज्यादा शोर पर फिट बैठा था।

केर ने मूल पेपर में बारह संभावित लागतें गिनाईं। कुछ खास हैं: HARKing किए परिणाम सिद्धांत में ऐसे शामिल हो जाते हैं मानो पुष्ट हुए हों। नकारात्मक परिणाम दब जाते हैं। प्रकाशित कार्य वास्तविक शोध-प्रक्रिया से ज्यादा साफ-सुथरा दिखने लगता है।

डोरोथी बिशप ने HARKing को "reproducibility apocalypse" के चार घुड़सवारों में से एक बताया है—प्रकाशन पक्षपात, कम सांख्यिकीय शक्ति, और p-hacking के साथ। इनमें से कोई एक अकेले प्रकाशित शोध की दशा नहीं समझाता। साथ मिलकर, वे बताते हैं कि क्यों कुछ निष्कर्ष अपने p-मूल्यों से कम भरोसेमंद होते हैं।

प्रतिलिप्यन संकट (Replication Crisis) से HARKing का संबंध

प्रतिलिप्यन संकट से तात्पर्य यह है कि कई प्रकाशित परिणाम स्वतंत्र टीमों द्वारा दोहराए नहीं जा सके। 2015 के Reproducibility Project: Psychology में, 97% मूल अध्ययनों में सांख्यिकीय रूप से महत्वपूर्ण परिणाम थे, लेकिन केवल 36% प्रतिलिप्यनों में।

यही अंतर वह जगह है जहाँ HARKing मायने रखता है। post-hoc परिकल्पना पर आधारित अध्ययन एक नमूने के शोर पर फिट बैठ सकता है। नए नमूने में प्रभाव घट सकता है या गायब हो सकता है।

HARKing एक कारक है, कारण नहीं। यह p-hacking, प्रकाशन पक्षपात, कम सांख्यिकीय शक्ति, और छोटे नमूनों के साथ बैठता है। मार्क रुबिन ने तर्क दिया है कि HARKing को मुख्य चालक मानने के प्रमाण अक्सर बताए गए से कमजोर हैं। इस पर मतभेद है, इसलिए दावा संयमित रखें: HARKing एक संभाव्य तंत्र है, सिद्ध एकल कारण नहीं।

किसी भी तरह, ऐसे अभ्यास जो खोजी प्रकृति को छिपाते हैं, साहित्य को कम भरोसेमंद बनाते हैं।

HARKing बनाम P-Hacking

शोध अखंडता की चर्चाओं में ये दोनों प्रथाएँ अक्सर साथ दिखती हैं। वे एक ही चीज़ नहीं हैं।

P-hacking विश्लेषण में हेरफेर करता है। इसका मतलब है डेटा संग्रह या विश्लेषण विकल्पों को तब तक बदलना जब तक सांख्यिकीय रूप से महत्वपूर्ण परिणाम न आ जाए: p 0.05 से नीचे गिरते ही रुक जाना, कई विश्लेषण आज़माना, आउटलायर हटाना, या बिना सुधार के कई उपसमूहों का परीक्षण करना। परिकल्पना वही रहती है; विश्लेषण झुकता है।

HARKing इसके बजाय परिकल्पना में हेरफेर करता है। विश्लेषण मानक हो सकता है। बदलता यह है कि पेपर क्या दावा करता है कि पहले से भविष्यवाणी की गई थी। भूमिका में दिए क्लिनिकल ट्रायल में यही साफ दिखता है: बायोमार्कर का निष्कर्ष वास्तविक था, लेकिन उसके इर्द-गिर्द की कहानी नहीं।

टेक्सास शार्पशूटर रूपक इस सीमा को स्पष्ट करता है।

HARKing में निशाना खिसकता है; p-hacking में चूकें छिपती हैं। चित्र: लेखक।

जैसा पहले बताया, दोनों झूठे-सकारात्मक दर बढ़ा सकते हैं। दोनों बिना धोखा देने के इरादे के भी हो सकते हैं।

प्री-रजिस्ट्रेशन और Registered Reports HARKing कैसे घटाते हैं

HARKing के ज्यादातर समाधान परिकल्पना के समय-क्रम को दृश्यमान बनाते हैं। दो मुख्य उपाय हैं: प्री-रजिस्ट्रेशन और Registered Reports।

प्री-रजिस्ट्रेशन

प्री-रजिस्ट्रेशन का मतलब है डेटा संग्रह से पहले अपना शोध प्रश्न, परिकल्पनाएँ, अध्ययन डिज़ाइन, और नियोजित विश्लेषण दर्ज करना। ये दस्तावेज़ समय-मुहर वाली रजिस्ट्रियों में जाते हैं जैसे Open Science Framework (OSF), ClinicalTrials.gov, या AsPredicted। एक बार पोस्ट होने पर, ये दिखाते हैं कि परिणाम ज्ञात होने से पहले क्या भविष्यवाणी की गई थी।

यदि परिणाम योजना से अलग हों, तो उस बदलाव को स्वीकार करना होगा, चुपचाप मिटाया नहीं जा सकता। अप्रत्याशित परिणाम अब भी रिपोर्ट किए जा सकते हैं, लेकिन उन्हें खोजी के रूप में चिह्नित करना होगा।

प्री-रजिस्ट्रेशन पूर्ण समाधान नहीं है। कई प्री-रजिस्टर अध्ययन मूल योजना से बदल जाते हैं, और अस्पष्ट रजिस्ट्रेशन कम सुरक्षा देते हैं। एक वर्कअराउंड PARKing भी है—नतीजे जान लेने के बाद प्री-रजिस्ट्रेशन करना। प्री-रजिस्ट्रेशन इसे छिपाना कठिन बनाता है, असंभव नहीं।

Registered Reports

Registered Reports एक कदम पहले जाते हैं—डेटा संग्रह शुरू होने से पहले ही जर्नल को शामिल करते हैं।

मानक प्रक्रिया में, संपादक पूर्ण परिणाम का मूल्यांकन करते हैं, इसलिए सकारात्मक निष्कर्षों को अक्सर प्रकाशन का आसान रास्ता मिलता है।

Registered Reports प्रक्रिया को दो चरणों में बाँटते हैं। चरण 1 में, जर्नल डेटा संग्रह से पहले शोध प्रश्न और विधियों की समीक्षा करता है। स्वीकार होने पर, जर्नल वादा करता है कि स्वीकृत योजना का पालन करने पर परिणाम प्रकाशित करेगा। चरण 2 में परिणाम और योजना के अनुपालन की जाँच होती है।

समीक्षा परिणाम ज्ञात होने से पहले होती है। चित्र: लेखक।

इसका प्रभाव सकारात्मक परिणामों की दर में दिखता है। शील, शिजेन, और लैकेन्स ने पारंपरिक जर्नल लेखों में लगभग 96% सकारात्मक परिणाम पाए, जबकि उन्हीं क्षेत्रों में Registered Reports में यह करीब 44% था।

अब 300 से अधिक जर्नल Registered Reports पेश करते हैं। Nature ने जून 2026 में घोषणा की कि वह इसे अपने सभी प्रकाशन क्षेत्रों में फैला रहा है।

पारदर्शी रिपोर्टिंग प्रथाएँ

हर शोध-डिज़ाइन सख्त प्री-रजिस्ट्रेशन के अनुकूल नहीं, और हर जर्नल Registered Reports नहीं देता। ऐसी स्थितियों में, स्पष्ट रिपोर्टिंग भी HARKing के जोखिम को घटा सकती है। नीचे दी प्रथाएँ अनिवार्य नहीं, बल्कि मानक हैं, पर जिन क्षेत्रों में प्रतिलिप्यन समस्याएँ अधिक दिखी हैं वहाँ ये तेजी से आम हो रही हैं।

• रिपोर्टिंग के समय, जो भी विश्लेषण पहले से योजनाबद्ध नहीं था, उसे खोजी (exploratory) के रूप में चिह्नित करें
• सभी मूलतः मापे गए परिणामों की रिपोर्ट करें, जिनमें कोई प्रभाव न दिखा वे भी
• जब अप्रत्याशित निष्कर्ष रिपोर्ट करने लायक हों, तो स्पष्ट रूप से चिह्नित खोजी निष्कर्ष अनुभाग शामिल करें
• विश्लेषण कोड और डेटा साझा करें ताकि अन्य लोग कार्य की जाँच कर सकें
• प्री-रजिस्टर योजना से किसी भी विचलन को स्पष्ट रूप से और स्पष्टीकरण सहित रिपोर्ट करें

ये मानक प्री-रजिस्ट्रेशन या Registered Reports का विकल्प नहीं हैं। यह वही मूल सिद्धांत बिना औपचारिक प्रक्रिया के लागू करना है: क्या भविष्यवाणी की गई थी और क्या खोजा गया—इसे छिपाना कठिन बनाना।

डेटा साइंस और मशीन लर्निंग में HARKing-जैसी समस्याएँ

अभी तक मैंने शैक्षणिक शोध के उदाहरण दिए। वही मूल समस्या मशीन लर्निंग और डेटा साइंस कार्य में भी दिखती है, बस अलग नामों से।

सबसे स्पष्ट समानता डेटा लीकेज है। मशीन लर्निंग में, लीकेज तब होता है जब टेस्ट सेट की जानकारी ट्रेनिंग को प्रभावित करती है। आम रूपों में ट्रेन-टेस्ट विभाजन से पहले पूरे डेटासेट पर फीचर चयन/इंजीनियरिंग करना, या टेस्ट-सेट प्रदर्शन पर बार-बार झाँक कर हाइपरपैरामीटर ट्यूनिंग करना शामिल है। नतीजा ऐसा मॉडल होता है जो बेंचमार्क पर अच्छा लगता है पर वास्तविक उपयोग में चूकता है क्योंकि उसका स्कोर आंशिक रूप से उसी डेटा पर टिका था जो उसे नहीं देखना चाहिए था।

प्रिंसटन के कपूर और नारायणन ने चिकित्सा से लेकर अर्थशास्त्र तक के सैकड़ों अध्ययनों में इस समस्या का दस्तावेजीकरण किया। HARKing से सीधा समानांतर है: जिसकी जाँच हो रही है, वह उसी डेटा से आकार पाया है जिसके विरुद्ध उसे नापा जा रहा है।

लीकेज मॉडल मूल्यांकन से बहुत पहले प्रवेश करता है। चित्र: लेखक।

एमएल शोधकर्ता एक प्रथा का वर्णन Grad Student Descent या SotA-hacking के नाम से भी करते हैं। शोधकर्ता ढेरों प्रयोग चलाते हैं जब तक मॉडल मौजूदा बेंचमार्क से थोड़ा आगे न निकल जाए, फिर पेपर ऐसे लिखते हैं मानो विजेता सेटअप एक सुथरे डिज़ाइन तर्क से आया हो। यह मशीन लर्निंग पाइपलाइन पर लागू CHARKing है।

पोस्ट-हॉक मेट्रिक चयन भी यही पैटर्न है: मॉडल को कई मीट्रिक पर आँकना, फिर सब नतीजे देखकर यह तय करना कि किसे प्राथमिक मानक के रूप में प्रस्तुत किया जाए। जो नियोजित विधि-चयन दिखता है, वह बाद में किया गया निर्णय होता है।

एक caveat: मशीन लर्निंग में HARKing शब्द कम ही इस्तेमाल होता है। मिलती-जुलती समस्याएँ प्रायः reproducibility, बेंचमार्क गेमिंग, या मूल्यांकन विधियों के तहत चर्चा में आती हैं। समानांतर मददगार है, पर यह अब भी एक उपमा है।

निष्कर्ष

HARKing जितनी शोध की समस्या है, उतनी ही लेबलिंग की भी। post-hoc निष्कर्ष ठोस हो सकता है, पर उसे a priori बताकर पेश करना पाठकों से वह चीज़ छीन लेता है जिसकी उन्हें परख के लिए ज़रूरत है।

प्री-रजिस्ट्रेशन, Registered Reports, और स्पष्ट रिपोर्टिंग—तीनों परिकल्पना के समय-क्रम को दिखाकर मदद करते हैं। कोई भी पूर्ण समाधान नहीं। प्री-रजिस्ट्रेशन अस्पष्ट हो सकता है, और Registered Reports अब भी कुल प्रकाशनों के एक हिस्से तक सीमित हैं।

शोधकर्ताओं और डेटा पेशेवरों के लिए व्यावहारिक नियम सरल है: डेटा देखने से पहले आपने क्या भविष्यवाणी की, उसे लिख लें; जो पाया, उसे रिपोर्ट करें; और खोजी निष्कर्षों को खोजी ही चिह्नित करें।

उस कार्यप्रवाह के परीक्षण पक्ष पर और जानने के लिए हमारा Hypothesis Testing in Python कोर्स देखें।