HARKing explicat: de ce ipotezele formulate după rezultate pot induce în eroare cercetarea

Un studiu clinic se încheie. Rezultatul principal este nul, dar un subgrup răspunde mai bine la tratament decât grupul de control. Nimeni nu a prezis acel efect de subgrup. Nimeni nu l-a trecut în protocol.

Apoi lucrarea este revizuită. Introducerea încadrează efectul de subgrup drept ipoteza de cercetare încă de la început. Rezultatul principal eșuat trece în plan secund. Până la peer review, studiul pare un succes curat.

Acesta este HARKing: Hypothesizing After the Results are Known. Norbert Kerr a introdus termenul în 1998 pentru cazurile în care cercetătorii prezintă ipoteze post-hoc ca și cum ar fi fost stabilite înainte de începerea studiului. Uneori ipoteza originală este rescrisă. Alteori este omisă.

Explorarea e normală. Problema este prezentarea unui rezultat exploratoriu ca fiind confirmatoriu. Cititorii pierd eticheta de avertizare: dovezi timpurii, nu probă.

Ce este HARKing în cercetare?

Definiția originală a lui Kerr rămâne cel mai clar punct de plecare: HARKing apare când un cercetător prezintă „o ipoteză post hoc... în raportul de cercetare ca și cum ar fi, de fapt, o ipoteză a priori”. O ipoteză a priori este formulată înainte de colectarea datelor. O ipoteză post hoc este formulată după ce vezi rezultatele. Problema este eticheta, nu întotdeauna analiza în sine.

Kerr a descris și o a doua formă, mai puțin discutată: omiterea ipotezelor originale care au fost testate și au ieșit negative. Ambele forme ascund ce s-a întâmplat de fapt. În timp, teoriile pot începe să pară mai exacte decât sunt.

Tipuri de HARKing

Cercetătorii pot împărți HARKing în câteva tipuri.

• CHARKing (Constructing HARKing) este cel mai apropiat de ce își imaginează majoritatea. Un cercetător găsește un rezultat semnificativ neașteptat, construiește o ipoteză nouă pentru a-l explica și prezintă acea ipoteză ca punct de plecare al studiului. Teoria este construită pe măsura datelor.
• SHARKing (Secretly HARKing) funcționează diferit. În loc să construiască o ipoteză nouă, cercetătorul elimină dovezile că s-a făcut o predicție originală care a eșuat. Lucrarea pare să conțină doar rezultate pozitive. Predicțiile eșuate dispar.
• THARKing (Transparent HARKing) este excepția. Hollenbeck și Wright au folosit acest termen în 2017 pentru ipoteze post-hoc etichetate clar ca exploratorii. Cititorii pot apoi judeca rezultatul pentru ceea ce este. Mai multe despre asta imediat.

De ce recurg cercetătorii la HARKing

Biasul de publicare este un factor. Jurnalele au favorizat adesea rezultatele pozitive, statistic semnificative, în detrimentul celor nule. Când avansarea în carieră, finanțarea și statutul departamentului depind de numărul de publicații și de prestigiul jurnalului, prezentarea mai favorabilă a datelor poate începe să pară rațională.

Presiunea nu pornește întotdeauna de la cercetători. HARKing pasiv apare când editorii sau evaluatorii cer autorilor să reîncadreze un studiu în jurul unui rezultat neașteptat sau să elimine ipoteze care nu s-au confirmat. Asta îl lasă pe cercetător într-o alegere dificilă.

Există și o cale inconștientă. Biasul retrospectiv îi poate face pe cercetători să creadă că au anticipat un rezultat pe care nu l-au anticipat. Memoria se estompează, iar povestea post-hoc umple golul. Unele cazuri nu sunt înșelăciuni deliberate.

Sondaje din psihologie oferă o idee despre amploare. John, Loewenstein și Prelec au constatat că aproximativ 27% dintre psihologi au spus că au pretins că au prezis de la început un rezultat neașteptat. O analiză a mai multor sondaje a situat unele forme de HARKing în jur de 43%. Acestea sunt cifre auto-raportate, deci pot fi subestimate.

HARKing vs. cercetare exploratorie și confirmatorie

Aici articolul poate suna ușor mai dur decât ar trebui. Explorarea nu este problema. Problema este dacă lucrarea tratează explorarea ca pe un test planificat.

Analiza exploratorie

Analiza exploratorie e ceea ce se întâmplă când te uiți la date fără o afirmație prealabilă fermă despre ce te aștepți să găsești. Examinezi distribuții, observi tipare, compari variabile și capeți o înțelegere a setului de date. Scopul este să generezi ipoteze, nu să le testezi.

Găsesc această distincție utilă pentru că păstrează critica acolo unde trebuie. O mare parte din progresul științific începe când cineva observă ceva neașteptat și decide că merită privit din nou.

Analiza confirmatorie

Analiza confirmatorie este etapa de testare. Pornești cu o predicție specifică formulată înainte de a vedea datele, rulezi testul statistic planificat și verifici dacă datele susțin predicția. Ipoteza a venit prima. Datele au venit după.

Când o ipoteză este generată privind un set de date și apoi testată pe același set de date, testul nu mai este independent. Ipoteza a fost modelată de același zgomot prezent în acel eșantion.

Acesta este avertismentul din introducere, în termeni mai tehnici: eticheta se schimbă, dar testul nu.

Testele bune pun ipoteza înaintea datelor. Imagine de autor.

Regula practică: același set de date nu poate, în mod corect, să genereze și apoi să testeze aceeași ipoteză.

Exemple de HARKing

Exemplele de mai jos sunt scenarii inventate, nu cazuri documentate. Ideea este tiparul, nu acuzarea unui studiu anume.

• Experimentul de psihologie: O echipă testează dacă mindfulness îmbunătățește performanța cognitivă. Efectul principal nu este semnificativ, dar participanții de peste 50 de ani arată un efect pozitiv puternic. În lucrarea finală, constatarea pe grupe de vârstă devine ipoteza originală, iar efectul principal nul devine o notă de subsol.
• Analiza de marketing: O companie testează dacă un program de loialitate crește frecvența achizițiilor. Efectul general este marginal, dar membrii recenți arată o creștere clară. Raportul final prezintă acel grup ca focus planificat, fără a menționa că a fost găsit ulterior.
• Studiul clinic: Un studiu medical testează un nou medicament pe un rezultat primar pre-specificat. Medicamentul nu depășește controlul, dar un biomarker secundar se îmbunătățește. Studiul este revizuit pentru a încadra biomarkerul ca ipoteza principală. Așa cum voi aborda mai târziu, acesta este motivul pentru care registrele de studii le cer cercetătorilor să înregistreze rezultatele primare înainte de începerea colectării datelor.

De ce HARKing poate denatura rezultatele cercetării

Rezultatul cel mai direct este o rată umflată a falselor pozitive. Când o ipoteză este formulată privind aceleași date folosite pentru a o testa, testul statistic nu mai verifică o predicție independentă. Verifică cât de bine se potrivește cu datele o ipoteză construită să se potrivească datelor. Acel rezultat s-ar putea să nu se repete pentru că potrivește zgomotul, nu semnalul.

Kerr a enumerat douăsprezece posibile costuri în lucrarea originală. Câteva ies în evidență. Rezultatele HARKed sunt integrate în teorie ca și cum ar fi confirmate. Rezultatele negative sunt suprimate. Lucrările publicate încep să arate mai curate decât a fost procesul de cercetare.

Dorothy Bishop a descris HARKing ca unul dintre „cei patru călăreți ai apocalipsei reproductibilității”, alături de biasul de publicare, puterea statistică scăzută și p-hacking. Niciunul dintre acești factori, singur, nu explică starea literaturii publicate. Împreună, ajută la explicarea motivului pentru care unele constatări sunt mai puțin fiabile decât sugerează valorile p.

Cum se leagă HARKing de criza replicării

Criza replicării se referă la constatarea că multe rezultate publicate nu pot fi reproduse de echipe independente. În Reproducibility Project: Psychology din 2015, 97% dintre studiile originale aveau rezultate statistic semnificative, dar doar 36% dintre replicări, da.

Acel decalaj este locul în care HARKing poate conta. Un studiu construit în jurul unei ipoteze post-hoc se poate potrivi zgomotului unui eșantion. Într-un eșantion nou, efectul poate scădea sau dispărea.

HARKing este un factor contribuitor, nu cauza. Stă alături de p-hacking, biasul de publicare, puterea statistică scăzută și eșantioanele mici. Mark Rubin a susținut că dovezile pentru HARKing ca principal motor sunt mai slabe decât se afirmă adesea. Acea opinie este dezbătută, așa că aș păstra afirmația modestă: HARKing este un mecanism plauzibil, nu o cauză unică dovedită.

Oricum ar fi, practicile care ascund natura exploratorie a rezultatelor fac literatura mai puțin de încredere.

HARKing vs. P-Hacking

Aceste două practici apar adesea împreună în discuțiile despre integritatea cercetării. Nu sunt același lucru.

P-hacking manipulează analiza. Înseamnă schimbarea colectării datelor sau a alegerilor de analiză până când apare un rezultat statistic semnificativ: oprirea când p scade sub 0,05, încercarea mai multor analize, eliminarea outlierilor sau testarea multor subgrupuri fără corecție. Ipoteza rămâne fixă; analiza se îndoaie.

HARKing manipulează în schimb ipoteza. Analiza poate fi standard. Ce se schimbă este ceea ce susține lucrarea că a fost prezis. Studiul clinic din introducere este un exemplu clar: constatarea biomarkerului a fost reală, dar povestea din jurul ei nu.

Metafora „trăgătorului texan” ajută la trasarea graniței.

HARKing mută țintele; p-hacking ascunde rateurile. Imagine de autor.

După cum am menționat, ambele pot umfla ratele fals-pozitivelor. Ambele pot apărea și fără intenția conștientă de a înșela.

Cum reduc preregistrarea și Registered Reports HARKing

Majoritatea soluțiilor pentru HARKing fac vizibil momentul formulării ipotezei. Cele două abordări principale sunt preregistrarea și Registered Reports.

Preregistrarea

Preregistrarea înseamnă să-ți înregistrezi întrebarea de cercetare, ipotezele, designul studiului și analiza planificată înainte de a colecta orice date. Aceste documente merg în registre datate precum Open Science Framework (OSF), ClinicalTrials.gov sau AsPredicted. Odată postate, arată ce a fost prezis înainte ca rezultatele să fie cunoscute.

Dacă rezultatele diferă de plan, acea schimbare trebuie recunoscută, nu ștearsă în liniște. Rezultatele neașteptate pot fi în continuare raportate, dar etichetate ca exploratorii.

Preregistrarea nu este o soluție completă. Multe studii preregistrate tot se abat de la planul original, iar înregistrările vagi oferă mai puțină protecție. Există și un ocol numit PARKing, preregistrare după ce rezultatele sunt deja cunoscute. Preregistrarea face asta mai greu de ascuns, nu imposibil.

Registered Reports

Registered Reports merg un pas mai devreme, implicând jurnalul înainte de începerea colectării datelor.

Într-un flux standard, editorii evaluează rezultatul final, astfel că descoperirile pozitive au adesea un drum mai ușor spre publicare.

Registered Reports împart procesul în două etape. În Etapa 1, jurnalul revizuiește întrebarea de cercetare și metodele înainte de colectarea datelor. Dacă sunt acceptate, jurnalul promite să publice rezultatele atâta timp cât planul aprobat este urmat. Etapa 2 verifică rezultatele și respectarea planului.

Evaluarea are loc înainte ca rezultatele să fie cunoscute. Imagine de autor.

Efectul se vede în rata rezultatelor pozitive. Scheel, Schijen și Lakens au găsit rezultate pozitive în aproximativ 96% dintre articolele tradiționale, comparativ cu aproximativ 44% dintre Registered Reports din aceleași domenii.

Peste 300 de jurnale oferă acum Registered Reports. Nature a anunțat în iunie 2026 că extinde formatul în toate domeniile pe care le publică.

Practici transparente de raportare

Nu fiecare design de cercetare se pretează la o preregistrare strictă și nu fiecare jurnal oferă Registered Reports. În aceste situații, o raportare mai clară poate totuși reduce riscul de HARKing. Practicile de mai jos sunt norme, nu cerințe, dar sunt tot mai răspândite în domeniile unde problemele de replicare au fost cele mai vizibile.

• Etichetează ca exploratorie orice analiză care nu a fost planificată în avans atunci când o raportezi
• Raportează toate rezultatele care au fost măsurate inițial, inclusiv pe cele fără efect
• Include o secțiune clar marcată pentru constatări exploratorii când merită raportate rezultate neașteptate
• Distribuie codul de analiză și datele pentru ca alții să poată verifica munca
• Raportează explicit orice abatere de la un plan preregistrat și oferă o explicație

Aceste norme nu înlocuiesc preregistrarea sau Registered Reports. Sunt același principiu de bază aplicat fără procesul formal: fă mai greu de ascuns ce a fost prezis și ce a fost descoperit.

Probleme de tip HARKing în data science și machine learning

Până acum am folosit exemple din cercetarea academică. Aceeași problemă de bază apare și în machine learning și data science, de obicei sub alte denumiri.

Paralela cea mai clară este scurgerea de date (data leakage). În machine learning, scurgerea apare când informații din setul de test influențează antrenarea. Forme comune includ selectarea sau inginerizarea caracteristicilor folosind întregul set de date înainte de împărțirea train-test sau ajustarea hiperparametrilor modelului aruncând repetat o privire la performanța pe setul de test. Rezultatul este un model care arată bine pe benchmark, dar eșuează în utilizarea reală, pentru că scorul lui s-a bazat parțial pe date pe care nu ar fi trebuit să le vadă.

Kapoor și Narayanan de la Princeton au documentat această problemă în sute de studii din domenii de la medicină la economie. Paralelele cu HARKing sunt directe: lucrul testat a fost modelat de aceleași date pe care este apoi măsurat.

Scurgerea intră cu mult înainte de evaluarea modelului. Imagine de autor.

Cercetătorii ML descriu și o practică numită uneori Grad Student Descent sau SotA-hacking. Se rulează multe experimente până când modelul depășește la limită benchmark-ul curent, apoi lucrarea este scrisă ca și cum configurația câștigătoare ar fi rezultat dintr-un argument de design curat. Acesta este CHARKing aplicat unui pipeline de machine learning.

Selecția post-hoc a metricii este același tipar într-o altă formă: evaluezi un model pe mai multe metrici, apoi decizi după ce vezi toate rezultatele care este cea pe care o prezinți ca măsură principală. Ceea ce pare o alegere metodologică planificată a fost făcută ulterior.

Un avertisment: termenul HARKing în sine este rar folosit în machine learning. Probleme similare sunt de obicei discutate sub reproducibilitate, „benchmark gaming” sau metode de evaluare. Paralela ajută, dar rămâne o analogie.

Concluzie

HARKing este o problemă de etichetare la fel de mult cât este una de cercetare. O constatare post-hoc poate fi solidă, dar prezentarea ei ca a priori elimină ceea ce cititorii au nevoie pentru a o judeca.

Preregistrarea, Registered Reports și raportarea clară ajută prin faptul că fac vizibil momentul formulării ipotezei. Niciuna nu este o soluție completă. Preregistrarea poate fi vagă, iar Registered Reports acoperă încă doar o fracțiune din cercetarea publicată.

Pentru cercetători și profesioniști în date, regula practică e simplă: notează ce ai prezis înainte să te uiți la date, raportează ce ai găsit și etichetează rezultatele exploratorii ca exploratorii.

Pentru mai multe despre partea de testare din acest flux de lucru, vezi cursul nostru Hypothesis Testing in Python.