HARKing förklarat: Varför hypoteser efter resultat kan vilseleda forskning

En klinisk prövning avslutas. Det primära utfallet blir noll, men en undergrupp svarar bättre på behandlingen än kontrollgruppen. Ingen hade förutsett den undergruppseffekten. Ingen skrev in den i protokollet.

Sedan revideras artikeln. Introduktionen ramar in undergruppseffekten som forskningshypotesen hela tiden. Det misslyckade primära utfallet tonas ned. Vid peer review framstår studien som en ren framgång.

Detta är HARKing: Hypothesizing After the Results are Known. Norbert Kerr myntade termen 1998 för fall där forskare presenterar post hoc-hypoteser som om de hade satts upp innan studien började. Ibland skrivs den ursprungliga hypotesen om. Ibland utelämnas den.

Utforskning är normalt. Problemet är att presentera ett explorativt fynd som ett konfirmatoriskt. Läsarna förlorar varningsetiketten: tidiga indikationer, inte bevis.

Vad är HARKing inom forskning?

Kerrs ursprungliga definition är fortfarande den tydligaste utgångspunkten: HARKing inträffar när en forskare presenterar "en post hoc-hypotes ... i sin forskningsrapport som om den i själva verket vore en a priori-hypotes." En a priori-hypotes formuleras före datainsamling. En post hoc-hypotes formuleras efter att man sett resultaten. Problemet är etiketten, inte alltid själva analysen.

Kerr beskrev också en andra form som får mindre uppmärksamhet: att utelämna ursprungliga hypoteser som testats och gett negativa resultat. Båda formerna döljer vad som faktiskt hände. Med tiden kan teorier börja se mer träffsäkra ut än de är.

Typer av HARKing

Forskare kan dela upp HARKing i några typer.

• CHARKing (Constructing HARKing) ligger närmast vad de flesta föreställer sig. En forskare hittar ett oväntat signifikant resultat, bygger en ny hypotes för att förklara det och presenterar den hypotesen som studiens utgångspunkt. Teorin byggs för att passa data.
• SHARKing (Secretly HARKing) fungerar annorlunda. I stället för att bygga en ny hypotes tar forskaren bort bevis på att en ursprunglig förutsägelse gjordes och misslyckades. Artikeln ser ut att bara innehålla positiva resultat. Misslyckade förutsägelser försvinner.
• THARKing (Transparent HARKing) är undantaget. Hollenbeck och Wright använde denna term 2017 för post hoc-hypoteser som tydligt märks som explorativa. Läsare kan då bedöma resultatet för vad det är. Mer om detta strax.

Varför forskare ägnar sig åt HARKing

Publiceringsbias är en drivkraft. Tidskrifter har ofta gynnat positiva, statistiskt signifikanta resultat framför nollfynd. När tjänstetillsättning, finansiering och institutionell status beror på antalet publikationer och tidskrifters prestige kan det börja framstå som rationellt att presentera data mer gynnsamt.

Trycket kommer inte alltid från forskarna själva. Passiv HARKing sker när redaktörer eller granskare ber författare att omformulera en studie kring ett oväntat fynd, eller att ta bort hypoteser som inte höll. Det lämnar forskaren med ett svårt val.

Det finns också en omedveten väg. Efterklokhetsbias kan få forskare att tro att de förväntade ett resultat som de i själva verket inte förväntade. Minnet bleknar, och post hoc-berättelsen fyller luckan. Vissa fall handlar inte om avsiktligt vilseledande.

Enkätdata från psykologin ger en viss uppfattning om omfattningen. John, Loewenstein och Prelec fann att ungefär 27% av psykologerna sade att de hade påstått sig ha förutspått ett oväntat fynd från början. En översikt av flera undersökningar placerade någon form av HARKing runt 43%. Dessa är självrapporterade siffror, så de kan vara låga.

HARKing vs. explorativ och konfirmatorisk forskning

Här kan artikeln lätt låta hårdare än den borde. Utforskning är inte problemet. Problemet är om artikeln behandlar utforskning som om den vore ett planerat test.

Explorativ analys

Explorativ analys är vad som händer när du tittar på data utan ett fast påstående i förväg om vad du förväntar dig att hitta. Du granskar fördelningar, upptäcker mönster, jämför variabler och får en känsla för datasetet. Målet är att generera hypoteser, inte att testa dem.

Jag tycker att denna åtskillnad är användbar eftersom den riktar kritiken rätt. Mycket vetenskaplig utveckling börjar med att någon lägger märke till något oväntat och bestämmer sig för att det förtjänar en närmare titt.

Konfirmatorisk analys

Konfirmatorisk analys är testfasen. Du börjar med en specifik förutsägelse som formulerats innan du ser datan, kör det statistiska test du planerat och kontrollerar om datan stöder förutsägelsen. Hypotesen kom först. Datan kom därefter.

När en hypotes genereras genom att titta på ett dataset och sedan testas mot samma dataset, är testet inte längre oberoende. Hypotesen formades av samma brus som finns i det urvalet.

Det är varningen från inledningen i mer tekniska termer: etiketten ändras, men testet gör det inte.

Bra tester sätter hypotes före data. Bild av författaren.

Den praktiska regeln: samma dataset kan inte på ett rättvist sätt både generera och sedan testa samma hypotes.

Exempel på HARKing

Exemplen nedan är påhittade scenarier, inte dokumenterade fall. Poängen är mönstret, inte att anklaga en specifik studie.

• Psykologiexperimentet: Ett team testar om mindfulness förbättrar kognitiv prestation. Huvudeffekten är inte signifikant, men deltagare över 50 visar en tydlig positiv effekt. I den slutliga artikeln blir åldersgruppsfyndet den ursprungliga hypotesen, och den nollade huvudeffekten blir en bisats.
• Marknadsföringsanalysen: Ett företag testar om ett lojalitetsprogram ökar köpfrekvensen. Den övergripande effekten är marginell, men nya medlemmar visar en tydlig ökning. Slutrapporten presenterar den gruppen som det planerade fokuset, utan att säga att den hittades i efterhand.
• Den kliniska prövningen: En medicinsk studie testar ett nytt läkemedel på ett förhandspecificerat primärt utfall. Läkemedlet överträffar inte kontrollen, men en sekundär biomarkör förbättras. Studien revideras för att rama in biomarkören som den primära hypotesen. Som jag tar upp senare är detta skälet till att prövningsregister ber forskare att registrera primära utfall innan datainsamlingen börjar.

Varför HARKing kan förvränga forskningsresultat

Det mest direkta resultatet är en uppblåst andel falska positiva. När en hypotes formuleras genom att titta på samma data som används för att testa den, kontrollerar det statistiska testet inte en oberoende förutsägelse. Det kontrollerar hur väl en hypotes byggd för att passa data passar data. Det resultatet kanske inte upprepas eftersom det passar bruset, inte signalen.

Kerr listade tolv möjliga kostnader i den ursprungliga artikeln. Några sticker ut. HARKade resultat byggs in i teorin som om de vore bekräftade. Negativa resultat undertrycks. Publicerat arbete börjar se renare ut än forskningsprocessen faktiskt var.

Dorothy Bishop beskrev HARKing som en av de "fyra apokalypsryttarna för reproducerbarhet", tillsammans med publiceringsbias, låg statistisk styrka och p-hacking. Ingen av dessa förklarar ensam tillståndet i publicerad forskning. Tillsammans hjälper de till att förklara varför vissa fynd är mindre tillförlitliga än deras p-värden antyder.

Hur HARKing hänger ihop med reproducerbarhetskrisen

Reproducerbarhetskrisen syftar på att många publicerade resultat inte kan reproduceras av oberoende team. I Reproducibility Project: Psychology 2015 hade 97% av originalstudierna statistiskt signifikanta resultat, men bara 36% av replikationerna hade det.

Det gapet är där HARKing kan spela roll. En studie byggd kring en post hoc-hypotes kan passa bruset i ett urval. I ett nytt urval kan effekten krympa eller försvinna.

HARKing är en bidragande faktor, inte orsaken. Den står bredvid p-hacking, publiceringsbias, låg statistisk styrka och små urval. Mark Rubin har hävdat att bevisen för HARKing som huvuddrivare är svagare än som ofta påstås. Den synen debatteras, så jag skulle hålla påståendet modest: HARKing är en rimlig mekanism, inte en bevisad ensam orsak.

Hur som helst gör metoder som döljer resultaten som explorativa mindre tillförlitlig litteratur.

HARKing vs. p-hacking

Dessa två metoder dyker ofta upp tillsammans i diskussioner om forskningsintegritet. De är inte samma sak.

P-hacking manipulerar analysen. Det betyder att ändra val i datainsamling eller analys tills ett statistiskt signifikant resultat dyker upp: att sluta när p faller under 0,05, prova flera analyser, ta bort outliers eller testa många undergrupper utan korrektion. Hypotesen förblir fast; analysen böjs.

HARKing manipulerar istället hypotesen. Analysen kan vara standard. Det som ändras är vad artikeln påstår var förutspått. Den kliniska prövningen från introduktionen är ett tydligt exempel: fyndet om biomarkören var verkligt, men berättelsen runt det var det inte.

Texas-skytten-metaforen hjälper till att dra gränsen.

HARKing flyttar måltavlor; p-hacking döljer missar. Bild av författaren.

Som tidigare nämnts kan båda blåsa upp andelen falskt positiva. Båda kan också ske utan avsikt att vilseleda.

Hur förhandsregistrering och Registered Reports minskar HARKing

De flesta lösningar på HARKing gör hypotesens timing synlig. De två huvudsakliga angreppssätten är förhandsregistrering och Registered Reports.

Förhandsregistrering

Förhandsregistrering innebär att du dokumenterar din forskningsfråga, dina hypoteser, studiedesign och planerade analys innan någon data samlas in. Dessa dokument läggs i tidsstämplade register som Open Science Framework (OSF), ClinicalTrials.gov eller AsPredicted. När de väl är publicerade visar de vad som förutspåddes innan resultaten var kända.

Om resultaten skiljer sig från planen måste den förändringen erkännas, inte raderas i tysthet. Oväntade resultat kan fortfarande rapporteras, men märkas som explorativa.

Förhandsregistrering är ingen fullständig lösning. Många förhandsregistrerade studier avviker ändå från den ursprungliga planen, och vaga registreringar ger sämre skydd. Det finns också en kringgående väg som kallas PARKing, att förhandsregistrera efter att man redan känner till resultaten. Förhandsregistrering gör det svårare att dölja, men inte omöjligt.

Registered Reports

Registered Reports går ett steg tidigare genom att involvera tidskriften innan datainsamlingen börjar.

I ett standardflöde utvärderar redaktörer det färdiga resultatet, så positiva fynd har ofta en enklare väg till publicering.

Registered Reports delar upp processen i två steg. I Steg 1 granskar tidskriften forskningsfrågan och metoderna före datainsamling. Om det accepteras lovar tidskriften att publicera resultaten så länge den godkända planen följs. Steg 2 granskar resultaten och följsamheten till planen.

Granskning sker innan resultaten är kända. Bild av författaren.

Effekten syns i andelen positiva resultat. Scheel, Schijen och Lakens fann positiva resultat i ungefär 96% av traditionella tidskriftsartiklar, jämfört med runt 44% av Registered Reports inom samma fält.

Över 300 tidskrifter erbjuder nu Registered Reports. Nature meddelade i juni 2026 att de utökade formatet över alla fält de publicerar inom.

Transparent rapporteringspraxis

Alla forskningsdesigner passar inte för strikt förhandsregistrering, och alla tidskrifter erbjuder inte Registered Reports. I de situationerna kan tydligare rapportering ändå minska HARKing-risken. Metoderna nedan är normer snarare än krav, men blir allt vanligare inom fält där replikeringsproblem varit mest synliga.

• Märk all analys som inte planerades i förväg som explorativ när den rapporteras
• Rapportera alla utfall som ursprungligen mättes, inklusive de som inte visade någon effekt
• Inkludera en tydligt markerad sektion för explorativa fynd när oväntade resultat är värda att rapportera
• Dela analyskod och data så att andra kan granska arbetet
• Rapportera uttryckligen alla avvikelser från en förhandsregistrerad plan och förklara varför

Dessa normer är inte en ersättning för förhandsregistrering eller Registered Reports. De är samma grundprincip tillämpad utan den formella processen: gör det svårare att dölja vad som förutspåddes och vad som upptäcktes.

HARKing-liknande problem inom data science och maskininlärning

Hittills har jag använt exempel från akademisk forskning. Samma grundläggande problem dyker upp i maskininlärning och data science också, vanligtvis under andra namn.

Den tydligaste parallellen är dataläckage. Inom maskininlärning uppstår läckage när information från testmängden påverkar träningen. Vanliga former inkluderar att välja eller konstruera features med hela datasetet före train-test-split, eller att trimma hyperparametrar genom att upprepade gånger kika på testmängdens prestanda. Resultatet blir en modell som ser bra ut på benchmark men fallerar i verklig användning, eftersom dess poäng delvis byggdes på data den inte borde ha sett.

Kapoor och Narayanan vid Princeton dokumenterade detta problem i hundratals studier inom områden från medicin till ekonomi. Parallellen till HARKing är direkt: det som testas har formats av samma data som det sedan mäts mot.

Läckage kommer in långt före modelevaluering. Bild av författaren.

ML-forskare beskriver också en praxis som ibland kallas Grad Student Descent eller SotA-hacking. Forskare kör många experiment tills modellen knappt slår det aktuella riktmärket, och skriver sedan artikeln som om den vinnande uppsättningen kom från en ren designargumentation. Detta är CHARKing tillämpat på en maskininlärningspipeline.

Post hoc-val av mått är samma mönster i en annan form: utvärdera en modell på flera mått och bestäm sedan efter att ha sett alla resultat vilket som ska presenteras som huvudmått. Det som ser ut som ett planerat metodval gjordes i efterhand.

En brasklapp: termen HARKing används sällan inom maskininlärning. Liknande problem diskuteras vanligtvis under reproducerbarhet, benchmark-spel och utvärderingsmetoder. Parallellen hjälper, men är fortfarande en analogi.

Slutsats

HARKing är lika mycket ett märkningsproblem som ett forskningsproblem. Ett post hoc-fynd kan vara hållbart, men att presentera det som a priori tar bort det läsarna behöver för att bedöma det.

Förhandsregistrering, Registered Reports och tydlig rapportering hjälper genom att synliggöra hypotesens timing. Inget av dessa är en fullständig lösning. Förhandsregistrering kan vara vag, och Registered Reports omfattar fortfarande bara en bråkdel av publicerad forskning.

För forskare och dataprofessionella är den praktiska regeln enkel: skriv ned vad du förutsåg innan du tittar på data, rapportera vad du fann och märk explorativa resultat som explorativa.

För mer om testningsdelen i det arbetsflödet, se vår kurs om Hypothesis Testing in Python.