HARKing uitgelegd: waarom hypotheses opstellen na resultaten onderzoek kan misleiden

Een klinische studie wordt afgerond. De primaire uitkomst blijkt nul, maar een subgroep reageert beter op de behandeling dan de controlegroep. Niemand had dat subgroepeffect voorspeld. Het stond niet in het protocol.

Daarna wordt het artikel herzien. De Inleiding presenteert het subgroepeffect alsof het vanaf het begin de onderzoekshypothese was. De mislukte primaire uitkomst verdwijnt naar de achtergrond. Tegen de tijd van peerreview leest de studie als een schone successtory.

Dit is HARKing: Hypothesizing After the Results are Known. Norbert Kerr muntte de term in 1998 voor gevallen waarin onderzoekers post-hoc-hypotheses presenteren alsof die vooraf waren vastgelegd. Soms wordt de oorspronkelijke hypothese herschreven. Soms weggelaten.

Exploratie is normaal. Het probleem is een exploratieve bevinding presenteren als een confirmatieve. Lezers verliezen het waarschuwingslabel: vroege aanwijzing, geen bewijs.

Wat is HARKing in onderzoek?

Kerrs oorspronkelijke definitie is nog steeds het duidelijkste vertrekpunt: HARKing treedt op wanneer een onderzoeker "een post hoc-hypothese... in een onderzoeksrapport presenteert alsof het in feite een a priori-hypothese was." Een a priori-hypothese wordt gevormd vóórdat gegevens worden verzameld. Een post hoc-hypothese ontstaat nadat de resultaten bekend zijn. Het probleem is het label, niet per se de analyse zelf.

Kerr beschreef ook een tweede vorm die minder aandacht krijgt: het weglaten van oorspronkelijke hypotheses die getest zijn en negatief uitpakten. Beide vormen verhullen wat er werkelijk gebeurde. Na verloop van tijd lijken theorieën nauwkeuriger dan ze zijn.

Typen HARKing

Onderzoekers kunnen HARKing in een paar typen opsplitsen.

• CHARKing (Constructing HARKing) ligt het dichtst bij wat de meeste mensen zich voorstellen. Een onderzoeker vindt een onverwacht significant resultaat, bouwt een nieuwe hypothese om het te verklaren en presenteert die hypothese als het startpunt van de studie. De theorie wordt passend gemaakt bij de data.
• SHARKing (Secretly HARKing) werkt anders. In plaats van een nieuwe hypothese te bouwen, verwijdert de onderzoeker bewijs dat een oorspronkelijke voorspelling is gedaan en gefaald. Het artikel lijkt alleen positieve resultaten te bevatten. Mislukte voorspellingen verdwijnen.
• THARKing (Transparent HARKing) is de uitzondering. Hollenbeck en Wright gebruikten deze term in 2017 voor post-hoc-hypotheses die duidelijk als exploratief gelabeld zijn. Lezers kunnen het resultaat dan beoordelen voor wat het is. Straks meer hierover.

Waarom onderzoekers aan HARKing doen

Publicatiebias is een drijver. Tijdschriften gaven vaak de voorkeur aan positieve, statistisch significante resultaten boven nulbevindingen. Wanneer aanstelling, financiering en de status van een vakgroep afhangen van publicatieaantallen en tijdschriftprestige, kan het rationeel lijken om data gunstiger te presenteren.

De druk komt niet altijd van de onderzoekers zelf. Passieve HARKing gebeurt wanneer redacteuren of reviewers auteurs vragen een studie te herframen rond een onverwachte bevinding, of om hypotheses te verwijderen die niet uitkwamen. Dat laat de onderzoeker met een lastige keuze achter.

Er is ook een onbewuste route. Achterafvertekening kan onderzoekers doen geloven dat ze een resultaat verwachtten dat ze niet verwachtten. Het geheugen vervaagt, en het post-hoc-verhaal vult het gat. Sommige gevallen zijn geen opzettelijke misleiding.

Enquêtes uit de psychologie geven enig idee van de omvang. John, Loewenstein en Prelec vonden dat ongeveer 27% van de psychologen zei te hebben beweerd een onverwachte bevinding vanaf het begin te hebben voorspeld. Een overzicht van meerdere enquêtes plaatste een of andere vorm van HARKing rond 43%. Dit zijn zelfgerapporteerde cijfers, dus mogelijk aan de lage kant.

HARKing vs. exploratief en confirmatief onderzoek

Hier kan het artikel makkelijk strenger klinken dan bedoeld. Exploratie is niet het probleem. De vraag is of het artikel exploratie behandelt alsof het een geplande toets was.

Exploratieve analyse

Exploratieve analyse is wat er gebeurt wanneer je naar data kijkt zonder een stevige voorafgaand verwachting over wat je zult vinden. Je bekijkt verdelingen, ziet patronen, vergelijkt variabelen en krijgt gevoel voor de dataset. Het doel is hypotheses genereren, niet ze testen.

Dit onderscheid vind ik nuttig omdat het de kritiek op de juiste plek houdt. Veel wetenschappelijke vooruitgang begint ermee dat iemand iets onverwachts opmerkt en besluit dat het een tweede blik verdient.

Confirmatieve analyse

Confirmatieve analyse is de testfase. Je begint met een specifieke voorspelling, gevormd vóórdat je de data ziet, voert de geplande statistische test uit en kijkt of de data de voorspelling ondersteunt. De hypothese kwam eerst. De data kwam daarna.

Wanneer een hypothese wordt gegenereerd door naar een dataset te kijken en vervolgens tegen diezelfde dataset wordt getest, is de test niet langer onafhankelijk. De hypothese is gevormd door dezelfde ruis in die steekproef.

Dat is de waarschuwing uit de inleiding in technischere termen: het label verandert, maar de test niet.

Goede tests plaatsen de hypothese vóór de data. Afbeelding door auteur.

De praktische regel: dezelfde dataset kan niet eerlijk dezelfde hypothese genereren én vervolgens testen.

Voorbeelden van HARKing

De voorbeelden hieronder zijn verzonnen scenario's, geen gedocumenteerde gevallen. Het gaat om het patroon, niet om het beschuldigen van een specifieke studie.

• Het psychologie-experiment: Een team test of mindfulness de cognitieve prestaties verbetert. Het hoofdeffect is niet significant, maar deelnemers boven de 50 laten een sterk positief effect zien. In het uiteindelijke artikel wordt de leeftijdsgroepbevinding de oorspronkelijke hypothese, en het nul-hoofdeffect een voetnoot.
• De marketinganalyse: Een bedrijf test of een loyaliteitsprogramma de aankoopfrequentie verhoogt. Het algehele effect is marginaal, maar recente leden laten een duidelijke toename zien. Het eindrapport presenteert die groep als de geplande focus, zonder te vermelden dat die achteraf is gevonden.
• De klinische trial: Een medische studie test een nieuw geneesmiddel op een vooraf gespecificeerde primaire uitkomst. Het middel presteert niet beter dan de controle, maar een secundaire biomarker verbetert. De studie wordt herzien om de biomarker als de primaire hypothese te framen. Zoals ik later behandel, is dit waarom trialregisters onderzoekers vragen primaire uitkomsten vast te leggen vóórdataverzameling.

Waarom HARKing onderzoeksbevindingen kan vertekenen

Het meest directe gevolg is een opgeblazen false-positivepercentage. Wanneer een hypothese wordt gevormd door te kijken naar dezelfde data die wordt gebruikt om haar te testen, toetst de statistische test geen onafhankelijke voorspelling. Ze toetst hoe goed een hypothese die is gevormd om bij de data te passen, bij de data past. Dat resultaat kan niet herhaalbaar zijn omdat het de ruis past, niet het signaal.

Kerr noemde in het oorspronkelijke artikel twaalf mogelijke kosten. Enkele springen eruit. HARKed-resultaten worden in theorie opgenomen alsof ze bevestigd zijn. Negatieve resultaten worden onderdrukt. Gepubliceerde werken gaan er schoner uitzien dan het onderzoeksproces feitelijk was.

Dorothy Bishop beschreef HARKing als een van de "vier ruiters van de reproduceerbaarheidsapocalyps", naast publicatiebias, lage statistische power en p-hacking. Geen van deze verklaart op zichzelf de staat van gepubliceerd onderzoek. Samen helpen ze verklaren waarom sommige bevindingen minder betrouwbaar zijn dan hun p-waarden doen vermoeden.

Hoe HARKing zich verhoudt tot de replicatiecrisis

De replicatiecrisis verwijst naar de vaststelling dat veel gepubliceerde resultaten niet kunnen worden gerepliceerd door onafhankelijke teams. In het Reproducibility Project: Psychology (2015) had 97% van de oorspronkelijke studies statistisch significante resultaten, maar slechts 36% van de replicaties.

Dat gat is waar HARKing kan uitmaken. Een studie rond een post-hoc-hypothese kan de ruis van één steekproef passen. In een nieuwe steekproef kan het effect krimpen of verdwijnen.

HARKing is een bijdragende factor, niet de oorzaak. Het staat naast p-hacking, publicatiebias, lage statistische power en kleine steekproeven. Mark Rubin heeft betoogd dat het bewijs voor HARKing als hoofdverklaring zwakker is dan vaak wordt gesteld. Dat standpunt is onderwerp van debat, dus ik houd de claim bescheiden: HARKing is een plausibel mechanisme, geen bewezen enige oorzaak.

Hoe dan ook, praktijken die de exploratieve aard van resultaten verbergen maken de literatuur minder betrouwbaar.

HARKing vs. p-hacking

Deze twee praktijken komen vaak samen voor in discussies over onderzoeksintegriteit. Ze zijn niet hetzelfde.

P-hacking manipuleert de analyse. Het betekent dataverzameling of analysekeuzes wijzigen totdat een statistisch significant resultaat verschijnt: stoppen zodra p onder 0,05 zakt, meerdere analyses proberen, uitbijters verwijderen of veel subgroepen testen zonder correctie. De hypothese blijft vast; de analyse buigt mee.

HARKing manipuleert juist de hypothese. De analyse kan standaard zijn. Wat verandert is wat het artikel claimt dat voorspeld was. De klinische trial uit de inleiding is een zuiver voorbeeld: de biomarkerbevinding was echt, maar het verhaal eromheen niet.

De Texas Sharpshooter-metafoor helpt de grens te trekken.

HARKing verplaatst doelen; p-hacking verbergt missers. Afbeelding door auteur.

Zoals eerder besproken, kunnen beide het aantal false positives opblazen. Beide kunnen ook voorkomen zonder bewuste intentie tot misleiding.

Hoe preregistratie en Registered Reports HARKing verminderen

De meeste oplossingen voor HARKing maken de timing van de hypothese zichtbaar. De twee belangrijkste benaderingen zijn preregistratie en Registered Reports.

Preregistratie

Preregistratie betekent dat je je onderzoeksvraag, hypotheses, studiedesign en geplande analyse vastlegt vóórdat er data wordt verzameld. Deze documenten gaan naar tijdgestempelde registers zoals de Open Science Framework (OSF), ClinicalTrials.gov of AsPredicted. Eenmaal geplaatst laten ze zien wat voorspeld was vóórdat de resultaten bekend waren.

Als de resultaten afwijken van het plan, moet die wijziging worden erkend, niet stilletjes gewist. Onverwachte resultaten kunnen nog steeds worden gerapporteerd, maar gelabeld als exploratief.

Preregistratie is geen complete oplossing. Veel preregistreerde studies wijken nog af van het oorspronkelijke plan, en vage registraties bieden minder bescherming. Er is ook een omweg genaamd PARKing, preregistreren nadat de resultaten al bekend zijn. Preregistratie maakt dat lastiger te verbergen, niet onmogelijk.

Registered Reports

Registered Reports gaan een stap eerder door het tijdschrift te betrekken vóórdataverzameling begint.

In een standaardtraject beoordelen redacteuren het afgeronde resultaat, waardoor positieve bevindingen vaak makkelijker gepubliceerd worden.

Registered Reports splitsen het proces in twee fasen. In Fase 1 beoordeelt het tijdschrift de onderzoeksvraag en methoden vóórdataverzameling. Bij acceptatie belooft het tijdschrift de resultaten te publiceren zolang het goedgekeurde plan wordt gevolgd. Fase 2 beoordeelt de resultaten en de naleving van het plan.

Review vindt plaats vóórdat de resultaten bekend zijn. Afbeelding door auteur.

Het effect zie je in het percentage positieve resultaten. Scheel, Schijen en Lakens vonden positieve resultaten in ongeveer 96% van traditionele tijdschriftartikelen, vergeleken met zo'n 44% van Registered Reports in dezelfde vakgebieden.

Meer dan 300 tijdschriften bieden inmiddels Registered Reports aan. Nature kondigde in juni 2026 aan dat het het format uitbreidt naar alle vakgebieden die het publiceert.

Transparante rapportagepraktijken

Niet elk onderzoeksdesign leent zich voor strikte preregistratie, en niet elk tijdschrift biedt Registered Reports. In die situaties kan helderdere rapportage het HARKing-risico alsnog verkleinen. De praktijken hieronder zijn normen in plaats van vereisten, maar worden steeds gebruikelijker in velden waar replicatieproblemen het duidelijkst waren.

• Label elke analyse die niet vooraf gepland was als exploratief bij de rapportage
• Rapporteer alle uitkomsten die oorspronkelijk zijn gemeten, inclusief die geen effect lieten zien
• Neem een duidelijk gemarkeerde sectie met exploratieve bevindingen op wanneer onverwachte resultaten het rapporteren waard zijn
• Deel analysecodes en data zodat anderen het werk kunnen controleren
• Rapporteer elke afwijking van een preregistreerd plan expliciet en met een toelichting

Deze normen vervangen preregistratie of Registered Reports niet. Het is hetzelfde basisprincipe zonder het formele proces: maak het lastiger te verbergen wat voorspeld was en wat ontdekt werd.

HARKing-achtige problemen in data science en machine learning

Tot nu toe heb ik voorbeelden uit academisch onderzoek gebruikt. Hetzelfde basisprobleem duikt ook op in machine learning en data science, meestal onder andere namen.

De duidelijkste parallel is datalekken (data leakage). In machine learning treedt leakage op wanneer informatie uit de testset de training beïnvloedt. Veelvoorkomende vormen zijn het selecteren of engineeren van features met de volledige dataset vóór de train-test-split, of het afstemmen van hyperparameters door herhaaldelijk te gluren naar de testsetprestatie. Het resultaat is een model dat goed lijkt op de benchmark maar faalt in het echt, omdat de score deels is gebouwd op data die het niet had mogen zien.

Kapoor en Narayanan van Princeton documenteerden dit probleem in honderden studies in velden van geneeskunde tot economie. De parallel met HARKing is direct: het getoetste object is gevormd door dezelfde data waartegen het vervolgens wordt gemeten.

Leakage sluipt lang vóór de modelevaluatie binnen. Afbeelding door auteur.

ML-onderzoekers beschrijven ook een praktijk die soms Grad Student Descent of SotA-hacking wordt genoemd. Onderzoekers draaien veel experimenten totdat het model de huidige benchmark nipt voorbijstreeft, en schrijven dan het artikel alsof de winnende setup uit een zuiver ontwerpargument voortkwam. Dit is CHARKing toegepast op een machinelearning-pijplijn.

Post-hoc-metriekselectie is hetzelfde patroon in een andere vorm: evalueer een model op meerdere metriekken, en besluit na het zien van alle resultaten welke je als primaire maat presenteert. Wat lijkt op een geplande methodenkeuze is achteraf gemaakt.

Eén kanttekening: de term HARKing zelf wordt zelden gebruikt in machine learning. Soortgelijke problemen worden meestal besproken onder reproduceerbaarheid, benchmarkgaming of evaluatiemethoden. De parallel helpt, maar het blijft een analogie.

Conclusie

HARKing is net zo goed een labelprobleem als een onderzoeksprobleem. Een post-hoc-bevinding kan solide zijn, maar die als a priori presenteren haalt weg wat lezers nodig hebben om haar te beoordelen.

Preregistratie, Registered Reports en duidelijke rapportage helpen allemaal door de timing van de hypothese zichtbaar te maken. Geen daarvan is een volledige oplossing. Preregistratie kan vaag zijn, en Registered Reports dekken nog maar een fractie van het gepubliceerde onderzoek.

Voor onderzoekers en dataprofessionals is de praktische regel simpel: schrijf op wat je voorspelde vóórdat je naar de data kijkt, rapporteer wat je vond en label exploratieve resultaten als exploratief.

Voor meer over de testkant van die workflow, zie onze cursus Hypothesis Testing in Python.