P-hacken: hoe (niet) met de p-waarde te knoeien

Als je ooit met inferentiële statistiek hebt gewerkt, vooral met hypothesetoetsen en regressie, ben je waarschijnlijk al eens kennisgemaakt met de p-waarde. En als je ooit met p-waarden hebt gewerkt, weet je waarschijnlijk, of heb je op z'n minst een vermoeden, dat p-waarden kwetsbaar zijn en gemanipuleerd kunnen worden—en dat klopt.

Sterker nog, deze manipulatie heeft zelfs een eigen naam: p-hacken. Soms wordt het ook wel data dredging, data snooping, data fishing en inflatiebias genoemd. Daar duiken we in dit artikel in.

Wat is een p-waarde?

Laten we eerst kort ons geheugen opfrissen over wat een p-waarde is. De ‘p’ in p-waarde staat voor kans (probability). Concreet is de p-waarde de kans om resultaten te observeren die minstens zo extreem zijn als de verkregen resultaten, ervan uitgaande dat de nulhypothese waar is. Deze onterechte verwerping wordt ook wel een Type I-fout genoemd, of de vals-positieve fout. Meestal wordt de p-waarde berekend om die te vergelijken met het significantieniveau (aangeduid als α), wat de geaccepteerde kans is om de nulhypothese te verwerpen wanneer die waar is. 

Logischerwijs geldt: als de p-waarde groter is dan het significantieniveau, verwerpen we de nulhypothese niet en houden we daaraan vast. Is de p-waarde kleiner dan of gelijk aan het significantieniveau, dan kunnen we de nulhypothese verwerpen ten gunste van de alternatieve hypothese; in dat geval zeggen we dat de resultaten statistisch significant zijn.

Als iets uit deze korte opfrissing over p-waarden je niets zegt, geen zorgen! Volg onze theoretische cursus Introduction to Statistics en krijg snel grip op de nodige basisprincipes.

Introductie tot p-hacken

“Statistisch significante” resultaten behalen klinkt als succes en is dus verleidelijk. In het bedrijfsleven betekent het dat je iets nieuws, interessants of wenselijks te melden hebt. In de academische wereld heb je iets ontdekt, en dat kan vervolgens in tijdschriften worden gepubliceerd.

Omdat dit de sleutel is tot al die opwinding, zijn data-professionals en onderzoekers geneigd zich te veel te focussen op de p-waarden van hun studies en verder niets mee te nemen—zelfs het significantieniveau niet. En omdat het meest gebruikelijke significantieniveau al decennialang 0,05 is, is het een makkelijke conventie geworden om meteen de vlag uit te hangen als je een p-waarde onder de 0,05 behaalt.

Daardoor vervallen sommige onderzoekers in p-hacken—soms bewust, maar meestal onbewust—door methoden toe te passen die de p-waarde omlaag brengen tot statistische significantie, in gevallen waarin een juiste toetsing anders had uitgewezen.

Hoe p-hacken werkt

Opzettelijk of niet, er zijn veel manieren waarop het mis kan gaan en die tot p-hacken leiden. De methoden die tot p-hacken leiden, kun je p-hacks noemen, en ze kunnen in elke fase van een experiment voorkomen.

In hun boekhoofdstuk The Myriad Forms of p-Hacking geven Dorota Reis en Malte Friese een niet-uitputtende lijst van p-hacks in de verschillende fasen van experimenten, van dataverzameling tot en met rapportage, weergegeven in de onderstaande grafiek.

Voorbeelden van p-hacks. Bron: Avoiding Questionable Research Practices in Applied Psychology.

Laten we van links naar rechts bekijken wat elk onderdeel betekent:

• Optioneel stoppen: stoppen met dataverzameling zodra de verzamelde individuen tot een significante p-waarde leiden, en niet wanneer de vereiste steekproefomvang is bereikt.
• Aanvullende data verzamelen: dit is een uitbreiding van de vorige praktijk. Meer data verzamelen kan soms de p-waarde verlagen wanneer er geen echt onderliggend effect is.
• Distributies transformeren: transformatie kan noodzakelijk zijn in data-preparatie, maar als meerdere transformaties worden geprobeerd en uiteindelijk die gekozen wordt die tot een significante p-waarde leidt, is dat een p-hack.
• Selectief outliers uitsluiten: net als transformatie is het omgaan met uitschieters essentieel in data-preparatie en zijn er verschillende methoden voor detectie en uitsluiting. Als de methode die tot statistische significantie leidt wordt uitgepikt, is dat een p-hack.
• Meerdere analysemethoden proberen: verschillende soorten toetsen uitvoeren en degene kiezen die tot een significant resultaat leidt.
• Meervoudig modelleren: verschillende modelleerkeuzes voor variabelen proberen en de keuze van theoretische onderbouwing negeren om een significant resultaat te krijgen, is ook een p-hack.
• Post-hoc vervanging: een set datapunten of condities vervangen of negeren die tot een grotere p-waarde leiden, hetzij over meerdere toetsrondes, hetzij bij de rapportage van de resultaten.
• Een p-waarde afronden: dit is de meest doorzichtige p-hack; hierbij wordt de p-waarde afgerond wanneer die net boven het significantieniveau ligt. Zo wordt niet eens echt een gemanipuleerd significant resultaat bereikt, maar lijkt het daar alleen op.

Let op dat de meeste p-hacks afhankelijk zijn van het herhaald uitvoeren van het experiment, waarbij telkens gesleuteld wordt aan wat eigenlijk vooraf vastgelegd had moeten zijn. 

Maar zelfs zonder dat gesleutel kan het herhaald uitvoeren van hetzelfde experiment en alleen rapporteren wanneer het resultaat significant is, al een p-hack zijn. Er is immers altijd een kans dat een experiment, als je het maar vaak genoeg draait, op enig moment een lage p-waarde oplevert. De onderstaande strip van xkcd illustreert dit idee.

“Significant”-strip. Bron: xkcd.

Voorbeelden uit de praktijk van p-hacken

P-hacken is een wijdverbreid fenomeen. Begin jaren 2010 begonnen veel reviewstudies te ontdekken dat een groot deel van het onderzoek dat in gerespecteerde tijdschriften uit diverse vakgebieden wordt gepubliceerd, waarschijnlijk p-gehackt is—vooral in de psychologie en geneeskunde, maar ook in sociale en geesteswetenschappen.

Zo bleek in 2015 uit een studie onder leiding van een onderzoeker aan de University of Virginia die 100 psychologiestudies uit topbladen uit 2008 herbeoordeelde, dat minder dan de helft van die studies repliceerbaar was. Het gebrek aan reproduceerbaarheid betekent dat studies bij herhaling niet tot hetzelfde resultaat leiden—soms door p-hacken.

Een ander project dat kankeronderzoek onderzocht, ontdekte dat slechts 50 van de 193 experimenten repliceerbaar zijn. Nog eerder, in 2009, merkte een studie een verdacht aantal experimenten in de neurowetenschappen op die ongewoon hoge correlaties rapporteerden tussen emoties, persoonlijkheid, sociale cognitie en hersenactiviteit via fMRI. Na een enquête onder de auteurs bleek dat zij vertrouwden op een strategie waarbij selectief subsets van data werden gekozen en diegene werd gerapporteerd die een significant resultaat opleverde—een p-hack vergelijkbaar met wat we post-hoc vervanging noemden.

De bevindingen van deze reviews toonden aan hoe p-hacken, naast andere dubieuze onderzoeksmethoden, de basis van lang gerespecteerd wetenschappelijk onderzoek ondermijnt. Een crisis die de repliceerbaarheidscrisis wordt genoemd, die nog steeds voortduurt te midden van vele discussies en pogingen om eruit te komen.

Waarom p-hacken onethisch is

Waarom is p-hacken eigenlijk een probleem?

“P-hacking makes you a wizard”. Bron: SMBC Comics.

De vraag lijkt misschien te voor de hand liggend om te beantwoorden, maar het uitsplitsen van de redenen waarom p-hacken fout en onethisch is, helpt ons het “belang” van dit gefingeerde significantieprobleem beter te begrijpen.

Simpelweg manipulatief

P-hacken is in de kern niets anders dan het manipuleren van de methodologie of de resultaten. Als het bewust gebeurt, is het simpelweg liegen zonder ander doel dan eigenbelang (zoals publicatie of erkenning). Als het onbewust gebeurt, is het alsof je de verkeerde afslag neemt en uiteindelijk uitkomt bij een luchtspiegeling van vals-positieven.

Het kan leiden tot verkeerde beslissingen en rampzalige gevolgen

Experimenten—zowel in de wetenschap als in het bedrijfsleven—hebben gevolgen. Ze worden uitgevoerd om beslissingen te nemen of om verder te bouwen op hun resultaten. Als resultaten gefabriceerd zijn, missen daaropvolgende beslissingen een fundament, wat soms rampzalige consequenties kan hebben.

Onderzoek in gevoelige domeinen als oncologie en neurologie kan gezamenlijk bijdragen aan de ontwikkeling van behandelingen en medicijnen. Het zou een ramp zijn als een deel van het funderende onderzoek gemanipuleerd was.

In het bedrijfsleven kunnen verkeerde beslissingen vele kanten opgaan: van het lanceren van een mislukte product, tot het uitputten van middelen, tot iemand ontslaan, tot faillissement. Een simpele p-hack kan een vlindereffect veroorzaken.

Het ondermijnt het vertrouwen in de wetenschappelijke methode

De repliceerbaarheidscrisis heeft geleid tot brede scepsis tegenover de wetenschap als geheel, zelfs zichtbaar in politieke discussies. Kritisch nadenken is altijd nuttig, ook bij wetenschappelijke bevindingen, maar het afwijzen van elke empirische bevinding kan leiden tot een wanhopige onwetendheid en ongefundeerde beslissingen.

In het bedrijfsleven, op kleinere schaal, kunnen p-hacken en vergelijkbare twijfelachtige praktijken ervoor zorgen dat leiders terugkeren van datagedreven beslissingen naar louter gevoel en intuïtie—precies het tegenovergestelde van wat data science als geheel belooft en daadwerkelijk kan waarmaken.

Het zet de cumulatieve aard van kennis op losse schroeven

Menselijke kennis is gebaseerd op haar cumulatieve aard. Elk klein experiment is een bouwsteen die de weg effent voor een groter kennisgebouw. Wanneer steeds meer van die bouwstenen wankel worden door twijfelachtige praktijken als p-hacken, komt die opbouw in het geding. Zelfs het eenvoudige zoeken naar eerdere literatuur om op voort te bouwen, wordt een hachelijke missie—als door een mijnenveld lopen.

Rode vlaggen en p-hacken herkennen

Gebaseerd op wat we nu weten over p-hacken en de bijbehorende methoden, kunnen we enkele rode vlaggen afleiden die helpen p-hacks te detecteren. De meeste vereisen nog steeds een nieuwsgierige geest, kritisch denken en een alerte blik. Sommige vragen zelfs om uitgebreide domeinkennis.

Overdreven sensationele resultaten

Sensationele resultaten zijn vaak te mooi om zonder meer te geloven. Studies die door pers en social media worden opgepikt en dingen roepen als “chocolade leidt tot gewichtsverlies”, klinken simpelweg niet als feiten om klakkeloos over te nemen. 

In het bedrijfsleven geldt iets soortgelijks voor een test die 100% winststijging belooft door een kleine wijziging op een website. 

Bij zulke studies—als ze voor jou relevant zijn—altijd de methodologie en resultaten dubbelchecken voordat je de bevindingen accepteert.

Gebrek aan transparantie in de methodologie

Wees op je hoede bij experimenten die onduidelijk zijn over hun methodologie of bepaalde onderdelen niet vermelden. Openheid over de initiële hypothesen, het significantieniveau, de steekproefgrootte, de verzamelde variabelen, het type toets en de stappen in data-preparatie is cruciaal. Onduidelijkheid over een van deze onderdelen is een rode vlag.

Onnodige datatransformatie

Als de data-preparatie transformaties van variabelen omvat, controleer dan de reden—de rechtvaardiging moet worden vermeld. Als die ontbreekt of niet overtuigt, kan dat een directe aanwijzing zijn voor p-hacken.

Ongejustifyeerde kleine steekproef

Een kleine steekproef verkleint de statistische power van de studie en vergroot het risico op vals-negatieven. Maar in combinatie met selectieve rapportage of p-hacken kan een lage power ook bijdragen aan een hogere kans op vals-positieve bevindingen in de literatuur.

In sommige domeinen zijn kleine steekproeven acceptabel en gangbaar, zoals in klinisch onderzoek, milieustudies, engineering en kwaliteitscontrole. Maar in het algemeen geldt: grotere steekproeven leiden tot betere inferentie en dus minder kans op vals-positieven en onjuiste significante p-waarden. 

Als een kleine steekproef in elk geval niet wordt onderbouwd, kan dit duiden op een gebrek aan statistische power, wat het risico op vals-positieve bevindingen vergroot. In sommige gevallen kan het ook wijzen op vroegtijdig stoppen—de p-hack die ik eerder noemde—waarbij de dataverzameling stopt zodra significantie is bereikt in plaats van bij de geplande steekproefgrootte.

Onduidelijke effectgrootte

De effectgrootte meet de sterkte of omvang van de relatie tussen variabelen en geeft context aan de statistische significantie. Als een studie wel significantie rapporteert maar geen duidelijke of betekenisvolle effectgrootte, wekt dat argwaan. 

Een p-waarde kan aangeven dat het resultaat onwaarschijnlijk op toeval berust, maar zonder effectgrootte is het lastig de praktische relevantie te duiden. Bij p-gehackte studies kan onduidelijkheid over de effectgrootte erop wijzen dat onderzoekers zich te veel hebben gericht op statistische significantie, los van andere overwegingen

Inconsistentie tussen hypothese en resultaat

Wanneer de resultaten van een studie sterk afwijken van de oorspronkelijke hypothese, moeten de alarmbellen gaan rinkelen. Dit kan erop wijzen dat onderzoekers hun hypothese of methode na het verzamelen van data hebben aangepast om bij de resultaten te passen—een praktijk die bekendstaat als HARKing (Hypothesizing After Results are Known). 

Als een experiment bijvoorbeeld zegt een specifieke hypothese te hebben getoetst, maar de uiteindelijke analyse zich richt op niet-gerelateerde variabelen of uitkomsten, kan dat op p-hacken wijzen. Vergelijk altijd de gestelde hypothese met de eindresultaten om te zien of die in lijn zijn.

Ongewoon grote effectgrootte

Een ongewoon grote effectgrootte kan een rode vlag zijn voor p-hacken. In veel gevallen zijn echte effecten klein tot middelgroot, zeker in psychologie, geneeskunde en sociale wetenschappen. Net als bij steekproefgrootte vraagt het inschatten van plausibele effectgroottes om veel domeinkennis.

Als een studie een uitzonderlijk grote effectgrootte rapporteert, kan dat erop duiden dat data selectief is gemanipuleerd of dat de steekproef op een of andere manier bevooroordeeld is. Onderzoekers kunnen bewust of onbewust data uitsluiten die de effectgrootte zou verlagen om hun bevindingen indrukwekkender te laten lijken dan ze zijn (de post-hoc vervangingshack).

Een p-waarde net onder het significantieniveau

Wanneer de gerapporteerde p-waarde net onder de drempel ligt (bijv. p = 0,049 bij een grens van p < 0,05), kan dat duiden op p-hacken. 

Door herhaald toetsen of sleutelen aan variabelen kan toeval ertoe leiden dat een resultaat net de drempel haalt. Een patroon van resultaten dat steeds net onder de grens zweeft, kan erop wijzen dat men stopte met dataverzameling zodra het gewenste resultaat was bereikt (vroegtijdig stoppen) of selectief analyses rapporteerde (post-hoc vervanging).

Niet-repliceerbaarheid

Een van de sterkste indicatoren van p-hacken is wanneer bevindingen niet te repliceren zijn. Als onafhankelijke onderzoekers de resultaten niet kunnen reproduceren met dezelfde methodologie, kan dat erop duiden dat de oorspronkelijke bevindingen het gevolg waren van p-hacken of selectieve rapportage. 

Repliceerbaarheid is een hoeksteen van wetenschappelijke integriteit; resultaten die niet consequent kunnen worden herhaald, wijzen op een gebrekkige of gemanipuleerde analyse.

Groene vlaggen en p-hacken voorkomen

Door de bovenstaande rode vlaggen om te draaien, komen we ook op manieren om p-hacken te voorkomen. Deze manieren zijn het afgelopen decennium al opgekomen in het wetenschappelijke discours als reactie op de repliceerbaarheidscrisis.

Statistische kennis

Een gedegen begrip van statistische principes is essentieel om p-hacken te voorkomen. Met de juiste kennis zijn analisten beter in staat valkuilen te vermijden, zoals het verkeerd interpreteren van p-waarden of het onjuist omgaan met multiple comparisons.

Bijvoorbeeld: bij A/B-testen voor een websitefeature begrijpt een goed geïnformeerde analist dat de p-waarde niet het einddoel is. Zelfs als de test een lage p-waarde oplevert, kan de effectgrootte nog steeds te klein zijn en dus zonder praktische betekenis. Het verschil tussen statistische en praktische significantie begrijpen helpt analisten om niet te veel op de p-waarde te focussen—wat kan leiden tot p-hacks—en verkleint zo de kans op manipulatie richting een gunstiger uitkomst.

Pre-registratie

Pre-registratie in wetenschappelijk onderzoek houdt in dat je het onderzoeks- of testplan—waaronder hypothesen, methoden en analysetechnieken—vastlegt vóórdat je data verzamelt. Dit voorkomt p-hacken door beslissingen over de analyse vooraf te borgen, waardoor achteraf sleutelen om een significant resultaat te behalen lastiger wordt.

In het bedrijfsleven kun je iets soortgelijks doen op teamniveau. Voordat je bijvoorbeeld een experiment uitvoert om de impact van een nieuw prijsmodel te meten, kan het team de hypothese vooraf documenteren en intern delen, met specificatie van de te testen variabelen (bijv. omzet, klantacquisitieratio), het significantieniveau en de steekproefgrootte. Zo blijft het team bij het oorspronkelijke plan en wordt de analyse niet achteraf aangepast, waarmee post-hoc vervanging en cherry-picking van gunstige data wordt voorkomen.

Open science-praktijken

Open science betekent data, methoden en analyses beschikbaar maken zodat anderen die kunnen beoordelen en repliceren. In het bedrijfsleven wordt de term misschien niet letterlijk gebruikt, maar vergelijkbare transparantiepraktijken zijn belangrijk voor de integriteit van analyses.

Zo kan een bedrijf dat een marktanalyse uitvoert, de ruwe data en analysestappen intern delen met andere teams, auditors of betrokken stakeholders, of ze systematisch documenteren voor toekomstige replicaties. Deze transparantie ontmoedigt p-hacken, omdat iedereen kan controleren op discrepanties of fouten in de methodologie. Openheid over methoden en resultaten bevordert verantwoordelijkheid en helpt om conclusies te baseren op solide, reproduceerbare data.

Keuzes in data-preparatie en transformatie onderbouwen

Stappen in data-preparatie en -transformatie moeten altijd goed onderbouwd zijn. Zonder duidelijke motivatie kunnen het verwijderen van uitschieters of het transformeren van variabelen worden misbruikt om resultaten te manipuleren en een vals narratief te creëren.

Wanneer je bijvoorbeeld klanttransactiedata analyseert, kan een analist bepaalde datapunten (bijv. extreme uitschieters) uitsluiten die niet in het model lijken te passen. Zonder geldige reden—zoals aantonen dat het echte anomalieën zijn en geen deel van de normale verdeling—kan dit een vorm van p-hacken zijn. Om dit te voorkomen, moet elke stap (zoals specifieke perioden uitsluiten of logtransformaties toepassen) expliciet in het analyserapport worden gemotiveerd voor transparantie.

De effectgrootte vermelden en meenemen

Naast statistische significantie is het cruciaal om effectgroottes te rapporteren en te interpreteren. Zo zorg je dat resultaten ook praktisch betekenisvol zijn en niet alleen significant lijken door een grote steekproef.

In het bedrijfsleven: stel dat een nieuwe productbeschrijving de conversie met 0,5% verhoogt en dat bij een grote steekproef statistisch significant is. Zonder context kan dit verkeerd geïnterpreteerd worden als betekenisvol. Door te focussen op de effectgrootte en te vragen of 0,5% de kosten van het aanpassen van alle beschrijvingen rechtvaardigt, voorkom je dat beslissingen uitsluitend op p-waarden worden gebaseerd.

Meerdere runs toestaan, maar met correctiemethoden

We zeiden dat dezelfde toets (of verschillende toetsen) herhaald uitvoeren op dezelfde data toevallig tot een significant resultaat kan leiden, en dat dit daarom een p-hack is. Maar meerdere keren dezelfde toets doen kan ook nuttig zijn—mits (en alleen mits) je correctiemethoden toepast die statistisch corrigeren voor het feit dat er meerdere vergelijkingen worden gemaakt. De twee meest gebruikte correcties zijn de Bonferroni-correctie en de Benjamini-Hochberg-(BH-)procedure.

Bonferroni houdt in dat je de p-drempel (het significantieniveau) naar beneden bijstelt door die te delen door het aantal uitgevoerde toetsen. Hoewel dit effectief het aantal vals-positieven vermindert, kan het te conservatief zijn en zo de kans op vals-negatieven verhogen. 

De BH-procedure daarentegen is een methode om de False Discovery Rate (FDR) te beheersen en zo een balans te vinden tussen de twee fouttypen. Kort gezegd: de BH-procedure rangschikt eerst alle p-waarden van klein naar groot. Elke p-waarde wordt vergeleken met een drempel die toeneemt met de rang. De grootste p-waarde die nog onder de drempel ligt, wordt geïdentificeerd; alle p-waarden tot dat punt gelden als significant.

In een bedrijfscontext—bij meerdere versies van een landingspagina—is de verleiding groot om veel A/B-tests te draaien en te stoppen zodra één versie significant beter lijkt. Pas dan correcties toe voor de veelvoud aan toetsen. Zo zorg je dat significante bevindingen niet enkel het gevolg zijn van herhaald testen.

Niet-significante resultaten ook meenemen

Tot slot is het belangrijk om niet-significante resultaten te erkennen en te rapporteren in plaats van ze te negeren. In de wetenschap klinkt steeds vaker de oproep om experimenten met niet-significante resultaten te publiceren, mits ze een rigoureus vooraf geregistreerde methodologie volgen—want de vondst van geen vondst kan nog steeds een vondst zijn! In het bedrijfsleven geldt vergelijkbare wijsheid.

Als een marketingcampagne bijvoorbeeld de verkoop niet significant beïnvloedt, moet een bedrijf dit toch rapporteren en meenemen. Het levert waardevolle informatie op en voorkomt scheve rapportage die tot ongefundeerde beslissingen kan leiden. Openheid over niet-significante resultaten draagt bij aan eerlijkere analyses en voorkomt de verleiding om data te manipuleren om succes te tonen.

Conclusie

In dit artikel hebben we uitgebreid de wereld van p-hacken verkend, waarin de p-waarde kwetsbaar kan zijn voor manipulatie. We bekeken diverse p-hacks, hoe je ze kunt herkennen en hoe je ze kunt voorkomen.

Zoals je ziet, en zoals genoemd, vergt bewustzijn rond p-hacken een sterke statistische basis. Die kun je opbouwen via onze verschillende cursussen over statistiek, zoals onze theoretische Introduction to Statistics, of onze praktische Introduction to Statistics in Google sheets, Introduction to Statistics in Python en Introduction to Statistics in R.