Paradox van Simpson: voorkom dat je je door de data laat misleiden

Ik vond de paradox van Simpson super verwarrend toen ik er op de universiteit voor het eerst over leerde. Ik wist bijna niet waar ik naar keek. Daar was het, een trend op hoog niveau, en het verhaal leek duidelijk genoeg. Maar toen ik de onderliggende groepen uit elkaar haalde, keerde de trend om.

Mijn eerste gedachte was iets als: ‘Nou, blijkbaar kun je statistiek niet vertrouwen.’ Maar inmiddels heb ik wat studie gedaan en ik ben blij te kunnen zeggen dat ik statistiek weer vertrouw. Als je net zo in de war bent als ik toen, lees dan verder. Ik help je begrijpen wat er gebeurt. 

Wat is de paradox van Simpson?

Een ervaren data-analist leert al snel om sceptisch te zijn over brede trends. Dat komt omdat een simpel gemiddelde iets complexers kan verhullen dat óók waar is in de data. Bij de paradox van Simpson is dat ‘iets anders’ behoorlijk opmerkelijk: de geaggregeerde data verdoezelen de feiten niet alleen, ze wijzen zelfs op de precies tegengestelde conclusie.

Met andere woorden, de paradox van Simpson doet zich voor wanneer een trend binnen afzonderlijke groepen zichtbaar is, maar verdwijnt of volledig omslaat wanneer die groepen worden samengevoegd. Het is een scherpe herinnering dat naar het grote geheel kijken zonder de delen te begrijpen je in de problemen kan brengen.

Een voorbeeld van de paradox van Simpson

Dit laat zich het best zien met een voorbeeld. Ik begin met iets eenvoudigs en wijs daarna op bekende casussen die je zelf kunt bestuderen. 

Stel je een studie voor die de slagingspercentages van twee bodemtypes voor boomgroei vergelijkt: bodem A en bodem B. Als we naar boomgroei per bodemtype kijken, lijken de resultaten duidelijk:

• Voor bomen in koele klimaten (Groep 1) heeft bodem A een beter resultaat.
• Voor bomen in warme klimaten (Groep 2) doet bodem A het nog steeds beter.

Op basis hiervan lijkt bodem A de duidelijke winnaar. Maar zodra we alle data combineren, verschijnt de paradox: dan blijkt dat bodem B over het geheel genomen juist effectiever is.

Voor het geval je me niet gelooft, hier zijn de cijfers:

Boomgroei in koele klimaten

In koele klimaten ondersteunt bodem A snellere groei.

Boomgroei in warme klimaten

In warme klimaten presteert bodem A nog steeds beter, al is het verschil kleiner.

Maar als je alle bomen samenneemt

Nu zien we dat bodem B over het geheel genomen beter is, ook al presteert bodem A in beide klimaten beter. 

Hoe kan dat? Het antwoord is een verstorende variabele: een verborgen factor die zowel de bestudeerde groepen als de uitkomst beïnvloedt. In dit geval is het klimaat de verstorende factor. 

Concreet zouden we moeten zeggen dat: 

• Bodem A vaker wordt gebruikt in koelere klimaten, waar alle bomen langzamer groeien, ongeacht de bodem.
• En bodem B vaker wordt gebruikt in warmere klimaten, waar bomen over het algemeen sneller groeien.

Het klimaat beïnvloedt dus de groeisnelheid én het is ook ongelijk verdeeld over de bodemgroepen.

Klassieke voorbeelden van de paradox van Simpson 

De paradox van Simpson wordt vaak bestudeerd aan de hand van specifieke historische casussen die goed laten zien wat er gebeurt.

Een beroemd voorbeeld komt uit de toelatingen van UC Berkeley in de jaren 70. In eerste instantie leek het erop dat vrouwen minder vaak werden toegelaten dan mannen. Maar uitgesplitst per faculteit bleek dat de meeste faculteiten vrouwen even vaak of vaker toelieten. De verstorende factor was de keuze van faculteit: vrouwen solliciteerden vaker naar competitieve faculteiten met lagere totale toelatingspercentages, terwijl mannen vaker kozen voor minder competitieve.

Een andere casus is een studie uit 1986 naar behandelingen van nierstenen. Over het geheel genomen leek een minder invasieve methode effectiever. Maar uitgesplitst naar steengrootte had de invasievere operatie hogere slagingspercentages voor zowel kleine als grote stenen. De verstorende factor hier was de ernst van de casus: de lastigere gevallen gingen naar de operatie, waardoor de totale cijfers daarvan slechter leken.

In beide gevallen gaf de gecombineerde data een verkeerd beeld. Pas na uitsplitsing kwam de waarheid naar boven.

Waardoor ontstaat de paradox van Simpson?

Bij de paradox van Simpson kloppen de cijfers zowel voor de gecombineerde als de afzonderlijke groepen. Er is dus geen enkele rekenfout. Het probleem is interpretatie. Het test ons vermogen om alle feiten scherp te houden. 

Om je te helpen begrijpen — en ik hintte hier net al op — de paradox van Simpson treedt op wanneer aan twee voorwaarden is voldaan:

1. Er is een verstorende variabele aanwezig: er is een derde factor die samenhangt met zowel de onafhankelijke variabele als de uitkomst.
2. De groepen zijn uit balans: in ons bomenvoorbeeld werd bodem A vaker gebruikt in koelere klimaten, waar bomen over het algemeen langzamer groeien. Bodem B werd vaker gebruikt in warmere klimaten, waar groei sneller is. Deze scheefheid vertekent het gecombineerde gemiddelde en veroorzaakt de omkering.

Wat kun je doen aan de paradox van Simpson

Dit is misschien wel het belangrijkste: hoe verdedig je je in je eigen analyse tegen de paradox van Simpson, zodat die niet per ongeluk opduikt, en als dat wel gebeurt, welke versie van de gebeurtenissen moet je dan rapporteren? 

Wat je van tevoren doet

Misschien is de paradox van Simpson het best te tackelen vóórdat die je conclusies kan vertekenen. Dat betekent een paar gedisciplineerde gewoontes ontwikkelen:

• Segmenteer je data: vertrouw niet op gemiddelden op hoofdlijnen. Splits de data in relevante subgroepen, zoals leeftijd, regio, producttype of ernst, en controleer of de trend binnen die segmenten standhoudt.
• Zoek naar verstorende variabelen: vraag jezelf altijd af: Wat zou deze uitkomst nog meer kunnen beïnvloeden? Zoek naar factoren die mogelijk ongelijk over je groepen zijn verdeeld, vooral die je kent vanuit je domeinkennis.
• Onthoud dat correlatie geen causaliteit is: het feit dat een trend in het geheel zichtbaar is, betekent niet dat er sprake is van een echte oorzaak-gevolgrelatie. De paradox van Simpson verschijnt vaak wanneer een oppervlakkige correlatie een dieperliggende scheefheid of meerdere scheefheden maskeert.
• Sta op context: weet waar je data vandaan komen en wat die kan vormen. De verzamelmethode, de aard van de subjecten en externe invloeden doen er allemaal toe.

Wat je doet als het optreedt

Als de paradox van Simpson optreedt, geen paniek. Dat is je signaal om wat beter te gaan kijken:

• Onderzoek de scheefheid. Wat is ongelijk verdeeld over de groepen? Dat is waarschijnlijk je verstorende factor.
• Rapporteer beide weergaven, maar geef prioriteit aan duidelijkheid. Het is prima om ook het geaggregeerde resultaat te tonen, maar leg dan wel uit waarom dat misleidend is en benadruk de gedesaggregeerde analyse die het echte patroon beter weergeeft.
• Laat je doel je rapportage sturen. Als je beleidsbeslissingen neemt of operationele veranderingen doorvoert, wil je meestal handelen op basis van inzichten op subgroepniveau, niet op samengevoegde totalen.

Vraag je je af of één versie van de resultaten “beter” is — de geaggregeerde of de gedesaggregeerde versie? Weet dan dat er geen one-size-fits-all-antwoord is. Dat gezegd hebbende, denk ik dat de gedesaggregeerde analyse doorgaans betrouwbaarder is wanneer er verstoring aanwezig is. De gedesaggregeerde (gegroepeerde) bevindingen zijn meestal informatiever omdat ze laten zien hoe een variabele zich gedraagt onder verschillende omstandigheden of in verschillende contexten, terwijl de geaggregeerde bevindingen misleidend kunnen zijn als er een verstorende variabele is die zowel de groepering als de uitkomst beïnvloedt. Wat het meest telt, is begrijpen waarom de omkering plaatsvindt en dat helder communiceren in je rapportage.

Conclusie

De paradox van Simpson is een geweldige les in de kunst van datainterpretatie. Het vermogen om voorbij een misleidend totaal te kijken en te vragen: "Wat mis ik?" is kenmerkend voor een volwassen analist. Het is de vaardigheid die iemand die alleen cijfers rapporteert, onderscheidt van iemand die inzichten blootlegt.

Als je net als ik geïnteresseerd bent in het “waarom” achter deze omkeringen, is de paradox een mooie opstap naar het bredere veld van causale inferentie. Onze cursus Machine Learning for Business behandelt causale modellen en meer. Schrijf je ook in voor onze cursus Foundations of Inference in Python als een andere heel goede leeroptie.