Schijncorrelatie: een belangrijke statistische valkuil (en hoe je die vermijdt)

In statistiek en machine learning is een patroon niet hetzelfde als een antwoord.

Je hebt vast die grafiek gezien die ijsverkoop koppelt aan verdrinkingen, of die Nicolas Cage-films verbindt met zwembadsterfgevallen. Ze trekken de aandacht en blijven hangen, maar ze zijn duidelijke voorbeelden dat correlatie geen causatie betekent. En ze zijn zó vaak gebruikt dat ze missen waarom dit probleem ertoe doet in je werk.

Je kunt schijncorrelatie zien als een schijnbare relatie tussen twee variabelen die niet wordt veroorzaakt door een echte verbinding. Het is verbonden door toeval of een verborgen variabele die je niet meet. Als je het als waardevolle informatie behandelt, verspil je tijd aan het najagen van patronen die niet kloppen en niet vertalen naar de echte wereld.

In dit artikel laat ik je zien waarom schijncorrelaties ontstaan, hoe je ze herkent en hoe je voorkomt dat je er beslissingen op baseert.

Maar wat is correlatie eigenlijk? Lees onze blogpost over Relaties meten in data om de verschillende soorten correlatiecoëfficiënten en hun toepassingen te leren kennen.

Wat is een schijncorrelatie?

Een schijncorrelatie is een schijnbare statistische relatie tussen twee variabelen die niet wordt veroorzaakt door een echte verbinding tussen die variabelen.

De correlatiewaarde zelf is echt. Als je de analyse draait, krijg je een waarde die betekenisvol en logisch lijkt. Er is niets mis met het rekenwerk, en dát is precies het probleem.

Wat ontbreekt, is causaliteit.

Niets aan de ene variabele veroorzaakt de andere. Ze kunnen samen bewegen om redenen die niets met elkaar te maken hebben, of om helemaal geen goede reden. Dat verschil tussen wat de data laat zien en wat er in werkelijkheid gebeurt, is waar schijncorrelatie om draait.

Waarom schijncorrelaties ontstaan

Schijncorrelaties zijn bijna altijd te verklaren door een paar mechanismen, en als je eenmaal weet waar je op moet letten, vertrouw je niet meer blind op correlatie.

Confounders

Een confounder is een verborgen variabele die invloed heeft op beide dingen die je meet.

Neem het klassieke voorbeeld van ijs en verdrinkingen. IJsverkoop veroorzaakt geen verdrinkingen. Warm weer stuurt beide aan: meer mensen kopen ijs, en meer mensen gaan zwemmen, waardoor er meer verdrinkingen plaatsvinden.

Temperatuur is hier de confounder. Als je data die niet monitort, mis je het gemakkelijk.

Toeval

Soms bewegen twee variabelen om helemaal geen reden samen.

Als je genoeg vergelijkingen uitvoert over genoeg datasets, zullen sommige daarvan puur toevallig overeenkomen. Precies zo ontstaat de correlatie tussen Nicolas Cage en zwembadsterfgevallen: twee niet-gerelateerde tijdreeksen die over dezelfde jaren toevallig samen opliepen.

Met genoeg variabelen in het spel is een zekere mate van willekeurige overeenstemming te verwachten.

Gedeelde trends

Sommige variabelen bewegen simpelweg samen door de tijd, en die overlap kan op een relatie lijken terwijl die er niet is.

Denk aan bevolking, bbp, internetgebruik en plasticproductie. Veel daarvan groeien al decennia. Als je er twee vergelijkt, krijg je een sterke correlatie, simpelweg omdat ze allebei omhoog trenden.

Maar ze delen alleen de richting en er is geen echte verbinding tussen de variabelen zelf.

Steekproefbias

Een schijncorrelatie kan ook voortkomen uit de data die je hebt verzameld, niet uit de wereld die die data zou moeten representeren.

Als je steekproef niet de populatie weerspiegelt die je bestudeert, kun je eindigen met een relatie die alleen in jouw dataset bestaat. Onderzoek je klanten uitsluitend via een app, dan zal "app-gebruik" met van alles correleren. Niet omdat app-gebruik dat veroorzaakt, maar omdat je steekproef bevooroordeeld is richting mensen die apps gebruiken.

Voorbeelden van schijncorrelatie

Schijncorrelatie komt vaker voor dan je denkt. Zo herken je het en dit kun je eraan doen.

Klassieke statistische voorbeelden

De correlatie tussen ijs en verdrinking kent iedereen. IJsverkoop en verdrinkingsdoden stijgen en dalen samen, maar geen van beide veroorzaakt de ander. Warm weer is de confounder en stuurt beide tegelijk aan.

Het voorbeeld met Nicolas Cage is anders. Zijn filmoutput door de jaren heen correleert met het aantal zwembadverdrinkingen in dezelfde periode, en er is geen confounder betrokken. Het is toeval: twee niet-gerelateerde trends die toevallig gelijk opliepen.

Beide voorbeelden bewijzen het punt van schijncorrelatie, maar helaas zie je het in echte gevallen zelden zo duidelijk.

Business- en onderzoeksexamples

In business analytics verstoppen schijncorrelaties zich vaak achter cijfers die lijken bij elkaar te horen.

Stel dat een bedrijf wekelijks marketinguitgaven en wekelijkse omzet bijhoudt over twee jaar. Je kunt deze Python-code gebruiken om mee te volgen:

import numpy as np
import pandas as pd

np.random.seed(42)
weeks = 104

# Seasonal effect
seasonality = 10 * np.sin(np.linspace(0, 8 * np.pi, weeks)) + 20

marketing_spend = seasonality + np.random.normal(0, 2, weeks)
revenue = seasonality * 50 + np.random.normal(0, 30, weeks)

df = pd.DataFrame({
    "week": range(1, weeks + 1),
    "marketing_spend": marketing_spend,
    "revenue": revenue
})

print(df["marketing_spend"].corr(df["revenue"]))

Output: 0.9707905810711147

Je krijgt een sterke positieve correlatie tussen marketing_spend en revenue. Het is verleidelijk om dat te lezen als "marketinguitgaven verhogen de omzet", en misschien is dat zo, maar de code hierboven bewijst het niet. Beide variabelen worden gedreven door dezelfde seizoensvraagcyclus. Als het bedrijf meer uitgeeft in weken waarin de vraag toch al hoog is, verschijnt de correlatie of de marketing nu iets doet of niet.

Dit is een veelgemaakte fout in veel business-analyses.

Dingen als klantgedrag en marketingsucces bewegen mee met de seizoenen, de economie of een dozijn andere verborgen factoren. Dat twee metrics correleren, vertelt je niet welke van de twee, als er al een is, verantwoordelijk is.

Voorbeelden uit machine learning

Machinelearningmodellen weten niet wat "oorzaak" betekent. Ze vinden gewoon elk patroon dat de foutmaat verlaagd, en als een shortcut werkt op de trainingsdata, neemt het model die.

Bijvoorbeeld:

• Afhankelijkheid van achtergrond: een beeldclassificatiemodel dat koeien moet herkennen, leert groene weides te associëren met "koe", niet het dier zelf. Laat je het een koe op een strand zien, dan faalt het.
• Demografische en geografische proxy’s: een model dat is getraind op historische data pikt postcode op als proxy voor inkomen of ras, ook als geen van beide variabelen in de trainingsset zit.
• Dataset-artefacten: een model voor medische beeldvorming leert dat scans van de oudere machine van één ziekenhuis correleren met ziekte, omdat dat ziekenhuis ernstigere gevallen behandelde, niet omdat de machine iets prijsgeeft over de ziekte zelf.

Hier hetzelfde idee, gebouwd als een synthetisch voorbeeld dat je zelf kunt draaien. Een model voorspelt het risico op wanbetaling, en zip_code fungeert als proxy voor income, de variabele die er daadwerkelijk toe doet.

import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression

np.random.seed(42)
n = 1000

# Zip code correlates with income, income drives default risk
zip_code = np.random.choice([1, 2, 3], size=n)
income = 80000 - zip_code * 15000 + np.random.normal(0, 5000, n)
default_risk = (income < 40000).astype(int)

df = pd.DataFrame({"zip_code": zip_code, "income": income, "default": default_risk})

model = LogisticRegression()
model.fit(df[["zip_code"]], df["default"])
print(model.score(df[["zip_code"]], df["default"]))

Modelscore voor machinelearningvoorbeeld

Dit model kan het risico op wanbetaling voorspellen met alleen zip_code, zonder ooit income te zien. Op deze dataset werkt het, maar geef je het een nieuwe stad waar het patroon tussen postcode en inkomen niet klopt, dan daalt de nauwkeurigheid van het model.

Dat is het probleem met shortcut learning.

Een model dat is gebouwd op een schijncorrelatie kan goed scoren op trainingsdata en alsnog falen zodra het in een omgeving komt waar die correlatie niet geldt.

Hoe je een schijncorrelatie herkent

Het slechte nieuws is dat je schijncorrelaties niet kunt elimineren, maar je kunt wel gewoontes opbouwen die het merendeel eruit filteren.

Hier zijn een paar praktische tips:

• Onderzoek confounders: vraag voordat je een correlatie vertrouwt wat anders beide variabelen kan aansturen. Temperatuur en seizoensinvloeden zijn veelvoorkomende verdachten.
• Gebruik domeinkennis: als een relatie niet logisch is gezien wat je over het onderwerp weet, laat de statistiek dat instinct dan niet overrulen.
• Visualiseer de data: een scatterplot of tijdreeksdiagram laat vaak een gedeelde trend of een duidelijke uitschieter zien die een correlatiecoëfficiënt verbergt.
• Voer extra statistische tests uit: partiële correlatie of checken of de relatie standhoudt in verschillende subgroepen kan een correlatie bevestigen of doorbreken.
• Ontwerp waar mogelijk experimenten: gerandomiseerde gecontroleerde proeven halen confounders weg, omdat jij bepaalt welke groep welke behandeling krijgt.

Kort gezegd: een correlatiecoëfficiënt vertelt je dat twee dingen samen bewogen. Of dat iets betekent, moet jij nog steeds bepalen.

Schijncorrelatie vs. andere statistische concepten

Een paar termen worden door elkaar gebruikt met schijncorrelatie, en dat zorgt voor verwarring. In deze sectie laat ik zien wat deze statistische concepten zijn en hoe ze verschillen.

Schijncorrelatie vs. confounding

Confounding is één specifieke oorzaak van een schijncorrelatie. Het is geen synoniem ervoor.

Confounding gebeurt wanneer een derde variabele invloed heeft op beide variabelen die je meet, waardoor een relatie ontstaat die direct lijkt, maar het niet is. Temperatuur kan een confounder zijn omdat het zowel ijsverkoop als verdrinkingen aanstuurt.

Schijncorrelatie is de bredere categorie. Het omvat confounding, maar ook toeval, steekproefbias en gedeelde trends door de tijd, die geen van alle een verborgen derde variabele vereisen. Het voorbeeld van Nicolas Cage is helemaal geen confounding, omdat er geen variabele is die filmoutput met zwembadsterfgevallen verbindt. Het is gewoon toeval. Maar het is wel schijn.

Dus elke geconfoundeerde relatie is schijn. Niet elke schijnrelatie is geconfoundeerd.

Schijncorrelatie vs. causaliteit

Een schijncorrelatie en een causale relatie kunnen dezelfde scatterplot opleveren. Het verschil zit in wat eronder gebeurt, en dat verschil bepaalt wat je met de data kunt doen.

Hier is een tabel met de verschillen samengevat:

Een schijncorrelatie impliceert nooit causaliteit, hoe sterk de correlatiecoëfficiënt er ook uitziet. Causaliteit bewijzen vergt gecontroleerde experimenten of gevestigde methoden voor causale inferentie die verder gaan dan één enkele statistische test.

Hoe je het risico op schijncorrelaties verkleint

Op zichzelf is het nuttig om een schijncorrelatie achteraf te kunnen herkennen. Maar het is veel beter als je een workflow opbouwt die er vanaf het begin één voorkomt.

Dit hoort in die workflow:

• Verzamel betere data: veel schijncorrelaties beginnen met een steekproef die niet representeert wat je wilt bestuderen. Check vóór je iets analyseert of je dataverzameling de juiste populatie onder de juiste omstandigheden dekt.
• Gebruik waar mogelijk gerandomiseerde experimenten: randomisatie is de beste verdediging tegen confounding, omdat het verborgen variabelen gelijkmatig over groepen verdeelt. Kun je een A/B-test draaien in plaats van te vertrouwen op observationele data, doe dat dan.
• Valideer op nieuwe datasets: een correlatie die alleen in één dataset voorkomt, is een teken dat er iets niet klopt. Test of de relatie standhoudt op data uit een andere periode, door een andere persoon, een andere populatie of een andere bron voordat je haar vertrouwt.
• Voer causale analyse uit: technieken zoals controleren voor confounders of causale grafen laten je verder gaan dan "deze twee dingen bewegen samen" en testen of de ene de andere daadwerkelijk beïnvloedt.
• Betrek domeinexpertise: iemand die de materie begrijpt, vangt vaak een schijnrelatie die een statistische test niet ziet. Houdt een correlatie geen stand tegen domeinkennis, trek haar dan in twijfel vóór je erop verder bouwt.

Eerlijk is eerlijk: geen van deze stappen garandeert dat je elke schijncorrelatie vangt, maar samen verkleinen ze de kans dat je een conclusie of model bouwt dat onbetrouwbaar is.

Conclusie

Een hoge correlatiecoëfficiënt lijkt misschien een antwoord, maar voor meer ervaren dataprofessionals is het juist een vraag.

Het getal vertelt je dat twee dingen samen bewogen. Het vertelt je niet waarom, en het als bewijs voor causaliteit zien is hoe verkeerde aannames ontstaan, onderzoek verkeerd wordt gelezen, zakelijke beslissingen misgaan en modellen falen zodra ze nieuwe data zien. Wat er achter de cijfers zit, is belangrijker dan de cijfers zelf.

Daarom komen de sterkste conclusies nooit alleen uit statistiek, maar uit een combinatie van statistiek en domeinkennis. Als je beide gebruikt, kom je uit op conclusies die standhouden buiten de dataset die ze heeft opgeleverd.

Vind je het concept van correlatie en schijncorrelatie verwarrend, bekijk dan ons aanbod aan cursussen Kansrekening en Statistiek. We behandelen alles van introductie tot experimenteel ontwerp en hypothesetoetsing.