Corelație spurious: o capcană statistică importantă (și cum să o eviți)

În statistică și în învățarea automată, un tipar nu este același lucru cu un răspuns.

Probabil ai văzut graficul care leagă vânzările de înghețată de ratele de înec sau pe cel care conectează filmele cu Nicolas Cage de decesele în piscine. Îți atrag atenția și sunt memorabile, dar sunt exemple clare că corelația nu înseamnă cauzalitate. De asemenea, sunt atât de suprafolosite încât ratează esența: de ce această problemă contează în munca ta.

Poți privi corelația spurious ca pe o relație aparentă între două variabile care nu este cauzată de vreo legătură reală. E conectată doar prin coincidență sau printr-o variabilă ascunsă pe care n-o monitorizezi. Dacă o tratezi ca pe o informație valoroasă, vei irosi timp urmărind tipare care nu au sens și nu se confirmă în lumea reală.

În acest articol, îți arăt de ce apar corelațiile spurious, cum să le depistezi și cum să eviți să-ți bazezi deciziile pe ele.

Dar ce este, de fapt, corelația? Citește articolul nostru despre Măsurarea relațiilor în date ca să afli tipurile de coeficienți de corelație și aplicațiile lor.

Ce este o corelație spurious?

O corelație spurious este o relație statistică aparentă între două variabile care nu este cauzată de nicio legătură reală între ele.

Valoarea corelației în sine este reală. Când rulezi analiza, obții o valoare care pare semnificativă și rezonabilă. Nimic la partea de calcul nu e greșit sau inventat, iar tocmai asta e problema.

Ce lipsește este cauzalitatea.

Nimic dintr-o variabilă nu o face pe cealaltă să se întâmple. Se pot mișca împreună din motive care n-au legătură între ele sau fără vreun motiv real. Acea diferență dintre ce arată datele și ce se întâmplă de fapt este esența corelației spurious.

De ce apar corelațiile spurious

Corelațiile spurious pot fi explicate aproape întotdeauna prin câteva mecanisme, iar odată ce știi ce să cauți, nu vei mai avea încredere orbește în corelații.

Variabile confuzoare

O variabilă confuzoare este o variabilă ascunsă care influențează ambele lucruri pe care le măsori.

Ia exemplul clasic cu înghețata și înecurile. Vânzările de înghețată nu provoacă înecuri. Vremea caldă le determină pe ambele – mai mulți oameni cumpără înghețată și mai mulți oameni înoată, ceea ce înseamnă mai multe înecuri.

Temperatura este variabila confuzoare aici. Dacă datele tale n-o monitorizează, e ușor de ratat.

Coincidență

Uneori două variabile se mișcă împreună fără niciun motiv.

Dacă rulezi destule comparații pe destule seturi de date, unele se vor suprapune pur și simplu din întâmplare. Așa apare corelația dintre Nicolas Cage și decesele în piscine – două serii temporale fără legătură care au avut tendințe similare în aceiași ani.

Cu suficiente variabile în joc, un anumit nivel de aliniere aleatorie este de așteptat.

Tendințe comune

Unele variabile pur și simplu se mișcă împreună în timp, iar această suprapunere poate părea o relație chiar dacă nu este.

Gândește-te la populație, PIB, utilizarea internetului și producția de plastic. Multe dintre acestea au crescut de zeci de ani. Dacă le compari pe oricare două, vei obține o corelație puternică, pur și simplu pentru că ambele au tendință ascendentă.

Dar împart doar direcția și nu există nicio legătură între variabilele în sine.

Bias de eșantionare

O corelație spurious poate proveni și din datele pe care le-ai colectat, nu din lumea pe care ar trebui să o reprezinte.

Dacă eșantionul tău nu reflectă populația pe care o studiezi, poți ajunge la o relație care există doar în setul tău de date. De exemplu, dacă chestionezi clienții exclusiv printr-o aplicație, vei constata că „utilizarea aplicației” corelează cu tot felul de lucruri. Nu pentru că utilizarea aplicației le cauzează, ci pentru că eșantionul tău este înclinat spre persoane care folosesc aplicații.

Exemple de corelații spurious

Corelațiile spurious sunt mai comune decât crezi. Iată cum să le depistezi și ce să faci în privința lor.

Exemple statistice clasice

Corelația dintre înghețată și înec este cea pe care o știu toți. Vânzările de înghețată și decesele prin înec cresc și scad împreună, dar niciuna nu o cauzează pe cealaltă. Vremea caldă este variabila confuzoare și le determină pe ambele în același timp.

Exemplul cu Nicolas Cage este diferit. Producția lui de filme de-a lungul anilor corelează cu numărul de înecuri în piscine în aceeași perioadă și nu există nicio variabilă confuzoare implicată. Este o coincidență – două tendințe fără legătură care s-au aliniat întâmplător.

Ambele exemple demonstrează ideea de corelație spurious, dar, din păcate, nu o vei vedea la fel de clar în cazurile din lumea reală.

Exemple din business și cercetare

În analizele de business, corelațiile spurious tind să se ascundă în spatele numerelor care par că aparțin împreună.

Imaginează-ți o companie care urmărește cheltuielile săptămânale de marketing și veniturile săptămânale timp de doi ani. Poți folosi acest cod Python ca să urmărești exemplul:

import numpy as np
import pandas as pd

np.random.seed(42)
weeks = 104

# Seasonal effect
seasonality = 10 * np.sin(np.linspace(0, 8 * np.pi, weeks)) + 20

marketing_spend = seasonality + np.random.normal(0, 2, weeks)
revenue = seasonality * 50 + np.random.normal(0, 30, weeks)

df = pd.DataFrame({
    "week": range(1, weeks + 1),
    "marketing_spend": marketing_spend,
    "revenue": revenue
})

print(df["marketing_spend"].corr(df["revenue"]))

Output: 0.9707905810711147

Vei obține o corelație pozitivă puternică între marketing_spend și revenue. E tentant să o citești ca „cheltuielile de marketing cresc veniturile”, și poate chiar așa este, dar codul de mai sus nu o dovedește. Ambele variabile sunt conduse de același ciclu sezonier al cererii. Dacă firma cheltuie mai mult în aceleași săptămâni în care cererea e în mod natural ridicată, corelația apare indiferent dacă marketingul în sine are sau nu efect.

Aceasta este o greșeală des întâlnită în multe analize de business.

Lucruri precum comportamentul clienților și rezultatele de marketing se mișcă odată cu anotimpurile, economia sau o duzină de alți factori ascunși. Faptul că două valori corelează nu-ți spune care dintre ele, dacă vreuna, este responsabilă.

Exemple din învățarea automată

Modelele de învățare automată nu știu ce înseamnă „cauză”. Ele găsesc orice tipar care scade metrica de eroare, iar dacă un scurtătură funcționează pe datele de antrenare, modelul o va folosi.

De exemplu:

• Dependență de fundal: Un clasificator de imagini antrenat să identifice vaci învață să asocieze pășunile verzi cu „vacă”, nu animalul în sine. Dacă îi arăți o vacă pe plajă, eșuează.
• Proxy demografice și geografice: Un model antrenat pe date istorice preia codul poștal ca proxy pentru venit sau rasă, chiar dacă niciuna dintre variabile nu este în setul de antrenare.
• Artefacte de set de date: Un model de imagistică medicală învață că scanările de la aparatul mai vechi al unui spital corelează cu boala, pentru că acel spital trata cazuri mai severe, nu pentru că ieșirea aparatului ar dezvălui ceva despre boală în sine.

Iată aceeași idee, construită ca un exemplu sintetic pe care îl poți rula chiar tu. Un model prezice riscul de neplată al unui împrumut, iar zip_code acționează ca proxy pentru income, care este variabila ce contează de fapt.

import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression

np.random.seed(42)
n = 1000

# Zip code correlates with income, income drives default risk
zip_code = np.random.choice([1, 2, 3], size=n)
income = 80000 - zip_code * 15000 + np.random.normal(0, 5000, n)
default_risk = (income < 40000).astype(int)

df = pd.DataFrame({"zip_code": zip_code, "income": income, "default": default_risk})

model = LogisticRegression()
model.fit(df[["zip_code"]], df["default"])
print(model.score(df[["zip_code"]], df["default"]))

Scorul modelului din exemplul de învățare automată

Acest model poate prezice riscul de neplată folosind doar zip_code, fără să vadă vreodată income. Pe acest set de date, funcționează, dar dacă îi dai un oraș nou în care tiparul dintre codul poștal și venit nu e valabil, acuratețea modelului va scădea.

Asta e problema cu învățarea pe scurtături.

Un model construit pe o corelație spurious poate obține scoruri bune pe datele de antrenare și totuși să eșueze în momentul în care ajunge într-un mediu unde acea corelație nu se aplică.

Cum detectezi o corelație spurious

Vestea proastă este că nu poți elimina corelațiile spurious, dar îți poți construi obiceiuri care prind majoritatea cazurilor.

Iată câteva sfaturi practice:

• Investighează variabilele confuzoare: Înainte să ai încredere într-o corelație, întreabă-te ce altceva ar putea conduce ambele variabile. Temperatura și sezonalitatea sunt suspecți comuni.
• Folosește cunoștințele de domeniu: Dacă o relație nu are sens din perspectiva a ceea ce știi despre subiect, nu lăsa statistica să-ți anuleze instinctul.
• Vizualizează datele: Un scatter plot sau un grafic de serii temporale arată adesea o tendință comună sau un outlier evident pe care un coeficient de corelație îl ascunde.
• Rulează teste statistice suplimentare: Corelația parțială sau verificarea dacă relația se menține în diferite subgrupuri poate confirma sau infirma o corelație.
• Proiectează experimente când este posibil: Testele controlate randomizate elimină variabilele confuzoare, deoarece controlezi ce grup primește ce tratament.

Pe scurt, un coeficient de corelație îți spune că două lucruri s-au mișcat împreună. Dacă asta înseamnă ceva sau nu, rămâne decizia ta.

Corelație spurious vs alte concepte statistice

Câțiva termeni sunt folosiți interschimbabil cu corelație spurious și asta creează multă confuzie. În această secțiune îți arăt ce sunt aceste concepte statistice și cum diferă.

Corelație spurious vs confounding

Confounding este o cauză specifică a unei corelații spurious. Nu este sinonim cu aceasta.

Confounding apare când o a treia variabilă influențează ambele variabile pe care le măsori, creând o relație care pare directă, dar nu este. Temperatura poate fi o variabilă confuzoare deoarece determină atât vânzările de înghețată, cât și înecurile.

Corelația spurious este categoria mai largă. Include confounding, dar include și coincidența, biasul de eșantionare și tendințele comune în timp, niciuna dintre acestea neimplicând o a treia variabilă ascunsă. Exemplul cu Nicolas Cage nu este deloc confounding, deoarece nu există nicio variabilă care să conecteze producția de filme cu decesele în piscine. E doar o întâmplare. Dar tot spurious rămâne.

Așadar, orice relație afectată de confounding este spurious. Nu orice relație spurious este afectată de confounding.

Corelație spurious vs cauzalitate

O corelație spurious și o relație cauzală pot produce același scatter plot. Diferența este ceea ce se întâmplă dedesubt, iar această diferență schimbă ce poți face cu datele.

Iată un tabel care rezumă diferențele:

O corelație spurious nu implică niciodată cauzalitate, oricât de puternic ar arăta coeficientul de corelație. Demonstrerea cauzalității necesită experimente controlate sau metode consacrate de inferență cauzală care merg dincolo de un singur test statistic.

Cum reduci riscul corelațiilor spurious

Să poți depista o corelație spurious după faptă e util. Dar e mult mai bine dacă îți poți construi un flux de lucru care să o evite din start.

Iată ce ar trebui să faci în acest flux:

• Colectează date mai bune: Multe corelații spurious încep cu un eșantion care nu reprezintă ceea ce încerci să studiezi. Înainte să analizezi orice, verifică dacă modul tău de colectare acoperă populația potrivită în condițiile potrivite.
• Folosește experimente randomizate când se poate: Randomizarea este cea mai bună apărare împotriva variabilelor confuzoare, deoarece distribuie uniform variabilele ascunse între grupuri. Dacă poți rula un test A/B în loc să te bazezi pe date observaționale, fă-o.
• Validează pe seturi de date noi: O corelație care apare doar într-un singur set de date e un semn că ceva nu e în regulă. Testează dacă relația se menține pe date dintr-o altă perioadă, culese de altă persoană, dintr-o altă populație sau dintr-o altă sursă înainte să ai încredere în ea.
• Efectuează analiză cauzală: Tehnici precum controlul variabilelor confuzoare sau grafurile cauzale îți permit să mergi dincolo de „aceste două lucruri se mișcă împreună” și să testezi dacă unul îl influențează cu adevărat pe celălalt.
• Include expertiza de domeniu: Cineva care înțelege subiectul va depista adesea o relație spurious pe care un test statistic nu o prinde. Dacă o corelație nu rezistă în fața cunoștințelor de domeniu, pune-o sub semnul întrebării înainte să construiești pe ea.

Adevărul este că niciunul dintre acești pași nu garantează că vei prinde fiecare corelație spurious, dar împreună, reduc șansele de a construi o concluzie sau un model nesigur.

Concluzie

Un coeficient de corelație ridicat poate părea un răspuns, dar pentru profesioniștii în date mai experimentați, este de fapt o întrebare.

Numărul îți spune că două lucruri s-au mișcat împreună. Nu îți spune de ce, iar a-l trata ca pe o dovadă a cauzalității este modul în care se fac presupuneri greșite, se interpretează eronat cercetări, se iau decizii de business greșite, iar modelele eșuează în momentul în care văd date noi. Ce e în spatele numerelor este mai important decât numerele în sine.

De aceea cele mai solide concluzii nu vin niciodată doar din statistici, ci dintr-o combinație de statistici și cunoștințe de domeniu. Când le folosești pe ambele, vei ajunge la concluzii care rezistă dincolo de setul de date care le-a generat.

Dacă ți se pare confuză ideea de corelație și corelație spurious, explorează paleta noastră de cursuri de Probabilitate și Statistică. Acoperim totul, de la introducere până la design experimental și testarea ipotezelor.