Correlazione spuriosa: una trappola statistica importante (e come evitarla)

In statistica e nel machine learning, un pattern non è la stessa cosa di una risposta.

Probabilmente hai già visto il grafico che collega le vendite di gelato ai tassi di annegamento, o quello che collega i film di Nicolas Cage ai decessi in piscina. Attirano l'attenzione e rimangono impressi, ma sono esempi chiari del fatto che correlazione non significa causalità. E sono così abusati che fanno perdere di vista perché questo problema conta nel tuo lavoro.

Puoi pensare alla correlazione spuriosa come a una relazione apparente tra due variabili che non è causata da alcun legame reale. È collegata solo per coincidenza o per via di una variabile nascosta che non stai monitorando. Se la tratti come informazione preziosa, perderai tempo a inseguire pattern che non hanno senso e non si traducono nel mondo reale.

In questo articolo ti spiegherò perché si verificano le correlazioni spurie, come individuarle e come evitare di basare su di esse le decisioni.

Ma che cos'è la correlazione, comunque? Leggi il nostro post Misurare le relazioni nei dati per conoscere i diversi tipi di coefficienti di correlazione e le loro applicazioni.

Che cos'è una correlazione spuriosa?

Una correlazione spuriosa è un'apparente relazione statistica tra due variabili che non è causata da alcun legame reale tra di esse.

Il valore di correlazione in sé è reale. Quando esegui l'analisi, ottieni un valore che sembra significativo e ragionevole. Niente nel calcolo è sbagliato o inventato, ed è proprio questo il problema.

Quello che manca è la causalità.

Nulla in una variabile sta causando l'altra. Potrebbero muoversi insieme per ragioni che non hanno nulla a che fare tra loro, o senza alcuna vera ragione. Questa differenza tra ciò che mostrano i dati e ciò che accade davvero è il cuore della correlazione spuriosa.

Perché si verificano correlazioni spurie

Le correlazioni spurie si possono quasi sempre spiegare con un paio di meccanismi e, una volta che sai cosa cercare, non ti fiderai più ciecamente della correlazione.

Variabili confondenti

Un confondente è una variabile nascosta che influenza entrambe le cose che stai misurando.

Prendi il classico esempio del gelato e degli annegamenti. Le vendite di gelato non causano annegamenti. Il caldo guida entrambe le cose: più persone comprano gelato e più persone nuotano, quindi avvengono più annegamenti.

La temperatura è il confondente qui. Se i tuoi dati non la monitorano, è facile non accorgersene.

Coincidenza

A volte due variabili si muovono insieme senza alcun motivo.

Se fai abbastanza confronti su abbastanza dataset, alcuni si allineeranno per puro caso. È esattamente così che nasce la correlazione tra Nicolas Cage e i decessi in piscina: due serie temporali non correlate che hanno seguito lo stesso trend negli stessi anni.

Con un numero sufficiente di variabili in gioco, un certo grado di allineamento casuale è previsto.

Trend comuni

Alcune variabili si muovono semplicemente insieme nel tempo e questa sovrapposizione può sembrare una relazione anche quando non lo è.

Pensa a popolazione, PIL, uso di internet e produzione di plastica. Molte di queste sono cresciute per decenni. Se confronti una qualunque coppia, otterrai una forte correlazione, semplicemente perché entrambe sono in crescita.

Ma condividono solo la direzione e non c'è alcun legame tra le variabili stesse.

Bias di campionamento

Una correlazione spuriosa può derivare anche dai dati che hai raccolto, non dal mondo che dovrebbero rappresentare.

Se il tuo campione non riflette la popolazione che stai studiando, puoi ritrovarti con una relazione che esiste solo nel tuo dataset. Ad esempio, se intervisti i clienti esclusivamente tramite un'app, scoprirai che l'"uso dell'app" correla con ogni sorta di cose. Non perché l'uso dell'app le causi, ma perché il tuo campione è sbilanciato verso persone che usano le app.

Esempi di correlazione spuriosa

La correlazione spuriosa è più comune di quanto pensi. Ecco come individuarla e cosa farci.

Esempi statistici classici

La correlazione tra gelato e annegamenti è quella che conoscono tutti. Le vendite di gelato e i decessi per annegamento salgono e scendono insieme, ma nessuno dei due causa l'altro. Il caldo è il confondente e guida entrambi allo stesso tempo.

L'esempio di Nicolas Cage è diverso. La sua produzione di film negli anni correla con il numero di annegamenti in piscina nello stesso periodo, e non c'è alcun confondente coinvolto. È una coincidenza: due trend non correlati che si sono allineati.

Entrambi gli esempi dimostrano il punto della correlazione spuriosa, ma sfortunatamente nei casi reali non la vedrai così chiaramente.

Esempi di business e ricerca

Nell'analisi aziendale, le correlazioni spurie tendono a nascondersi dietro numeri che sembrano appartenere allo stesso ambito.

Immagina che un'azienda tracci la spesa di marketing settimanale e il fatturato settimanale per due anni. Puoi usare questo codice Python per seguire l'esempio:

import numpy as np
import pandas as pd

np.random.seed(42)
weeks = 104

# Seasonal effect
seasonality = 10 * np.sin(np.linspace(0, 8 * np.pi, weeks)) + 20

marketing_spend = seasonality + np.random.normal(0, 2, weeks)
revenue = seasonality * 50 + np.random.normal(0, 30, weeks)

df = pd.DataFrame({
    "week": range(1, weeks + 1),
    "marketing_spend": marketing_spend,
    "revenue": revenue
})

print(df["marketing_spend"].corr(df["revenue"]))

Output: 0.9707905810711147

Otterrai una forte correlazione positiva tra marketing_spend e revenue. È allettante leggerla come "la spesa di marketing aumenta il fatturato", e magari è così, ma il codice sopra non lo dimostra. Entrambe le variabili sono guidate dallo stesso ciclo di domanda stagionale. Se l'azienda spende di più nelle settimane in cui la domanda è naturalmente alta, la correlazione emerge a prescindere dal fatto che il marketing in sé stia facendo qualcosa.

Questo è un errore comune in molte analisi aziendali.

Cose come il comportamento dei clienti e gli esiti del marketing si muovono con le stagioni, l'economia o una dozzina di altri fattori nascosti. Il fatto che due metriche correlino non ti dice quale delle due, se qualcuna, sia responsabile.

Esempi di machine learning

I modelli di machine learning non sanno cosa significhi "causa". Trovano semplicemente qualunque pattern faccia scendere la metrica di errore e, se una scorciatoia funziona sui dati di training, il modello la sfrutterà.

Per esempio:

• Affidarsi allo sfondo: un classificatore di immagini addestrato a individuare le mucche impara ad associare i prati verdi a "mucca", non l'animale in sé. Se gli mostri una mucca in spiaggia, fallisce.
• Proxy demografici e geografici: un modello addestrato su dati storici usa il CAP come proxy per reddito o razza, anche quando nessuna delle due variabili è nel training set.
• Artefatti del dataset: un modello di imaging medico impara che le scansioni della vecchia macchina di un ospedale correlano con la malattia, perché quell'ospedale trattava casi più gravi, non perché l'output della macchina riveli qualcosa sulla malattia in sé.

Ecco la stessa idea, costruita come esempio sintetico che puoi eseguire tu stesso. Un modello predice il rischio di insolvenza di un prestito e zip_code funge da proxy per income, che è la variabile che conta davvero.

import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression

np.random.seed(42)
n = 1000

# Zip code correlates with income, income drives default risk
zip_code = np.random.choice([1, 2, 3], size=n)
income = 80000 - zip_code * 15000 + np.random.normal(0, 5000, n)
default_risk = (income < 40000).astype(int)

df = pd.DataFrame({"zip_code": zip_code, "income": income, "default": default_risk})

model = LogisticRegression()
model.fit(df[["zip_code"]], df["default"])
print(model.score(df[["zip_code"]], df["default"]))

Punteggio del modello nell'esempio di machine learning

Questo modello può predire il rischio di insolvenza usando solo zip_code, senza mai vedere income. Su questo dataset funziona, ma se lo applichi a una nuova città dove il pattern tra CAP e reddito non vale, l'accuratezza del modello calerà.

Questo è il problema dell'apprendimento scorciatoia.

Un modello costruito su una correlazione spuriosa può ottenere buoni punteggi sui dati di training e fallire non appena si trova in un ambiente in cui quella correlazione non si applica.

Come individuare una correlazione spuriosa

La cattiva notizia è che non puoi eliminare le correlazioni spurie, ma puoi costruire abitudini che intercettino la maggior parte dei casi.

Ecco alcuni consigli pratici:

• Indaga le variabili confondenti: prima di fidarti di una correlazione, chiediti cos'altro potrebbe guidare entrambe le variabili. Temperatura e stagionalità sono sospetti comuni.
• Usa la conoscenza del dominio: se una relazione non ha senso rispetto a ciò che sai dell'argomento, non lasciare che la statistica sovrasti quell'istinto.
• Visualizza i dati: uno scatter plot o un grafico delle serie temporali spesso mostra un trend condiviso o un outlier evidente che un coefficiente di correlazione nasconde.
• Esegui test statistici aggiuntivi: la correlazione parziale o la verifica che la relazione tenga in diversi sottogruppi può confermare o smentire una correlazione.
• Progetta esperimenti quando possibile: i trial controllati randomizzati rimuovono i confondenti, poiché controlli tu quale gruppo riceve quale trattamento.

In breve, un coefficiente di correlazione ti dice che due cose si sono mosse insieme. Se questo significhi qualcosa, sta ancora a te stabilirlo.

Correlazione spuriosa vs altri concetti statistici

Alcuni termini vengono usati in modo intercambiabile con correlazione spuriosa, causando molta confusione. In questa sezione ti mostrerò cosa sono questi concetti statistici e come differiscono.

Correlazione spuriosa vs confondimento

Il confondimento è una causa specifica di correlazione spuriosa. Non è un sinonimo.

Il confondimento si verifica quando una terza variabile influenza entrambe le variabili che stai misurando, creando una relazione che sembra diretta ma non lo è. La temperatura può essere un confondente perché guida sia le vendite di gelato sia gli annegamenti.

La correlazione spuriosa è la categoria più ampia. Include il confondimento, ma copre anche coincidenza, bias di campionamento e trend condivisi nel tempo, nessuno dei quali implica una terza variabile nascosta. L'esempio di Nicolas Cage non è affatto confondimento, dato che non c'è alcuna variabile che colleghi la produzione di film ai decessi in piscina. È solo una coincidenza. Ma resta spurio.

Quindi ogni relazione confusa è spuriosa. Non ogni relazione spuria è confusa.

Correlazione spuriosa vs causalità

Una correlazione spuriosa e una relazione causale possono produrre lo stesso scatter plot. La differenza è ciò che accade sotto la superficie, e quella differenza cambia ciò che puoi fare con i dati.

Ecco una tabella che riassume le differenze:

Una correlazione spuriosa non implica mai causalità, per quanto forte sembri il coefficiente di correlazione. Dimostrare la causalità richiede esperimenti controllati o metodi consolidati di inferenza causale che vadano oltre un singolo test statistico.

Come ridurre il rischio di correlazioni spurie

Di per sé, saper riconoscere una correlazione spuriosa a posteriori è utile. Ma è molto meglio se puoi costruire un flusso di lavoro che la eviti in partenza.

Ecco cosa dovresti fare in questo workflow:

• Raccogli dati migliori: molte correlazioni spurie nascono da un campione che non rappresenta ciò che stai cercando di studiare. Prima di analizzare qualsiasi cosa, verifica che la raccolta dati copra la popolazione giusta nelle condizioni giuste.
• Usa esperimenti randomizzati quando possibile: la randomizzazione è la migliore difesa contro i confondenti, poiché distribuisce in modo uniforme le variabili nascoste tra i gruppi. Se puoi eseguire un test A/B invece di affidarti a dati osservazionali, fallo.
• Valida su nuovi dataset: una correlazione che appare solo in un dataset è un segnale che qualcosa non va. Verifica se la relazione tiene su dati di un periodo diverso, raccolti da un'altra persona, da una popolazione diversa o da una fonte diversa prima di fidarti.
• Esegui analisi causale: tecniche come il controllo dei confondenti o i grafi causali ti permettono di andare oltre "queste due cose si muovono insieme" e testare se una influisce davvero sull'altra.
• Coinvolgi l'expertise di dominio: chi conosce bene l'argomento spesso coglierà una relazione spuriosa che un test statistico non rileva. Se una correlazione non regge alla prova della conoscenza del dominio, mettila in discussione prima di costruirci sopra.

A dire il vero, nessuno di questi passaggi garantisce che intercetterai ogni correlazione spuriosa, ma combinati riducono le probabilità di costruire una conclusione o un modello inaffidabile.

Conclusione

Un coefficiente di correlazione alto può sembrare una risposta, ma per i professionisti dei dati più esperti è in realtà una domanda.

Il numero ti dice che due cose si sono mosse insieme. Non ti dice perché, e trattarlo come prova di causalità è il modo in cui si formulano ipotesi errate, si fraintendono ricerche, si prendono decisioni di business sbagliate e i modelli falliscono appena vedono nuovi dati. Ciò che sta dietro ai numeri è più importante dei numeri stessi.

Ecco perché le conclusioni più solide non vengono mai solo dalla statistica, ma dalla combinazione di statistica e conoscenza del dominio. Usando entrambe, arriverai a conclusioni che reggono anche al di fuori del dataset che le ha generate.

Se trovi confusi i concetti di correlazione e correlazione spuriosa, esplora la nostra selezione di corsi di Probabilità e Statistica. Copriamo tutto, dall'introduzione al disegno sperimentale al test delle ipotesi.