Złudna korelacja: ważna statystyczna pułapka (i jak jej unikać)

W statystyce i uczeniu maszynowym wzorzec to nie to samo co odpowiedź.

Pewnie widziałeś wykres łączący sprzedaż lodów z utonięciami albo ten łączący filmy Nicolasa Cage’a ze zgonami w basenach. Przyciągają uwagę i łatwo je zapamiętać, ale to czytelne przykłady, że korelacja nie oznacza przyczynowości. A przy tym są tak oklepane, że gubią sedno: dlaczego ten problem ma znaczenie w twojej pracy.

Złudną korelację możesz traktować jako pozorną zależność między dwiema zmiennymi, która nie wynika z żadnego rzeczywistego powiązania. Łączy je tylko zbieg okoliczności albo ukryta zmienna, której nie monitorujesz. Jeśli potraktujesz to jak wartościową informację, będziesz tracić czas na pogoń za wzorcami, które nie mają sensu i nie przekładają się na rzeczywistość.

W tym artykule pokażę ci, dlaczego pojawiają się złudne korelacje, jak je rozpoznać i jak unikać opierania decyzji na takich zależnościach.

Ale czym w ogóle jest korelacja? Przeczytaj nasz wpis o mierzeniu zależności w danych, żeby poznać różne współczynniki korelacji i ich zastosowania.

Czym jest złudna korelacja?

Złudna korelacja to pozorna statystyczna zależność między dwiema zmiennymi, która nie wynika z żadnego rzeczywistego powiązania między nimi.

Sam wynik korelacji jest prawdziwy. Gdy uruchamiasz analizę, dostajesz wartość, która wygląda sensownie. W obliczeniach nie ma nic „złego” ani wymyślonego — i właśnie w tym tkwi problem.

Brakuje przyczynowości.

Żadna z tych zmiennych nie „powoduje” drugiej. Mogą zmieniać się razem z powodów, które nie mają ze sobą nic wspólnego, albo bez żadnego realnego powodu. Ta różnica między tym, co pokazują dane, a tym, co faktycznie się dzieje, stanowi istotę złudnej korelacji.

Dlaczego pojawiają się złudne korelacje

Złudne korelacje niemal zawsze da się wyjaśnić kilkoma mechanizmami — gdy wiesz, czego szukać, nie będziesz ufać korelacjom w ciemno.

Zmienne zakłócające (confounders)

Zmienna zakłócająca to ukryty czynnik, który wpływa na oba mierzone zjawiska.

Weź klasyczny przykład z lodami i utonięciami. Sprzedaż lodów nie powoduje utonięć. Oba zjawiska napędza upał — więcej osób kupuje lody i więcej osób pływa, co przekłada się na więcej utonięć.

Temperatura jest tu zmienną zakłócającą. Jeśli jej nie monitorujesz, łatwo to przeoczyć.

Zbieg okoliczności

Czasem dwie zmienne zmieniają się razem zupełnie bez powodu.

Jeśli wykonasz dość porównań na wystarczająco wielu zbiorach danych, niektóre po prostu „zgrają się” przez przypadek. Tak właśnie powstaje korelacja między filmami Nicolasa Cage’a a zgonami w basenach — dwie niezwiązane szeregi czasowe, które akurat w tych samych latach trendowały podobnie.

Przy wystarczająco wielu zmiennych pewna porcja losowych zbieżności jest spodziewana.

Wspólne trendy

Niektóre zmienne po prostu poruszają się razem w czasie i to nakładanie się może wyglądać na związek, choć go nie ma.

Pomyśl o liczbie ludności, PKB, korzystaniu z internetu czy produkcji plastiku. Wiele z nich rośnie od dekad. Jeśli porównasz dowolne dwie, dostaniesz silną korelację tylko dlatego, że obie rosną.

Łączy je jednak tylko kierunek zmian, a nie realne powiązanie między samymi zmiennymi.

Bias próbkowania

Złudna korelacja może też wynikać ze sposobu zbierania danych, a nie ze świata, który mają reprezentować.

Jeśli twoja próba nie odzwierciedla badanej populacji, możesz dostać zależność istniejącą tylko w twoim zbiorze. Jeśli np. ankietujesz klientów wyłącznie w aplikacji, okaże się, że „korzystanie z aplikacji” koreluje z przeróżnymi rzeczami. Nie dlatego, że korzystanie z aplikacji je powoduje, tylko dlatego, że twoja próba jest skrzywiona w stronę osób używających aplikacji.

Przykłady złudnej korelacji

Złudna korelacja jest częstsza, niż myślisz. Oto jak ją rozpoznać i co z nią zrobić.

Klasyczne przykłady statystyczne

Korelacja lodów i utonięć to przykład, który zna każdy. Sprzedaż lodów i zgony przez utonięcie rosną i maleją razem, ale żadna z tych rzeczy nie powoduje drugiej. Zmienną zakłócającą jest upał, który napędza obie jednocześnie.

Przypadek z Nicolasem Cage’em jest inny. Liczba jego filmów w poszczególnych latach koreluje z liczbą utonięć w basenach w tym samym okresie i nie ma tu żadnej zmiennej zakłócającej. To zbieg okoliczności — dwie niezależne tendencje, które się pokryły.

Oba przykłady dobrze ilustrują złudną korelację, ale niestety w prawdziwych przypadkach rzadko bywa to tak oczywiste.

Przykłady biznesowe i badawcze

W analityce biznesowej złudne korelacje często kryją się za liczbami, które „wyglądają”, jakby do siebie pasowały.

Wyobraź sobie firmę, która śledzi tygodniowe wydatki marketingowe i tygodniowe przychody przez dwa lata. Możesz skorzystać z tego kodu w Pythonie, żeby nadążać:

import numpy as np
import pandas as pd

np.random.seed(42)
weeks = 104

# Seasonal effect
seasonality = 10 * np.sin(np.linspace(0, 8 * np.pi, weeks)) + 20

marketing_spend = seasonality + np.random.normal(0, 2, weeks)
revenue = seasonality * 50 + np.random.normal(0, 30, weeks)

df = pd.DataFrame({
    "week": range(1, weeks + 1),
    "marketing_spend": marketing_spend,
    "revenue": revenue
})

print(df["marketing_spend"].corr(df["revenue"]))

Output: 0.9707905810711147

Dostaniesz silną dodatnią korelację między marketing_spend a revenue. Kusząco jest odczytać to jako „wydatki marketingowe zwiększają przychody” — i może tak jest — ale powyższy kod tego nie dowodzi. Obie zmienne napędza ten sam sezonowy cykl popytu. Jeśli firma wydaje więcej w tygodniach, gdy popyt i tak jest wysoki, korelacja się pojawi, niezależnie od tego, czy sam marketing cokolwiek robi.

To częsty błąd w wielu analizach biznesowych.

Zachowania klientów i wyniki marketingu zmieniają się wraz z porami roku, koniunkturą i tuzinem innych ukrytych czynników. Korelacja dwóch metryk nie mówi ci, która — o ile w ogóle — za co odpowiada.

Przykłady z uczenia maszynowego

Modele uczenia maszynowego nie „rozumieją” przyczynowości. Szukają po prostu wzorca, który obniży błąd — jeśli skrót działa na danych treningowych, model go wykorzysta.

Na przykład:

• Poleganie na tle: Klasyfikator obrazów uczony do rozpoznawania krów skojarzy zielone łąki ze „krową”, a nie samo zwierzę. Pokaż mu krowę na plaży — polegnie.
• Demograficzne i geograficzne protezy: Model uczony na danych historycznych podłapuje kod pocztowy jako substytut dochodu lub rasy, nawet jeśli żadnej z tych zmiennych nie ma w zbiorze treningowym.
• Artefakty zbioru danych: Model do obrazowania medycznego uczy się, że skany ze starszej maszyny w jednym szpitalu korelują z chorobą, bo ten szpital leczył cięższe przypadki — nie dlatego, że wyjście maszyny ujawnia coś o samej chorobie.

To samo podejście w syntetycznym przykładzie, który możesz uruchomić samodzielnie. Model przewiduje ryzyko niespłacenia pożyczki, a zip_code działa jako substytut income, czyli zmiennej, która faktycznie ma znaczenie.

import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression

np.random.seed(42)
n = 1000

# Zip code correlates with income, income drives default risk
zip_code = np.random.choice([1, 2, 3], size=n)
income = 80000 - zip_code * 15000 + np.random.normal(0, 5000, n)
default_risk = (income < 40000).astype(int)

df = pd.DataFrame({"zip_code": zip_code, "income": income, "default": default_risk})

model = LogisticRegression()
model.fit(df[["zip_code"]], df["default"])
print(model.score(df[["zip_code"]], df["default"]))

Wynik modelu w przykładzie z uczeniem maszynowym

Ten model potrafi przewidywać ryzyko defaultu używając wyłącznie zip_code, nie widząc nigdy income. Na tym zbiorze działa, ale jeśli podasz mu nowe miasto, gdzie wzorzec między kodem a dochodem nie występuje, dokładność spadnie.

Na tym polega problem uczenia na skróty.

Model oparty na złudnej korelacji może mieć świetne wyniki na treningu, a mimo to zawieść w chwili, gdy trafi do środowiska, w którym ta korelacja nie zachodzi.

Jak wykrywać złudną korelację

Zła wiadomość jest taka, że nie wyeliminujesz złudnych korelacji całkowicie, ale możesz wyrobić nawyki, które większość z nich wyłapią.

Oto kilka praktycznych wskazówek:

• Badaj zmienne zakłócające: Zanim zaufasz korelacji, zapytaj, co jeszcze może napędzać obie zmienne. Częstymi podejrzanymi są temperatura i sezonowość.
• Wykorzystuj wiedzę dziedzinową: Jeśli zależność nie ma sensu w świetle tego, co wiesz o temacie, nie pozwól, by statystyka przeważyła ten instynkt.
• Wizualizuj dane: Wykres rozrzutu lub szereg czasowy często ujawnia wspólny trend lub oczywiste obserwacje odstające, których współczynnik korelacji nie pokazuje.
• Uruchamiaj dodatkowe testy: Korelacja cząstkowa albo sprawdzanie, czy zależność utrzymuje się w różnych podgrupach, może potwierdzić lub obalić korelację.
• Projektuj eksperymenty, gdy to możliwe: Randomizowane próby kontrolowane eliminują zmienne zakłócające, bo to ty decydujesz, która grupa dostaje które oddziaływanie.

Krótko mówiąc, współczynnik korelacji mówi, że dwie rzeczy zmieniały się razem. To, czy coś z tego wynika, musisz ocenić sam.

Złudna korelacja a inne pojęcia statystyczne

Kilka terminów bywa używanych zamiennie ze „złudną korelacją”, co rodzi sporo zamieszania. W tej sekcji pokażę, czym są te pojęcia i czym się różnią.

Złudna korelacja a confounding

Confounding to jeden konkretny powód złudnej korelacji. To nie synonim.

Do confoundingu dochodzi, gdy trzecia zmienna wpływa na obie mierzone zmienne, tworząc zależność, która wygląda na bezpośrednią, ale nią nie jest. Temperatura może być zmienną zakłócającą, bo napędza zarówno sprzedaż lodów, jak i utonięcia.

Złudna korelacja to szersza kategoria. Obejmuje confounding, ale też zbieg okoliczności, bias próbkowania i współdzielone trendy w czasie — żadne z nich nie wymaga ukrytej trzeciej zmiennej. Przykład z Nicolasem Cage’em w ogóle nie jest confoundingiem, bo nie ma zmiennej łączącej jego filmy z utonięciami w basenach. To po prostu przypadek. Ale wciąż złudna korelacja.

Każda relacja zakłócona jest złudna. Nie każda złudna relacja jest zakłócona.

Złudna korelacja a przyczynowość

Złudna korelacja i relacja przyczynowa mogą dać ten sam wykres rozrzutu. Różnica tkwi pod spodem — i ona decyduje, co możesz zrobić z danymi.

Oto tabela podsumowująca różnice:

Złudna korelacja nigdy nie implikuje przyczynowości, niezależnie od tego, jak silny jest współczynnik. Dowód przyczynowości wymaga kontrolowanych eksperymentów lub uznanych metod wnioskowania przyczynowego — to więcej niż pojedynczy test statystyczny.

Jak zmniejszyć ryzyko złudnych korelacji

Samo wykrycie złudnej korelacji post factum jest przydatne. Ale dużo lepiej zbudować proces, który od początku jej unika.

W tym procesie zrób tak:

• Zbieraj lepsze dane: Wiele złudnych korelacji zaczyna się od próby, która nie reprezentuje badanego zjawiska. Zanim cokolwiek przeanalizujesz, sprawdź, czy zbierasz dane z właściwej populacji i we właściwych warunkach.
• Używaj randomizowanych eksperymentów, gdy to możliwe: Randomizacja to najlepsza obrona przed zmiennymi zakłócającymi, bo równomiernie rozkłada ukryte czynniki między grupami. Jeśli możesz przeprowadzić test A/B zamiast opierać się na danych obserwacyjnych — zrób to.
• Waliduj na nowych zbiorach danych: Korelacja widoczna tylko w jednym zbiorze to sygnał, że coś jest nie tak. Zanim jej zaufasz, sprawdź, czy relacja utrzymuje się dla innego okresu, innej osoby zbierającej dane, innej populacji albo innego źródła.
• Wykonuj analizę przyczynową: Techniki takie jak kontrola zmiennych zakłócających czy grafy przyczynowe pozwalają wyjść poza „te dwie rzeczy poruszały się razem” i sprawdzić, czy jedna faktycznie wpływa na drugą.
• Włączaj ekspertów dziedzinowych: Osoba znająca temat często wychwyci złudną zależność, której test statystyczny nie pokaże. Jeśli korelacja kłóci się z wiedzą dziedzinową, podważ ją, zanim na niej coś zbudujesz.

Prawda jest taka, że żaden z tych kroków nie daje gwarancji wyłapania każdej złudnej korelacji, ale razem znacząco zmniejszają ryzyko budowania wniosków czy modeli, które są zawodne.

Wnioski

Wysoki współczynnik korelacji może wyglądać jak odpowiedź, ale dla doświadczonych specjalistów od danych to raczej pytanie.

Liczba mówi, że dwie rzeczy zmieniały się razem. Nie mówi, dlaczego — a traktowanie tego jak dowodu na przyczynowość prowadzi do błędnych założeń, złej interpretacji badań, nietrafionych decyzji biznesowych i modeli, które zawodzą przy nowych danych. To, co kryje się za liczbami, jest ważniejsze niż same liczby.

Dlatego najmocniejsze wnioski nie wynikają z samej statystyki, lecz z połączenia statystyki z wiedzą dziedzinową. Gdy używasz obu, dochodzisz do konkluzji, które bronią się poza zbiorem danych, który je wyprodukował.

Jeśli korelacja i złudna korelacja wciąż cię mylą, zajrzyj do naszej oferty kursów z prawdopodobieństwa i statystyki. Obejmujemy wszystko od wprowadzenia po planowanie eksperymentów i testowanie hipotez.