Corelația lui Spearman: cum să cuantifici relațiile neliniare

Nu toate relațiile urmează o linie dreaptă.

Poate observi că, pe măsură ce bugetul de marketing crește, conversia clienților tinde să se îmbunătățească, dar nu într-un ritm constant. Sau poate, pe măsură ce venitul crește, fericirea crește adesea, dar apoi se stabilizează. Modelul e clar, dar nu e liniar. Cum poți cuantifica asta?

Corelația este folosită pentru a descrie cum variază împreună două variabile. O corelație comună pe care o vei vedea este Coeficientul de corelație Pearson, care workează foarte bine pentru relații liniare. Totuși, multe relații din viața reală nu sunt liniare. Ele pot să se curbeze, să formeze un platou sau să urmeze o tendință constantă fără a forma o linie dreaptă. În unele cazuri, valorile exacte contează mai puțin decât ordinea în care apar. Aici intervine Coeficientul de corelație al rangurilor lui Spearman.

Corelația lui Spearman lucrează cu ranguri în loc de valori brute, măsurând dacă două variabile tind să crească sau să scadă împreună într-un mod consecvent. Asta o face potrivită pentru relații monotone. O face, de asemenea, mai robustă la anumite particularități ale datelor, cum ar fi valorile extreme sau distanțarea inegală.

Ce este corelația rangului lui Spearman?

Coeficientul de corelație al rangurilor lui Spearman este o măsură a forței și direcției relației dintre două variabile. Se bazează pe rangul valorilor lor, nu pe valorile în sine.

Ca să vezi cum funcționează, imaginează-ți că analizezi melodii pe o platformă de streaming. Poți compara de câte ori este redată o melodie cu locul ei într-un top „Top 100”. Relația s-ar putea să nu fie perfect liniară: dublarea numărului de redări nu dublează neapărat poziția în top. Dar, în general, melodiile cu mai multe redări tind să se claseze mai sus.

Corelația lui Spearman surprinde acest tip de model concentrându-se pe ordinea datelor, nu pe valorile exacte.

Asta o face utilă mai ales atunci când relația nu este liniară, dar urmează totuși o tendință clară, când datele sunt exprimate natural ca ranguri sau când datele conțin valori extreme care ar putea distorsiona o măsură liniară.

Spre deosebire de corelația lui Pearson, care lucrează direct cu valori brute, corelația lui Spearman convertește mai întâi datele în ranguri și apoi măsoară cât de apropiate sunt aceste clasamente.

În termeni tehnici, corelația lui Spearman măsoară relații monotone. O relație este monotonă dacă o variabilă tinde să crească atunci când cealaltă crește sau să scadă atunci când cealaltă scade, fără a-și schimba direcția.

Relații monotone vs. liniare

Deci care este, exact, diferența dintre relațiile liniare și cele monotone?

O relație liniară este una în care datele urmează un model de linie dreaptă. Dacă ai reprezenta datele pe grafic, ai vedea puncte care formează aproximativ o linie.

O relație monotonă, pe de altă parte, este mai puțin strictă. Înseamnă pur și simplu că relația se mișcă într-o singură direcție. Esențial, ambele variabile se mișcă împreună, dar nu neapărat pe o linie dreaptă. Modelul poate să se curbeze, să se niveleze sau să-și schimbe ritmul, atâta timp cât nu își inversează direcția.

În graficele de mai sus, poți vedea patru exemple diferite de relații monotone, dintre care doar primul este liniar. Ultimul grafic nu este monoton, deoarece modelul își schimbă direcția, începând ca o asociere pozitivă și terminând ca una negativă.

Cum găsești corelația rangului lui Spearman pas cu pas

La nivel înalt, Coeficientul de corelație al rangurilor lui Spearman funcționează convertind datele în ranguri și apoi măsurând cât de similare sunt clasamentele între variabile.

Hai să parcurgem un mic exemplu. Să presupunem că analizăm relația dintre orele petrecute exersând un instrument muzical și clasarea la o competiție.

Mai întâi, să reprezentăm datele.

Vizual, pare că mai multă practică duce la scoruri mai mari, dar modelul nu pare să fie perfect liniar. Se pare că există randamente în scădere când exersezi prea mult. Să aplicăm rangul lui Spearman ca să cuantificăm această relație.

Pasul 1: convertește datele în ranguri

Mai întâi, să atribuim fiecărei valori rangul ei. În cadrul fiecărei variabile, atribuim un rang fiecărei valori de la cea mai mică la cea mai mare. Cea mai mică valoare dintr-o variabilă primește rangul 1, a doua cea mai mică primește rangul 2 și așa mai departe.

Observă că clasamentele pentru Y sunt într-o ordine ușor diferită față de X. Aceasta este variația pe care o va măsura corelația lui Spearman.

Pasul 2: calculează diferențele dintre ranguri

În continuare, calculăm diferența dintre ranguri pentru fiecare observație.

Apoi ridicăm la pătrat fiecare diferență:

Acum adunăm diferențele la pătrat din ultima coloană a tabelului.

Pasul 3: aplică formula

În final, trebuie să înlocuim valorile în formula corelației lui Spearman.

Știm deja că (di)2=4 din calculele noastre anterioare. n din numitor este dimensiunea eșantionului, care pentru noi este 8. Înlocuind, obținem:

Interpretarea rezultatului

Rezultatul final este ρ ~ 0,95. Deoarece această valoare este aproape de +1, indică o relație pozitivă puternică între timpul de practică și performanță. Chiar dacă relația nu este perfect liniară, clasamentele sunt foarte similare. Asta înseamnă că atunci când valoarea x se schimbă, valoarea y tinde să se schimbe constant odată cu ea.

În situații reale, este destul de rar să calculezi asta manual. Majoritatea software-urilor se ocupă automat de clasificare, egalități și calcul, ceea ce e bine, deoarece de obicei avem dimensiuni de eșantion mult mai mari!

Calcularea corelației lui Spearman folosind software

Majoritatea programelor statistice de astăzi pot face acest calcul în câteva secunde. Să trecem pe scurt prin cele mai folosite.

Python

În Python, vei folosi de obicei fie scipy, fie pandas, în funcție de fluxul tău de lucru. Dacă lucrezi cu array-uri sau liste, scipy oferă o modalitate directă de a calcula corelația lui Spearman.

py
corr, p_value = spearmanr(x, y)
print(corr, p_value)

Asta returnează atât coeficientul de corelație, cât și o valoare p, ceea ce e util dacă faci testare statistică.

Dacă lucrezi cu date tabelare, pandas este adesea mai convenabil.

corr_matrix = df.corr(method="spearman")
print(corr_matrix)

Acest lucru calculează matricea de corelație, făcând ușoară compararea mai multor variabile deodată.

Alternativ, dacă vrei doar corelația dintre două coloane specifice, poți specifica asta ușor.

corr=df["column_1"].corr(df["column_2"],method="spearman")

R

În R, corelația lui Spearman este inclusă în funcțiile statistice de bază.

Pentru un calcul rapid, poți folosi cor() și să specifici că vrei metoda lui Spearman.

cor(x, y, method = "spearman")

Dacă vrei și o valoare p și detalii statistice suplimentare, cor.test() îți oferă asta ușor.

cor.test(x,y,method="spearman")

Excel

Excel nu are o funcție Spearman încorporată, dar o poți calcula în doi pași rapizi: mai întâi clasifici datele, apoi iei corelația acelor ranguri.

Iată un mic exemplu:

Poți crea rangurile (colaoanele C și D) folosind funcția RANK.AVG. De exemplu:

=RANK.AVG(A2, $A$2:$A$6,1)
=RANK.AVG(B2, $B$2:$B$6,1)

Apoi, pur și simplu calculezi corelația lui Spearman.

=CORREL(C2:C6, D2:D6)

În toate aceste instrumente, procesul de bază este același: convertești valorile în ranguri și apoi calculezi corelația acelor ranguri.

Cum interpretezi corelația rangului lui Spearman

Dacă ai folosit anterior corelația lui Pearson, probabil ai deja o intuiție bună despre cum să interpretezi corelația rangului lui Spearman, pentru că interpretarea este practic aceeași.

Corelația lui Spearman îți dă o valoare între -1 și 1. Aceasta îți spune atât direcția, cât și forța unei relații monotone.

O valoare de +1 indică o relație monotonă perfect crescătoare; pe măsură ce o variabilă crește, cealaltă crește întotdeauna. Asta se întâmplă când clasamentele fiecărei perechi de valori sunt exact aceleași.

O valoare de -1 indică o relație monotonă perfect descrescătoare; pe măsură ce o variabilă crește, cealaltă scade întotdeauna. Asta se întâmplă când clasamentele fiecărei perechi de valori sunt exact inversate.

O valoare de 0 indică absența unei relații monotone. Asta se întâmplă când nu există o tendință consecventă în clasamente.

O distincție importantă față de Coeficientul de corelație Pearson este că corelația lui Spearman reflectă cât de bine se aliniază ordinea datelor, nu cât de îndeaproape urmează valorile reale o linie dreaptă. Asta înseamnă că o corelație Spearman puternică indică o tendință clară în clasamente și nu neapărat că relația este liniară sau uniform distanțată.

Din acest motiv, este întotdeauna o idee bună să însoțești valorile de corelație de o vizualizare rapidă, pentru a înțelege cel mai bine modelul de bază.

Gestionarea egalităților în clasamente

Totul sună bine până când dai peste un set de date în care mai multe observații au aceeași valoare. Ce faci atunci? Acestea se numesc egalități (ties) și necesită un mic ajustaj când atribui ranguri.

De exemplu, ia valorile: 10, 20, 20, 30. Cele două valori de 20 ar ocupa în mod normal rangurile 2 și 3. Totuși, cum sunt identice, în loc să le atribuim ranguri diferite, atribuim fiecăreia media acelor ranguri; ambele valori de 20 primesc rangul 2,5. Această abordare asigură că valorile egale sunt tratate corect și că clasificarea generală rămâne coerentă.

Deoarece Coeficientul de corelație al rangurilor lui Spearman se bazează în întregime pe ranguri, dacă egalitățile nu sunt gestionate corect, corelația poate fi distorsionată.

Limitările corelației lui Spearman

Deși Coeficientul de corelație al rangurilor lui Spearman este o măsură flexibilă și larg utilizată, are câteva limitări.

Cel mai important, poate surprinde doar relații monotone. Dacă o relație își schimbă direcția, cum ar fi un model în formă de U sau un val sinusoidal, corelația poate fi aproape de zero chiar dacă există un model clar. În aceste cazuri, ar fi mai potrivite modele neliniare, cum ar fi regresia polinomială.

De asemenea, deoarece corelația lui Spearman se bazează pe ranguri, ignoră distanțele reale dintre valori. Asta o face mai bună în gestionarea valorilor extreme, dar înseamnă și că se pierde ceva informație. Magnitudinea relației este mai dificil de interpretat cu corelația lui Spearman decât cu cea a lui Pearson din acest motiv. Îți spune dacă variabilele se mișcă împreună ca ordine, dar nu cât de mult se schimbă una în raport cu cealaltă.

În cele din urmă, când multe valori sunt egale, procesul de clasificare devine mai puțin precis. Asta poate duce la o valoare a corelației mai slabă, care s-ar putea să nu reprezinte pe deplin relația.

Spearman vs. Pearson: când să le folosești

Cea mai folosită corelație este probabil Coeficientul de corelație Pearson. La prima vedere, pare foarte asemănător cu Coeficientul de corelație Spearman. Au chiar și nume aproape identice! Dar răspund la întrebări ușor diferite.

Pearson întreabă: „Urmează aceste variabile o relație de tip linie dreaptă?”, în timp ce Spearman întreabă: „Se mișcă aceste variabile în aceeași ordine?”

Dacă datele tale urmează un model aproximativ liniar și distanțele reale dintre valori sunt semnificative, corelația lui Pearson este, de obicei, alegerea potrivită. Dar dacă relația se curbează sau se nivelează, Spearman tinde să fie o opțiune mai bună.

Spearman este, de asemenea, mai îngăduitor. Deoarece lucrează cu ranguri în loc de valori brute, este mai puțin sensibil la valori extreme și nu se bazează la fel de mult pe presupuneri despre date. Compromisul este că nu surprinde la fel de bine diferențele de magnitudine dintre valori.

În practică, o regulă generală bună este: dacă relația este liniară, folosește Pearson; dacă este monotonă, dar nu liniară, folosește Spearman. Și, ca întotdeauna, reprezintă-ți datele înainte de a decide.

Concluzie

Coeficientul de corelație al lui Spearman este un instrument excelent pentru a surprinde modele monotone, mai ales în seturi de date care nu sunt bine deservite de corelația lui Pearson. Lucrând cu ranguri, este mai puțin sensibil la valori extreme și mai permisiv cu datele neliniare.

Poți citi mai multe despre alegerea celei mai bune corelații pentru setul tău de date în Înțelegerea corelației: măsurarea relațiilor în date. S-ar putea să te intereseze și Înțelegerea covarianței: un ghid introductiv.