Pearson Korelasyon Katsayısı: Verilerde İlişkileri Nicelleştirme

Bir şirket verisine baktığınızı ve reklam harcamalarınız arttıkça gelirinizin de arttığını fark ettiğinizi hayal edin. Herhangi bir karar vermeden önce, bu ilişkinin gücünü nicel olarak ifade edebilmek istersiniz.

Pearson korelasyon katsayısı, böyle bir ilişkiyi nicelleştirmenin en yaygın yoludur. Veri bilimi, ekonomi, psikoloji ve biyoloji dahil pek çok disiplinde kullanılır. Analistler, keşifsel veri analizi sırasında diğer tekniklere geçmeden önce örüntüleri bulmak için korelasyonları bile hesaplar.

Pearson Korelasyon Katsayısının Arkasındaki Sezgi

Formüllere veya hesaplamalara bakmadan önce, korelasyonun neyi anlattığını sezgisel olarak kavramak faydalıdır. En basit haliyle korelasyon, iki değişkenin birlikte nasıl hareket ettiğini ölçer. Yani şu soruyu yanıtlar: “Bir değişken arttığında diğeri ne yapar?”

Korelasyon, tek tek değerlerden ziyade birlikte hareket etme örüntülerine odaklanır. İki değişken aynı anda artma veya azalma eğilimindeyse pozitif bir ilişki vardır. İki değişken zıt yönlerde hareket etme eğilimindeyse (biri artarken diğeri azalırsa) negatif bir ilişki vardır. Ve her iki değişkenin değerleri tutarlı bir örüntü sergilemiyorsa, ilişki olmayabilir.

Yukarıdaki grafiklerde, korelasyonun hem yönü hem de gücü nasıl yakaladığını görebilirsiniz. Üst sıra, noktaların net bir örüntü izlediği güçlü ilişkileri; alt sıra ise daha fazla saçılmanın olduğu zayıf ilişkileri gösterir. Soldaki grafikler, değerlerin birlikte arttığı pozitif ilişkileri; sağdakiler ise bir değişken artarken diğerinin azaldığı negatif ilişkileri gösterir. Her grafikte yer alan r değerleri bu örüntüleri özetler.

Korelasyon, analistlerin değişkenler arasındaki ilişkileri incelediği keşifsel veri analizinde özellikle kullanışlıdır. Verilerinizi görselleştirmek, örüntüleri görmeyi ve Pearson gibi bir korelasyon ölçütünün verileriniz için uygun olup olmadığını belirlemeyi kolaylaştırır.

Ayrıca, korelasyonun verilerde gözlemlenen ilişkileri tanımladığını, bu ilişkileri üreten mekanizmaları değil, unutmamak gerekir. İki değişken güçlü bir şekilde ilişkili olsa bile, birinin diğerine neden olduğu anlamına gelmez. Korelasyon yalnızca var olan örüntüleri özetler. Klasik deyişi hatırlayın: “korelasyon nedensellik anlamına gelmez”.

Pearson Korelasyon Katsayısı Ne Ölçer?

Pearson korelasyon katsayısı, iki sürekli değişken arasındaki doğrusal ilişkinin gücünü ve yönünü ölçmenin biçimsel bir yolunu sunar. Bir saçılım grafiğindeki noktaların doğru çizgi örüntüsünü ne kadar yakından izlediğini özetler.

Pearson korelasyon katsayısının değeri her zaman −1 ile +1 arasındadır.

Bu değerler, önceki bölümde tartıştığımız örüntüleri niceler. +1 veya −1’e yakın değerler daha güçlü bir doğrusal ilişkiyi; 0’a yakın değerler ise daha zayıf bir ilişkiyi gösterir. İşaret, ilişkinin pozitif mi negatif mi olduğunu belirtir.

Önemli bir nokta, Pearson korelasyonunun yalnızca doğrusal ilişkileri ölçmesidir. İki değişken doğrusal olmayan bir örüntüyü izliyorsa, değişkenler açıkça ilişkili olsa bile korelasyon katsayısı sıfıra yakın olabilir. Başka bir deyişle, r = 0 mutlaka ilişki yok demek değildir; değişkenler arasında doğrusal bir ilişki yok demektir.

Yukarıdaki grafikte, değişkenler açıkça bir örüntü izliyor ancak bu örüntü doğrusal değil. Pearson korelasyon yalnızca doğrusal ilişkileri ölçtüğünden, değişkenler güçlü şekilde ilişkili olsa bile r değeri sıfıra yakındır. Bu gibi durumlarda, doğrusal olmayan fakat tekdüze (monoton) örüntüleri yakalayabilen Spearman korelasyonu daha uygun olabilir.

Pearson Korelasyonu İçin Formül

Pearson korelasyon katsayısı, iki değişkenin birlikte nasıl değiştiğini her birinin tek başına ne kadar değiştiğiyle karşılaştıran bir formülle hesaplanır. En yaygın yazımı şöyledir:

Bu ifadede, Cov(X, Y) iki değişken arasındaki kovaryansı temsil ederken, σX ve σY her bir değişkenin standart sapmasını gösterir. Kovaryans, iki değişkenin birlikte artma veya azalma eğiliminde olup olmadığını ölçer, ancak büyüklüğü değişkenlerin birimlerine bağlıdır. Standart sapmalara bölmek, sonucu standartlaştırır ve Pearson korelasyon katsayısının her zaman −1 ile +1 arasında olmasını sağlar. Korelasyon ve kovaryansa daha geniş bir bakış için konuyla ilgili eğitimimize göz atın.

Özünde Pearson korelasyonu, standartlaştırılmış kovaryanstır. Kovaryans bize değişkenlerin aynı ya da zıt yönde hareket edip etmediğini söylerken, korelasyon bu bilgiyi ölçeklendirir ve ilişkinin gücünün farklı veri setleri arasında tutarlı şekilde yorumlanmasını sağlar.

Bu hesabı elle yaptıysanız (teşekkürler istatistik dersi!) muhtemelen adımları daha açık hale getiren şu formüle aşinasınızdır:

Burada her gözlem, kendi değişkeninin ortalamasıyla karşılaştırılır. (Xi − X̄) ve (Yi − Ȳ) terimleri, her değerin ortalamadan ne kadar uzak olduğunu hesaplar. Bu sapmaları çarpmak, değişkenlerin her gözlemde aynı yönde hareket edip etmediğini ölçer. Her iki sapma da pozitif veya her ikisi de negatif olduğunda çarpımları pozitiftir ve pozitif korelasyona katkıda bulunur. Biri pozitif, diğeri negatif olduğunda çarpımları negatiftir ve negatif korelasyona katkıda bulunur.

Hesabın temel mantığı basittir:

1. Verileri ortalamaları etrafında merkeze alın.
2. Sapmaları çarparak birlikte nasıl hareket ettiklerini ölçün.
3. Standart sapmalara bölerek normalize edin.

Bu yapı, Pearson korelasyon katsayısının, özgün birim veya ölçeklerden bağımsız olarak iki değişkenin doğrusal olarak ne kadar güçlü ilişkili olduğuna dair standartlaştırılmış bir ölçü sunmasını sağlar.

Pearson Korelasyonuna İlişkin Çözümlü Örnek

Kısa bir örneği birlikte ele alalım. Bir grup öğrenci için çalışma saatleri ile sınav notları arasındaki ilişkiyi incelemek istediğimizi varsayalım. Aşağıda beş öğrenciye ait küçük bir veri seti var.

İlk adım her zaman verilerinizi görselleştirmektir. Öyleyse aşağıda bunu yapalım.

Verileri çizdiğimizde, çalışma süresi arttıkça sınav notlarının artma eğiliminde olduğunu görüyoruz; ancak bu ilişkiyi nicelleştirmek istiyoruz. Bu veri seti için Pearson korelasyon katsayısını hesaplayalım.

Önce, her değişkenin ortalamasını hesaplamamız gerekir. Bu örnekte, ortalama çalışma saati 3, ortalama sınav notu 67,2’dir.

Sonra, her gözlemin kendi ortalamasından ne kadar uzak olduğunu hesaplarız. Bu değerlere ortalamadan sapma denir.

Ardından, değişkenlerin her gözlemde birlikte nasıl hareket ettiklerini göstermek için sapmaları çarparız. Her iki sapmanın işareti aynıysa çarpımları pozitiftir ve pozitif korelasyona katkıda bulunur. Sapmaların işaretleri zıt olduğunda, çarpım negatiftir ve negatif korelasyona katkıda bulunur.

Son sütundaki çarpımları topladığımızda 31 elde ederiz; bu, Pearson korelasyon hesaplamamızın payıdır.

Sonraki adımda, her değişkenin standart sapmasını kullanarak değişkenliğini hesaplarız. Bunu yapmak için, 3. ve 4. sütunlardaki sapmaları toplama öncesi karelerine çıkarırız.

X için:

Y için:

Ardından, her toplamın karekökünü alırız:

Son olarak, paydayı standart sapmaların çarpımına böleriz:

Bu son adım bize Pearson korelasyon katsayısını verir; bu örnekte yaklaşık 0,76’dır ve güçlü bir pozitif doğrusal ilişkiye işaret eder. Buradan, bir öğrencinin çalıştığı saat sayısının test puanlarıyla güçlü ve pozitif biçimde ilişkili olduğu sonucunu çıkarabiliriz. 

Ancak, çalıştıkları saatlerin puanlarına neden olduğu sonucuna varamayız. Bu sonuca ulaşmak için ek analizlere veya deneysel bir çalışmaya ihtiyaç vardır.

Pearson Korelasyonu Nasıl Hesaplanır

Yukarıdaki basit örnekten, Pearson korelasyon katsayısını elle hesaplamanın pek pratik olmadığı görülüyor.

Neyse ki, çoğu istatistik yazılımı bunu hesaplamak için yerleşik işlevler sunar. Hesaplamanın mantığını anlamak sezgi açısından faydalıdır; ancak gerçek iş akışlarında katsayı genellikle otomatik olarak hesaplanır. Excel, Python ve R kullanarak Pearson korelasyon katsayısının nasıl hesaplanacağına kısaca bakalım.

Excel’de Pearson korelasyon katsayısını hesaplama

Excel’de Pearson korelasyon katsayısı, CORREL() işlevi kullanılarak kolayca hesaplanabilir. Bu işlev, ilgilenilen iki değişkeni temsil eden iki değer aralığını alır ve korelasyon katsayılarını döndürür.

=CORREL(A1:A10, B1:B10)

Bu işlev, seçili aralıklardan Pearson’ın r’sini doğrudan hesaplar ve elektronik tablolar içinde değişkenler arasındaki ilişkileri keşfetmenin hızlı bir yolunu sunar.

Python’da Pearson korelasyon katsayısını hesaplama

Python’da Pearson korelasyon katsayısı genellikle pandas veya SciPy kütüphaneleri kullanılarak hesaplanır. pandas’taki corr() yöntemi, bir DataFrame’deki sütunlar arasındaki korelasyonları hesaplar:

import pandas as pd

pearson_df['hours_studied'].corr(pearson_df['exam_score'])

Alternatif olarak, SciPy’nin istatistik modülündeki pearsonr() işlevi hem korelasyon katsayısını hem de hipotez testi için bir p-değeri döndürür:

from scipy.stats import pearsonr

pearsonr(pearson_df['hours_studied'], pearson_df['exam_score'])

Python tabanlı veri analizine yeniyseniz, tablolu veri kümeleriyle çalışmayı anlatan pandas eğitimimize göz atabilirsiniz.

R’da Pearson korelasyon katsayısını hesaplama

R’da Pearson korelasyon katsayısı cor() işleviyle hesaplanabilir:

cor(x, y)

Varsayılan olarak bu işlev Pearson korelasyon katsayısını hesaplar; isterseniz diğer korelasyon yöntemlerini de belirtebilirsiniz.

Bu üç aracın her biri, Pearson korelasyon katsayısını hızlıca hesaplamayı kolaylaştırır. Hatta bu kadar kolay olduğu için, analistlerin aynı anda birden çok değişken arasındaki ikili korelasyonları gösteren bir korelasyon matrisi üretmesi yaygındır. Bu, analizin sonraki aşamalarında daha fazla araştırmayı gerektirebilecek örüntüleri ve ilişkileri belirlemeye yardımcı olur.

r Değerini Yorumlama

Pearson korelasyon katsayısını hesaplamak bir şeydir; peki bunu nasıl yorumlayacağız? r katsayısının iki değişken arasındaki doğrusal ilişkinin hem yönünü hem de gücünü tanımladığını unutmayın.

r’nin işareti ilişkinin yönünü belirtir. Pozitif bir değer, değişkenlerin birlikte artma eğiliminde olduğunu; negatif bir değer ise bir değişken artarken diğerinin azalma eğiliminde olduğunu gösterir.

r’nin büyüklüğü doğrusal ilişkinin gücünü açıklar; 1’e yakın değerler 0’a yakın olanlardan daha güçlüdür. Farklı alanlarda neyin güçlü ilişki sayıldığına dair gelenekler değişebilir. Fizik veya mühendisliğin bazı alanları gibi yüksek derecede kontrollü deneysel ortamlarda, güçlü korelasyonlar 1’e yaklaşabilir. Tıp, halk sağlığı, ekonomi veya psikoloji gibi karmaşık biyolojik ya da sosyal sistemleri içeren alanlarda ise, değişkenlerin ölçümü güç olduğunda veya etkiler ölçekle biriktiğinde, 0,1 ile 0,4 aralığındaki korelasyonlar bile anlamlı olabilir. Standartlar disiplinler arasında değiştiğinden, r’yi yorumlamak alan bilgisi ve bağlamsal yargı gerektirir.

Ayrıca Pearson korelasyonunun uç değerlere duyarlı olduğunu not etmek önemlidir. Tek bir aykırı değer, r değerini önemli ölçüde artırıp azaltabilir. Bu, verilerinizi görselleştirmenin neden bu kadar önemli olduğuna dair bir başka nedendir. Korelasyon katsayılarıyla birlikte saçılım grafiklerini incelemek, aşırı etkide bulunabilecek aykırı değerleri belirlemeye yardımcı olur.

r ile hipotez testi ve örneklem büyüklüğü

İstatistik yazılımları çoğu zaman Pearson korelasyon katsayınızla birlikte bir p-değeri de sağlayabilir. Bu p-değeri, değişkenler arasında gerçekte hiçbir ilişki yoksa, verilerinizde gözlemlenen kadar güçlü bir korelasyonun görülme olasılığını test eder. Yalnızca şans eseri ortaya çıkması olası değilse, ilişkinin istatistiksel olarak anlamlı olduğunu söyleriz.

Bu p-değeri, Pearson korelasyon katsayısının bir t-istatistiğine dönüştürülmesi ve t-dağılımıyla karşılaştırılmasıyla hesaplanır. Bu, Student’ın t-testine benzer; ancak burada amaç, gerçek korelasyonun sıfır olup olmadığını test etmektir.

Büyük veri setlerinde, nispeten küçük bir r değeri bile istatistiksel olarak anlamlı olabilir; ancak bireysel düzeyde ilişki yine de zayıf olabilir. Bu, örneğin halk sağlığı için önemlidir; zayıf bir ilişki bile toplum düzeyinde önemli sağlık etkilerine yol açabilir. Bu nedenle, korelasyonun büyüklüğü (r) ile istatistiksel anlamlılığı (p-değeri) arasında ayrım yapmak faydalıdır.

Yukarıdaki grafiklerde, her iki veri seti de egzersiz ile dinlenik kalp atış hızı arasında zayıf bir negatif ilişki gösteriyor. Ancak sağdaki veri seti çok daha fazla gözlem içeriyor; bu da korelasyon küçük kalsa bile ilişkinin istatistiksel olarak anlamlı olmasını sağlıyor. Bu durum, daha büyük örneklem büyüklüklerinin ilişkileri saptama gücümüzü nasıl artırdığını ve sonuçları yorumlarken hem r değerini hem de p-değerini dikkate almanın neden önemli olduğunu vurgular.

Pearson Korelasyonunun Varsayımları

Pearson korelasyon katsayısı, hesaplaması ve yorumlaması kolay olduğu için yaygın olarak kullanılır. Ancak birçok istatistiksel araç gibi, belirli varsayımlar makul ölçüde sağlandığında en iyi sonucu verir.

İlk olarak, Pearson korelasyon iki değişken arasında doğrusal bir ilişki varsayar. Gerçek ilişki eğrisel veya doğrusal değilse, katsayı ilişkinin gücünü olduğundan az gösterebilir veya ilişki yokmuş gibi görünebilir.

Bir diğer varsayım, analiz edilen değişkenlerin sürekli olmasıdır. Pearson korelasyonu, boy, gelir, sıcaklık veya sınav notu gibi sürekli sayısal ölçeklerde ölçülen değişkenler için tasarlanmıştır. Sıralı (ordinal) veya ayrık verileriniz varsa, Spearman korelasyonu veya Kendall’ın tau’su daha uygun olabilir.

Verilerinizin genelde normal dağılımlı olmasını da istersiniz. Bu, hipotez testleri yapıyorsanız veya korelasyon katsayısı için güven aralıkları hesaplıyorsanız özellikle önemlidir. Dağılımlar güçlü biçimde normal değilse, tahmini korelasyon yine örneklem ilişkisinin bir tanımı olabilir; ancak elde edeceğiniz p-değeri büyük olasılıkla daha az güvenilir olacaktır.

Pearson korelasyonu ayrıca homoscedasticity (varyansların eşitliği) varsayar; yani bir değişkenin değişkenliği, diğer değişkenin aralığı boyunca nispeten tutarlı olmalıdır. Pratikte bu, bir saçılım grafiğindeki noktaların yayılımının, değerler artıp azalırken kabaca benzer kalması demektir. Yayılım veri aralığı boyunca önemli ölçüde değiştiğinde, korelasyon katsayısı ilişkinin yapısını tam olarak yakalamayabilir. Normallikte olduğu gibi, bu varsayımı ihlal etseniz de r’yi hesaplayabilirsiniz; ancak sonrasındaki çıkarımsal testler daha az güvenilir olur.

Yukarıda, yüksek ve düşük homoscedasticity’yi gösteren iki grafiği görüyorsunuz. Solda veriler dağılım boyunca oldukça eşit yayılmışken, sağda daha çok bir koni şekli görülür. Pearson korelasyonu, verilerinizin soldaki grafiğe daha çok benzemesini varsayar.

Son olarak, daha önce de tartıştığımız gibi, Pearson korelasyonu aykırı değerlere duyarlıdır. Katsayı ortalamalar ve standart sapmalar üzerine kurulu olduğundan, aşırı değerler hesaplamayı orantısız biçimde etkileyebilir. Tek bir sıra dışı veri noktası bile korelasyonu önemli ölçüde artırıp azaltabilir.

Pearson Korelasyonu vs. Spearman Korelasyonu

Pearson korelasyonu ve Spearman korelasyonu kulağa çok benzer gelir ve kolayca karıştırılabilir. Her ikisi de iki değişken arasındaki ilişkiyi ölçer; ancak yakaladıkları ilişki türü ve dayandıkları varsayımlar bakımından farklıdırlar.

Pearson korelasyon katsayısı, iki sürekli değişken arasındaki doğrusal ilişkinin gücünü ölçer. Buna karşın Spearman korelasyon katsayısı, değişkenlerin aynı yönde fakat mutlaka sabit bir hızda değil, tekdüze (monoton) biçimde hareket ettiği ilişkinin gücünü ölçer. Monoton bir ilişki, değerler tutarlı biçimde artıp azaldığı sürece doğrusal veya doğrusal olmayan olabilir.

Spearman korelasyonu, ham değerler yerine verilerin sıralı (rank) değerleri kullanılarak hesaplanır. Verileri derecelere dönüştürmek, aykırı değerlerin etkisini azaltır ve doğrusal olma varsayımını gerektirmez.

Pearson korelasyonu, veri dağılımına ilişkin varsayımlara dayandığı için parametrik bir ölçü kabul edilir. Spearman korelasyonu ise aynı dağılımsal varsayımları gerektirmediği ve normalliğe daha az bağımlı olduğu için parametrik olmayan bir ölçüdür.

Pearson korelasyonunun varsayımları karşılandığında, gerçek doğrusal ilişki için Spearman’dan daha hassas bir tahmin sağlayabilir. Ancak verilerimiz bu standartları karşılamadığında, Spearman korelasyonu iki değişken arasındaki ilişkiyi yine de yakalayabilir.

Pearson Korelasyonu vs. Kovaryans

Kovaryans yakından ilgili bir kavramdır; ancak ölçeklenmesi ve yorumlanması açısından farklılık gösterir.

Kovaryans, iki değişkenin aynı yönde mi yoksa zıt yönde mi hareket etme eğiliminde olduğunu ölçer. Değişkenler birlikte artıyorsa kovaryans pozitiftir. Biri artarken diğeri azalıyorsa kovaryans negatiftir.

Ancak kovaryansın büyüklüğü, değişkenlerin birimlerine bağlıdır. Örneğin, santimetre cinsinden boy ile kilogram cinsinden ağırlık arasındaki kovaryans, inç cinsinden boy ile pound cinsinden ağırlık arasındaki kovaryanstan sayısal olarak farklı olacaktır. Bu durum, kovaryansı veri setleri arasında karşılaştırmayı güçleştirir.

Pearson korelasyon katsayısı, kovaryansı iki değişkenin standart sapmalarının çarpımına bölerek bu sınırlamayı aşar. Bu normalizasyon sayesinde, Pearson korelasyonu birimsizdir ve her zaman −1 ile +1 arasındadır. Bu sınırlı aralık, yorumlamayı çok daha kolay hale getirir.

Basitçe:

• Kovaryans, doğrusal ilişkinin yönünü söyler.
• Pearson korelasyonu, doğrusal ilişkinin yönünü ve standartlaştırılmış gücünü söyler.

Pearson Korelasyonunun Sınırlamaları

Pearson korelasyon katsayısı yaygın olarak kullanılır ve yorumlaması kolaydır; ancak birkaç önemli sınırlaması vardır.

• Birincisi, Pearson’ın korelasyonu nedensellik anlamına gelmez. İki değişken arasındaki güçlü bir korelasyon, birinin diğerini değiştirdiği anlamına gelmez. Korelasyon yalnızca birlikteliği ölçer. Nedenselliği ortaya koymak, kontrollü deneyler veya daha ileri istatistiksel yöntemler gerektirir.
• İkincisi, Pearson korelasyonu yalnızca doğrusal ilişkileri ölçer. İki değişken eğrisel veya üstel gibi doğrusal olmayan bir örüntüye sahipse, açık bir ilişki mevcut olsa bile korelasyon katsayısı sıfıra yakın olabilir.
• Üçüncüsü, bu istatistik aykırı değerlere duyarlıdır. Ortalamalar ve standart sapmalara dayandığı için, aşırı değerler sonucu orantısız şekilde etkileyebilir. Tek bir sıra dışı gözlem, korelasyon katsayısını önemli ölçüde değiştirebilir.
• Dördüncüsü, Pearson korelasyonu kısıtlı aralıktan (restricted range) etkilenebilir. Veriler olası değerlerin yalnızca dar bir alt kümesini temsil ediyorsa, gözlemlenen korelasyon gerçek ilişkinin gücünü olduğundan az gösterebilir. Örneğin, yalnızca yüksek başarı gösteren tek bir okuldan öğrencileri analiz etmek, çalışma süresi ile performans arasındaki korelasyonu, daha çeşitli bir popülasyonda gözlemleneceğinden daha zayıf gösterebilir.
• Son olarak, ilişkiler karmaşık olduğunda Pearson korelasyonu verideki önemli yapıyı kaçırabilir. Pearson’ın r’si açısından ilgisiz görünen iki değişken yine de anlamlı örüntüler paylaşabilir. Bu gibi durumlarda, Spearman korelasyonu veya diğer modelleme yaklaşımları gibi alternatif yöntemler ek içgörü sağlayabilir.

Pearson korelasyonu, daha geniş bir keşifsel ve analitik iş akışının parçası olarak en iyi şekilde kullanılır. Verilerinizi görselleştirin, tüm varsayımların karşılandığını kontrol edin ve Pearson korelasyon katsayısını kullanırken ve yorumlarken probleminizin bağlamını dikkate alın.

Sonuç

Pearson korelasyon katsayısı, çok çeşitli disiplinlerde kullanılan temel bir istatistiksel ölçüdür. Korelasyonun gerçek dünya iş akışlarına nasıl oturduğunu merak ediyorsanız, Python’da keşifsel veri analizi eğitimimize göz atın. Korelasyonu pratikte keşfetmek isterseniz, gerçek veri kümelerinde korelasyonların nasıl kullanıldığını görmek için pandas eğitimimize göz atın.