Korelasyonu Anlamak: Verilerde İlişkileri Ölçmek

Zaten kovaryansla ilgili eğitimimizi keşfettiyseniz, iki değişkenin birlikte nasıl değiştiğini bildiğinizi varsayabiliriz. Korelasyon, bu kavramı bir adım öteye taşıyarak ölçüyü standartlaştırır; böylece farklı veri kümeleri arasındaki ilişkileri karşılaştırabilirsiniz.

Bu rehberde korelasyonun ne olduğunu (özellikle en yaygın olan Pearson korelasyonuna odaklanacağız), kovaryanstan nasıl farklılaştığını ve Python ile R kullanarak nasıl hesaplanıp yorumlandığını öğreneceksiniz. Sonunda, farklı senaryolarda kullanılan farklı korelasyon türlerini de ele alacağız.

İstatistik becerilerinizi güçlendirmeye devam etmek için Python ile İstatistik Temelleri beceri yolumuzu veya R ile İstatistiğe Giriş kursumuzu kaçırmayın.

Korelasyon Nedir?

Korelasyon, iki nicel değişken arasındaki doğrusal ilişkinin gücünü ve yönünü ölçer. Bir değişkendeki değişimlerin, diğerindeki değişimlerle nasıl ilişkilendiğini anlamanıza yardımcı olur. 

Pozitif korelasyon, bir değişken artarken diğerinin de artma eğiliminde olduğu anlamına gelir. Negatif korelasyon ise bir değişken artarken diğerinin azalma eğiliminde olduğunu ifade eder.

Başlıca fikirleri sıralayayım:

• Korelasyon, iki değişkenin birlikte ne ölçüde hareket ettiğini nicelleştirir.
• Korelasyon katsayısı -1 ile 1 arasında değişir.
• 1 değeri, mükemmel pozitif doğrusal ilişkiyi gösterir.
• -1 değeri, mükemmel negatif doğrusal ilişkiyi gösterir.
• 0 değeri, doğrusal bir ilişki olmadığını gösterir.

Pearson Korelasyon Katsayısı Formülü

Belirttiğim gibi, Pearson korelasyon katsayısı iki sürekli değişken arasındaki doğrusal ilişkiyi ölçer. Henüz söylemediğim şey şu: normal dağılımlı veriyi varsayar (daha doğrusu, değişkenlerin birlikte normal dağılmış olmasını, yani iki değişkenli normalliği varsayar - burada bir nüans var) ve aykırı değerlere duyarlıdır. Pearson korelasyon katsayısı r ile gösterilir.

burada xi​ ve yi​ veri noktalarıdır ve x ile y​ bunların sırasıyla ortalamalarıdır.

Python ve R'de Pearson Korelasyon Katsayısı

Python ve R'de nasıl hesaplanacağına bakalım. 

Python'da korelasyon

Python'da Pearson korelasyon katsayısını scipy.stats modülündeki pearsonr() fonksiyonunu kullanarak hesaplayabilirsiniz:

import numpy as np
from scipy.stats import pearsonr

# Temperature data in Celsius and corresponding Fahrenheit
temperature_celsius = np.array([0, 10, 20, 30, 40])
temperature_fahrenheit = np.array([32, 50, 68, 86, 104])  # Converted from Celsius

# Calculate Pearson correlation coefficient
correlation_coefficient, p_value = pearsonr(temperature_celsius, temperature_fahrenheit)
print("Pearson correlation coefficient:", correlation_coefficient)

Pearson correlation coefficient: 1.0
p-value: 0.0

Çıktı, x_values ile y_values arasında mükemmel pozitif doğrusal bir ilişki olduğunu gösteriyor (çünkü y'yi 2x olarak tanımladık). 

R'de korelasyon

R için, cor() fonksiyonunu kullanabilirsiniz:

temperature_celsius <- c(0, 10, 20, 30, 40)
temperature_fahrenheit <- c(32, 50, 68, 86, 104)  # Converted from Celsius

# Calculate Pearson correlation coefficient
correlation_coefficient <- cor(temperature_celsius, temperature_fahrenheit, method = "pearson")
print(correlation_coefficient)

[1] 1

Bu çıktı da öncekiyle aynı şekilde, mükemmel pozitif doğrusal ilişkiyi gösterir.

Korelasyon Matrisi

Bir korelasyon matrisi, bir veri kümesindeki birden çok değişken çifti arasındaki korelasyon katsayılarını gösterir. Çok değişkenli verilerdeki ilişkileri keşfetmek için kullanışlıdır.

Python'da korelasyon matrisi

Değişkenleri bir matris biçiminde, örneğin bir pandas DataFrame'inde temsil etmek ve korelasyon matrisini doğrudan hesaplamak yaygındır:

import pandas as pd

# Create a DataFrame with two perfectly correlated variables and one that isn't
data = pd.DataFrame({
    'temperature_celsius': [0, 10, 20, 30, 40],
    'temperature_fahrenheit': [32, 50, 68, 86, 104],  # Perfect linear transformation
    'ice_cream_sales': [100, 150, 200, 220, 230]      # Roughly increasing, not perfectly
})

# Calculate the Pearson correlation matrix
correlation_matrix = data.corr(method='pearson')
print(correlation_matrix)

                      temperature_celsius  temperature_fahrenheit  ice_cream_sales
temperature_celsius              1.000000                1.000000         0.993858
temperature_fahrenheit           1.000000                1.000000         0.993858
ice_cream_sales                  0.993858                0.993858         1.000000

Bu çıktı şunları gösterir:

• temperature_celsius ile temperature_fahrenheit arasında mükemmel pozitif korelasyon (beklendiği gibi, önceki gibi).

• ice_cream_sales ile hem temperature_celsius hem de temperature_fahrenheit arasında güçlü ancak mükemmel olmayan korelasyon.

R'de korelasyon matrisi

R'de, daha önce kullandığımız cor() fonksiyonunu bir veri çerçevesine veya matrise uygulayarak aynı sonuca ulaşabilirsiniz:

# Create a data frame with two perfectly correlated variables and one unrelated
data <- data.frame(
  temperature_celsius = c(0, 10, 20, 30, 40),
  temperature_fahrenheit = c(32, 50, 68, 86, 104),  # Perfect conversion from Celsius
  ice_cream_sales = c(100, 150, 200, 220, 230)      # Generally increases, but not perfectly
)

# Calculate the correlation matrix
correlation_matrix <- cor(data, method = "pearson")
print(correlation_matrix)

                      temperature_celsius temperature_fahrenheit ice_cream_sales
temperature_celsius                 1.00                   1.00            0.99
temperature_fahrenheit              1.00                   1.00            0.99
ice_cream_sales                     0.99                   0.99            1.00

Bu R çıktısı, Python örneğini yansıtır ve şunları içerir:

• temperature_celsius ile temperature_fahrenheit arasında mükemmel pozitif korelasyon.

• ice_cream_sales ile temperature_celsius veya temperature_fahrenheit arasında güçlü negatif korelasyon.

Bu tür bir matris görünümü, özellikle muhtemel çoklu doğrusal bağlantıyı (multicollinearity) regresyonda belirlemek veya PCA gibi boyut indirgeme teknikleri için değişken seçmek açısından kullanışlıdır.

Korelasyon ve Diğer Ölçümler

Korelasyonun doğrusal ilişkileri yakaladığını görüyoruz. Şimdi, kulağa benzer gelen kavramlardan açıkça ayırt edelim.

Korelasyon ve kovaryans

Hem korelasyon hem de kovaryans iki değişkenin birlikte nasıl değiştiğini ölçer, ancak iki açıdan farklıdırlar: ölçek ve yorumlanabilirlik.

• Kovaryans bir doğrusal ilişkinin yönünü gösterir, ancak gücünü standart bir şekilde belirtmez. Değeri, değişkenlerin birimlerine bağlıdır; bu da veri kümeleri arasında karşılaştırmayı zorlaştırır.

• Korelasyon, kovaryansı değişkenlerin standart sapmalarına bölerek standartlaştırır ve -1 ile 1 arasında birimsiz bir değer üretir.

Korelasyon ve R-kare

R-kare (R²) ya da belirleme katsayısı da korelasyonla karıştırılabilir. Özellikle analistlerin model performansını yorumlamaya çalışırken buna tanık oldum.

• Korelasyon (Pearson’ın r’si), iki değişken arasındaki doğrusal ilişkinin yönünü ve gücünü ölçer.

• R-kare, doğrusal bir regresyon modelinde bir değişkendeki varyansın diğer değişken tarafından öngörülebilen oranını temsil eder. İşin matematiği gereği, basit doğrusal regresyonda Pearson’ın r’sinin karesidir.

Korelasyon ve nedensellik

Korelasyonu nedensellikle eş tutmayın! Bu yaygın bir hatadır. 

• Korelasyon yalnızca iki değişkenin birlikte hareket ettiğini gösterir. Nedenini açıklamaz. Bu nedenle betimseldir, açıklayıcı değildir. Korelasyon tesadüf, karıştırıcı değişkenler veya ters nedensellik sonucu olabilir.

• Nedensellik, bir değişkendeki değişimin diğerinde doğrudan bir değişime yol açtığını ima eder. Nedensellik konusunu kontrollü deneylere ya da nedensel çıkarım tekniklerine bırakın. 

Korelasyon Analizinde Yaygın Zorluklar ve Hatalar

Analistlerin sıklıkla yanlış yaptığı konuların farkında olmak önemlidir: 

• Korelasyon nedensellik anlamına gelmez. Bunu konuştuk. 
• Aykırı değerler korelasyon katsayılarını çarpıtabilir.
• Doğrusal olmayan ilişkiler, Pearson korelasyon katsayısı tarafından iyi yakalanmayabilir.
• Korelasyon katsayıları, veri aralığına da duyarlıdır.

Diğer Korelasyon Katsayısı Türleri

Bu yazıda, korelasyon kavramını doğrudan kovaryans üzerine inşa eden ve uygulamada en yaygın kullanılan sürüm olduğu için Pearson korelasyon katsayısını ele aldık. Şimdi diğer türlere bakalım. 

Spearman sıra korelasyonu (ρ)

Spearman sıra korelasyonu, sıralı değerler kullanarak monotonik ilişkinin yönünü ve gücünü değerlendirir. Parametrik değildir ve sıralı veriler veya doğrusal olmayan ancak tutarlı eğilimler için iyi çalışır.

Burada:

• di​ = her gözlemin sıraları arasındaki fark
• n = gözlem sayısı

Kendall tau katsayısı (τ)

Kendall tau katsayısı da sıraları kullanarak monotonik ilişkileri ölçer, ancak uyumlu ve uyumsuz çiftlerin sayısına dayanır. Bağlı değerlerin ve küçük örneklemlerin varlığında daha dayanıklıdır.

Burada:

• C = uyumlu çiftlerin sayısı (her iki değişkende de aynı sırayla yer alan çiftler)
• D = uyumsuz çiftlerin sayısı (farklı sıralarla yer alan çiftler)
• n = gözlem sayısı

Sonuç

Umarım bu makaleyi faydalı buldunuz. Gördüğünüz gibi, korelasyon değişkenler arasındaki ilişkileri anlamak için temel bir veri analizi aracıdır. 

Öğrenmeye devam etmek için kurslarımızı mutlaka takip edin. Bir sonraki adım olarak Python ile İstatistik Temelleri beceri yolumuzu veya R ile İstatistiğe Giriş kursumuzu öneririm.