Heteroskedastisite: Eşit Olmayan Varyans Üzerine Kapsamlı Bir Rehber

Daha iyi bir veri analisti ya da veri bilimci olmak için derinlemesine öğrenmenizi önerebileceğim tek bir konu olsaydı, bu regresyon olurdu. Ve regresyonu öğrenmenin kilit bir parçası da heteroskedastisitenin tam olarak ne olduğunu anlamaktır.

Bu yazıda heteroskedastisite olgusuna bakacak, neden önemli olduğunu, nasıl tespit edileceğini ve nasıl ele alınacağını öğreneceğiz. Kapsamlı olacağım ama hızlı ilerleyeceğim. Bu nedenle, ister deneyimli bir analist olun ister yeni başlıyor olun, burada ilginizi çekecek ve işinize yarayacak bir şeyler bulacağınızı umuyorum. Daha fazla bilgi almak ve uzmanlığa giden yola başlamak için R ile Regresyona Giriş kursumuzu ya da Python ile Regresyona Giriş kursumuzu alın. Hızlı bir özet gerekiyorsa basit doğrusal regresyon üzerine bir eğitimim de var.

Heteroskedastisite nedir?

Peki heteroskedastisite tam olarak nedir? Örneklere bakmadan önce teknik tanımları aradan çıkaralım. Eğer bu kelimeyi telaffuz etmekte zorlanıyorsanız, “eşit olmayan varyans” diyerek meseleyi anlatabilirsiniz.

Heteroskedastisite, bağımlı değişkenin değişkenliğinin bağımsız değişkenin değer aralığı boyunca eşit olmadığı bir durumu ifade eder. Ya da model kurmaya daha dayalı bir tanım için, heteroskedastisitenin, artıkların yayılımının ya da saçılımının sabit olmadığı durumlarda ortaya çıktığını söyleyebiliriz; bunu bazen regresyon modeli ya da zaman serisi modeli gibi bir modelde görürüz.

Bir bakıma ikinci tanımı tercih ediyorum çünkü bize heteroskedastisitenin aslında istatistiksel modellemenin yaygın bir yönü (ama aynı zamanda yaygın bir sorunu) olduğunu hatırlatıyor. Ancak açık olmak gerekirse, heteroskedastisite en çok regresyon gibi modeller bağlamında tartışılsa da, modelin tanımının bir özelliği olabileceği gibi verinin kendisinin bir özelliği de olabilir.

Heteroskedastisite örnekleri

R kullanarak bazı örneklere bakalım ve bir alan seçelim — örneğin hanehalkı finansmanı. İlk olarak, eşit olmayan varyansı düşündüğümde aklıma en çok gelen klasik huni ya da yelpaze şeklini göstereceğim.

Bu heteroskedastisite türü örneğin gelir ve harcama verilerinde görülebilir: Düşük gelirli ailelerin, kira ve gıda gibi zorunlu kalemlere odaklı tutarlı aylık harcamaları olur; bu da düşük değişkenlik doğurur. Yüksek gelirli ailelerde ise, yüksek gelirli hanelerin sadece bir kısmı tatil ya da lüks ürünler gibi pahalı tercihler yaparken diğerleri tasarruf ettiğinden, harcamalarda daha fazla değişkenlik görülebilir. Yani bu örnekte gelir arttıkça aylık giderlerdeki değişkenlik de artar ve dolayısıyla yelpaze şekli ortaya çıkar.

y_funnel <- x + rnorm(length(x), mean = 0, sd = x * 0.5)y_inverse_funnel <- x + rnorm(length(x), mean = 0, sd = (1 / x) * 20)y_cyclical <- x + rnorm(length(x), mean = 0, sd = 10 * abs(sin(x / 5)))heteroscedasticity_data <- data.frame(x, y_funnel, y_inverse_funnel, y_cyclical)library(ggplot2)ggplot(heteroscedasticity_data, aes(x = x, y = y_funnel)) +  geom_point(color = '#203147', alpha = 0.7) +  geom_smooth(method = "lm", color = '#01ef63', se = FALSE) +  labs(    title = "Funnel Shape",    x = "X Values",    y = "Y Values"  )Altyapı:

Artıklarda huni şekli. Görsel: Yazar

Hanehalkı finansmanı alanında bir başka örnek daha deneyelim. Şimdi hane üyelerinin yaşı ile tasarruf değişkenliği arasındaki ilişkiyi gösteren bir regresyon modeli kurduğumuzu hayal edin.

Bu verinin heteroskedastisite göstereceğini düşünüyoruz çünkü genç hanelerde, gig işleri ve stajlar gibi düzensiz gelirler veya eğitim kredileri ya da aile kurma gibi planlanmamış giderler nedeniyle tasarrufta yüksek değişkenlik olabilir. Ancak haneler yaşlandıkça ve finansal olarak istikrara kavuştukça tasarruf davranışı daha tutarlı hale gelir; bu da değişkenliğin yaşla birlikte azaldığı ters huni şekli oluşturur.

ggplot(heteroscedasticity_data, aes(x = x, y = y_inverse_funnel)) +  geom_point(color = '#203147', alpha = 0.7) +  geom_smooth(method = "lm", color = '#01ef63', se = FALSE) +  labs(    title = "Inverse Funnel Shape",    x = "X Values",    y = "Y Values"  )Altyapı:

Artıklarda ters huni şekli. Görsel: Yazar

Şimdi de hane gelirleriyle ilgili son bir örneğe bakalım. Burada mevsimler boyunca harcama varyansını, yani döngüsel varyansı inceliyoruz. Çok popüler R ile Tahminleme gibi tahminleme kurslarımızdan birini aldıysanız bu tür bir deseni tanıyabilirsiniz.

Hanehalkı harcamalarının yıl boyunca çoğu zaman döngüsel olarak dalgalandığını biliyoruz. Örneğin, tatil dönemlerinde hediyeler aldığımız veya aile ziyareti için seyahat ettiğimizden varyans artabilir; daha az tatilin olduğu Mart ya da Eylül gibi aylarda ise azalabilir. Aşağıdaki grafikte heteroskedastisiteyi daha karmaşık bir biçimde görüyoruz; farklı dönemlerde artıp azalıyor.

ggplot(heteroscedasticity_data, aes(x = x, y = y_cyclical)) +  geom_point(color = '#203147', alpha = 0.7) +  geom_smooth(method = "lm", color = '#01ef63', se = FALSE) +  labs(    title = "Cyclical Pattern",    x = "X Values",    y = "Y Values"  )Altyapı:

Artıklarda döngüsel desen. Görsel: Yazar

Gördüğünüz gibi heteroskedastisite birkaç farklı biçim alabilir. Şimdi tüm bunların neden önemli olduğuna bakalım.

İstatistiksel modellemede önemi

Genel konuşmak gerekirse, heteroskedastisite hakkında bir şeyler anlamadan regresyonu doğru yapamayacağınızı söyleyebilirim; çünkü heteroskedastisite o kadar yaygındır ve sonuçlarımızı bu kadar saptırabilir.

Muhtemelen bu nedenle, heteroskedastisitenin tersi olan homoskedastisite, doğrusallık, bağımsız hatalar, normallik varsayımı ve çoklu doğrusal ilişkinin olmaması gibi başlıca regresyon model varsayımlarından biridir.

Bu regresyon varsayımları önemlidir çünkü modelimizin tahmin ve çıkarımlarının anlamlı olmasını sağlar. Bu varsayımlar ihlal edildiğinde, standart hatalarımız ve güven aralıklarımız dahil olmak üzere tahminlerimizin güvenilirliği zedelenebilir ve hipotez testlerimiz daha az geçerli hale gelir.

Heteroskedastisitenin Nedenleri

Heteroskedastisite durup dururken ortaya çıkmaz. Kökleri çoğu zaman verinin nasıl toplandığına ya da dönüştürüldüğüne dayanır. Hem veri dönüşümünden kaynaklanan sorunlara hem de veri toplama sorunlarına bakalım.

Veri dönüşümüyle ilgili sorunlar

Bazen verimizi hazırlarken attığımız adımlar heteroskedastisiteye yol açabilir. Yanlış ölçekleme veya doğrusal olmayan dönüşümlerin istenmeyen değişkenlik yaratabileceğini düşünüyorum.

Bunu düşünmek için, bir dairenin büyüklüğü ile aylık kirası arasındaki ilişkiyi incelediğimizi hayal edelim. Normalde, büyüklük ve kira arasında doğrusal bir ilişki bekleyebiliriz; çünkü büyük daireler daha pahalıdır ve varyansın büyüklükle birlikte artması gerekmez; ilişki (belki de) orantılıdır. Bunun nasıl görünebileceği şöyle:

set.seed(1024)size <- runif(1000, 500, 2000) # Random sizes between 500 and 2000 sq ftrent <- 20 * size + rnorm(100, mean = 0, sd = 5000) # Linear relation with added noiseunequal_variance_df <- data.frame(size = size, rent = rent)ggplot(unequal_variance_df, aes(x = size, y = rent)) +	geom_point(color = '#203147', alpha = 0.7) +	geom_smooth(method = "lm", color = '#01ef63', se = FALSE) +	labs(title = "Size vs. Rent",	    x = "Size (sq ft)",	    y = "Rent")Altyapı:

Heteroskedastisite yok. Görsel: Yazar

Büyüklüğe göre ölçeklersek ne olur?

Kira tutarını büyüklüğe göre ölçekleyip “metrekare başına kira”yı hesaplarsak yeni bir metrik yaratırız. Ardından metrekare başına kirayı kiraya göre tahmin etmeye çalışırsak, bu dönüşümün heteroskedastisite oluşturduğunu veya artırdığını görebiliriz. Açık olmak gerekirse, genel olarak bunun iyi bir fikir olmadığını kabul ediyorum — bağımsız değişkeni bağımlı değişkenle bölmek — çünkü y’yi zaten x’ten etkilenir hale getiriyor ve sahte bir korelasyon yaratıyoruz. Dolayısıyla bunun kavramsal ve istatistiksel zorluklar doğurduğunu biliyorum. Ama (sabredin) bunu konuyu somutlaştırmak için bir örnek olarak kullanıyorum:

unequal_variance_df$rent_per_sqft <- unequal_variance_df$rent / unequal_variance_df$sizeggplot(unequal_variance_df, aes(x = size, y = rent_per_sqft)) +	geom_point(color = '#203147', alpha = 0.7) +	geom_smooth(method = "lm", color = '#01ef63', se = FALSE) +	labs(title = "Size vs. Rent per Square Foot",	     x = "Size (sq ft)",	     y = "Rent per Sq Ft")Altyapı:

Fonksiyonel bağımlılık sonucu ortaya çıkan heteroskedastisite. Görsel: Yazar

Bu grafikte, metrekare başına kiradaki değişkenliğin, büyüklük arttıkça azaldığı bir huni şekli görüyoruz. Yani, yoktan heteroskedastisite yaratmış olduk. Başka bir örnek için her iki değişkeni de kareye alabiliriz:

unequal_variance_df$size_squared <- unequal_variance_df$size^2ggplot(unequal_variance_df, aes(x = size ^ 2, y = rent ^ 2)) +	geom_point(color = '#203147', alpha = 0.7) +	geom_smooth(method = "lm", color = '#01ef63', se = FALSE) +	labs(title = "Size Squared vs. Rent Squared",	     x = "Size Squared",	     y = "Rent Squared")Altyapı:

Kare alma sonucu ortaya çıkan heteroskedastisite. Görsel: Yazar

Yine, hem x’i hem y’yi ısrarla kareye aldığımız için, önceden yokken heteroskedastisite yarattık. Bazı bağlamlarda bu kabul edilebilir olsa da, burada dönüşümün, değişkenlerin değerleri arttıkça varyansta görülen farklılıkları büyüteceğini düşündüğüm için her iki değişkeni kareye almanın heteroskedastisite yaratacağından şüpheleniyordum.

Bu ikinci örnek de biraz kurgusal, çünkü böyle bir model kurmamalıyız. Yorumlaması sebepsiz yere zor olacağı için kurmayız. Ama, gerçek dünyadaki bir modelleme akışında, istemeden heteroskedastisite yaratan dönüşümler çok daha sinsi olabilir. Süreç birden fazla adım içeriyorsa gözünüzden kaçabilir.

Daha net söylemek gerekirse, bu durumda heteroskedastisite, oranlarla yapılan özellik mühendisliğinden kaynaklanmıştır. “Metrekare başına kira” gibi oranlar, özellik mühendisliğinde gerçekten yaygındır. Ancak özellikle payda gözlemler arasında önemli ölçüde değişiyorsa bu tür değişkenler heteroskedastisiteye neden olabilir. Logaritmik veya üstel dönüşümler de varyansı dengelemek veya ilişkileri doğrusal hale getirmek için sıklıkla kullanılır. Ancak bunları tutarsız şekilde uygulamak ters tepebilir. Diyelim ki gelir değişkenini logaritmaya dönüştürdünüz ama harcamalar gibi ilişkili özellikleri buna göre ayarlamadınız. Bu tür uyumsuzluklar heteroskedastisitenin yaygın bir kaynağıdır; bu yüzden her şeyin uyumlu olduğundan emin olun ki sahte dinamikler üretmeyin.

Veri toplamada değişkenlik

Heteroskedastisite, tutarsız veri toplama uygulamalarından da kaynaklanabilir. Örneğin, bir çalışmanın ortasında ölçüm aracını değiştirmek heteroskedastisite yaratabilir. Farklı büyüklükte gruplara ve dolayısıyla farklı örneklem büyüklüklerine sahip olmak da heteroskedastisite oluşturabilir. Tek bir yaklaşıma sadık kalmak önemlidir.

Heteroskedastisiteyi Tespit Etme

Heteroskedastisiteyi tespit etmek, onu ele almanın ilk adımıdır ve neyse ki hem görsel hem de istatistiksel araçlar vardır.

Görsel inceleme teknikleri

Saçılım grafikleri, verinizde heteroskedastisiteyi açığa çıkarmaya yardımcı olacak desenleri gösterebilir. Bunun için uyumlu değerler vs. artıklar grafiğini seviyorum. Not olarak, bir artık histogramı veya bir artık q-q grafiği heteroskedastisiteyi tespit etmek için yeterli değildir; çünkü bu iki grafik aslında en iyi normaliteyi test etmek için kullanılır.

y_funnel <- x + rnorm(length(x), mean = 0, sd = x * 0.5)heteroscedasticity_data <- data.frame(x, y_funnel)unequal_variance_model <- lm(y_funnel ~ x, heteroscedasticity_data)fitted_values_vs_residuals <- ggplot(data = unequal_variance_model, aes(x = .fitted, y = .resid)) +    geom_point(color = '#203147') +    geom_hline(yintercept = 0, linetype = "dashed", color = '#01ef63', size = 1) +    xlab("fitted values") +    ylab("residuals") +    labs(title = "Heteroscedasticity Data") +    labs(subtitle = "Fitted Values vs Residuals")Altyapı:

Uyumlu değerler vs. artıklar tanı grafiği. Görsel: Yazar

İstatistiksel testler

Breusch-Pagan testi gibi istatistiksel testler daha nicel bir yaklaşım sunar. Breusch-Pagan testi, modelden elde edilen artıkların karelerinin yordayıcılarla ilişkili olup olmadığını inceleyerek çalışır. Testi uygulamak için modelimizi kurar ve lmtest kütüphanesindeki bptest() fonksiyonunu kullanırız. Testin artıkların normal olduğunu varsaydığını bilin.

library(lmtest)model <- lm(rent ~ size, data = unequal_variance_df)bp_test <- bptest(model)print(bp_test)Altyapı:

Heteroskedastisiteyi Gidermek

Heteroskedastisiteyi tespit ettikten sonra, kanıtlanmış tekniklerle onu ele alma adımı gelir.

Veri dönüşüm yöntemleri

Logaritma uygulamak gibi basit dönüşümler çoğu zaman heteroskedastisiteyi azaltabilir veya ortadan kaldırabilir. Daha önce, eşit olmayan varyansı olmayan bir modele dönüşümler uygulayıp sorunlar yaratmıştık; ancak pratikte bunun tersi olur: Logaritmalar, karekökler veya tersler gibi dönüşümleri kullanarak büyük değerleri sıkıştırır, küçükleri genişletiriz. Örneğin, kira büyüklükle üstel olarak artsaydı, kiraya log almak üstel büyümeyi yassılaştırır ve ilişkiyi (muhtemelen) eşit varyansla doğrusal hale getirirdi.

Ayrıca veri hazırlarken sıklıkla çarpıklığı (skewness) düzeltmeyi düşündüğümüzü de belirtmek isterim. Örneğin, sağa çarpık verilerimiz varsa veriyi Gaussian yapmak için karekök dönüşümü kullanabiliriz. Ancak belki de yeterince takdir etmediğimiz husus, çarpık verilerde büyük değerlerin aynı zamanda daha büyük değişkenliğe sahip olma eğiliminde olduğudur; bu da homoskedastisite varsayımlarının ihlalidir.

Sağlam regresyon teknikleri

Dönüşümler yeterli olmadığında, ağırlıklı en küçük kareler (WLS) gibi sağlam regresyon yöntemleri yardımcı olabilir. Ağırlıklı en küçük kareler burada özellikle ilgi çekicidir çünkü heteroskedastisite ve aykırı değerler gibi veri sorunlarını ele almak üzere tasarlanmıştır. Özellikle WLS, gözlemlere varyanslarına göre ağırlık atayarak, değişkenliği daha yüksek noktaların etkisini azaltır ve daha kararlı tahminler elde etmemizi sağlar. Not olarak, WLS’de ağırlıkların iyi bilindiği veya iyi tahmin edildiği varsayılır.

Heteroskedastisiteyi Görmezden Gelmenin Sonuçları

Heteroskedastisiteyi görmezden gelmek zararsız gibi görünebilir ancak sorunlara yol açabilir.

Model doğruluğuna etkisi

Heteroskedastisite, bir modelin özelliklerin önemini nasıl yorumladığını bozabilir. Örneğin bir harcama modelinde, gelir gibi özellikler, yüksek gelirli hanelerin keyfi harcamaları gibi yüksek değişkenlik gösteren gruplarla ilişkiliyse, olduğundan daha önemli görünebilir. Bu yanlış temsil, daha az güvenilir yordayıcıları olduğundan fazla vurgulamamıza, daha tutarlı olanları ise küçümsememize yol açarak modelin faydasını düşürebilir.

Hipotez testleri için sonuçları

Eşit varyans varsayımında bulunuyor ve bu varsayım karşılanmıyorsa, heteroskedastisite t-testi veya F-testi gibi yaygın istatistiksel testlerin kullanımını geçersiz kılabilir. Eşit olmayan varyans, zaman serilerinde de sorunludur; çünkü zamanla değişen değişkenlik kalıpları, mevsimsel eğilimleri analiz ederken karmaşaya yol açar. Daha güvenilir istatistiksel çıkarım için heteroskedastisiteye dayanıklı standart hatalar (HCSE) kullanılabilir.

İlgili Fikirler

Bu yazıda, bir modelde artık varyansının bağımsız değişken düzeyleri arasında sabit olmadığı durumu inceledik. Burada, grup düzeyinde varyans heterojenliği olarak adlandırılan ve önceden tanımlanmış gruplar arasındaki değişkenliği ifade eden, model varsayımlarına bağlı istatistiksel bir sorundan ziyade verinin betimleyici bir gözlemi olan ilgili bir fikirden kısaca bahsetmek istiyorum.

Son bir örnekle göstereceğim. Burada bir anket verisi simülasyonu kullanacağım. Gelir verilerinin iki farklı yöntemle toplandığı bir senaryoyu ele alıyorum: anketler ve idari kayıtlar. Bu yöntemlerin farklı hassasiyet düzeyleri olabilir (Anketlerin şöhreti malum). Her bir grup içindeki değişimin tutarlı olmadığını görebiliyoruz; bu da ANOVA gibi bir şey için sorun olabilir.

set.seed(1024)income_admin <- rnorm(500, mean = 50000, sd = 2000) spending_admin <- income_admin * 0.3 + rnorm(500, mean = 0, sd = 1000)income_survey <- rnorm(500, mean = 50000, sd = 8000) # Same mean, higher SDspending_survey <- income_survey * 0.3 + rnorm(500, mean = 0, sd = 5000)income <- c(income_admin, income_survey)spending <- c(spending_admin, spending_survey)method <- rep(c("Administrative Records", "Survey"), each = 500)survey_and_admin_data <- data.frame(income = income, spending = spending, method = method) # Plot the datacustom_colors <- c("Administrative Records" ='#01ef63', "Survey" = '#203147')ggplot(survey_and_admin_data, aes(x = income, y = spending, color = method)) +  geom_point(alpha = 0.7) +  labs( title = "Variability in Data Collection", x = "Income", y = "Spending")+  scale_color_manual(values = custom_colors)Altyapı:

Grup düzeyinde varyans heterojenliği. Görsel: Yazar

Sonuç

Heteroskedastisiteyi ele almak yalnızca regresyon modelinizi iyileştirmekle ilgili değildir. Çalışmanızın incelemeye dayanmasını sağlamaktır. Öğrenmeye devam etmek ve uzmanlaşmak için R ile İstatistiksel Çıkarım öğrenme yolumuzu ve R ile Çıkarımın Temelleri kursumuzu alın. Ayrıca R ile İstatistikçi öğrenme yolumuzun da hem öğrenme hem kariyer gelişimi için harika bir seçenek olduğunu düşünüyorum.