Hiç bir t-testi çalıştırıp, temiz bir p-değeri aldıktan sonra verinizin normal dağılıma uyup uymadığını kontrol etmediğinizi fark ettiniz mi?

İstatistiksel testler, varsayımları ihlal edildiğinde sizi uyarmaz. Sadece bir değer döndürürler. Sorun şu ki t-testleri ve ANOVA gibi testler, verinizin normal dağılımı izlemesini varsayar. Bu doğru değilse, sonuçlarınızı sağlam olmayan temeller üzerine kurarsınız.

Normallik testleri bu varsayımı doğrulamanın bir yolunu sunar. Bunu yapmak için hem görsel hem de istatistiksel yöntemler vardır ve hangisini ne zaman kullanacağınızı - ve sonuçları nasıl okuyacağınızı - bilmek, bulgularınızın arkasında güvenle durmanızı sağlar.

Bu yazıda, normalliği kontrol etmek için en yaygın görsel ve istatistiksel yöntemleri adım adım ele alacak, bunları Python ve R ile nasıl çalıştıracağınızı gösterecek ve verileriniz testi geçmediğinde ne yapmanız gerektiğini açıklayacağım.

Uygulamada Normal Dağılım Nedir

Muhtemelen daha önce çan eğrisini gördünüz - ama bu, verileriniz için gerçekte ne anlama geliyor?

Normal dağılım, değerlerin çoğunun merkezin etrafında kümelendiği ve iki tarafa doğru uzaklaştıkça daha az değerin görüldüğü bir örüntüdür. Grafiğe döktüğünüzde simetrik, çan şeklinde bir eğri elde edersiniz. Sol taraf sağ tarafın aynasıdır.

Normal dağılım grafiği

Normal dağılımı benzersiz kılan, ortalama, medyan ve modun aynı noktada - çanın merkezinde - buluşmasıdır. Sola ya da sağa çarpıklık yoktur. Başka bir deyişle, veri dengelidir.

Bu durum, gerçek dünya ölçüm verilerinde sürekli karşımıza çıkar. İnsan boyu, kan basıncı ölçümleri, üretim toleransları, test puanları - yeterli örnek topladığınızda tümü genellikle normal dağılımı izler. Biyolojik ve fiziksel sistemlerdeki doğal varyasyon bu şekli üretme eğilimindedir.

Yine de, tüm veriler böyle davranmaz. Gelir verileri sağa çarpıktır. Web sitesi yanıt süreleri uzun kuyruklara sahiptir.

Gerçek dünyada, kontrol etmeden normalliği varsayarsanız işler fena halde ters gidebilir.

Normallik Testi Yapmanın Önemi

Normalliği kontrol etmemenin sorunu, en yaygın istatistiksel testlerin - t-testleri, ANOVA - parametrik testler olmasıdır.

Bu, verinizin dağılımına ilişkin varsayımlara dayandıkları anlamına gelir. Normallik de bunlardan biridir. Bu varsayım bozulduğunda, testin matematiği de bozulur. Test size yine bir sonuç verir, ancak yanlış çıkarımlara yol açabilir.

Parametrik testler, örnekleminizin geldiği ana kitle hakkında matematiksel varsayımlar yaparak çalışır. Bu varsayımlar sağlandığında bu testler kullanışlı ve doğrudur. Sağlanmadığında ise p-değerleri güvenilmez olur ve doğru sonuçlar çıkaramazsınız.

İşte bu noktada parametrik olmayan testler devreye girer.

Mann-Whitney U veya Kruskal-Wallis gibi testler normalliği varsaymaz - ham değerler yerine sıralamalarla çalışırlar. Daha esnektirler, ancak veriniz normalken genellikle daha az kullanışlıdırlar. Bu yüzden gereksiz yere onlara geçmek çözüm değildir.

Veri bilimine yeni başlayanların yaptığı asıl hata ise kontrolü tamamen atlamaktır.

Normallik testi birkaç satır koddur. Test etmemek, ya verinize körü körüne güvenmek ya da onu hiç düşünmemek demektir.

Normalliği Kontrol Etmek İçin Görsel Yöntemler

Herhangi bir resmi testi çalıştırmadan önce verinizi görselleştirin. Görseller, elinizde ne olduğunu size çok şey söyler.

Histogram

Histogram, dağılımınızın şeklini gösterir.

Örnek histogram

Veriniz normal dağılıyorsa histogram çan eğrisi gibi görünmelidir - ortada yüksek, iki yanda simetrik olarak incelen. İzlediğiniz şey çarpıklıktır: Sağa uzayan uzun bir kuyruk pozitif çarpıklığı, sola uzayan kuyruk negatif çarpıklığı gösterir. Her iki durumda da verinizin normal olmayabileceğine işarettir.

Histogramların sorunu, şeklinin kova (bin) sayısına bağlı olmasıdır:

• Çok az kova olursa dağılım düz görünür
• Çok fazla olursa tırtıklı görünür

Sonuç çıkarmadan önce her zaman birkaç farklı kova boyutunu deneyin.

Q-Q grafiği

Bir Q-Q grafiği (quantile-quantile plot), verinizin kantillerini teorik bir normal dağılımın kantilleriyle karşılaştırır.

Örnek Q-Q grafiği

Veriniz normalse noktalar düz bir diyagonal çizgi boyunca dizilir. Bu çizgiden sapmalar, normalliğin nerede bozulduğunu gösterir. Uçlarda yukarı kıvrılan noktalar ağır kuyruklara işaret eder. S şeklindeki bir eğri çarpıklığı gösterir.

Q-Q grafikleri, özellikle histogramların kaçırma eğiliminde olduğu kuyruklarda, normallikten ince sapmaları yakalamada histogramlardan daha hassastır.

Kutu grafiği

Bir kutu grafiği tek bir görünümde medyanı, yayılımı ve aykırı değerleri gösterir.

Örnek kutu grafiği

Normal dağılan bir veri kümesi, medyanın kutunun yaklaşık ortasında yer aldığı ve bıyıkların her iki tarafta da yaklaşık eşit uzunlukta uzandığı bir kutu grafiği üretir. Medyan ortadan kaymışsa veya bir bıyık diğerinden çok daha uzunsa bu çarpıklıktır. Bıyıkların dışındaki noktalar aykırı değerlerdir.

Görsellerle ilgili genel sorun öznellikleridir. İki kişi aynı histograma bakıp farklı düşünebilir. Önce verinizi anlamak için görselleri kullanın, ardından resmi bir testle doğrulayın.

İstatistikte Yaygın Normallik Testleri

Her durumda en iyi çalışan tek bir normallik testi yoktur. Doğru seçim, örneklem büyüklüğünüze ve tespit etmek istediğiniz şeye bağlıdır.

Shapiro-Wilk testi

Shapiro-Wilk testi, genellikle birkaç yüz gözleme kadar olan küçük ve orta boy örneklemler için başvurulacak seçimdir.

Verinizi, normal olsaydı bekleyeceğiniz değerlere karşılaştırarak normal dağılıma ne kadar yakın olduğunu ölçer. Yaygın olarak kullanılır, iyi anlaşılmıştır ve tüm büyük istatistik kütüphanelerinde mevcuttur. Çoğu analist için başvurulacak ilk test budur.

Başlıca sınırlaması, büyük örneklemlerde aşırı hassas hale gelmesidir. Pratikte önemsiz, çok küçük sapmaları istatistiksel olarak anlamlı diye işaretleme eğilimindedir.

Kolmogorov-Smirnov testi

Kolmogorov-Smirnov (KS) testi, örnekleminizin kümülatif dağılımını teorik bir dağılıma - bu durumda normale - karşılaştırır.

Shapiro-Wilk'ten daha geneldir ve sadece normal değil, herhangi bir dağılıma karşı test edebilir. KS testi normallik testi özelinde Shapiro-Wilk'e göre daha az güçlüdür; yani ince sapmaları yakalama olasılığı daha düşüktür. Ayrıca dağılım parametrelerini önceden belirtmenizi gerektirir; bunları aynı veriden tahmin ederseniz önyargı oluşur.

Hızlı, genel amaçlı bir kontrol gerektiğinde kullanın - birincil normallik testiniz olarak değil.

Anderson-Darling testi

Anderson-Darling testi, KS testinin bir varyasyonudur, ancak önemli bir farkla: dağılımın kuyruklarına daha fazla ağırlık verir.

Bu, uçlarda görülen sapmaları - ağır kuyruklar, aykırı değerler veya KS testinin kaçırabileceği normal dışı davranışları - yakalamada daha iyi olmasını sağlar. Kullanım durumunuz kuyruk davranışına duyarlıysa Anderson-Darling iyi bir seçimdir.

D'Agostino-Pearson testi

D'Agostino-Pearson testi farklı bir yaklaşım benimser.

Dağılımları doğrudan karşılaştırmak yerine verinizin iki özelliğini ölçer: çarpıklık (asimetriklik) ve basıklık (kuyrukların ne kadar ağır ya da hafif olduğu).

İkisini tek bir test istatistiğinde birleştirir. Bu, verinizin neden normal olmayabileceğini saptamada - sadece olup olmadığını değil - iyidir. Özellikle çarpıklık ve basıklık tahminlerinin güvenilir olduğu daha büyük örneklemlerle iyi çalışır.

Jarque-Bera testi

Jarque-Bera testi de D'Agostino-Pearson'a benzer şekilde çarpıklık ve basıklığı kullanır.

Ekonometri ve zaman serisi analizinde yaygındır. D'Agostino-Pearson gibi, güvenilir sonuçlar için yeterince büyük örnekleme ihtiyaç duyar. Küçük örneklemlerde test pek güvenilir değildir. Finans veya ekonomi bağlamında çalışıyorsanız bunu sıkça göreceksiniz.

Özetle, küçük örneklemler için Shapiro-Wilk ile başlayın ve bir Q-Q grafiğiyle eşleştirin. Kuyruk davranışı önemliyse Anderson-Darling'i, sapmanın doğasını anlamak istiyorsanız D'Agostino-Pearson'ı kullanın.

Normallik Testi Sonuçları Nasıl Yorumlanır

Her normallik testi bir hipotez testidir.

Herhangi bir normallik testindeki null hipotez verinizin normal dağıldığıdır. Test şu soruyu sorar: veride gördüklerimize göre bu null hipotezin doğru olma olasılığı nedir?

Yanıt bir p-değeri olarak gelir:

• p > 0.05 - normalliği reddetmek için yeterli kanıt yok. Verinin normal olduğunu varsayın ve parametrik testlerle devam edin
• p < 0.05 - veri normallikten istatistiksel olarak tespit edilebilir düzeyde sapıyor. Normallik varsayımını reddedin

Kulağa basit geliyor, ancak pek çok kişi burada hata yapıyor.

Düşük p-değeri, verinizin ne kadar normal dışı olduğunu söylemez - yalnızca bir fark tespit edildiğini söyler. Büyük örneklemlerde normallik testleri son derece hassas hale gelir. Analizinize gerçek etkisi olmayan çok küçük sapmaları da işaretlerler.

Ters sorun da vardır. Küçük örneklemlerde, gözle görülebilir şekilde çarpık veriler bile, testin sapmayı tespit edecek güce sahip olmaması nedeniyle p > 0.05 üretebilir.

İstatistiksel anlamlılık ile pratik anlamlılık aynı şey değildir.

Bir p-değeri, normallikten bir sapma olup olmadığını söyler. Bu sapmanın belirli analiziniz için önemli olup olmadığını söylemez. Test sonucunu her zaman bir Q-Q grafiğiyle eşleştirin - noktalar çizgiyi yakından takip ediyorsa, p-değerinin ne dediğinden bağımsız olarak veriniz muhtemelen yeterince normaldir.

Python'da Normallik Testleri

Python'ın scipy.stats modülü, normallik testlerini birkaç satır kodla çalıştırmanız için gereken her şeye sahiptir.

Aşağıdaki tüm örneklerde aynı veri kümesini kullanacağım - normal dağılımdan çekilmiş 100 örnek - böylece kodu çalıştırıp takip edebilirsiniz.

import numpy as np
from scipy import stats

np.random.seed(42)
data = np.random.normal(loc=0, scale=1, size=100)

Shapiro-Wilk testi

Özellikle daha küçük veri kümelerinde ilk kontrolünüz olarak shapiro() kullanın.

stat, p_value = stats.shapiro(data)
print(f"Statistic: {stat:.4f}, p-value: {p_value:.4f}")

Çıktı şu şekilde olur:

Python'da Shapiro-Wilk testinin çıktısı

p-değeri 0.05'in oldukça üzerinde, bu nedenle normalliği reddetmiyoruz. Veri normal görünüyor - ki normal dağılımdan ürettiğimiz için mantıklı.

Kolmogorov-Smirnov testi

kstest() örnekleminizi adlandırılmış bir dağılıma karşılaştırır. Normallik için "norm" ile birlikte örneklemin ortalamasını ve standart sapmasını geçin.

stat, p_value = stats.kstest(data, 'norm', args=(data.mean(), data.std()))
print(f"Statistic: {stat:.4f}, p-value: {p_value:.4f}")

Python'da Kolmogorov-Smirnov testinin çıktısı

Yine p > 0.05 - normalliğe karşı kanıt yok.

Python'da bu testle, ortalamayı ve standart sapmayı mutlaka args ile açıkça geçin. Bunu atladığınızda kstest() varsayılan olarak standart normale (mean=0, std=1) göre test eder; veriniz zaten standartlaştırılmamışsa bu güvenilmez sonuçlara yol açar.

D'Agostino-Pearson testi

normaltest() çarpıklık ve basıklığı birlikte kontrol ederek normalliği test eder. Daha büyük örneklemlerde en iyi şekilde çalışır.

stat, p_value = stats.normaltest(data)
print(f"Statistic: {stat:.4f}, p-value: {p_value:.4f}")

Python'da D'Agostino-Pearson testinin çıktısı

Yine p > 0.05. Veri burada üç testten de geçiyor, bu da beklenen bir durum - veriyi normal olacak şekilde ürettim. Pratikte, özellikle 0.05 sınırında bu testlerin anlaşmadığını sık göreceksiniz. Böyle olduğunda, kararı vermek için Q-Q grafiğinize geri dönün.

R'da Normallik Testleri

R, normallik testi için yerleşik işlevlere sahiptir. Temeller için ekstra pakete gerek yoktur.

Python örneklerinde olduğu gibi, tüm bölüm boyunca aynı veri kümesini kullanacağım: normal dağılımdan 100 örnek.

set.seed(42)
data <- rnorm(100, mean = 0, sd = 1)

Shapiro-Wilk testi

shapiro.test() küçük ve orta boy örneklemler için başvurulacak testtir. Yalnızca veri vektörünüzü geçin:

shapiro.test(data)

R'da Shapiro-Wilk testinin çıktısı

p > 0.05 - normalliğe karşı kanıt yok. W istatistiği 0 ile 1 arasında değişir ve 1'e yakın değerler verinin normal dağılımı yakından takip ettiğini gösterir.

Kolmogorov-Smirnov testi

ks.test() örnekleminizi teorik bir dağılıma karşılaştırır. Normallik için "pnorm" belirtin ve örneklem ortalaması ile standart sapmayı geçin.

ks.test(data, "pnorm", mean(data), sd(data))

R'da Kolmogorov-Smirnov testinin çıktısı

Yine p > 0.05. R'daki bu testin, Python'dakiyle aynı uyarısı var: her zaman mean(data) ve sd(data) geçin. Bunu atlamak standart normale varsayılmasına neden olur; bu da veriniz zaten standartlaştırılmadıkça sonucu saptırır.

Q-Q grafiği

R'ın yerleşik qqnorm() ve qqline() işlevleriyle iki satırda Q-Q grafiği elde edersiniz.

qqnorm(data, main = "Q-Q Plot")
qqline(data, col = "steelblue", lwd = 2)

R'da Q-Q grafiği

qqnorm() örnek kantillerinizi teorik normal kantillerle karşılaştırır. qqline() referans çizgisini çizer. Noktaların bu çizgiyi yakından takip etmesi, verinizin normal davrandığı anlamına gelir. Uçlardaki sapmalar, incelenmeye değer kuyruk sorunlarına işaret eder.

Veri Normal Değilse Ne Yapmalı

Veriniz bir normallik testinden kalırsa, birkaç sağlam seçeneğiniz var.

Veriyi dönüştürün

Bazen çözüm, verinizi normal davranacak şekilde dönüştürmek ve ardından orijinal testlerinizi dönüştürülmüş değerler üzerinde çalıştırmaktır.

Log dönüşümü en yaygın tercihtir. Sağa çarpık verilerde iyi çalışır - gelir, yanıt süreleri veya sağ tarafta uzun kuyruklu biyolojik ölçümler gibi. Python'daki işlev np.log(data), R'daki karşılığı log(data)'dır.

Karekök dönüşümü orta düzey çarpıklık için daha hafif bir seçenektir ve veriniz sıfırlar içerdiğinde kullanışlıdır (çünkü sıfırın logu alınamaz). Python'da np.sqrt(data) veya R'da sqrt(data) kullanın.

Dönüştürdükten sonra normallik testinizi yeniden çalıştırın. Dönüştürülmüş veri geçerse, parametrik testlerle devam edin - sadece sonuçları dönüştürülmüş ölçekte yorumlamayı unutmayın.

Parametrik olmayan testleri kullanın

Dönüşüm işe yaramazsa veya veriniz için mantıklı değilse, parametrik olmayan testlere geçin. Bunlar normalliği varsaymaz - ham değerlerle çalışmak yerine veriyi sıralarlar.

• Mann-Whitney U testi, bağımsız örneklem t-testinin parametrik olmayan alternatifidir. İki grubu karşılaştırırken kullanın
• Kruskal-Wallis testi tek yönlü ANOVA'nın parametrik olmayan versiyonudur. Üç veya daha fazla grubu karşılaştırırken kullanın

Her ikisi de scipy.stats içinde (mannwhitneyu() ve kruskal()) ve R'ın temel paketinde (wilcox.test() ve kruskal.test()) mevcuttur.

Büyük örneklem büyüklüklerine güvenin

Yeterince büyük örneklemlerle, çoğu zaman normallik endişesini atlayabilirsiniz.

merkezi limit teoremi, örneklem büyüklüğünüz arttıkça ortalamanın örnekleme dağılımının, orijinal verinin dağılımından bağımsız olarak normal dağılıma yaklaştığını söyler. Pratikte bu, temel veri mükemmel şekilde normal olmasa bile, parametrik testlerin büyük örneklemlerde genellikle güvenilir olduğu anlamına gelir.

Normallik Testi Yaparken Yaygın Hatalar

Normallik testi kolaydır - sadece bir satır kod gerektiğini gördünüz. Yine de yanlış yapılabilecek birkaç nokta var.

İşte veri bilimine yeni başlayanların sık yaptığı bazı hatalar:

• Yalnızca p-değerlerine güvenmek: Bir p-değeri, normallikten bir sapma tespit edilip edilmediğini söyler; sapmanın ne kadar büyük olduğunu veya önemli olup olmadığını değil. p > 0.05'i yeşil ışık, p < 0.05'i kırmızı ışık gibi görmek fazla kabadır. Test sonucunu her zaman bir Q-Q grafiğiyle eşleştirin
• Örneklem büyüklüğü etkilerini yok saymak: Küçük örneklemlerde normallik testleri gerçek sapmaları kaçırabilir ve veriniz gözle görülür şekilde çarpık olsa bile p > 0.05 döndürebilir. Büyük örneklemlerde ise test o kadar hassaslaşır ki, çok küçük ve anlamsız sapmaları istatistiksel olarak anlamlı diye işaretler. Örneklem büyüklüğü p-değerinin anlamını değiştirebilir
• Normalliği aşırı test etmek: Her analiz resmi bir normallik testi gerektirmez. Keşif amaçlı çalışıyorsanız, bir histogram ve Q-Q grafiği genellikle yeterlidir
• Hafif sapmaları yanlış yorumlamak: Gerçek dünya verileri neredeyse hiçbir zaman mükemmel şekilde normal değildir. Q-Q grafiğinde referans çizgisinden küçük bir sapma veya 0.05'in hemen altında bir p-değeri, verinizin normallikten çok uzak olduğu anlamına gelmez. Soru, çalıştırdığınız test için yeterince normal olup olmadığıdır

Sonuç olarak, normallik testi verinizin tek bir kontrolüdür. Onu nihai söz değil, birçok girdiden biri olarak kullanın.

Normallik Testini Ne Zaman Atlayabilirsiniz

Normallik testi her zaman gerekli değildir. Zaman baskısı altındaysanız, ne zaman atlanabileceğini bilmek sonuçları etkilemeden size zaman kazandırabilir.

Büyük veri kümeleri

Büyük bir örnekleme sahip olduğunuzda, merkezi limit teoremi ham verinizin şekli ne olursa olsun ortalamanın örnekleme dağılımının yaklaşık olarak normal olacağını garanti eder. Bu durumda parametrik testler genellikle güvenilirdir; dolayısıyla resmi bir normallik testi çalıştırmak çok az değer katar.

Bazı istatistiksel yöntemler de normal dışılığa karşı dayanıklıdır. Doğrusal regresyon gibi teknikler, örneklem büyüklükleri makulse ve ihlaller aşırı değilse genellikle iyi dayanır. (Doğrusal regresyon artıkların normalliğini varsayar.)

Keşif analizi

Verilerde desenleri tararken, sezgi geliştirirken veya hangi değişkenlerin daha fazla araştırılacağına karar verirken, hızlı bir histogram veya Q-Q grafiği yeterlidir. Resmi testler, sonuçlarınızın sağlam durması gerektiği doğrulayıcı analiz içindir.

Unutmayın, normallik testi yanlış sonuçlar çıkarmanızı önlemek için vardır. Yanlış bir sonucun gerçek sonuçlar doğurmadığı veya yönteminizin normalliğe bağlı olmadığı bir bağlamdaysanız, test isteğe bağlıdır.

Sonuç

Normallik testi, varsayımlarınızın sonuçlarınıza güvenecek kadar iyi tutup tutmadığını kontrol etmekle ilgilidir.

Hiçbir veri kümesi mükemmel şekilde normal değildir. Amaç, verinizin nasıl davrandığını anlamak ve yöntemlerinizi buna göre seçmektir. Q-Q grafiği sapmaların nerede olduğunu söyler. Resmi bir test, bu sapmaların istatistiksel olarak tespit edilip edilemediğini bildirir. Birlikte kullanıldıklarında, her birinin tek başına verdiğinden daha net bir tablo sunarlar.

Doğru test bağlamınıza bağlıdır. Küçük örneklemler için Shapiro-Wilk'i kullanın, kuyruklar önemliyse Anderson-Darling'i, normalliği varsayamadığınızda parametrik olmayan alternatifleri tercih edin. Ve bazen - büyük örneklemler veya dayanıklı yöntemlerle - hiç test gerekmez.

p-değerleri kavramı size tamamen kafa karıştırıcı mı geliyor? Doğru yorumladığınızdan emin olmak için Hipotez Testi Kolaylaştırıldı başlıklı makalemizi okuyun.