Python T-Testlerine Giriş

Günümüzün veriye dayalı dünyasında işletmeler kritik kararları yalnızca sezgiye dayanarak veremez. Bunun yerine, eylemlerini sağlam verilerle desteklemek için hipotez testi gibi istatistiksel teknikler kullanmaları gerekir. Bu amaç için popüler testlerden biri, iki grubun ortalamalarını karşılaştırmanıza ve istatistiksel olarak farklı olup olmadıklarını belirlemenize olanak tanıyan t-testidir.

Peki t-testini pratikte nasıl uygular ve sonuçları nasıl yorumlarsınız? Bu eğitimde bu soruların ve daha fazlasının üzerinden geçeceğiz. Özellikle, bir işletmenin piyasaya sürdüğü yeni bir özelliğin başarısını değerlendirmek istediğiniz örnek bir senaryo üzerinden ilerleyeceğiz. Python ve güçlü kütüphanelerini kullanarak çıktıyı nasıl analiz edeceğinizi göstereceğiz.

Eğitimin sonunda, t-testlerini sağlam biçimde anlayacak ve kendi verilerinize güvenle uygulayabileceksiniz.

Bu eğitimde farklı t-testi türlerini – tek örneklem testi, iki örneklem testi, eşleştirilmiş t-testi ve Welch testi – ile bunların kullanım alanlarını ve ne zaman kullanılacaklarını inceleyeceğiz.  

Terminoloji Açıklaması

T-testinin ayrıntılarına girmeden önce, bu istatistiksel testi kavramsal olarak daha iyi kavramanıza yardımcı olacak bazı ilişkili terimleri kısaca açıklayalım.

Hipotez Testi

Hipotez testi, bir varsayım ya da sıfır hipoteziyle başlayıp bunu reddetmek için kanıt arama sürecidir. Sıfır hipotezi mevcut durumu temsil ederken, alternatif hipotez sıfır hipotezinin karşıtını temsil eder. 

Örneğin, bir işletmenin piyasaya sürdüğü yeni bir özelliğin müşterilerden iyi geri dönüş alıp almadığını ve bunun başarı metriğine yansıyıp yansımadığını belirlemek için hipotez testi kullanabiliriz. Konu hakkında daha fazla bilgi edinmek için hipotez testi kursumuza göz atın.

P-Değeri 

P-değeri, sıfır hipotezinin doğru olduğu varsayımı altında, gözlenenler kadar uç sonuçlar elde etme olasılığıdır. Küçük bir p-değeri, sıfır hipotezi doğruyken gözlenen sonuçları elde etme olasılığının çok düşük olduğuna işaret eder.

Anlamlılık Düzeyi

Alfa ile gösterilen anlamlılık düzeyi, sıfır hipotezi doğruyken onu reddetme olasılığını temsil eder. Buna Tip 1 hata da denir.

İstatistiksel Anlamlılık

İstatistiksel anlamlılık, gözlenen sonucun tesadüf eseri olmadığına dair güveni ifade eder. İstatistiksel anlamlılığın, pratik anlamlılıkla aynı anlama gelmediğini unutmamak gerekir; gözlenen sonuç pratikte yine de ihmal edilebilir olabilir. Örneklemin daha büyük popülasyonu doğru temsil etmemesi durumunda örnekleme hatası da istatistiksel anlamlılığa katkıda bulunabilir. 

T-testi varsayımları

Bir istatistiksel testin varsayımlarını anlamak, doğru ve güvenilir sonuçlar elde etmek için kritik öneme sahiptir. T-testi de bunun istisnası değildir. Varsayımların herhangi bir ihlali yanıltıcı sonuçlara yol açabilir ki bu ters etki yaratır. Şimdi t-testinin dört varsayımını ayrıntılı olarak inceleyelim:

Bağımsızlık Özelliği

Öncelikle, bağımsızlık özelliği gözlemlerin verideki herhangi bir örtük faktörden etkilenmediğini ve zaman içinde birbiriyle ilişkili olmadığını belirtir. Bağımsızlığı sağlamak için, Texas Üniversitesi Austin’in açıkladığı gibi bağımlı verilerle başa çıkmaya yönelik çeşitli teknikler uygulanabilir.

Aynı Dağılıma Sahip Olma 

İkinci olarak, aykırı değerlerin ya da anormal veri kayıtlarının varlığı t-istatistiğinin düşmesine ve verideki varyansın artmasına yol açabilir; bu da sıfır hipotezini reddetme olasılığını etkiler. Bu nedenle, aykırı davranışın meşru mu yoksa hatalı veri mi olduğunu belirlemek için altta yatan nedenleri tespit etmek ve anlamak kritik önem taşır. Bir alan uzmanına danışmak, verinin gerçek davranışını kavramaya yardımcı olabilir.

Normal Dağılım 

Üçüncüsü, t-testi yalnızca normal dağılımlı veriler için geçerlidir. Çarpık veriler, sıfır hipotezinin hatalı şekilde reddedilmesine yol açabilir. Ancak, az sayıda veri noktasında normal dağılımı test etmek zordur. Böyle durumlarda, verinin dağılımına ilişkin varsayım gerektirmeyen parametrik olmayan testler kullanılabilir ya da normalliği sağlamak için düzeltici bir önlem olarak veri dönüşümü gerçekleştirilebilir.

Eşit Varyanslar 

Son olarak, karşılaştırılan iki popülasyonun t-testinin geçerli olması için eşit varyansa sahip olması gerekir. Bu durum Q-Q grafiği kullanılarak görsel olarak test edilebilir.

Artık t-testi varsayımlarını daha iyi anladığımıza göre, bir Python örneği üzerinden farklı t-testi türlerini inceleyelim. Bu eğitimin sonunda t-testlerini uygulamak ve sonuçlarını güvenle yorumlamak için gerekli bilgiye sahip olacaksınız.

Tek örneklem t-testi 

Tek örneklem t-testi, bilinmeyen bir popülasyon ortalamasının (mu) iddia edilen bir değere eşit olmadığını belirlemeye yardımcı olan bir istatistiksel hipotez testidir. 

Burada,

x = örneklem ortalaması

𝝁 = popülasyon ortalaması

S = örneklem standart sapması

n = örneklemdeki örnek sayısı

t = t-istatistiği

Bir örnek üzerinden anlayalım. Bir şirket 10 cm çapında bilye ürettiğini iddia ediyor (sıfır hipotezi) ve bunun doğru olup olmadığını denetlemeye karar veriyorsunuz. Şehirdeki çeşitli mağazalardan 21 bilye topluyor ve çaplarını ölçüyorsunuz. Ölçümlere dayanarak şirketin iddiasının yanlış olup olmadığını (alternatif hipotez) belirlemelisiniz.

Test şu şekilde tasarlanır:

Sıfır Hipotezi:             H0 : x  = 𝝁

Alternatif Hipotez:  Ha : x  ≠ 𝝁 

İddiaların yanlış olduğunu söyleyebilmek için, örneklemdeki bilyelerin ölçümlerinin şirketin iddia ettiği 10 cm’den farklı olduğunu istatistiksel olarak kanıtlamanız gerekir. Örneklem büyüklüğü 21 (30’dan az) olduğundan t-testi kullanırız. Burada örneklem ortalaması 11 cm, standart sapma ise 1 cm’dir.

Python ile tek örneklem t-testi örneği

scipy.stats.ttest_1samp() fonksiyonunu kullanarak Python’da tek örneklem t-testinin nasıl yapılacağını öğrenelim. 

import numpy as np  
from scipy import stats  

# Population Mean 
mu = 10

# Sample Size
N1 = 21

# Degrees of freedom  
dof = N1 - 1

# Generate a random sample with mean = 11 and standard deviation = 1
x = np.random.randn(N1) + 11

# Using the Stats library, compute t-statistic and p-value
t_stat, p_val = stats.ttest_1samp(a=x, popmean = mu)
print("t-statistic = " + str(t_stat))  
print("p-value = " + str(p_val)) 

t-statistic = 4.689539773390642
p-value = 0.0001407967502139183

Test sonuçlarının yorumu

t-istatistiğinin değeri 4,69 çıkıyor; bu, t-dağılımında sıfır ortalamadan oldukça uzakta görünüyor. Bu kadar uç bir değeri nicelleştirmek için (terimlerin açıklandığı bölümde tanıtılan) p-değerine bakarız. P-değeri varsayılan 0,05 anlamlılık düzeyinden küçüktür; bu da bu denli uç bir sonucun olasılığının sıfıra yakın olduğunu ve sıfır hipotezinin reddedilebileceğini gösterir.

Deneyin başında anlamlılık düzeyinin belirlendiğine dikkat edin.

Farklı bir yaklaşım

ttest_1samp() fonksiyonu olmadan tek örneklem t-testini gerçekleştirelim. Bu durumda t-istatistiği, önceki bölümde tartışıldığı gibi örneklem ve popülasyon ortalamaları arasındaki farkın standart hataya bölünmesiyle tanımlanır. 

• Önce örneklem ortalamasını (x_bar) hesaplayın.
• Ardından, serbestlik derecesi bir olacak şekilde örneklem standart sapmasını hesaplayın (örneklemin standart sapmasını temsil eder).
• Standart sapmayı örneklem büyüklüğünün kareköküne bölerek standart hatayı hesaplayın.
• Daha önce açıklandığı gibi tek örneklem t-istatistiği formülünü kullanın.
• t-istatistiğinin anlamlılığını belirlemek için p-değerini hesaplayın.

# Sample Mean
x_bar = x.mean()

# Standard Deviation  
std = np.std(x, ddof=1)

# Standard Error
ste = std/np.sqrt(N1)

# Calculating the T-Statistics  
t_stat = (x_bar - mu) / ste

# p-value of the t-statistic
p_val = 2*(1 - stats.t.cdf(abs(t_stat), df = dof))
print("t-statistic = " + str(t_stat))  
print("p-value = " + str(p_val)) 

t-statistic = 4.689539773390642
p-value = 0.0001407967502139183

Python’da İki örneklem t-testi Nasıl Yapılır

Örneğimizi, şirketin özdeş bilyeler üretmek üzere başka bir fabrika kurduğunu varsayarak genişletelim. İki fabrikanın ürettiği bilyelerin boyutlarının farklı olup olmadığını bulmamız gerekiyor. Bu senaryo için iki örneklem testi kullanırız. Burada t-istatistiği aşağıdaki gibi tanımlanır. 

Burada,

X₁= birinci örneklem ortalaması

X₂ = ikinci örneklem ortalaması

S₁ = birinci örneklem standart sapması

S₂ = ikinci örneklem standart sapması

N₁ = birinci örneklem büyüklüğü

N₂ = ikinci örneklem büyüklüğü

Python ile iki örneklem t-testi örneği

Birinci fabrikanın 21 örnek paylaştığını ve örneklemdeki ortalama çapın 10,5 cm olduğunu; ikinci fabrikanın ise 25 örnekle ortalama çapın 9,5 cm olduğunu varsayalım. Her ikisinin de standart sapması 1 cm’dir. 

# Sample Sizes
N1, N2 = 21, 25

# Degrees of freedom  
dof = min(N1,N2) - 1

# Gaussian distributed data with mean = 10.5 and var = 1  
x = np.random.randn(N1) + 10.5

# Gaussian distributed data with mean = 9.5 and var = 1  
y = np.random.randn(N2) + 9.5

## Using the internal function from SciPy Package  
t_stat, p_val = stats.ttest_ind(x, y)  
print("t-statistic = " + str(t_stat))  
print("p-value = " + str(p_val))

t-statistic = 3.18913308431476
p-value = 0.0026296199823557754

Test sonuçlarının yorumu

0,0026 olan p-değeri 0,05 anlamlılık düzeyinden küçük olduğundan, iki fabrikanın bilyelerinin özdeş olmadığı yönündeki sıfır hipotezini reddederiz.

Python’da Eşleştirilmiş t-testi Nasıl Yapılır

Bu sonuçları şirketle paylaştıktan sonra, yeni bir döküm makinesi getirerek üretim teknolojisini iyileştirmeye karar veriyor. Bu pilotu fabrikalardan birinde başlatıyor ve yeni döküm makinesinin, yeni makine gelmeden önceki 25 bilyelik bir örneklem ile sonraki 25 bilyelik örneklemi karşılaştırarak bilye çapında değişime yol açıp açmadığını test ediyor. 

Ortalama çaplar sırasıyla 10,5 cm ve 9,9 cm olarak bulunuyor. 

Python ile eşleştirilmiş t-testi örneği

Değişimin istatistiksel olarak anlamlı olup olmadığını doğrulamak için eşleştirilmiş t-testi yapalım.

# Sample Sizes
N = 25

# Degrees of freedom  
dof = N - 1

# Gaussian distributed data with mean = 10.5 and var = 1  
x = np.random.randn(N) + 10.5

# Gaussian distributed data with mean = 9.9 and var = 1  
y = np.random.randn(N) + 9.9

t_stat, p_val = stats.ttest_rel(x,y)
print("t-statistic = " + str(t_stat))  
print("p-value = " + str(p_val))

t-statistic = 3.446152658909739
p-value = 0.0021043953630465787

Test sonuçlarının yorumu

Düşük p-değeri, sıfır hipotezinin reddedildiğini; yani yeni döküm makinesi getirildikten sonra bilye çapında bir değişim olduğunu gösterir. 

Eşleştirilmiş t-testinin dikkat edilmesi gerekenleri

Eşleştirilmiş t-testinin varsayımları, orijinal gözlemlerden ziyade çiftlerin farkları için geçerlidir. Bu nedenle, çiftler arasındaki farkların simetrik dağıldığından ve aralarında aykırı değer bulunmadığından emin olmak önemlidir. 

Python’da Welch’in t-testi Nasıl Yapılır

Yeni döküm makinesiyle bir fabrikada yapılan başarılı pilotun ardından şirket, ikinci fabrikasında yeni bir taşlama makinesiyle başka bir pilot denemek istiyor. Bu makinenin son derece hassas bilyeler ürettiği bilinse de sıcaklık değişimleri ve güç dalgalanmalarından etkilenmektedir. Şirket, birinci fabrikadan 21 ve ikinci fabrikadan 25 örnek karşılaştırarak iki fabrikanın bilyelerinin farklı olup olmadığını belirlemelidir. 

Python ile Welch’in t-testi örneği

Birinci fabrikadan alınan bilyelerin ortalama çapı 1 cm standart sapmayla 9,9 cm; ikinci fabrikadan alınanların ortalama çapı ise 3 cm standart sapmayla 10 cm çıkıyor.  İki örneklemin standart sapmaları farklı olduğundan Welch’in t-testini kullanacağız.

# Sample Sizes
N1, N2 = 21, 25

# Degrees of freedom  
dof = min(N1,N2) - 1

# Gaussian distributed data with mean = 9.9 and var = 1  
x = np.random.randn(N1) + 9.9

# Gaussian distributed data with mean = 10 and var = 3
y = 3*np.random.randn(N2) + 10

## Using SciPy Package  
t_stat, p_val = stats.ttest_ind(x, y, equal_var = False) 
print("t-statistic = " + str(t_stat))  
print("p-value = " + str(p_val))

t-statistic = 1.3828843424092643
p-value = 0.17753505304053804

Test sonuçlarının yorumu

Gözlenen p-değeri 0,05 anlamlılık düzeyinden büyüktür; bu da sıfır hipotezini reddedemediğimizi ve iki fabrikanın bilyelerinin özdeş olduğu sonucuna işaret eder. İkinci fabrikadan gelen örneklerin yüksek standart sapması nedeniyle sonuçlardan emin olamayız; bu yüzden z-testi uygulamak için daha fazla örnek toplamamız gerekecektir. 

Welch’in t-testinin dikkat edilmesi gerekenleri 

Diğer t-testlerinden farklı olarak Welch’in t-testi, popülasyon varyanslarının eşit olmadığı durumlarda uygulanabilir.

Sonuç

Veri, doğru şekilde sorgulandığında işletme kararlarını etkileyen gerçek olguyu ortaya çıkarma gücüne sahiptir. Hangi testin ne zaman uygulanacağını bilmek için farklı istatistiksel testleri sağlam biçimde anlamak gerekir. Bu eğitim, t-testlerine odaklanmakta ve bağımsız ve aynı dağılımlı gözlemler ile normal dağılım gibi temel varsayımlarını açıklamaktadır. 

Hipotez testine hızlı bir giriş sağlamanın yanı sıra, bir örnek yardımıyla farklı t-testi türlerine kapsamlı bir bakış da sunar. Python kullanarak t-testi yapmayı uygulamanız ve deneyinizin istatistiksel anlamlılığını değerlendirmek için hangisinin kullanılması gerektiğini belirlemeniz önemle teşvik edilir.    

Referanslar ve Önerilen Kaynaklar:

• Python’da Deney Yapma kursu
• Python’da Hipotez Testi kursu