Winsorize Edilmiş Ortalama: Aykırı Değerlerle Başa Çıkmada Sağlam Bir Yaklaşım

Aykırı değerler çoğu zaman içgörülerinizi yanlış yönlendirebilir; anlamlı olması gereken bir analizi yanıltıcı bir sonuca dönüştürebilir. Gerçek dünyada kusurlu ve gürültülü veriler beklenir; winsorizasyon ise hiçbir veriyi atmadan aykırı değerlerin etkisini azaltmak için pratik bir çözümdür.

Bu makalede winsorize edilmiş ortalamanın nasıl çalıştığını, pratik kullanım alanlarını ve Python ile nasıl hesaplanacağını inceleyeceğiz. Ayrıca artılarını ve eksilerini anlayacak, kırpılmış ortalama gibi diğer yararlı ölçülerle karşılaştıracak ve diğer winsorizasyon istatistiksel ölçülerini keşfedeceğiz.

Winsorize Edilmiş Ortalama Nedir?

Winsorize edilmiş ortalama, uç değerleri tamamen çıkarmak yerine daha az uç yüzdeliklerle değiştirerek aykırı değerlerin etkisini azaltan bir istatistiksel ölçüdür. Aritmetik ortalamanın tüm veri noktalarını eşit biçimde dikkate almasına karşın, winsorize edilmiş ortalama genel sonucu çarpıtabilecek uç değerlerin etkisini sınırlar.

Winsorizasyon, belirli bir yüzdelik eşik değerinin ötesindeki değerleri sınırlandırarak veya değiştirerek çalışır. Örneğin %5 winsorizasyonda, en düşük %5’lik dilimdeki veri noktaları 5. yüzdelikteki değerle, en yüksek %5’lik dilimdeki veri noktaları ise 95. yüzdelikteki değerle değiştirilir. Bu yöntem, veri kümesinin genel yapısını korurken aykırı değerlerin etkisini azaltmaya yardımcı olur ve uç değerler içeren veri kümelerinde standart ortalamaya karşı daha sağlam bir alternatiftir.

Winsorize edilmiş ortalamanın pratik kullanım alanları

Winsorize edilmiş ortalamanın istatistiksel analizdeki önemi, dağılımların çarpıklığa eğilimli olduğu alanlarda özellikle belirgindir. İşte winsorize edilmiş ortalamanın faydalı olduğu bazı temel alanlar:

• Finans ve Yatırım Analizi: Finansal veri kümeleri, piyasa çöküşleri veya olağanüstü kazançlar gibi ortalamaları çarpıtıp eğilimleri gizleyebilecek uç değerler içerir. Getirileri veya varlık fiyatlarını winsorize ederek analistler, tipik piyasa davranışını daha iyi yansıtan daha istikrarlı performans metrikleri üretebilirler.
• Ekonomik Veriler: Makroekonomik çalışmalarda, gelir veya servet dağılımı gibi göstergeler sıklıkla çok yüksek veya çok düşük az sayıda değer tarafından çarpılır. Winsorize edilmiş ortalamalar, bu uç gözlemlerin etkisini sınırlayarak ekonomik koşulların daha dengeli bir görünümünü sağlayabilir.
• Anket ve Sosyal Bilimler Araştırmaları: Anketler, aşırı yüksek veya düşük puanlar gibi uç yanıtlar üretebilir. Bu gibi durumlarda winsorize edilmiş ortalama, uç yanıtların genel analizi orantısız şekilde etkilemesini önleyerek daha doğru bir merkezi eğilim ölçüsü sunar.
• Tıbbi ve Biyolojik Araştırmalar: Hasta sonuçları veya test sonuçları gibi tıbbi veriler, nadir durumlar veya aykırı vakalar nedeniyle bazen uç değerler gösterebilir. Bu verilerin winsorize edilmesi, potansiyel olarak değerli veri noktalarını tamamen kaldırmadan ortalama sonuçların daha doğru bir resmini elde etmeye yardımcı olabilir.

Bu uygulamaların her birinde winsorize edilmiş ortalama, standart ortalamaya karşı sağlam bir alternatiftir; analistlerin, önemli veri desenlerini korurken aykırı değerlerden daha az etkilenmiş içgörüler elde etmesini sağlar.

Python ile Winsorize Edilmiş Ortalama Nasıl Hesaplanır

Python’da winsorize edilmiş ortalama hesaplama, uç değerlerin (aykırı değerlerin) belirli yüzdeliklerdeki değerlerle değiştirilmesini içerir. Başlamadan önce izleyeceğimiz adımların kısa bir özeti:

• Gerekli kütüphaneleri ve veri kümesini içe aktarın.

• scipy.winsorize() kullanarak veri kümesini winsorize edin.

• numpy.mean() ile ortalamayı hesaplayın.

Şimdi bir örnekle ayrıntılara inelim. 

Gerekli kütüphaneleri ve veri kümesini içe aktarın

Önce, ortalamayı hesaplamak için gereken kütüphaneleri içe aktaralım.

import numpy as np
from scipy.stats.mstats import winsorizeAltyapı:

Ardından veri kümesini yükleyelim; bu bir CSV dosyasından veya başka bir veri kaynağından olabilir. Örneği basit tutmak için numpy kullanarak örnek bir veri kümesi oluşturacağız.

data = np.array([10, 12, 14, 15, 16, 18, 20, 22, 24, 25, 30, 35, 40, 45, 50, 60, 70, 80, 82, 85, 90, 200])Altyapı:

200 değeri, ilk analize göre bu veri kümesinde bir aykırı değer olarak değerlendirilebilir.

Veri kümesini winsorize edin 

scipy kütüphanesindeki winsorize() fonksiyonu, alt ve üst kuyruklardan winsorize edilecek veri yüzdesini belirtmenize olanak tanır. Bunu yapacak kod aşağıdaki gibidir:

# Alt ve üst kuyruklardan %5 winsorize et
winsorized_data = winsorize(data, limits=[0.05, 0.05])Altyapı:

Yukarıdaki kodda winsorize() fonksiyonuna verilen limits=[0.05, 0.05] parametresi, en küçük ve en büyük %5’lik değerleri sırasıyla 5. ve 95. yüzdeliklerdeki değerlerle değiştirir. Artık oluşturduğumuz winsorize edilmiş veriyi inceleyebiliriz.

print("Original data: ", data)
print("Winsorized data: ", winsorized_data)Altyapı:

Çıktı, aykırı değerlerin değiştirildiğini gösterecektir:

Original data: [ 10 12 14 15 16 18 20 22 24 25 30 35 40 45 50 60 70 80 82 90 200]
Winsorized data: [ 12 12 14 15 16 18 20 22 24 25 30 35 40 45 50 60 70 80 82 90 90]Altyapı:

Burada, en büyük 200 değeri 90 ile; benzer şekilde alt uçtaki 10 değeri de 12 ile değiştirilmiştir.

Ortamayı hesaplayın 

Son olarak, winsorize edilmiş verinin ortalamasını hesaplayalım:

winsorized_mean = np.mean(winsorized_data)
print("Winsorized mean: ", winsorized_mean)Altyapı:

Çıktı aşağıdaki gibidir:

Winsorized mean: 42.5Altyapı:

Winsorize edilmiş ortalama, düzenli ortalamaya kıyasla aşırı yüksek değerlerin etkisini azaltmıştır. Karşılaştırma için, orijinal ortalamayı şu şekilde hesaplayabiliriz:

original_mean = np.mean(data)
print("Original mean: ", original_mean)Altyapı:

Çıktı aşağıdaki gibidir:

Original mean: 47.40909090909091Altyapı:

Orijinal ortalama 47.40 değerinde aykırı değerlerden güçlü şekilde etkilenmiştir ve belirgin biçimde daha yüksektir. Uç değerler winsorize edildikten sonra, winsorize edilmiş ortalama 42.5 ile çok daha düşüktür ve uç değerlerin etkisi daha azdır.

Winsorize Edilmiş Ortalama vs. Kırpılmış Ortalama: Temel Farklar

Winsorize edilmiş ortalama ve kırpılmış ortalama, aykırı değerlerin ortalama üzerindeki etkisini azaltmak için kullanılan istatistiksel yöntemlerdir; ancak uç değerleri ele alış biçimleri farklıdır:

• Winsorize edilmiş ortalama, veri kümesinin her iki ucundaki uç değerleri (aykırıları) veri kümesi içindeki en yakın değerlerle değiştirir. Veriyi atmaz; bunun yerine en uç değerleri ayarlayarak etkilerini azaltır.
• Kırpılmış ortalama, en düşük ve en yüksek yüzdelik dilimlerdeki veri noktalarını kaldırır (kırpar). Bu yöntem, her iki uçta da verinin bir kısmını dışlar. %5 kırpılmış ortalamada, en küçük %5 ve en büyük %5 veri noktası ortalama hesabına dahil edilmez.

Veri yapısını korumak (yani örneklem büyüklüğünü aynı tutmak) isterken yine de uç değerlerin etkisini azaltmak istediğinizde winsorize edilmiş ortalama tercih edilir. Veri kümesinde tamamen çıkarmak istediğiniz bariz aykırı değerler olduğunda ve kırptıktan sonra daha küçük bir örneklem büyüklüğü kabul edilebilir olduğunda ise kırpılmış ortalama tercih edilir.

Python’da kırpılmış ortalama ve winsorize edilmiş ortalamayı karşılaştırma

Her iki yöntemin veri kümesini nasıl etkilediğine bakalım ve sonuçlarını karşılaştıralım.

from scipy.stats import trim_mean

# Her iki kuyruktan %5 kaldırarak Kırpılmış ortalamayı hesapla
trimmed_mean = trim_mean(data, proportiontocut=0.05)

# Sonuçları yazdır
print("Original mean: ", np.mean(data))
print("Winsorized mean (5%): ", winsorized_mean)
print("Trimmed mean (5%): ", trimmed_mean)Altyapı:

Çıktı aşağıdaki gibidir:

Original mean: 47.40909090909091
Winsorized mean (5%): 42.5
Trimmed mean (5%): 41.65Altyapı:

Orijinal ortalama 47.4 olup aykırı değerlerden yoğun biçimde etkilenmiştir. Winsorize edilmiş ortalama olan 42.5, aykırı değerlerin daha az uç değerlerle değiştirilmesiyle hesaplanmıştır. Kırpılmış ortalama ise aykırı değerler tamamen çıkarıldığında 41.65’tir.

Hangi yöntemi ne zaman kullanmalı?

Tüm veri noktalarını koruyup uç değerlerin etkisini azaltmak istediğinizde winsorize edilmiş ortalamayı kullanın. Bu iyi bir sezgisel yaklaşımdır; çünkü aykırı değerlerin gerçek olduğuna inanırken etkilerini en aza indirmek isteyebilirsiniz.

Aykırı değerleri veri kümesinden tamamen çıkarmak istediğinizde kırpılmış ortalamayı kullanın. Kırpılmış ortalama, aykırı değerlerin hatalı olduğundan ya da dağılımı temsil etmediğinden şüphelendiğiniz durumlarda en faydalıdır.

Temel farkların özeti

Özet farklar aşağıdaki gibi tablolaştırılabilir:

Winsorize edilmiş ortalama ile kırpılmış ortalama arasındaki temel farklar. Görsel: Yazar.

Winsorize ve kırpılmış ortalamalar aykırı değerlerle başa çıkmaya yardımcı olur; seçim, veri kümesinden uç değerleri korumak mı yoksa çıkarmak mı istediğinize bağlıdır.

Winsorize Edilmiş Ortalamanın Avantajları ve Dezavantajları

Winsorizasyon süreci aykırı değerlerle başa çıkmada sağlam bir yaklaşım olsa da, uç değerlerin değiştirilmesi veri manipülasyonu konusunda endişelere yol açabilir. İşte tekniğin bazı avantaj ve dezavantajları:

Avantajlar

• Aykırı değerlerin varlığında standart ortalamadan daha sağlamdır: Winsorize edilmiş ortalama, uç değerlerin (aykırıların) etkisini azaltarak aykırı değerlerin sonucu çarpıtabildiği veri kümelerinde daha istikrarlı ve güvenilir bir merkezi eğilim sunar.
• Tüm veri noktalarını koruyarak veri kümesinin genel yapısını muhafaza eder: Kırpılmış ortalamanın uç değerleri atmasına karşın winsorize edilmiş ortalama, bu değerleri daha az uç değerlerle değiştirir; böylece örneklem büyüklüğü ve veri kümesinin genel yapısı korunur.
• Küçük veri kümeleri için daha uygundur: Verilerin kaldırılması (kırpma) temsilsiz veya eksik bir örnekleme yol açabileceği durumlarda winsorizasyon tüm değerleri korur ve veri kümesinin kullanılabilirliğini sağlar.

Dezavantajlar

• Temel veri dağılımı asimetrikse yanlılık oluşturabilir: Sabit yüzdeliklere (ör. her iki uçtan %5) dayalı winsorizasyon, veri kümesi simetrik dağılmamışsa yanlılığa yol açabilir. Veri çarpıksa winsorizasyon, merkezi eğilimi doğru yansıtmak yerine çarpıtabilir.
• Winsorizasyon yüzdesinin dikkatli seçilmesini gerektirir: Winsorize edilecek veri yüzdesi (yani değiştirilecek uç değerlerin oranı) çoğu zaman keyfi seçilir. Uygun olmayan bir yüzde seçmek, ya aykırı değerlerin etkisini yeterince azaltamaz ya da çok fazla değeri değiştirerek veri kümesinin temsil gücünü düşürür.
• Aşırı winsorizasyon önemli desenleri gizleyebilir: Çok fazla veri noktasını değiştirmek, verideki anlamlı desenleri veya eğilimleri gizleyebilir. Bazı durumlarda uç değerler geçerli ve hayati bilgileri temsil eder (ör. finansal verilerde nadir fakat etkili olaylar) ve bunların değiştirilmesi yanıltıcı sonuçlara yol açabilir.

Dolayısıyla tekniği veri analizi projelerimize dahil etmeden önce artılarını ve eksilerini dikkate almak önemlidir.

Diğer Winsorize Edilmiş İstatistiksel Kavramlar

Winsorizasyon bir ölçüme uygulanan istatistiksel bir teknik olduğundan, diğer yaygın istatistiksel ölçülere de genişletilebilir. Winsorizasyonun uygulanabileceği bazı diğer ölçülere göz atalım:

• Winsorize edilmiş örnek sapması: Standart sapmanın winsorize edilmiş sürümü, uç değerleri değiştirerek bir winsorize veri kümesinin yayılımını ölçer. Winsorize edilmiş varyansın karekökü olarak hesaplanır.
• Winsorize edilmiş varyans: Varyansın winsorize edilmiş karşılığı, aykırı değerlerin etkisi azaltılmış şekilde veri noktalarının winsorize ortalamadan ne kadar saptığını ölçer. Winsorize bir veri kümesinde winsorize ortalamadan olan karesel sapmaların ortalaması olarak hesaplanır.
• Winsorize edilmiş açıklık (range): Winsorize edilmiş veri kümesindeki en büyük ve en küçük değerler arasındaki fark; aykırı değerlerin değiştirilmesi nedeniyle orijinal açıklıktan daha küçüktür.
• Winsorize edilmiş çarpıklık (skewness): Winsorize edilmiş bir veri kümesinin dağılımındaki asimetrinin ölçüsüdür; winsorizasyondan sonra dağılımın sola mı yoksa sağa mı çarpık olduğunu gösterir. Aykırı değerlerin standart çarpıklık hesabını bozabileceği veri kümelerinde çarpıklığı belirlemeye yardımcı olur.
• Winsorize edilmiş korelasyon: Pearson korelasyonunun winsorize sürümü, her iki veri setindeki aykırı değerlerin etkisini azaltırken iki değişken arasındaki doğrusal ilişkiyi değerlendirir.

Bu winsorize edilmiş ölçülerin her biri, normal olmayan verilerle veya uç değerler içeren veri kümeleriyle çalışırken analiz üzerinde aykırı değerlerin etkisini azaltmaya yardımcı olur.

Sonuç

Bu eğitimde aykırı değerlerle başa çıkmak için bir istatistiksel ölçü tanıttık: winsorize edilmiş ortalama. Winsorizasyon kavramını, pratik uygulamalarını ve örnek bir veri kümesi üzerinde uygulamalı bir gerçekleştirimini öğrendik. Ayrıca kırpılmış ortalamayı, uygulamasını ve winsorize edilmiş ortalamadan nasıl farklılaştığını ele aldık. Winsorizasyona dayalı artı-eksi yönleri ve diğer istatistiksel kavramları da inceledik. 

Gördüğümüz gibi, winsorize edilmiş ortalama, aykırı değerleri atmakla onları korumak arasında bir denge kurar ve çarpık veri kümelerinde daha güvenilir sonuçlar sağlar. Bu tekniği veri analizi projelerinizde kullanmanızı ve belirli veri kümeleri için en iyi sonucu veren farklı winsorizasyon seviyeleriyle denemeler yapmanızı öneririz.

Python kullanarak veri kümelerindeki aykırı değerlerle başa çıkma, winsorizasyon dâhil, hakkında daha fazla bilgi edinmek için Intermediate Predictive Analytics in Python kursumuza göz atın. Ayrıca gerçek modeller kurarak pratik yapmanız için harika bir yol olan Machine Learning Scientist with Python kariyer yolumuzu da keşfedebilirsiniz.