Çarpıklık (Skewness) ve Basıklık (Kurtosis) Nedir ve Nasıl Görselleştirilir?

Basıklık (Kurtosis) Nedir ve Türleri Nelerdir?

Çarpıklık normal dağılımın yayılımına (kuyruklarına) odaklanırken, basıklık (kurtosis) daha çok yüksekliğe odaklanır. Normal (veya normale benzer) dağılımımızın ne kadar sivri veya düz olduğunu söyler. Yunancada kavisli/kemerli anlamına gelen bu terim, şaşırtıcı olmayan bir biçimde, Britanyalı matematikçi Karl Pearson tarafından ortaya atılmıştır (ömrünü olasılık dağılımlarını incelemeye adamıştır).

Yüksek basıklık şunları gösterir:

• Dağılımın merkezinde keskin bir sivrilik.
• Normal dağılıma göre ortalama etrafında daha fazla değer yoğunlaşması.
• Kuyruklarda daha fazla aşırı değer veya aykırı değer yoğunlaşmasına bağlı olarak daha ağır kuyruklar.
• Aşırı olayların daha yüksek olasılığı.

Öte yandan düşük basıklık şunları gösterir:

• Düz bir tepe.
• Ortalama etrafında daha az değer yoğunlaşması, ancak yine de normal dağılımdan fazladır.
• Daha hafif kuyruklar.
• Aşırı olayların daha düşük olasılığı.

Derecesine bağlı olarak, dağılımlar üç tür basıklığa sahiptir:

1. Mesokurtik dağılım (basıklık = 3, aşırı basıklık = 0): kusursuz normal dağılım veya ona çok yakın.
2. Leptokurtik dağılım (basıklık > 3, aşırı basıklık > 0): sivri tepe, ağır kuyruklar
3. Platykurtik dağılım (basıklık < 3, aşırı basıklık < 0): düz tepe, hafif kuyruklar

Burada aşırı basıklıkın basıklık - 3 olarak tanımlandığını ve normal dağılımın basıklığının 0 kabul edildiğini unutmayın. Bu şekilde basıklık skorları daha yorumlanabilir hale gelir.

Python’da Basıklık Nasıl Hesaplanır

Basıklığı Python’da, çarpıklıkta olduğu gibi pandas veya SciPy ile hesaplayabilirsiniz:

from scipy.stats import kurtosis

kurtosis(diamond_prices)
2.177382669056634

Pandas, basıklık için iki işlev sunar: kurt ve kurtosis. İlki yalnızca Pandas Series için geçerlidir, diğeri ise DataFrame’ler üzerinde kullanılabilir.

diamond_prices.kurt()
2.17769575924869

# Select numeric features and calculate kurtosis
diamonds.select_dtypes(include="number").kurtosis()
carat     1.256635
depth     5.739415
table     2.801857
price     2.177696
x        -0.618161
y        91.214557
z        47.086619
dtype: float64

Yine, sayılar farklılık gösterir çünkü pandas ve SciPy farklı formüller kullanır.

Basıklığı elle hesaplamak isterseniz aşağıdaki formülü kullanabilirsiniz:

Burada:

• n, veri kümesindeki gözlem sayısını temsil eder
• x_i, her bir veri noktasını ifade eder

Formülü yine bir fonksiyon içinde uygulayalım:

def moment_based_kurtosis(distribution):
   n = len(distribution)
   mean = np.mean(distribution)
   std = np.std(distribution)

   kurtosis = (1 / n) * sum(((distribution - mean) / std) ** 4) - 3

   return kurtosis

>>> moment_based_kurtosis(diamond_prices)
2.1773826690576463

Ve görüyoruz ki elmas fiyatlarının aşırı basıklığı 2.18’dir; bu da dağılımı çizersek normal dağılıma göre daha sivri bir tepeye sahip olacağı anlamına gelir.

Öyleyse, bunu yapalım!

Python’da Çarpıklık ve Basıklığın Görselleştirilmesi

Dağılımların şeklini ve dolayısıyla çarpıklık ile basıklığını görmek için en iyi görsellerden biri çekirdek yoğunluk kestirimi (kernel density estimate, KDE) grafiğidir. Seaborn üzerinden kullanılabilir:

import matplotlib.pyplot as plt

sns.kdeplot(diamond_prices)

plt.title("KDE plot of diamond prices")
plt.xlabel("Price ($)")

Bu grafik, şimdiye dek gördüğümüz sayılarla uyumludur: dağılımın uzun bir sağ kuyruğu vardır, bu da pozitif çarpıklığa işaret eder ve çok sivri bir tepeye sahiptir; bu da yüksek basıklığa karşılık gelir.

Şekli görmek için yalnızca KDE yok; histogramları da kullanabiliriz:

sns.histplot(diamonds["carat"])

plt.xlabel("Carat")
plt.title("A histogram of the carat of diamonds")

Histogramların dezavantajı, kutu (bar) sayısını kendiniz seçmeniz gerekmesidir. Burada çok fazla bar var ve görselde gürültü oluşturuyor — şekli net biçimde belirleyemiyoruz. O hâlde, kutu sayısını azaltalım:

sns.histplot(diamonds["carat"], bins=25)

plt.xlabel("Carat")
plt.title("A histogram of the carat of diamonds")

Şimdi şekil daha belirgin, ancak daha da iyileştirebiliriz. histplot içinde kde=True ayarlayarak, barların üzerine dağılımın KDE’sini çizebiliriz:

sns.histplot(diamonds["carat"], bins=25, kde=True)

plt.xlabel("Carat")
plt.title("A histogram of the carat of diamonds")

Bindirilmiş KDE çizgisi tırtıklı görünüyor; genel şekli görmemizi sağlayan pürüzsüz bir eğri değil. Bu tırtıklılığın nedeni, karat dağılımının doğası gereği sivri ve normal dağılımdan oldukça uzak olmasıdır.

Ancak, bant genişliğini ayarlayarak KDE’nin bu dalgalanmalara duyarlılığını azaltabiliriz. Bu, varsayılanı 1 olan bw_adjust parametresiyle yapılır:

# Change the bandwidth from 1 to 3
sns.kdeplot(diamonds["carat"], bw_adjust=3, color="red")

plt.title("KDE of diamond carats");

Bu sürüm, bindirilmiş KDE grafiğine göre çok daha az sivri görünüyor. Histogram üzerine KDE bindirirken KDE bant genişliğini ayarlamak için kde_kws parametresini kullanabilirsiniz:

ax = sns.histplot(
   diamonds["carat"],
   kde=True,
   kde_kws=dict(bw_adjust=3),
   bins=25,
)

plt.title("An overlaid histogram of diamond carats");

kde_kws, KDE hesaplamasını kontrol eden kdeplot işlevinin kabul ettiği herhangi bir parametreyi kabul eder.

KDE çizerken kullanabileceğiniz bir püf noktası da KDE çizgisi dışında her şeyi kaldırmaktır. Bir KDE’nin ana amacı dağılım şeklini görmek olduğundan, eksen işaretleri, çerçeve çizgileri ve etiketler gibi diğer ayrıntılar bazen gereksiz olabilir:

sns.kdeplot(diamond_prices, color="red")

# Remove the spine from three sides
sns.despine(top=True, right=True, left=True)

# Remove the ticks and ticklabels
plt.xticks([])
plt.yticks([])
plt.ylabel("")
plt.xlabel("")

# Set a title
plt.title("Diamond prices", fontdict=dict(fontsize=20));

Bu grafik çok daha derli toplu. Grafiği, ortalama, medyan ve modun konumunu göstermek için çizgiler ekleyerek daha da iyileştirebilirsiniz:

sns.kdeplot(diamond_prices, color="red")

sns.despine(top=True, right=True, left=True)
plt.xticks([])
plt.yticks([])
plt.ylabel("")
plt.xlabel("")
plt.title("Diamond prices", fontdict=dict(fontsize=20))

# Find the mean, median, mode
mean_price = diamonds["price"].mean()
median_price = diamonds["price"].median()
mode_price = diamonds["price"].mode().squeeze()

# Add vertical lines at the position of mean, median, mode
plt.axvline(mean_price, label="Mean")
plt.axvline(median_price, color="black", label="Median")
plt.axvline(mode_price, color="green", label="Mode")

plt.legend();

Bu grafik, çarpıklık türleri bölümünde tartıştıklarımızı doğrular: pozitif çarpık bir dağılımda ortalama, medyandan yüksektir ve mod hem ortalama hem medyandan düşüktür.

Sonuç

Keşifsel Veri Analizi sırasında sıkça gözden kaçan çarpıklık ve basıklık, dağılımların doğası hakkında önemli içgörüler sunar.

Çarpıklık, verinin sola mı yoksa sağa mı meylettiğine, yani varsa asimetrisine işaret eder. Pozitif çarpıklık sağa uzayan bir kuyruk demektir; negatif çarpıklık ise tam tersidir.

Basıklık, tamamen tepeler ve kuyruklarla ilgilidir. Yüksek basıklık tepeleri sivriltir ve kuyrukları ağırlaştırır; düşük basıklık ise veriyi yayar ve kuyrukları hafifletir.

Çarpıklık ve basıklık hakkında daha fazla bilgi edinmek isterseniz, DataCamp’te sektör uzmanları tarafından verilen şu nitelikli nicel analiz kurslarına göz atabilirsiniz:

• Python ile Portföy Risk Yönetimine Giriş
• Python ile Portföy Analizine Giriş