Negatif Binom Dağılımını Anlamak: Tam Kılavuz

Nicel finansta on yıla yaklaşan yolculuğumda birçok istatistiksel dağılımla karşılaştım; ancak ismi kadar ilgi çekici olup pratikte bu denli değerli olanlardan biri de negatif binom dağılımıdır. Alım-satım kalıplarını ve risk modellerini analiz ederken, isminin çağrıştırdığı kötümserliğe rağmen bu dağılımın, daha basit modellerin yakalayamadığı sayma süreçlerine dair içgörüler sunduğunu keşfettim.

Negatif binom dağılımı, bu tür senaryoları modellemek için sofistike bir çerçeve sunar ve Poisson dağılımı gibi daha basit muadillerine göre daha fazla esneklik sağlar. Binom dağılımının doğal bir uzantısı olarak, sabit sayıda denemede kaç başarı elde edildiğini değil, belirli sayıda başarı elde edilene kadar kaç deneme gerektiğini modellediğimiz durumlara uyum sağlar.

Bu kapsamlı kılavuzda negatif binom dağılımının matematiksel temellerini, pratik uygulamalarını ve Python ile R'deki implementasyonunu inceleyeceğiz. Temel özelliklerinden başlayıp ileri uygulamalara doğru ilerleyerek bu güçlü istatistiksel aracı etraflıca anlayacağız.

Negatif Binom Dağılımı Nedir?

Negatif binom dağılımı, 18. yüzyılda şans oyunlarındaki olasılık çalışmalarından doğmuştur. Bu ayrık olasılık dağılımı, önceden belirlenmiş sayıda başarıya ulaşmadan önce, bağımsız Bernoulli denemeleri dizisindeki başarısızlık sayısını modeller. Her deneme bağımsız olmalı ve başarı olasılığı sabit kalmalıdır.

Bu dağılımı sezgisel olarak anlamak için basit bir deney düşünün: Bir pozisyon için üç nitelikli aday bulunana kadar adaylarla mülakat yapmak. Dağılım, bu üç nitelikli adayı (başarılar) bulmadan önce gereken başarısız mülakatların (başarısızlıklar) sayısını modelleyecektir. Bu, binom dağılımından temelde farklıdır; binom dağılımı belirli sayıda denemede elde edilen başarı sayısını — örneğin tam 20 mülakatta bulunan nitelikli aday sayısını — modeller.

Gördüğünüz gibi, "negatif binom" adı kaş kaldırsa da, geleneksel anlamda olumsuz bir şeyi ima etmez. "Negatif" ifadesi, tarihsel olarak negatif üsleri içeren türetiminden gelir.

Negatif Binom Dağılımı Nerelerde Kullanılır

Negatif binom dağılımı pek çok farklı şekilde kullanılır. Benim en çok yer verdiğim finans alanında, hedeflenen kâr düzeyine ulaşana kadar geçen işlem günü sayısı ya da belirli sayıda nitelikli kredi başvurusu bulmadan önce incelenen başvuru sayısı gibi senaryoları modellemek için kullanılır.

Daha genel olarak, ortalamanın varyanstan küçük olduğu varsayımını yapan Poisson dağılımının aksine, varyansın ortalamayı aştığı — aşırı saçılım (overdispersion) olarak bilinen — sayım verilerini modellemede de değerlidir. Örneğin epidemiyolojide, hastalık vaka sayıları çoğu zaman Poisson modelinin öngördüğünden daha yüksek değişkenlik gösterir; bu da hastalık yayılımını modellemek için negatif binom dağılımını daha uygun kılar.

Genetikçiler, dizileme verilerini analiz ederken bu dağılımdan yararlanır. RNA dizileme deneylerinde, genler yüksek değişkenlikle farklı ifade düzeyleri sergiler. Negatif binom, her gene eşlenen okuma sayısını hem teknik hem de biyolojik varyasyonu dikkate alarak modelleyerek, varyansın sabit olduğunu varsayan yöntemlere kıyasla farklı ifade edilen genleri daha doğru belirlemeye yardımcı olur.

Ekolojik çalışmalarda ise tür bolluğunu modellemek için kullanılır. Kuş popülasyonlarını incelediğinizi düşünün: Bazı bölgelerde az sayıda kuş varken, bazı bölgelerde kümelenmeler görülebilir ve bu da beklenenden daha yüksek varyansa yol açar. Negatif binom, bu kümelenmiş dağılımları etkili biçimde modelleyerek ekolojistlerin popülasyon dinamiklerini anlamasına ve koruma planları yapmasına yardımcı olur.

Negatif Binom Dağılımının Özellikleri

Negatif binom dağılımı, şeklini ve davranışını belirleyen iki temel parametreyle tanımlanır. Bu parametreleri ve matematiksel gösterimi anlamak, dağılımın gerçek dünyadaki olguları nasıl modellediğini kavramamıza yardımcı olur. Bu özellikleri sistematik olarak inceleyelim.

Matematiksel gösterim ve parametreler

Negatif binom dağılımının iki temel parametresi vardır:

1. r - Hedef başarı sayısı (pozitif bir tamsayı)
2. p - Her denemedeki başarı olasılığı (0 ile 1 arasında)

Bu parametreler dağılımın davranışını şekillendirir. Her aramanın başarı olasılığının %20 olduğu (p = 0,2) bir ortamda beş yeni müşteri kazanmak için gereken satış çağrısı sayısını (r = 5) takip etmeyi düşünün. r değeri durma noktamızı belirlerken, p kaç arama yapmayı bekleyebileceğimizi etkiler.

p sabitken r'yi artırdığımızda, daha fazla başarıya ulaşmak için daha çok deneme gerektiğini yansıtarak dağılım sağa kayar ve daha fazla yayılır. r sabitken p'yi artırdığımızda ise, başarı olasılığı arttığı için genellikle daha az deneme gerekeceğini belirterek dağılım sola kayar ve daha yoğunlaşır.

Olasılık kütle fonksiyonu (PMF) ve kümülatif dağılım fonksiyonu (CDF)

Olasılık kütle fonksiyonu, r başarıya ulaşmadan önce tam olarak k başarısızlığa ihtiyaç duyma olasılığını verir. Negatif binom dağılımı için PMF şöyledir:

Burada:

• X, r başarıya ulaşmadan önceki başarısızlık sayısını temsil eder
• (k+r-1 içinden k) ikili katsayıdır ve k başarısızlık ile r-1 başarının kaç farklı şekilde sıralanabileceğini gösterir
• p başarı olasılığıdır
• r hedeflenen başarı sayısıdır
• K başarısızlık sayısıdır

Örnek: Kalite kontrolde, 3 kusurlu birime ihtiyacımız varsa (r = 3) ve her birimin kusurlu olma olasılığı %10 ise (p = 0,1), belirli olasılıkları hesaplayabiliriz. Örneğin, üçüncü kusurlu birimi bulmadan önce tam olarak 5 kusursuz birim (k = 5) elde etme olasılığı şöyledir:

Bu hesaplama, üçüncü kusurlu birimi bulmadan önce tam olarak 5 kusursuz birime ihtiyaç duyma olasılığının yaklaşık %1,24 olduğunu gösterir.

Kümülatif dağılım fonksiyonu (CDF), PMF üzerine inşa edilmiştir ve hedeflenen başarı sayısına ulaşmadan önce k veya daha az sayıda başarısızlığa ihtiyaç duyma olasılığını verir:

Bu, F(k)'nın üçüncü kusurlu birimi bulmadan önce en fazla k kusursuz birime ihtiyaç duyma olasılığını verdiği anlamına gelir. Örneğin, F(5) değeri 5 veya daha az kusursuz birime ihtiyaç duyma olasılığını verir.

Ortalama ve varyans

Negatif binom dağılımının ortalaması (beklenen değer) ve varyansı, ortalama (μ) ve varyans (σ^²) hakkında önemli özellikleri ortaya koyan zarif formüllere sahiptir.  

Bu formüller, dağılımın aşırı saçılımlı verileri modellemede neden başarılı olduğunu gösterir. Dikkat ederseniz, varyans her zaman ortalamadan 1/p katsayısı kadar büyüktür. Bu yerleşik özellik, değişkenliğin ortalamayı aştığı veri kümeleri için onu doğal bir seçim haline getirir.

Örneğin, her girişimin %20 başarı oranıyla (p = 0,2) 5 vakayı çözmeyi (r = 5) beklediğimiz müşteri hizmetleri çağrılarını modelliyorsak, beklenen başarısız girişim sayısı şöyle olur:

• Ortalama = 5(1-0,2)/0,2 = 20 başarısızlık
• Varyans = 5(1-0,2)/0,2² = 100

Bu daha yüksek varyans, bazı vakaların hızlıca çözülürken bazılarının çok daha fazla girişim gerektirebileceği gerçeğini hesaba katar; bu, gerçek dünyada sıklıkla gözlemlenen bir örüntüdür.

Bu özellikleri anlamak, negatif binom dağılımını ne zaman uygulayacağımızı ve sonuçlarını nasıl etkili biçimde yorumlayacağımızı fark etmemize yardımcı olur. Bu matematiksel temeller, bir sonraki bölümlerde inceleyeceğimiz pratik uygulamalar ve implementasyon için zemin hazırlar.

Python ve R ile Uygulama

Önceki örneğimizi doğrulayalım: Üçüncü kusurlu birimi bulmadan önce tam olarak 5 kusursuz birim elde etme olasılığını hesaplamak (r=3, p=0,1).

Python implementasyonu

import scipy.stats as stats
import math

def calculate_nb_pmf(k, r, p):
    # Calculate binomial coefficient (k+r-1 choose k)
    binom_coef = math.comb(k + r - 1, k)
    # Calculate p^r * (1-p)^k
    prob = (p ** r) * ((1 - p) ** k)
    return binom_coef * prob

# Our example parameters
k = 5  # failures (non-defective units)
r = 3  # successes (defective units)
p = 0.1  # probability of success (defective)

# Calculate using our function
prob_manual = calculate_nb_pmf(k, r, p)
print(f"Manual calculation: {prob_manual:.4f}")

# Verify using scipy
prob_scipy = stats.nbinom.pmf(k, r, p)
print(f"SciPy calculation: {prob_scipy:.4f}")Altyapı:

Yukarıdaki kod parçası aşağıdakileri üretmelidir: 

Manual calculation: 0.0124
SciPy calculation: 0.0124Altyapı:

R implementasyonu

# Calculate probability mass function
k <- 5  # failures (non-defective units)
r <- 3  # successes (defective units)
p <- 0.1  # probability of success (defective)

# Using dnbinom
prob_r <- dnbinom(k, size = r, prob = p)
print(sprintf("R calculation: %.4f", prob_r))

# Manual calculation for verification
manual_calc <- choose(k + r - 1, k) * p^r * (1-p)^k
print(sprintf("Manual calculation: %.4f", manual_calc))Altyapı:

Yukarıdaki kod parçası, Python örneğimizdekiyle aynı sayıları üretmelidir:

R calculation: 0.0124
Manual Calculation: 0.0124Altyapı:

Her iki implementasyon da yaklaşık 0,0124 ya da %1,24 olasılığını doğrular.

Diğer Dağılımlarla İlişkisi

Negatif binom dağılımının diğer olasılık dağılımlarıyla ilişkisini anlamak, hangisini ne zaman kullanacağımızı netleştirmeye yardımcı olur. Negatif binom dağılımının istatistikteki çeşitli önemli dağılımlarla özgün bağlantıları vardır.

Negatif binom dağılımı ve binom dağılımı

Binom dağılımı temel bir başlangıç noktasıdır. Binom dağılımı sabit sayıda denemedeki başarıları sayarken, negatif binom bu kavramı tersine çevirerek sabit sayıda başarıya ulaşmak için gereken deneme sayısını sayar. Bu dağılımlar birbirini tamamlar — tam 3 başarıya ihtiyacınız var ve bunu tam 8 denemede elde etme olasılığını bilmek istiyorsanız binom dağılımını kullanın. Tam 3 başarıya ulaşmak için tam 8 denemeye ihtiyaç duyma olasılığını bilmek istiyorsanız negatif binomu kullanın.

Negatif binom dağılımı ve Poisson dağılımı

Poisson dağılımı, sayım verilerini modellerken sıklıkla negatif binomla karşılaştırılır. Her ikisi de ayrık olayları ele alır; ancak varyans varsayımlarında farklılaşırlar. Poisson dağılımının ayırt edici özelliği, ortalamasının varyansına eşit olmasıdır. Oysa gerçek dünyadaki sayım verileri sıklıkla ortalamayı aşan bir varyans — aşırı saçılım — gösterir. Negatif binom dağılımı bu ek değişkenliği doğal olarak karşılar ve aşağıdaki olgular gibi durumlar için daha uygun hale gelir:

• Bazı vakaların çok daha fazla enfeksiyona yol açtığı hastalık salgını örüntüleri
• Bazı sorunların birden çok ilişkili şikayeti tetiklediği müşteri şikayet verileri
• Belirli olayların etkinliği artırdığı web trafiği sıçramaları

Negatif binom dağılımı ve geometrik dağılım

Geometrik dağılım, r=1 olarak ayarlandığında negatif binomun özel bir durumu olarak ortaya çıkar; yani yalnızca tek bir başarıyı bekliyoruzdur. Bu da şu senaryoları modellemek için idealdir:

• İlk başarıya kadar geçen deneme sayısı
• Güvenilirlik testlerinde ilk arızaya kadar geçen süre
• Araştırmada ilk atılıma kadar geçen deneme sayısı

Gamma-Poisson karışımı olarak negatif binom dağılımı

Son olarak, negatif binom bir Gamma-Poisson karışımı olarak türetilebilir; bu da aşırı saçılımı ele alma yeteneğine teorik bir temel sağlar. Bu ilişki, bireysel gerçekleşme hızlarının gamma dağılımına göre değiştiği hiyerarşik modellerde negatif binomun neden iyi çalıştığını açıklar.

Avantajlar ve Sınırlamalar

Negatif binom dağılımı, gerçek dünya olgularını modellemede değerli kılan belirgin avantajlar sunar; bununla birlikte veri bilimcilerin göz önünde bulundurması gereken önemli sınırlamaları da vardır.

Negatif binom regresyonu, özellikle veri aşırı saçılım gösterdiğinde sayım verileri için geleneksel regresyonu genişletir. Poisson regresyonu ortalamanın varyansa eşit olduğunu varsayarken, negatif binom regresyonu bu kısıtı gevşetir ve gerçek dünya uygulamaları için daha uygun hale gelir.

Bir çağrı merkezi senaryosu düşünün: Saat başına müşteri hizmeti çağrısı sayısını tahmin etmek istiyoruz. Yordayıcılarımız şunları içerebilir:

• Günün saati
• Haftanın günü
• Resmi tatil durumu
• Pazarlama kampanyası aktivitesi
• Hava koşulları

Standart Poisson regresyonu, özellikle yoğun saatlerde veya özel etkinliklerde çağrı hacimlerindeki değişkenliği olduğundan az tahmin edebilir. Negatif binom regresyonu bu ek değişkenliği hesaba katarak daha gerçekçi tahminler ve güven aralıkları sağlar.

Sonuç

Karmaşık sayım verilerini modelleme ve aşırı saçılımı ele alma becerisi sayesinde negatif binom dağılımı, gerçek dünya olgularını anlamak ve öngörmek için temel bir araç olmaya devam eder. Gördüğünüz gibi, aşırı saçılımlı verileri modellemede üstünlük sağlar, çok çeşitli senaryoları modelleme esnekliği sunar ve hatta doğal olarak regresyon analizine genişler.

Olasılık dağılımlarını ve uygulamalarını daha derinlemesine öğrenmek isterseniz, Olasılık ve İstatistik kurslarımız bu konuları kapsamlı biçimde ele alır. Kurslarımız, gerçek veri setleriyle uygulamalı alıştırmalar içerir ve hem teorik kavramları hem de Python ve R ile pratik uygulamaları ustalıkla öğrenmenize yardımcı olur. Ayrıca, Python ile Makine Öğrenimi Bilimcisi kariyer yolumuzu da değerlendirin. Emin olun, çok şey öğreneceksiniz.