Kursus
RNA-Seq dengan Bioconductor di R
4 jam
21.7K
Dalam perjalanan saya selama satu dekade di bidang keuangan kuantitatif, saya telah menjumpai banyak distribusi statistik, tetapi sedikit yang namanya terdengar unik sekaligus bernilai praktis seperti distribusi binomial negatif. Saat menganalisis pola perdagangan dan model risiko, saya menemukan bahwa distribusi ini, meskipun namanya terdengar pesimistis, memberikan wawasan tentang proses pencacahan yang gagal ditangkap oleh banyak model yang lebih sederhana.
Distribusi binomial negatif menyediakan kerangka kerja canggih untuk memodelkan skenario semacam ini, menawarkan fleksibilitas yang lebih besar dibandingkan padanannya yang lebih sederhana seperti distribusi Poisson. Distribusi ini menjadi perpanjangan alami dari distribusi binomial, yang beradaptasi dengan situasi ketika kita perlu memodelkan jumlah percobaan hingga sejumlah kejadian tertentu terjadi, alih-alih jumlah kejadian dalam jumlah percobaan yang tetap.
Dalam panduan komprehensif ini, kita akan membahas dasar matematis, penerapan praktis, dan implementasi distribusi binomial negatif di Python dan R. Mulai dari sifat dasarnya hingga aplikasi tingkat lanjut, kita akan membangun pemahaman menyeluruh tentang alat statistik yang kuat ini.
Apa itu Distribusi Binomial Negatif?
Distribusi binomial negatif berasal dari abad ke-18 melalui kajian peluang dalam permainan untung-untungan. Distribusi peluang diskret ini memodelkan jumlah kegagalan dalam serangkaian percobaan Bernoulli yang saling bebas sebelum mencapai jumlah keberhasilan yang telah ditentukan. Setiap percobaan harus independen dan memiliki peluang keberhasilan yang sama.
Untuk memahami distribusi ini secara intuitif, pertimbangkan eksperimen sederhana: mewawancarai kandidat hingga menemukan tiga orang yang memenuhi syarat untuk suatu posisi. Distribusi ini akan memodelkan jumlah wawancara yang tidak berhasil (kegagalan) yang diperlukan sebelum menemukan tiga kandidat yang memenuhi syarat tersebut (keberhasilan). Ini secara mendasar berbeda dari distribusi binomial, yang memodelkan jumlah keberhasilan dalam jumlah percobaan yang tetap — misalnya jumlah kandidat memenuhi syarat yang ditemukan tepat dalam 20 wawancara.
Jadi, meskipun namanya "binomial negatif" mungkin membuat orang bertanya-tanya, ini tidak menyiratkan sesuatu yang negatif dalam arti konvensional. Aspek "negatif" berasal dari penurunan historisnya yang melibatkan eksponen negatif.
Di Mana Distribusi Binomial Negatif Digunakan
Distribusi binomial negatif digunakan dalam banyak cara berbeda. Distribusi ini digunakan di bidang keuangan, tempat saya paling sering menerapkannya, misalnya untuk memodelkan jumlah hari perdagangan hingga mencapai tingkat keuntungan target, atau jumlah aplikasi kredit yang ditinjau sebelum menemukan sejumlah peminjam yang memenuhi syarat.
Secara lebih umum, distribusi binomial negatif juga terbukti berharga untuk memodelkan data hitung ketika varians melebihi rata-rata, fenomena yang dikenal sebagai overdispersi. Sementara distribusi Poisson mengasumsikan rata-rata sama dengan varians, data hitung di dunia nyata sering menunjukkan variabilitas yang lebih besar. Misalnya, dalam epidemiologi, jumlah kasus penyakit seringkali lebih bervariasi daripada yang diprediksi oleh model Poisson, sehingga distribusi binomial negatif lebih tepat untuk memodelkan penyebaran penyakit.
Ahli genetika mengandalkan distribusi ini saat menganalisis data sekuensing. Dalam eksperimen sekuensing RNA, gen menunjukkan tingkat ekspresi yang bervariasi dengan variabilitas tinggi. Distribusi binomial negatif memodelkan jumlah pembacaan sekuens yang dipetakan ke setiap gen, dengan memperhitungkan variasi teknis dan biologis. Ini membantu mengidentifikasi gen yang terekspresi berbeda dengan lebih akurat dibandingkan metode yang mengasumsikan varians konstan.
Dalam studi ekologi, peneliti menggunakannya untuk memodelkan kelimpahan spesies. Pertimbangkan studi populasi burung: beberapa area mungkin memiliki sedikit burung sementara area lain memiliki kelompok besar, menciptakan varians yang lebih tinggi dari yang diharapkan. Distribusi binomial negatif secara efektif memodelkan sebaran berkelompok ini, membantu ahli ekologi memahami dinamika populasi dan merencanakan upaya konservasi.
Karakteristik Distribusi Binomial Negatif
Distribusi binomial negatif dicirikan oleh dua parameter kunci yang menentukan bentuk dan perilakunya. Memahami parameter dan representasi matematisnya membantu kita memahami bagaimana distribusi ini memodelkan fenomena dunia nyata. Mari kita telusuri karakteristik ini secara sistematis.
Representasi matematis dan parameter
Distribusi binomial negatif memiliki dua parameter dasar:
- r - Jumlah keberhasilan target (bilangan bulat positif)
- p - Peluang keberhasilan pada setiap percobaan (antara 0 dan 1)
Parameter-parameter ini membentuk perilaku distribusi. Pertimbangkan pelacakan jumlah panggilan penjualan yang diperlukan untuk mendapatkan lima klien baru (r = 5) ketika setiap panggilan memiliki peluang keberhasilan 20% (p = 0,2). Nilai r menentukan titik berhenti, sementara p memengaruhi berapa lama kita perkirakan perlu terus melakukan panggilan.
Saat kita meningkatkan r dengan p tetap, distribusi bergeser ke kanan dan menjadi lebih menyebar, mencerminkan bahwa kita membutuhkan lebih banyak percobaan untuk mencapai lebih banyak keberhasilan. Sebaliknya, saat kita meningkatkan p dengan r tetap, distribusi bergeser ke kiri dan menjadi lebih terkonsentrasi, menunjukkan lebih sedikit percobaan yang biasanya dibutuhkan ketika keberhasilan lebih mungkin terjadi.
Fungsi massa peluang (PMF) dan fungsi distribusi kumulatif (CDF)
Fungsi massa peluang memberi kita peluang membutuhkan tepat k kegagalan sebelum mencapai r keberhasilan. Untuk distribusi binomial negatif, PMF-nya adalah:
Di mana:
- X merepresentasikan jumlah kegagalan sebelum mencapai r keberhasilan
- (k+r-1 choose k) adalah koefisien binomial, yang merepresentasikan jumlah cara untuk menyusun k kegagalan dan r-1 keberhasilan
- p adalah peluang keberhasilan
- r adalah jumlah keberhasilan yang diinginkan
- K adalah jumlah kegagalan
Contoh: Dalam pengendalian mutu, jika kita membutuhkan 3 unit cacat (r = 3) dan setiap unit memiliki peluang 10% untuk cacat (p = 0,1), kita dapat menghitung peluang spesifik. Misalnya, peluang mendapatkan tepat 5 unit tidak cacat (k = 5) sebelum menemukan unit cacat ketiga adalah:
Perhitungan ini menunjukkan peluang sekitar 1,24% untuk membutuhkan tepat 5 unit tidak cacat sebelum menemukan unit cacat ketiga.
Fungsi distribusi kumulatif (CDF) dibangun dari PMF, memberikan kita peluang membutuhkan k atau lebih sedikit kegagalan sebelum mencapai jumlah keberhasilan target:
Ini berarti F(k) memberi kita peluang membutuhkan paling banyak k unit tidak cacat sebelum menemukan unit cacat ketiga. Misalnya, F(5) akan memberikan peluang membutuhkan 5 atau lebih sedikit unit tidak cacat.
Rata-rata dan varians
Rata-rata (nilai harapan) dan varians dari distribusi binomial negatif memiliki rumus elegan yang mengungkapkan sifat penting tentang mean (μ) dan varians (σ²).
Rumus-rumus ini menunjukkan mengapa distribusi ini unggul dalam memodelkan data yang overdispersi. Perhatikan bahwa varians selalu lebih besar daripada rata-rata dengan faktor 1/p. Sifat bawaan ini membuatnya secara alami cocok untuk dataset di mana variabilitas melebihi rata-rata.
Misalnya, jika kita memodelkan panggilan layanan pelanggan di mana kita berharap menyelesaikan 5 kasus (r = 5) dengan tingkat keberhasilan per upaya 20% (p = 0,2), jumlah upaya gagal yang diharapkan adalah:
- Mean = 5(1-0,2)/0,2 = 20 kegagalan
- Varians = 5(1-0,2)/0,2² = 100
Varians yang lebih tinggi ini mencerminkan kenyataan bahwa beberapa kasus mungkin diselesaikan dengan cepat sementara yang lain memerlukan jauh lebih banyak upaya, pola yang sering diamati di dunia nyata.
Memahami karakteristik ini membantu kita mengenali kapan harus menerapkan distribusi binomial negatif dan bagaimana menafsirkan hasilnya secara efektif. Landasan matematis ini menjadi pijakan untuk penerapan praktis dan implementasi, yang akan kita bahas pada bagian selanjutnya.
Implementasi di Python dan R
Mari kita validasi contoh sebelumnya: menghitung peluang mendapatkan tepat 5 unit tidak cacat sebelum menemukan unit cacat ketiga (r=3, p=0,1).
Implementasi Python
import scipy.stats as stats
import math
def calculate_nb_pmf(k, r, p):
# Calculate binomial coefficient (k+r-1 choose k)
binom_coef = math.comb(k + r - 1, k)
# Calculate p^r * (1-p)^k
prob = (p ** r) * ((1 - p) ** k)
return binom_coef * prob
# Our example parameters
k = 5 # failures (non-defective units)
r = 3 # successes (defective units)
p = 0.1 # probability of success (defective)
# Calculate using our function
prob_manual = calculate_nb_pmf(k, r, p)
print(f"Manual calculation: {prob_manual:.4f}")
# Verify using scipy
prob_scipy = stats.nbinom.pmf(k, r, p)
print(f"SciPy calculation: {prob_scipy:.4f}")Potongan kode di atas akan menghasilkan keluaran berikut:
Manual calculation: 0.0124
SciPy calculation: 0.0124Implementasi R
# Calculate probability mass function
k <- 5 # failures (non-defective units)
r <- 3 # successes (defective units)
p <- 0.1 # probability of success (defective)
# Using dnbinom
prob_r <- dnbinom(k, size = r, prob = p)
print(sprintf("R calculation: %.4f", prob_r))
# Manual calculation for verification
manual_calc <- choose(k + r - 1, k) * p^r * (1-p)^k
print(sprintf("Manual calculation: %.4f", manual_calc))Potongan kode di atas akan menghasilkan angka yang sama seperti pada contoh Python kita:
R calculation: 0.0124
Manual Calculation: 0.0124Kedua implementasi tersebut mengonfirmasi peluang yang telah kita hitung sebelumnya, yaitu sekitar 0,0124 atau 1,24%.
Keterkaitan dengan Distribusi Lain
Memahami bagaimana distribusi binomial negatif berkaitan dengan distribusi peluang lainnya membantu menjernihkan kapan menggunakan masing-masing. Distribusi binomial negatif memiliki keterkaitan unik dengan beberapa distribusi penting dalam statistik.
Distribusi binomial negatif vs. distribusi binomial
Distribusi binomial berfungsi sebagai titik awal yang mendasar. Sementara distribusi binomial menghitung keberhasilan dalam jumlah percobaan yang tetap, distribusi binomial negatif membalik konsep ini dengan menghitung jumlah percobaan yang dibutuhkan untuk sejumlah keberhasilan yang tetap. Kedua distribusi ini saling melengkapi — jika Anda membutuhkan tepat 3 keberhasilan dan ingin mengetahui peluang untuk mencapainya dalam tepat 8 percobaan, gunakan distribusi binomial. Jika Anda ingin mengetahui peluang membutuhkan tepat 8 percobaan untuk mendapatkan 3 keberhasilan, gunakan distribusi binomial negatif.
Distribusi binomial negatif vs. distribusi Poisson
Distribusi Poisson sering dibandingkan dengan binomial negatif saat memodelkan data hitung. Keduanya menangani kejadian diskret, tetapi berbeda dalam asumsi variansnya. Ciri utama distribusi Poisson adalah rata-ratanya sama dengan variansnya. Namun, data hitung di dunia nyata sering kali menunjukkan overdispersi, di mana varians melebihi rata-rata. Distribusi binomial negatif secara alami mengakomodasi variabilitas ekstra ini, sehingga lebih cocok untuk fenomena seperti:
- Pola wabah penyakit di mana sebagian kasus memicu jauh lebih banyak infeksi
- Data keluhan pelanggan di mana beberapa masalah memicu banyak keluhan terkait
- Lonjakan lalu lintas situs web di mana kejadian tertentu menyebabkan tingkat aktivitas meningkat
Distribusi binomial negatif vs. distribusi geometrik
Distribusi geometrik muncul sebagai kasus khusus dari binomial negatif ketika kita menetapkan r=1, yang berarti kita menunggu satu keberhasilan saja. Ini cocok untuk memodelkan skenario seperti:
- Jumlah upaya hingga keberhasilan pertama
- Waktu hingga kegagalan pertama dalam uji keandalan
- Jumlah percobaan hingga terobosan pertama dalam penelitian
Distribusi binomial negatif sebagai campuran Gamma-Poisson
Akhirnya, binomial negatif dapat diturunkan sebagai campuran Gamma-Poisson, memberikan landasan teoretis bagi kemampuannya menangani overdispersi. Hubungan ini membantu menjelaskan mengapa distribusi binomial negatif bekerja baik dalam model hierarkis di mana laju kejadian individu bervariasi mengikuti distribusi gamma.
Kelebihan dan Keterbatasan
Distribusi binomial negatif menawarkan kelebihan yang membuatnya berharga untuk memodelkan fenomena dunia nyata, namun juga memiliki keterbatasan penting yang perlu dipertimbangkan oleh ilmuwan data.
Regresi binomial negatif memperluas regresi tradisional ke data hitung, khususnya ketika data menunjukkan overdispersi. Sementara regresi Poisson mengasumsikan rata-rata sama dengan varians, regresi binomial negatif melonggarkan kendala ini, sehingga lebih sesuai untuk aplikasi dunia nyata.
Pertimbangkan skenario pusat panggilan: Kita ingin memprediksi jumlah panggilan layanan pelanggan per jam. Prediktor kita mungkin mencakup:
- Waktu dalam sehari
- Hari dalam minggu
- Status hari libur
- Aktivitas kampanye pemasaran
- Kondisi cuaca
Regresi Poisson standar mungkin meremehkan variasi volume panggilan, terutama selama jam sibuk atau acara khusus. Regresi binomial negatif memperhitungkan variabilitas ekstra ini, memberikan prediksi dan interval kepercayaan yang lebih realistis.
Kesimpulan
Berkat kemampuannya memodelkan data hitung yang kompleks dan menangani overdispersi, distribusi binomial negatif tetap menjadi alat penting untuk memahami dan memprediksi fenomena dunia nyata. Seperti yang telah Anda lihat, distribusi ini unggul dalam memodelkan data yang overdispersi, memberikan fleksibilitas untuk memodelkan begitu banyak skenario berbeda, dan bahkan secara alami meluas ke analisis regresi.
Jika Anda tertarik memperdalam pemahaman tentang distribusi peluang dan penerapannya, kursus Probability and Statistics kami menawarkan cakupan komprehensif atas topik-topik tersebut. Kursus kami mencakup latihan langsung dengan dataset dunia nyata, membantu Anda menguasai konsep teoretis dan implementasi praktis di Python dan R. Pertimbangkan juga jalur karier Machine Learning Scientist in Python kami. Saya yakin, Anda akan banyak belajar.
