Rasio Likelihood: Ukuran Penting dari Bukti Statistis
Rasio likelihood membandingkan seberapa baik dua hipotesis atau model menjelaskan data yang sama, dan artikel ini membahas rumusnya, contoh kerja lempar koin, uji rasio likelihood untuk model regresi bertingkat di Python dan R, serta rasio likelihood diagnostik.
Pernah melihat istilah "likelihood ratio" di keluaran regresi atau sebuah studi dan tidak tahu apa maksudnya?
Anda bukan satu-satunya. Istilah ini sering muncul dalam pengujian hipotesis, perbandingan model, klasifikasi, dan pengujian diagnostik, dan tiap bidang menggunakannya sedikit berbeda. Kebanyakan penjelasan juga langsung mulai dengan statistik uji dan sebaran chi-kuadrat sebelum Anda tahu apa itu likelihood. Akibatnya Anda mendapat sebuah angka yang bisa dihitung tapi sulit dijelaskan.
Singkatnya, likelihood menunjukkan seberapa baik suatu nilai parameter atau model statistis menjelaskan data yang Anda amati. Rasio likelihood membagi satu likelihood dengan likelihood lain, sehingga Anda bisa melihat hipotesis mana dari dua yang mendapat lebih banyak dukungan dari data, dan sebesar apa selisihnya.
Dalam artikel ini, saya akan memandu Anda melalui gagasan inti dan rumusnya, uji rasio likelihood serta cara menafsirkannya, dan di mana Anda akan menemui rasio likelihood dalam praktik.
Rasio likelihood adalah likelihood dari data yang diamati di bawah satu hipotesis dibagi dengan likelihood dari data yang sama di bawah hipotesis lain. Kedua hipotesis bisa berupa dua nilai parameter atau dua model statistis penuh.
Pertanyaan yang dijawabnya adalah penjelasan mana yang lebih baik menerangkan data, bukan apakah data tersebut mungkin terjadi.
Itu perbedaan penting. Urutan spesifik dari 20 lemparan koin memiliki probabilitas sekitar satu banding sejuta di bawah koin adil, jadi likelihood yang kecil sendiri tidak banyak bercerita. Ini hanya masuk akal jika dibandingkan dengan likelihood lain.
Misalkan Anda melempar koin 10 kali dan mendapat 8 gambar. Satu hipotesis menyatakan koinnya adil, dengan probabilitas gambar 0,5. Hipotesis lain menyatakan koinnya bias, dengan probabilitas gambar 0,8.
Kedua hipotesis dapat menghasilkan 8 gambar, tetapi koin bias menghasilkan hasil itu jauh lebih sering. Jadi data memberi lebih banyak dukungan pada hipotesis kedua, dan rasio likelihood memberikan angka untuk seberapa banyak lebihnya. Saya akan menghitung nilainya secara tepat di bagian contoh nanti dalam artikel ini.
Likelihood dan probabilitas menggunakan rumus yang sama, tetapi menjawab pertanyaan yang berbeda:
Probabilitas: Memfiksasi parameter dan menanyakan seberapa mungkin berbagai hasil — misalnya peluang 8 gambar dalam 10 lemparan dengan koin adil
Likelihood: Memfiksasi data yang diamati dan menanyakan seberapa baik berbagai nilai parameter menjelaskannya — misalnya seberapa baik probabilitas gambar 0,5 dibanding 0,8 menjelaskan 8 gambar dalam 10 lemparan
Probabilitas di seluruh kemungkinan hasil berjumlah 1, tetapi likelihood di seluruh kemungkinan nilai parameter tidak. Itulah mengapa likelihood bukan probabilitas bahwa sebuah hipotesis benar, dan rasio likelihood pun demikian.
Bagaimana Rasio Likelihood Bekerja?
Setiap rasio likelihood mengikuti lima langkah yang sama:
Amati data: Kumpulkan sampel yang ingin Anda jelaskan, seperti 8 gambar dalam 10 lemparan
Hitung likelihood pertama: Cari seberapa mungkin data yang diamati di bawah hipotesis A
Hitung likelihood kedua: Lakukan hal yang sama di bawah hipotesis B
Bagi: Letakkan satu likelihood di pembilang dan yang lain di penyebut
Tafsirkan rasionya: Periksa hipotesis mana yang lebih didukung data, dan seberapa besar
Makna rasio bergantung pada likelihood mana yang di atas. Dengan hipotesis A di pembilang:
Rasio di atas 1: Data lebih mungkin terjadi di bawah A, jadi A mendapat lebih banyak dukungan
Rasio di bawah 1: Data lebih mungkin terjadi di bawah B, jadi B mendapat lebih banyak dukungan
Rasio sama dengan 1: Kedua hipotesis menjelaskan data sama baiknya, dan data tidak memihak salah satunya
Rasio 4 berarti data yang diamati empat kali lebih mungkin terjadi di bawah A dibanding B. Itu tidak berarti A empat kali lebih mungkin benar.
Jika Anda menukar pembilang dan penyebut, Anda akan mendapat kebalikannya. Rasio 4 yang mendukung A menjadi 0,25, yang menyatakan hal yang sama dari sisi B.
Konvensi berbeda antar bidang. Uji rasio likelihood biasanya menempatkan hipotesis nol di pembilang, sehingga nilai kecil dihitung sebagai bukti melawannya, sementara banyak aplikasi lain menempatkan hipotesis alternatif di atas.
Jadi sebelum menafsirkan rasio likelihood apa pun, periksa hipotesis mana yang ada di pembilang.
Rumus Rasio Likelihood
Rasio likelihood dasar membagi satu likelihood data dengan yang lain:
Rumus rasio likelihood
Berikut makna tiap istilah:
x: Data yang diamati, seperti 8 gambar dalam 10 lemparan
theta_1 dan theta_0: Dua nilai parameter atau hipotesis yang ingin Anda bandingkan, seperti probabilitas gambar 0,8 dan 0,5
L(theta | x): Likelihood dari theta diberikan data, yang sama dengan probabilitas x ketika theta adalah parameter benar, atau densitasnya untuk data kontinu
Dengan pengamatan independen, likelihood adalah hasil kali satu probabilitas per pengamatan:
Likelihood dengan pengamatan independen
Dan di situlah masalahnya mulai. Setiap faktor di bawah 1, sehingga hasil kali cepat mengecil saat sampel membesar.
Probabilitas urutan spesifik dari 1.000 lemparan di bawah koin adil sekitar 9,3 * 10^-302, yang mendekati angka terkecil yang dapat disimpan float 64-bit. Pada 2.000 lemparan, 0.5 ** 2000 di Python mengembalikan 0.0.
Logaritma adalah cara mengatasinya. Log dari hasil kali adalah jumlah dari lognya, sehingga log-likelihood mengubah hasil kali angka-angka sangat kecil menjadi jumlah angka yang masih terkelola:
Log likelihood
Rasionya menjadi selisih:
Rasio log likelihood
Penjumlahan juga lebih mudah diturunkan dibanding perkalian, itulah mengapa estimasi likelihood maksimum juga bekerja dengan log-likelihood.
Versi log dibaca sama seperti rasio, hanya saja di sekitar 0 alih-alih 1. Nilai 0 berarti dukungan sama, nilai positif memihak theta_1, dan nilai negatif memihak theta_0.
Contoh Rasio Likelihood
Mari kembali ke koin sebelumnya. Anda melemparkannya 10 kali dan mendapat 8 gambar dan 2 angka.
Dua hipotesisnya adalah:
Hipotesis 0: Koinnya adil, jadi p = 0.5
Hipotesis 1: Koinnya bias ke gambar, jadi p = 0.8
Jumlah gambar dalam 10 lemparan mengikuti sebaran binomial, jadi likelihood tiap hipotesis adalah:
Contoh rasio likelihood
Di bawah hipotesis koin adil:
Contoh rasio likelihood
Di bawah hipotesis koin bias:
Contoh rasio likelihood
Rasio likelihoodnya adalah:
Contoh rasio likelihood
Koefisien binomial 45 muncul di kedua likelihood, sehingga saling meniadakan dalam rasio. Anda akan mendapatkan 6,87 yang sama dari probabilitas urutan lemparan yang persis sama.
Secara sederhana, data yang diamati sekitar 6,9 kali lebih mungkin terjadi jika koin mendarat gambar 80% waktu dibanding jika koinnya adil. Itu saja.
Rasio tersebut tidak menyatakan koin 6,9 kali lebih mungkin bias. Untuk mendapatkan probabilitas bahwa salah satu hipotesis benar, Anda memerlukan probabilitas awal untuk keduanya. Dengan peluang awal 50/50, peluang posterior akan menjadi 6,87 banding 1, atau sekitar 87% untuk koin bias, tetapi angka itu bergantung pada prior yang Anda pilih.
Dukungan juga relatif hanya terhadap dua hipotesis ini. Nilai seperti p = 0.7 bukan bagian dari perbandingan. Di sini, 0,8 juga kebetulan merupakan estimasi likelihood maksimum, karena 8 dari 10 lemparan menghasilkan gambar, sehingga tidak ada nilai p lain yang mendapat lebih banyak dukungan dari data ini.
Apa Itu Uji Rasio Likelihood?
Contoh koin membandingkan dua nilai tetap p. Kebanyakan pertanyaan dalam statistik lebih luas, seperti apakah beberapa prediktor tambahan memperbaiki model regresi.
Uji rasio likelihood menjawab jenis pertanyaan itu. Ia membandingkan dua model bertingkat (nested), yang berarti model yang lebih kecil adalah kasus khusus dari model yang lebih besar:
Model terbatasi: Mewakili hipotesis nol, dengan beberapa parameter difiksasi, biasanya pada 0
Model penuh: Mewakili hipotesis alternatif, dengan parameter-parameter tersebut bebas mengambil nilai apa pun
Ujinya memiliki lima langkah:
Fit model terbatasi: Temukan nilai parameter yang memaksimalkan likelihood-nya
Fit model penuh: Lakukan hal yang sama dengan parameter tambahan disertakan
Bandingkan likelihood yang dimaksimalkan: Ambil rasionya, atau selisih log-likelihoodnya
Hitung statistik uji: Ubah perbandingan itu menjadi angka dengan sebaran yang diketahui
Dapatkan p-value: Periksa seberapa ekstrem statistik tersebut jika hipotesis nol benar
Setiap model dievaluasi pada estimasi likelihood maksimum, bukan pada nilai parameter yang Anda pilih sebelumnya. Itulah perbedaan utama dari contoh koin.
Rasio likelihood membandingkan dua hipotesis apa pun dan memberi Anda dukungan relatif, tetapi tanpa p-value dan tanpa keputusan. LRT mengambil rasio likelihood yang dimaksimalkan dari model bertingkat, mengonversinya menjadi statistik uji, dan menggunakan sebarannya untuk memutuskan apakah akan menolak hipotesis nol. Setiap LRT menggunakan rasio likelihood, tetapi tidak setiap rasio likelihood merupakan bagian dari LRT — rasio likelihood diagnostik di akhir artikel ini adalah salah satu contohnya.
Statistik Uji Rasio Likelihood
LRT dimulai dengan rasio likelihood yang dimaksimalkan, dengan model terbatasi di atas:
Statistik uji rasio likelihood
Di sini, theta_hat_0 adalah estimasi likelihood maksimum di bawah model terbatasi, dan theta_hat adalah estimasi di bawah model penuh. Model penuh memuat model terbatasi, jadi selalu pas setidaknya sama baik. Ini berarti lambda berada antara 0 dan 1.
Statistik ujinya adalah:
Statistik uji rasio likelihood
Logaritma ada karena alasan yang sama seperti sebelumnya. Mereka mengubah rasio angka-angka sangat kecil menjadi selisih log-likelihood, yang dilaporkan oleh setiap paket statistik.
Angka -2 punya dua fungsi. Karena lambda <= 1, ln(lambda) bernilai 0 atau negatif, jadi tanda minus mengubahnya menjadi angka positif yang bertambah ketika model penuh lebih baik. Faktor 2 menskalakan statistik sehingga mengikuti sebaran chi-kuadrat. Untuk generalized linear model, D sama dengan selisih deviance antara dua model, itulah mengapa Anda sering melihatnya dilaporkan demikian.
Teorema Wilks membuat uji ini bekerja. Teorema tersebut menyatakan bahwa ketika hipotesis nol benar dan kondisi regularitas standar terpenuhi, D secara aproksimasi mengikuti sebaran chi-kuadrat saat ukuran sampel membesar. Secara sederhana, model harus bertingkat, dan nilai parameter nol tidak berada di tepi rentang parameter yang diizinkan. Bagian keterbatasan di akhir artikel ini membahas apa yang terjadi ketika kondisi ini tidak terpenuhi.
Derajat kebebasan biasanya sama dengan selisih jumlah parameter bebas antara dua model. Jika model penuh menambahkan dua prediktor, Anda membandingkan D dengan sebaran chi-kuadrat dengan 2 derajat kebebasan.
Jadi sebaran acuan yang sama bekerja untuk regresi logistik, regresi Poisson, dan kebanyakan model lain yang di-fit dengan likelihood maksimum.
Cara Menafsirkan Uji Rasio Likelihood
Misalkan Anda ingin memprediksi apakah seorang pelanggan membatalkan langganan. Dataset memiliki 1.000 pelanggan, dan sekitar 32% di antaranya churn.
Anda menyesuaikan dua model regresi logistik:
Model terbatasi: Memprediksi churn dari tenure_months saja, dengan log-likelihood -556,88
Model penuh: Menambahkan monthly_charges dan support_tickets, dengan log-likelihood -515,99
Berikut bagaimana tiap bagian uji berlaku pada contoh ini:
Hipotesis nol: Koefisien monthly_charges dan support_tickets keduanya 0, jadi prediktor tambahan tidak memperbaiki kecocokan
Hipotesis alternatif: Setidaknya salah satu dari dua koefisien itu bukan 0
Statistik uji: D = 2 * (-515.99 - (-556.88)) = 81.78
Derajat kebebasan: Model penuh memiliki dua parameter lebih banyak, jadi uji menggunakan 2 derajat kebebasan
P-value: Probabilitas statistik sebesar ini atau lebih besar di bawah sebaran chi-kuadrat dengan 2 derajat kebebasan, yaitu sekitar 1.7 * 10^-18
P-value itu jauh di bawah ambang umum mana pun, seperti 0,05. Anda menolak hipotesis nol dan menyimpulkan bahwa data memberi bukti kuat bahwa prediktor tambahan memperbaiki kecocokan.
Namun menolak nol tidak berarti model penuh adalah pilihan yang lebih baik untuk kasus penggunaan Anda.
Dengan sampel besar, bahkan perbaikan kecil dalam kecocokan menghasilkan p-value kecil. Uji ini tidak memberi tahu Anda seberapa besar efeknya atau seberapa baik model memprediksi data baru. Periksa koefisien dan performa pada data yang disisihkan sebelum Anda mempertahankan model yang lebih besar.
Dan p-value besar tidak membuktikan prediktor tambahan tidak berguna. Itu hanya berarti data tidak memberi bukti yang cukup melawan hipotesis nol.
LRT memberi tahu Anda apakah parameter tambahan memperbaiki kecocokan, dan keputusan apakah perbaikan itu penting tetap menjadi tugas Anda.
Uji Rasio Likelihood untuk Model Regresi
Anda akan paling sering melihat LRT saat membandingkan model regresi. Idenya selalu sama — fit model terbatasi, fit model penuh, dan bandingkan log-likelihood yang dimaksimalkan.
Regresi logistik
Regresi logistik adalah tempat paling umum melihat LRT.
Bagian interpretasi membandingkan model dengan tenure_months dengan model yang juga memiliki monthly_charges dan support_tickets. Anda bisa melangkah satu tahap lagi dan membandingkan model penuh dengan model hanya-intersep, yang memprediksi probabilitas churn yang sama untuk setiap pelanggan.
Pada data churn yang sama, model hanya-intersep memiliki log-likelihood -627,62, dan model penuh -515,99. Ini memberi D = 2 * (-515.99 - (-627.62)) = 223.27 dengan 3 derajat kebebasan, satu untuk setiap prediktor, dan p-value sekitar 3,9 x 10^-48.
Uji ini menanyakan apakah para prediktor, secara bersama-sama, menjelaskan churn lebih baik daripada tanpa prediktor sama sekali. Ini adalah versi regresi logistik dari uji F keseluruhan dalam regresi linear, dan statsmodels melaporkannya dalam ringkasan model sebagai LLR p-value.
Generalized linear models
Regresi logistik adalah satu anggota dari keluarga yang lebih besar yang disebut generalized linear models, atau GLM. Keluarga ini juga mencakup regresi Poisson untuk hitungan dan regresi gamma untuk keluaran kontinu positif, antara lain.
Setiap GLM melaporkan deviance, yang mengukur seberapa jauh model dari kecocokan sempurna. Untuk dua GLM bertingkat, selisih deviance mereka sama dengan statistik LRT D, sehingga ujinya sering disebut analisis deviance.
Derajat kebebasan bekerja sama seperti sebelumnya, sebagai selisih jumlah parameter. Untuk model dengan parameter dispersi yang diestimasi, seperti GLM gamma atau Gaussian, uji F pada selisih deviance sering digunakan alih-alih versi chi-kuadrat.
Model berbasis likelihood lainnya
Model apa pun yang di-fit dengan likelihood maksimum dapat menggunakan LRT, asalkan modelnya bertingkat. Misalnya:
Model efek-campuran: Bandingkan model dengan dan tanpa efek tetap, di-fit dengan likelihood maksimum alih-alih REML
Model survival: Uji apakah sebuah kovariat memperbaiki model Cox proportional hazards, yang menggunakan partial likelihood
Model deret waktu: Bandingkan model ARIMA dengan orde berbeda
Genetika: Uji keterkaitan antar gen, di mana skor LOD adalah log basis-10 dari rasio likelihood
Rasio Likelihood vs. Uji Statistis Terkait
LRT mirip dengan uji Wald dan uji skor. Ketiganya menguji hipotesis nol yang sama, dan ketiganya mengikuti sebaran chi-kuadrat pada sampel besar. Bedanya pada model mana yang Anda fit dan apa yang Anda ukur.
Uji rasio likelihood vs. uji Wald
LRT mem-fit kedua model dan membandingkan log-likelihoodnya. Uji Wald hanya mem-fit model penuh dan memeriksa seberapa jauh tiap estimasi dari nilai nolnya, diukur dalam galat baku.
Untuk satu koefisien, statistik Wald adalah estimasi dibagi galat bakunya. P-value dalam tabel ringkasan regresi biasanya berasal dari uji ini.
Uji Wald cepat, karena Anda hanya mem-fit satu model. Namun ia bergantung pada bagaimana Anda memparametrisasi model, dan dalam regresi logistik dapat berperilaku buruk ketika koefisien sangat besar, karena galat baku tumbuh lebih cepat daripada estimasi. LRT tidak memiliki kedua masalah itu, jadi lebih aman.
Uji rasio likelihood vs. uji skor
Uji skor hanya mem-fit model terbatasi.
Ia melihat kemiringan log-likelihood pada nilai parameter nol. Jika hipotesis nol benar, kemiringannya seharusnya mendekati 0. Kemiringan yang curam berarti likelihood akan meningkat jika Anda membiarkan parameter tersebut bergerak menjauh dari nol.
Ini membuat uji skor berguna ketika model penuh mahal atau sulit di-fit. Ia juga dikenal sebagai uji pengganda Lagrange, dan sering digunakan untuk menyaring kandidat prediktor sebelum Anda menambahkannya.
Uji rasio likelihood vs. uji chi-kuadrat
Statistik LRT mengikuti sebaran chi-kuadrat pada sampel besar, tetapi itu tidak membuat LRT menjadi "uji chi-kuadrat" dalam pengertian lazim.
"Uji chi-kuadrat" adalah label luas untuk uji apa pun yang statistiknya mengikuti sebaran chi-kuadrat. Sebagian besar waktu, orang menggunakannya untuk merujuk pada uji chi-kuadrat Pearson untuk independensi atau kesesuaian dalam tabel kontingensi.
Namun keduanya terhubung. Versi rasio likelihood dari uji Pearson disebut uji G, dan ia membandingkan hitungan teramati dan yang diharapkan dengan log-likelihood alih-alih selisih kuadrat. Pada sampel besar, keduanya memberikan hasil yang serupa.
Berikut perbandingan ketiga uji berbasis model tersebut:
Uji Wald
Uji rasio likelihood
Uji skor
Model yang Anda fit
Hanya penuh
Terbatasi dan penuh
Hanya terbatasi
Apa yang diukur
Jarak estimasi dari nilai nol, dalam galat baku
Celah antara log-likelihood yang dimaksimalkan
Kemiringan log-likelihood pada nilai nol
Di mana Anda melihatnya
P-value koefisien dalam ringkasan regresi
Perbandingan model bertingkat dan analisis deviance
Penyaringan prediktor baru, model yang sulit di-fit
Titik lemah
Bergantung pada parametrisasi, tidak andal dengan estimasi sangat besar
Mengharuskan Anda mem-fit kedua model
Hanya menggunakan informasi di dekat nilai nol
Sebaran sampel besar
Chi-kuadrat
Chi-kuadrat
Chi-kuadrat
Rasio likelihood dibandingkan dengan uji statistis lainnya
Rasio Likelihood vs Odds Ratio
Keduanya memiliki kata "ratio" dalam namanya, dan keduanya umum dalam regresi logistik. Kesamaannya berhenti di situ.
Rasio likelihood membandingkan seberapa baik dua hipotesis menjelaskan data yang diamati. Odds ratio membandingkan odds suatu keluaran antara dua kelompok atau kondisi.
Odds adalah probabilitas suatu kejadian dibagi probabilitas bahwa itu tidak terjadi. Probabilitas churn 25% berarti odds 0,25 / 0,75, atau 1 banding 3.
Dalam model churn sebelumnya, koefisien support_tickets adalah 0,456. Pangkat eksponensialnya memberi odds ratio sekitar 1,58, yang berarti setiap tiket dukungan tambahan mengalikan odds churn sebesar 1,58.
Itu adalah pernyataan tentang suatu efek dalam data. Rasio likelihood adalah pernyataan tentang bukti — seberapa jauh lebih baik satu hipotesis atau model menjelaskan data yang sama dibanding yang lain.
Jadi odds ratio menjawab "seberapa besar efeknya?", dan rasio likelihood menjawab "penjelasan mana yang lebih didukung data?"
Rasio Likelihood dalam Pengujian Diagnostik
Dalam dunia medis, "rasio likelihood" memiliki makna kedua. Ia menggambarkan seberapa besar hasil tes mengubah odds bahwa seorang pasien memiliki suatu kondisi, dan ini tidak melibatkan fitting model atau p-value.
Rasio likelihood diagnostik berasal dari dua sifat sebuah tes:
Sensitivitas: Proporsi orang dengan kondisi yang hasil tesnya positif
Spesifisitas: Proporsi orang tanpa kondisi yang hasil tesnya negatif
Misalkan sebuah tes memiliki sensitivitas 90% dan spesifisitas 80%.
Rasio likelihood positif
Rasio likelihood positif, atau LR+, menunjukkan seberapa lebih mungkin hasil positif pada orang dengan kondisi dibanding pada orang tanpa kondisi:
Rasio likelihood positif
Untuk tes contoh, nilainya 0,9 / 0,2 = 4,5. Hasil positif 4,5 kali lebih mungkin pada seseorang dengan kondisi tersebut. Nilai di atas 1 meningkatkan odds kondisi, dan semakin tinggi nilainya, semakin informatif hasil positifnya.
Rasio likelihood negatif
Rasio likelihood negatif, atau LR-, menunjukkan seberapa mungkin hasil negatif pada orang dengan kondisi dibandingkan orang tanpa kondisi:
Rasio likelihood negatif
Untuk tes contoh, nilainya 0,1 / 0,8 = 0,125. Nilai di bawah 1 menurunkan odds kondisi, dan semakin dekat nilai ke 0, semakin informatif hasil negatifnya.
Dari odds pra-tes ke pasca-tes
Rasio likelihood diagnostik berguna karena memperbarui apa yang Anda ketahui sebelum tes:
Rasio likelihood diagnostik
Misalkan 10% pasien seperti ini memiliki kondisi tersebut. Itu adalah odds pra-tes 0,1 / 0,9, atau sekitar 0,111.
Setelah hasil positif, odds menjadi 0,111 * 4,5 = 0,5, yang merupakan probabilitas sekitar 33%. Setelah hasil negatif, menjadi 0,111 * 0,125 = 0,014, atau sekitar 1,4%.
Ini adalah satu-satunya bagian dalam artikel ini di mana rasio likelihood mengarah pada probabilitas sebuah hipotesis, dan itu hanya mungkin karena odds pra-tes menyediakan prior.
Uji Rasio Likelihood di Python dan R
Kedua bahasa memiliki semua yang Anda butuhkan untuk menjalankan LRT dalam beberapa baris. Saya akan menggunakan dataset churn yang disebutkan sebelumnya, sehingga angkanya cocok dengan yang ada di bagian interpretasi dan regresi.
Uji rasio likelihood di Python
Anda memerlukan numpy, pandas, statsmodels, dan scipy. Mulailah dengan menghasilkan dataset:
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from scipy import stats
# Generate a synthetic customer churn dataset
rng = np.random.default_rng(42)
n_customers =1000
churn = pd.DataFrame({"tenure_months": rng.integers(1,73, n_customers),"monthly_charges": rng.uniform(20,120, n_customers).round(2),"support_tickets": rng.poisson(1.5, n_customers),})# Churn gets less likely with tenure and more likely with charges and tickets
log_odds =(-0.5-0.04* churn["tenure_months"]+0.01* churn["monthly_charges"]+0.25* churn["support_tickets"])
churn["churned"]= rng.binomial(1,1/(1+ np.exp(-log_odds)))# Save the data so you can load the same dataset in R
churn.to_csv("churn.csv", index=False)Didukung oleh
Dalam dataset ini, rasio churn adalah 32,1%.
Selanjutnya, fit model regresi logistik terbatasi dan penuh. Atribut .llf menyimpan log-likelihood yang dimaksimalkan dari masing-masing model:
# Fit the restricted and full models
reduced_model = smf.logit("churned ~ tenure_months", data=churn).fit(disp=0)
full_model = smf.logit("churned ~ tenure_months + monthly_charges + support_tickets",
data=churn,).fit(disp=0)# Get the maximized log-likelihoodsprint(f"Restricted model log-likelihood: {reduced_model.llf:.2f}")print(f"Full model log-likelihood: {full_model.llf:.2f}")Didukung oleh
Log likelihood model terbatasi dan penuh
statsmodels tidak memiliki fungsi LRT umum untuk regresi logistik, jadi Anda menghitung statistik dari dua log-likelihood. Atribut .df_model memberikan jumlah prediktor di tiap model, dan stats.chi2.sf() mengembalikan p-value:
lr_stat =2*(full_model.llf - reduced_model.llf)
df_diff = full_model.df_model - reduced_model.df_model
p_value = stats.chi2.sf(lr_stat, df_diff)print(f"LR statistic: {lr_stat:.2f}")print(f"Degrees of freedom: {df_diff:.0f}")print(f"P-value: {p_value:.1e}")Didukung oleh
Statistik uji, derajat kebebasan, dan p-value
P-value jauh di bawah 0,05, jadi Anda menolak hipotesis nol. Data memberikan bukti kuat bahwa monthly_charges dan support_tickets memperbaiki kecocokan dibanding model dengan tenure_months saja.
Untuk perbandingan terhadap model hanya-intersep, Anda tidak memerlukan kode tambahan. statsmodels menghitungnya untuk setiap model regresi logistik:
print(f"Intercept-only log-likelihood: {full_model.llnull:.2f}")print(f"LR statistic: {full_model.llr:.2f}")print(f"P-value: {full_model.llr_pvalue:.1e}")Didukung oleh
Perbandingan model penuh dengan model hanya-intersep
Uji rasio likelihood di R
R tidak menggunakan generator bilangan acak yang sama dengan NumPy, jadi muat berkas churn.csv dari contoh Python untuk bekerja dengan data yang identik. Lalu fit kedua model dengan glm() dan teruskan ke anova():
# Load the churn dataset saved from Python
churn <- read.csv("churn.csv")# Fit the restricted and full models
reduced_model <- glm(churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
churned ~ tenure_months + monthly_charges + support_tickets,
data = churn,
family = binomial
)# Check the maximized log-likelihoods
logLik(reduced_model)
logLik(full_model)# Run the likelihood ratio test
anova(reduced_model, full_model, test ="Chisq")Didukung oleh
Log likelihood dan uji rasio di R
Nilai df di samping tiap log-likelihood adalah jumlah parameter yang diestimasi, termasuk intersep. Model penuh memiliki dua parameter lebih banyak, yang cocok dengan kolom Df dalam tabel anova().
Kolom Deviance menunjukkan 81,778, statistik LR yang sama dengan yang Anda dapatkan di Python. Itulah analisis deviance dari bagian GLM yang berjalan — penurunan deviance residual dari 1113,8 menjadi 1032,0 adalah statistik uji.
R mencetak p-value sebagai < 2.2e-16 karena itu nilai terkecil yang ditampilkan secara bawaan, bukan karena berbeda dari hasil Python. Bagaimanapun, kesimpulannya sama, dan prediktor tambahan memperbaiki kecocokan.
Jika Anda lebih suka fungsi khusus, lrtest() dari paket lmtest menjalankan perbandingan yang sama dengan lrtest(reduced_model, full_model).
Asumsi dan Keterbatasan Uji Rasio Likelihood
LRT bekerja baik dalam pengaturan yang dibahas sejauh ini, tetapi hasil chi-kuadratnya bergantung pada beberapa kondisi.
Model harus bertingkat (nested)
LRT standar hanya membandingkan model bertingkat, di mana model terbatasi adalah kasus khusus dari model penuh.
Jika Anda ingin membandingkan regresi logistik dengan model probit, atau dua model dengan prediktor berbeda, tidak ada yang menjadi kasus khusus dari yang lain. Sebaran chi-kuadrat tidak berlaku di sana. Gunakan kriteria informasi seperti AIC dan BIC, atau uji Vuong untuk model tidak bertingkat.
Kedua model perlu estimasi likelihood maksimum
Uji membandingkan likelihood yang dimaksimalkan, jadi kedua model harus di-fit dengan likelihood maksimum pada data yang sama.
Dua hal umum bisa salah di sini. Model efek-campuran yang di-fit dengan REML, bawaan di banyak paket, tidak dapat dibandingkan dengan LRT saat berbeda dalam efek tetap — jadi fit ulang dengan likelihood maksimum terlebih dahulu. Dan model terpenalti seperti regresi lasso atau ridge tidak memaksimalkan likelihood itu sendiri, jadi uji biasa tidak berlaku untuknya.
Model juga perlu observasi yang sama. Jika satu prediktor memiliki nilai hilang, model penuh mungkin menghapus baris, dan kedua log-likelihood tidak lagi dapat dibandingkan.
Hasil chi-kuadrat bersifat asimtotik
Teorema Wilks adalah hasil sampel besar. Ia berlaku di bawah kondisi regularitas, yang secara sederhana berarti likelihood mulus, parameter dapat diidentifikasi, dan nilai parameter benar berada di dalam rentang yang diizinkan, bukan di tepinya.
Saat kondisi ini terpenuhi, sebaran chi-kuadrat adalah aproksimasi yang baik untuk sampel besar. Ini tetaplah aproksimasi.
Sampel kecil
Dengan sampel kecil, statistik LRT mungkin tidak mengikuti sebaran chi-kuadrat, dan p-value bisa terlalu kecil atau terlalu besar.
Anda memiliki beberapa opsi. Bootstrap parametrik mensimulasikan dataset baru dari model terbatasi dan membangun sebaran statistiknya. Untuk kasus sederhana, seperti tabel kontingensi, uji eksak menghindari aproksimasi.
Parameter di batas
Beberapa hipotesis nol menempatkan parameter di tepi rentang yang diizinkan. Contoh paling umum adalah menguji apakah varians efek-acak dalam model campuran sama dengan 0, karena varians tidak bisa negatif.
Dalam kasus ini, statistik tidak mengikuti sebaran chi-kuadrat biasa. Untuk satu komponen varians, ia mengikuti campuran 50:50 dari chi-kuadrat dengan 0 dan 1 derajat kebebasan, sehingga p-value standar sekitar dua kali lebih besar dari seharusnya. Uji standar konservatif di sini, yang berarti lebih sering meleset mendeteksi efek nyata.
Menguji jumlah komponen dalam model campuran (mixture) memiliki masalah serupa. Saat Anda membandingkan satu komponen dengan dua, kondisi regularitas gagal, dan aproksimasi chi-kuadrat tidak berlaku sama sekali.
Spesifikasi model yang keliru
LRT mengasumsikan model penuh benar. Jika kedua model salah menggambarkan sebaran data, seperti model Poisson untuk hitungan dengan varians jauh lebih besar daripada rataan, statistik tidak akan mengikuti sebaran chi-kuadrat bahkan pada sampel besar.
Periksa kecocokan model penuh sebelum Anda mempercayai uji. Untuk hitungan yang overdispersi, model binomial negatif atau uji F quasi-likelihood sering menjadi pilihan yang lebih baik.
Jadi aproksimasi chi-kuadrat adalah default, bukan jaminan, dan hanya berlaku ketika pengaturan sesuai dengan kondisi di balik teorema Wilks.
Kesimpulan
Rasio likelihood membandingkan seberapa baik dua hipotesis atau model menjelaskan data yang diamati yang sama. Itulah gagasan utamanya, dan semua hal lain dalam artikel ini dibangun di atasnya.
Uji rasio likelihood menjadikan gagasan itu sebagai prosedur formal. Ia mem-fit dua model bertingkat, membandingkan log-likelihood yang dimaksimalkan, dan menggunakan sebaran chi-kuadrat untuk mendapatkan p-value. Anda akan paling sering melihatnya dalam regresi logistik dan GLM lainnya, dan baik statsmodels maupun R menjalankannya dengan beberapa baris kode.
Namun ingat makna angkanya. Rasio likelihood menunjukkan dukungan relatif untuk satu hipotesis atas yang lain, bukan probabilitas bahwa salah satunya benar. Untuk mendapatkannya, Anda memerlukan odds prior, seperti dalam pengujian diagnostik.
Jika Anda ingin melangkah lebih jauh, langkah berikutnya adalah blok bangunan di balik uji: likelihood itu sendiri, estimasi likelihood maksimum, dan bagaimana uji Wald dan uji hipotesis lainnya membandingkan dengan LRT.
Senior Data Scientist yang berbasis di Kroasia. Penulis Tekno Teratas dengan lebih dari 700 artikel yang telah diterbitkan, menghasilkan lebih dari 10 juta tayangan. Penulis buku Machine Learning Automation with TPOT.
FAQs
Apa itu rasio likelihood dalam istilah sederhana?⌄
Rasio likelihood adalah likelihood dari data yang diamati di bawah satu hipotesis dibagi dengan likelihood dari data yang sama di bawah hipotesis lain. Nilai di atas 1 berarti data lebih mendukung hipotesis di pembilang, dan nilai di bawah 1 berarti data lebih mendukung hipotesis di penyebut. Ini menunjukkan bukti relatif antara dua penjelasan, bukan probabilitas bahwa salah satunya benar.
Apa perbedaan antara likelihood dan probabilitas?⌄
Probabilitas memfiksasi parameter dan menanyakan seberapa mungkin berbagai hasil. Likelihood memfiksasi data yang diamati dan menanyakan seberapa baik berbagai nilai parameter menjelaskannya. Keduanya menggunakan rumus yang sama, tetapi likelihood di seluruh nilai parameter yang mungkin tidak berjumlah 1, jadi likelihood bukan probabilitas dari sebuah hipotesis.
Kapan saya harus menggunakan uji rasio likelihood?⌄
Gunakan saat Anda ingin tahu apakah model yang lebih kompleks lebih cocok dengan data daripada model yang lebih sederhana, dan model yang lebih sederhana adalah kasus khusus dari yang lebih kompleks. Contoh paling umum adalah memeriksa apakah prediktor tambahan memperbaiki regresi logistik atau GLM lainnya. Model harus di-fit dengan likelihood maksimum pada observasi yang sama.
Mengapa statistik uji rasio likelihood dikalikan dengan -2?⌄
Rasio likelihood dari likelihood terbatasi terhadap penuh selalu antara 0 dan 1, sehingga log-nya 0 atau negatif. Tanda minus mengubahnya menjadi angka positif yang bertambah ketika model penuh lebih baik. Faktor 2 menskalakan statistik sehingga secara aproksimasi mengikuti sebaran chi-kuadrat pada sampel besar, seperti yang ditunjukkan Teorema Wilks.
Bisakah saya menggunakan uji rasio likelihood untuk membandingkan model tidak bertingkat?⌄
Bukan versi standar. Ketika tidak ada model yang menjadi kasus khusus dari yang lain, seperti model logistik versus probit, statistiknya tidak mengikuti sebaran chi-kuadrat, sehingga p-value tidak valid. Gunakan kriteria informasi seperti AIC dan BIC, atau uji Vuong, yang dibuat untuk perbandingan tidak bertingkat.
Kembangkan keterampilan statistik Anda dan pelajari cara mengumpulkan, menganalisis, serta menarik kesimpulan yang akurat dari data menggunakan Python.
Kembangkan keterampilan statistik Anda dan pelajari cara mengumpulkan, menganalisis, serta menarik kesimpulan yang akurat dari data menggunakan Python.
Pernah melihat istilah "likelihood ratio" di keluaran regresi atau sebuah studi dan tidak tahu apa maksudnya?
Anda bukan satu-satunya. Istilah ini sering muncul dalam pengujian hipotesis, perbandingan model, klasifikasi, dan pengujian diagnostik, dan tiap bidang menggunakannya sedikit berbeda. Kebanyakan penjelasan juga langsung mulai dengan statistik uji dan sebaran chi-kuadrat sebelum Anda tahu apa itu likelihood. Akibatnya Anda mendapat sebuah angka yang bisa dihitung tapi sulit dijelaskan.
Singkatnya, likelihood menunjukkan seberapa baik suatu nilai parameter atau model statistis menjelaskan data yang Anda amati. Rasio likelihood membagi satu likelihood dengan likelihood lain, sehingga Anda bisa melihat hipotesis mana dari dua yang mendapat lebih banyak dukungan dari data, dan sebesar apa selisihnya.
Dalam artikel ini, saya akan memandu Anda melalui gagasan inti dan rumusnya, uji rasio likelihood serta cara menafsirkannya, dan di mana Anda akan menemui rasio likelihood dalam praktik.
Butuh penyegaran statistik? Jelajahi katalog kursus Probability and Statistics kami dan temukan yang paling cocok.
Apa Itu Rasio Likelihood?
Rasio likelihood adalah likelihood dari data yang diamati di bawah satu hipotesis dibagi dengan likelihood dari data yang sama di bawah hipotesis lain. Kedua hipotesis bisa berupa dua nilai parameter atau dua model statistis penuh.
Pertanyaan yang dijawabnya adalah penjelasan mana yang lebih baik menerangkan data, bukan apakah data tersebut mungkin terjadi.
Itu perbedaan penting. Urutan spesifik dari 20 lemparan koin memiliki probabilitas sekitar satu banding sejuta di bawah koin adil, jadi likelihood yang kecil sendiri tidak banyak bercerita. Ini hanya masuk akal jika dibandingkan dengan likelihood lain.
Misalkan Anda melempar koin 10 kali dan mendapat 8 gambar. Satu hipotesis menyatakan koinnya adil, dengan probabilitas gambar 0,5. Hipotesis lain menyatakan koinnya bias, dengan probabilitas gambar 0,8.
Kedua hipotesis dapat menghasilkan 8 gambar, tetapi koin bias menghasilkan hasil itu jauh lebih sering. Jadi data memberi lebih banyak dukungan pada hipotesis kedua, dan rasio likelihood memberikan angka untuk seberapa banyak lebihnya. Saya akan menghitung nilainya secara tepat di bagian contoh nanti dalam artikel ini.
Likelihood dan probabilitas menggunakan rumus yang sama, tetapi menjawab pertanyaan yang berbeda:
Probabilitas di seluruh kemungkinan hasil berjumlah 1, tetapi likelihood di seluruh kemungkinan nilai parameter tidak. Itulah mengapa likelihood bukan probabilitas bahwa sebuah hipotesis benar, dan rasio likelihood pun demikian.
Bagaimana Rasio Likelihood Bekerja?
Setiap rasio likelihood mengikuti lima langkah yang sama:
Makna rasio bergantung pada likelihood mana yang di atas. Dengan hipotesis A di pembilang:
Rasio 4 berarti data yang diamati empat kali lebih mungkin terjadi di bawah A dibanding B. Itu tidak berarti A empat kali lebih mungkin benar.
Jika Anda menukar pembilang dan penyebut, Anda akan mendapat kebalikannya. Rasio 4 yang mendukung A menjadi 0,25, yang menyatakan hal yang sama dari sisi B.
Konvensi berbeda antar bidang. Uji rasio likelihood biasanya menempatkan hipotesis nol di pembilang, sehingga nilai kecil dihitung sebagai bukti melawannya, sementara banyak aplikasi lain menempatkan hipotesis alternatif di atas.
Jadi sebelum menafsirkan rasio likelihood apa pun, periksa hipotesis mana yang ada di pembilang.
Rumus Rasio Likelihood
Rasio likelihood dasar membagi satu likelihood data dengan yang lain:
Rumus rasio likelihood
Berikut makna tiap istilah:
x: Data yang diamati, seperti 8 gambar dalam 10 lemparantheta_1dantheta_0: Dua nilai parameter atau hipotesis yang ingin Anda bandingkan, seperti probabilitas gambar 0,8 dan 0,5L(theta | x): Likelihood darithetadiberikan data, yang sama dengan probabilitasxketikathetaadalah parameter benar, atau densitasnya untuk data kontinuDengan pengamatan independen, likelihood adalah hasil kali satu probabilitas per pengamatan:
Likelihood dengan pengamatan independen
Dan di situlah masalahnya mulai. Setiap faktor di bawah 1, sehingga hasil kali cepat mengecil saat sampel membesar.
Probabilitas urutan spesifik dari 1.000 lemparan di bawah koin adil sekitar 9,3 * 10^-302, yang mendekati angka terkecil yang dapat disimpan float 64-bit. Pada 2.000 lemparan,
0.5 ** 2000di Python mengembalikan0.0.Logaritma adalah cara mengatasinya. Log dari hasil kali adalah jumlah dari lognya, sehingga log-likelihood mengubah hasil kali angka-angka sangat kecil menjadi jumlah angka yang masih terkelola:
Log likelihood
Rasionya menjadi selisih:
Rasio log likelihood
Penjumlahan juga lebih mudah diturunkan dibanding perkalian, itulah mengapa estimasi likelihood maksimum juga bekerja dengan log-likelihood.
Versi log dibaca sama seperti rasio, hanya saja di sekitar 0 alih-alih 1. Nilai 0 berarti dukungan sama, nilai positif memihak
theta_1, dan nilai negatif memihaktheta_0.Contoh Rasio Likelihood
Mari kembali ke koin sebelumnya. Anda melemparkannya 10 kali dan mendapat 8 gambar dan 2 angka.
Dua hipotesisnya adalah:
Hipotesis 0: Koinnya adil, jadi
p = 0.5Hipotesis 1: Koinnya bias ke gambar, jadi
p = 0.8Jumlah gambar dalam 10 lemparan mengikuti sebaran binomial, jadi likelihood tiap hipotesis adalah:
Contoh rasio likelihood
Di bawah hipotesis koin adil:
Contoh rasio likelihood
Di bawah hipotesis koin bias:
Contoh rasio likelihood
Rasio likelihoodnya adalah:
Contoh rasio likelihood
Koefisien binomial 45 muncul di kedua likelihood, sehingga saling meniadakan dalam rasio. Anda akan mendapatkan 6,87 yang sama dari probabilitas urutan lemparan yang persis sama.
Secara sederhana, data yang diamati sekitar 6,9 kali lebih mungkin terjadi jika koin mendarat gambar 80% waktu dibanding jika koinnya adil. Itu saja.
Rasio tersebut tidak menyatakan koin 6,9 kali lebih mungkin bias. Untuk mendapatkan probabilitas bahwa salah satu hipotesis benar, Anda memerlukan probabilitas awal untuk keduanya. Dengan peluang awal 50/50, peluang posterior akan menjadi 6,87 banding 1, atau sekitar 87% untuk koin bias, tetapi angka itu bergantung pada prior yang Anda pilih.
Dukungan juga relatif hanya terhadap dua hipotesis ini. Nilai seperti
p = 0.7bukan bagian dari perbandingan. Di sini, 0,8 juga kebetulan merupakan estimasi likelihood maksimum, karena 8 dari 10 lemparan menghasilkan gambar, sehingga tidak ada nilaiplain yang mendapat lebih banyak dukungan dari data ini.Apa Itu Uji Rasio Likelihood?
Contoh koin membandingkan dua nilai tetap
p. Kebanyakan pertanyaan dalam statistik lebih luas, seperti apakah beberapa prediktor tambahan memperbaiki model regresi.Uji rasio likelihood menjawab jenis pertanyaan itu. Ia membandingkan dua model bertingkat (nested), yang berarti model yang lebih kecil adalah kasus khusus dari model yang lebih besar:
Ujinya memiliki lima langkah:
Setiap model dievaluasi pada estimasi likelihood maksimum, bukan pada nilai parameter yang Anda pilih sebelumnya. Itulah perbedaan utama dari contoh koin.
Rasio likelihood membandingkan dua hipotesis apa pun dan memberi Anda dukungan relatif, tetapi tanpa p-value dan tanpa keputusan. LRT mengambil rasio likelihood yang dimaksimalkan dari model bertingkat, mengonversinya menjadi statistik uji, dan menggunakan sebarannya untuk memutuskan apakah akan menolak hipotesis nol. Setiap LRT menggunakan rasio likelihood, tetapi tidak setiap rasio likelihood merupakan bagian dari LRT — rasio likelihood diagnostik di akhir artikel ini adalah salah satu contohnya.
Statistik Uji Rasio Likelihood
LRT dimulai dengan rasio likelihood yang dimaksimalkan, dengan model terbatasi di atas:
Statistik uji rasio likelihood
Di sini,
theta_hat_0adalah estimasi likelihood maksimum di bawah model terbatasi, dantheta_hatadalah estimasi di bawah model penuh. Model penuh memuat model terbatasi, jadi selalu pas setidaknya sama baik. Ini berartilambdaberada antara 0 dan 1.Statistik ujinya adalah:
Statistik uji rasio likelihood
Logaritma ada karena alasan yang sama seperti sebelumnya. Mereka mengubah rasio angka-angka sangat kecil menjadi selisih log-likelihood, yang dilaporkan oleh setiap paket statistik.
Angka -2 punya dua fungsi. Karena
lambda <= 1,ln(lambda)bernilai 0 atau negatif, jadi tanda minus mengubahnya menjadi angka positif yang bertambah ketika model penuh lebih baik. Faktor 2 menskalakan statistik sehingga mengikuti sebaran chi-kuadrat. Untuk generalized linear model,Dsama dengan selisih deviance antara dua model, itulah mengapa Anda sering melihatnya dilaporkan demikian.Teorema Wilks membuat uji ini bekerja. Teorema tersebut menyatakan bahwa ketika hipotesis nol benar dan kondisi regularitas standar terpenuhi,
Dsecara aproksimasi mengikuti sebaran chi-kuadrat saat ukuran sampel membesar. Secara sederhana, model harus bertingkat, dan nilai parameter nol tidak berada di tepi rentang parameter yang diizinkan. Bagian keterbatasan di akhir artikel ini membahas apa yang terjadi ketika kondisi ini tidak terpenuhi.Derajat kebebasan biasanya sama dengan selisih jumlah parameter bebas antara dua model. Jika model penuh menambahkan dua prediktor, Anda membandingkan
Ddengan sebaran chi-kuadrat dengan 2 derajat kebebasan.Jadi sebaran acuan yang sama bekerja untuk regresi logistik, regresi Poisson, dan kebanyakan model lain yang di-fit dengan likelihood maksimum.
Cara Menafsirkan Uji Rasio Likelihood
Misalkan Anda ingin memprediksi apakah seorang pelanggan membatalkan langganan. Dataset memiliki 1.000 pelanggan, dan sekitar 32% di antaranya churn.
Anda menyesuaikan dua model regresi logistik:
Model terbatasi: Memprediksi churn dari
tenure_monthssaja, dengan log-likelihood -556,88Model penuh: Menambahkan
monthly_chargesdansupport_tickets, dengan log-likelihood -515,99Berikut bagaimana tiap bagian uji berlaku pada contoh ini:
Hipotesis nol: Koefisien
monthly_chargesdansupport_ticketskeduanya 0, jadi prediktor tambahan tidak memperbaiki kecocokanHipotesis alternatif: Setidaknya salah satu dari dua koefisien itu bukan 0
Statistik uji:
D = 2 * (-515.99 - (-556.88)) = 81.78Derajat kebebasan: Model penuh memiliki dua parameter lebih banyak, jadi uji menggunakan 2 derajat kebebasan
P-value: Probabilitas statistik sebesar ini atau lebih besar di bawah sebaran chi-kuadrat dengan 2 derajat kebebasan, yaitu sekitar
1.7 * 10^-18P-value itu jauh di bawah ambang umum mana pun, seperti 0,05. Anda menolak hipotesis nol dan menyimpulkan bahwa data memberi bukti kuat bahwa prediktor tambahan memperbaiki kecocokan.
Namun menolak nol tidak berarti model penuh adalah pilihan yang lebih baik untuk kasus penggunaan Anda.
Dengan sampel besar, bahkan perbaikan kecil dalam kecocokan menghasilkan p-value kecil. Uji ini tidak memberi tahu Anda seberapa besar efeknya atau seberapa baik model memprediksi data baru. Periksa koefisien dan performa pada data yang disisihkan sebelum Anda mempertahankan model yang lebih besar.
Dan p-value besar tidak membuktikan prediktor tambahan tidak berguna. Itu hanya berarti data tidak memberi bukti yang cukup melawan hipotesis nol.
LRT memberi tahu Anda apakah parameter tambahan memperbaiki kecocokan, dan keputusan apakah perbaikan itu penting tetap menjadi tugas Anda.
Uji Rasio Likelihood untuk Model Regresi
Anda akan paling sering melihat LRT saat membandingkan model regresi. Idenya selalu sama — fit model terbatasi, fit model penuh, dan bandingkan log-likelihood yang dimaksimalkan.
Regresi logistik
Regresi logistik adalah tempat paling umum melihat LRT.
Bagian interpretasi membandingkan model dengan
tenure_monthsdengan model yang juga memilikimonthly_chargesdansupport_tickets. Anda bisa melangkah satu tahap lagi dan membandingkan model penuh dengan model hanya-intersep, yang memprediksi probabilitas churn yang sama untuk setiap pelanggan.Pada data churn yang sama, model hanya-intersep memiliki log-likelihood -627,62, dan model penuh -515,99. Ini memberi
D = 2 * (-515.99 - (-627.62)) = 223.27dengan 3 derajat kebebasan, satu untuk setiap prediktor, dan p-value sekitar 3,9 x 10^-48.Uji ini menanyakan apakah para prediktor, secara bersama-sama, menjelaskan churn lebih baik daripada tanpa prediktor sama sekali. Ini adalah versi regresi logistik dari uji F keseluruhan dalam regresi linear, dan statsmodels melaporkannya dalam ringkasan model sebagai
LLR p-value.Generalized linear models
Regresi logistik adalah satu anggota dari keluarga yang lebih besar yang disebut generalized linear models, atau GLM. Keluarga ini juga mencakup regresi Poisson untuk hitungan dan regresi gamma untuk keluaran kontinu positif, antara lain.
Setiap GLM melaporkan deviance, yang mengukur seberapa jauh model dari kecocokan sempurna. Untuk dua GLM bertingkat, selisih deviance mereka sama dengan statistik LRT
D, sehingga ujinya sering disebut analisis deviance.Derajat kebebasan bekerja sama seperti sebelumnya, sebagai selisih jumlah parameter. Untuk model dengan parameter dispersi yang diestimasi, seperti GLM gamma atau Gaussian, uji F pada selisih deviance sering digunakan alih-alih versi chi-kuadrat.
Model berbasis likelihood lainnya
Model apa pun yang di-fit dengan likelihood maksimum dapat menggunakan LRT, asalkan modelnya bertingkat. Misalnya:
Rasio Likelihood vs. Uji Statistis Terkait
LRT mirip dengan uji Wald dan uji skor. Ketiganya menguji hipotesis nol yang sama, dan ketiganya mengikuti sebaran chi-kuadrat pada sampel besar. Bedanya pada model mana yang Anda fit dan apa yang Anda ukur.
Uji rasio likelihood vs. uji Wald
LRT mem-fit kedua model dan membandingkan log-likelihoodnya. Uji Wald hanya mem-fit model penuh dan memeriksa seberapa jauh tiap estimasi dari nilai nolnya, diukur dalam galat baku.
Untuk satu koefisien, statistik Wald adalah estimasi dibagi galat bakunya. P-value dalam tabel ringkasan regresi biasanya berasal dari uji ini.
Uji Wald cepat, karena Anda hanya mem-fit satu model. Namun ia bergantung pada bagaimana Anda memparametrisasi model, dan dalam regresi logistik dapat berperilaku buruk ketika koefisien sangat besar, karena galat baku tumbuh lebih cepat daripada estimasi. LRT tidak memiliki kedua masalah itu, jadi lebih aman.
Uji rasio likelihood vs. uji skor
Uji skor hanya mem-fit model terbatasi.
Ia melihat kemiringan log-likelihood pada nilai parameter nol. Jika hipotesis nol benar, kemiringannya seharusnya mendekati 0. Kemiringan yang curam berarti likelihood akan meningkat jika Anda membiarkan parameter tersebut bergerak menjauh dari nol.
Ini membuat uji skor berguna ketika model penuh mahal atau sulit di-fit. Ia juga dikenal sebagai uji pengganda Lagrange, dan sering digunakan untuk menyaring kandidat prediktor sebelum Anda menambahkannya.
Uji rasio likelihood vs. uji chi-kuadrat
Statistik LRT mengikuti sebaran chi-kuadrat pada sampel besar, tetapi itu tidak membuat LRT menjadi "uji chi-kuadrat" dalam pengertian lazim.
"Uji chi-kuadrat" adalah label luas untuk uji apa pun yang statistiknya mengikuti sebaran chi-kuadrat. Sebagian besar waktu, orang menggunakannya untuk merujuk pada uji chi-kuadrat Pearson untuk independensi atau kesesuaian dalam tabel kontingensi.
Namun keduanya terhubung. Versi rasio likelihood dari uji Pearson disebut uji G, dan ia membandingkan hitungan teramati dan yang diharapkan dengan log-likelihood alih-alih selisih kuadrat. Pada sampel besar, keduanya memberikan hasil yang serupa.
Berikut perbandingan ketiga uji berbasis model tersebut:
Rasio likelihood dibandingkan dengan uji statistis lainnya
Rasio Likelihood vs Odds Ratio
Keduanya memiliki kata "ratio" dalam namanya, dan keduanya umum dalam regresi logistik. Kesamaannya berhenti di situ.
Rasio likelihood membandingkan seberapa baik dua hipotesis menjelaskan data yang diamati. Odds ratio membandingkan odds suatu keluaran antara dua kelompok atau kondisi.
Odds adalah probabilitas suatu kejadian dibagi probabilitas bahwa itu tidak terjadi. Probabilitas churn 25% berarti odds 0,25 / 0,75, atau 1 banding 3.
Dalam model churn sebelumnya, koefisien
support_ticketsadalah 0,456. Pangkat eksponensialnya memberi odds ratio sekitar 1,58, yang berarti setiap tiket dukungan tambahan mengalikan odds churn sebesar 1,58.Itu adalah pernyataan tentang suatu efek dalam data. Rasio likelihood adalah pernyataan tentang bukti — seberapa jauh lebih baik satu hipotesis atau model menjelaskan data yang sama dibanding yang lain.
Jadi odds ratio menjawab "seberapa besar efeknya?", dan rasio likelihood menjawab "penjelasan mana yang lebih didukung data?"
Rasio Likelihood dalam Pengujian Diagnostik
Dalam dunia medis, "rasio likelihood" memiliki makna kedua. Ia menggambarkan seberapa besar hasil tes mengubah odds bahwa seorang pasien memiliki suatu kondisi, dan ini tidak melibatkan fitting model atau p-value.
Rasio likelihood diagnostik berasal dari dua sifat sebuah tes:
Misalkan sebuah tes memiliki sensitivitas 90% dan spesifisitas 80%.
Rasio likelihood positif
Rasio likelihood positif, atau LR+, menunjukkan seberapa lebih mungkin hasil positif pada orang dengan kondisi dibanding pada orang tanpa kondisi:
Rasio likelihood positif
Untuk tes contoh, nilainya 0,9 / 0,2 = 4,5. Hasil positif 4,5 kali lebih mungkin pada seseorang dengan kondisi tersebut. Nilai di atas 1 meningkatkan odds kondisi, dan semakin tinggi nilainya, semakin informatif hasil positifnya.
Rasio likelihood negatif
Rasio likelihood negatif, atau LR-, menunjukkan seberapa mungkin hasil negatif pada orang dengan kondisi dibandingkan orang tanpa kondisi:
Rasio likelihood negatif
Untuk tes contoh, nilainya 0,1 / 0,8 = 0,125. Nilai di bawah 1 menurunkan odds kondisi, dan semakin dekat nilai ke 0, semakin informatif hasil negatifnya.
Dari odds pra-tes ke pasca-tes
Rasio likelihood diagnostik berguna karena memperbarui apa yang Anda ketahui sebelum tes:
Rasio likelihood diagnostik
Misalkan 10% pasien seperti ini memiliki kondisi tersebut. Itu adalah odds pra-tes 0,1 / 0,9, atau sekitar 0,111.
Setelah hasil positif, odds menjadi 0,111 * 4,5 = 0,5, yang merupakan probabilitas sekitar 33%. Setelah hasil negatif, menjadi 0,111 * 0,125 = 0,014, atau sekitar 1,4%.
Ini adalah satu-satunya bagian dalam artikel ini di mana rasio likelihood mengarah pada probabilitas sebuah hipotesis, dan itu hanya mungkin karena odds pra-tes menyediakan prior.
Uji Rasio Likelihood di Python dan R
Kedua bahasa memiliki semua yang Anda butuhkan untuk menjalankan LRT dalam beberapa baris. Saya akan menggunakan dataset churn yang disebutkan sebelumnya, sehingga angkanya cocok dengan yang ada di bagian interpretasi dan regresi.
Uji rasio likelihood di Python
Anda memerlukan
numpy,pandas,statsmodels, danscipy. Mulailah dengan menghasilkan dataset:Dalam dataset ini, rasio churn adalah 32,1%.
Selanjutnya, fit model regresi logistik terbatasi dan penuh. Atribut
.llfmenyimpan log-likelihood yang dimaksimalkan dari masing-masing model:Log likelihood model terbatasi dan penuh
statsmodels tidak memiliki fungsi LRT umum untuk regresi logistik, jadi Anda menghitung statistik dari dua log-likelihood. Atribut
.df_modelmemberikan jumlah prediktor di tiap model, danstats.chi2.sf()mengembalikan p-value:Statistik uji, derajat kebebasan, dan p-value
P-value jauh di bawah 0,05, jadi Anda menolak hipotesis nol. Data memberikan bukti kuat bahwa
monthly_chargesdansupport_ticketsmemperbaiki kecocokan dibanding model dengantenure_monthssaja.Untuk perbandingan terhadap model hanya-intersep, Anda tidak memerlukan kode tambahan. statsmodels menghitungnya untuk setiap model regresi logistik:
Perbandingan model penuh dengan model hanya-intersep
Uji rasio likelihood di R
R tidak menggunakan generator bilangan acak yang sama dengan NumPy, jadi muat berkas
churn.csvdari contoh Python untuk bekerja dengan data yang identik. Lalu fit kedua model denganglm()dan teruskan keanova():Log likelihood dan uji rasio di R
Nilai
dfdi samping tiap log-likelihood adalah jumlah parameter yang diestimasi, termasuk intersep. Model penuh memiliki dua parameter lebih banyak, yang cocok dengan kolomDfdalam tabelanova().Kolom
Deviancemenunjukkan 81,778, statistik LR yang sama dengan yang Anda dapatkan di Python. Itulah analisis deviance dari bagian GLM yang berjalan — penurunan deviance residual dari 1113,8 menjadi 1032,0 adalah statistik uji.R mencetak p-value sebagai
< 2.2e-16karena itu nilai terkecil yang ditampilkan secara bawaan, bukan karena berbeda dari hasil Python. Bagaimanapun, kesimpulannya sama, dan prediktor tambahan memperbaiki kecocokan.Jika Anda lebih suka fungsi khusus,
lrtest()dari paketlmtestmenjalankan perbandingan yang sama denganlrtest(reduced_model, full_model).Asumsi dan Keterbatasan Uji Rasio Likelihood
LRT bekerja baik dalam pengaturan yang dibahas sejauh ini, tetapi hasil chi-kuadratnya bergantung pada beberapa kondisi.
Model harus bertingkat (nested)
LRT standar hanya membandingkan model bertingkat, di mana model terbatasi adalah kasus khusus dari model penuh.
Jika Anda ingin membandingkan regresi logistik dengan model probit, atau dua model dengan prediktor berbeda, tidak ada yang menjadi kasus khusus dari yang lain. Sebaran chi-kuadrat tidak berlaku di sana. Gunakan kriteria informasi seperti AIC dan BIC, atau uji Vuong untuk model tidak bertingkat.
Kedua model perlu estimasi likelihood maksimum
Uji membandingkan likelihood yang dimaksimalkan, jadi kedua model harus di-fit dengan likelihood maksimum pada data yang sama.
Dua hal umum bisa salah di sini. Model efek-campuran yang di-fit dengan REML, bawaan di banyak paket, tidak dapat dibandingkan dengan LRT saat berbeda dalam efek tetap — jadi fit ulang dengan likelihood maksimum terlebih dahulu. Dan model terpenalti seperti regresi lasso atau ridge tidak memaksimalkan likelihood itu sendiri, jadi uji biasa tidak berlaku untuknya.
Model juga perlu observasi yang sama. Jika satu prediktor memiliki nilai hilang, model penuh mungkin menghapus baris, dan kedua log-likelihood tidak lagi dapat dibandingkan.
Hasil chi-kuadrat bersifat asimtotik
Teorema Wilks adalah hasil sampel besar. Ia berlaku di bawah kondisi regularitas, yang secara sederhana berarti likelihood mulus, parameter dapat diidentifikasi, dan nilai parameter benar berada di dalam rentang yang diizinkan, bukan di tepinya.
Saat kondisi ini terpenuhi, sebaran chi-kuadrat adalah aproksimasi yang baik untuk sampel besar. Ini tetaplah aproksimasi.
Sampel kecil
Dengan sampel kecil, statistik LRT mungkin tidak mengikuti sebaran chi-kuadrat, dan p-value bisa terlalu kecil atau terlalu besar.
Anda memiliki beberapa opsi. Bootstrap parametrik mensimulasikan dataset baru dari model terbatasi dan membangun sebaran statistiknya. Untuk kasus sederhana, seperti tabel kontingensi, uji eksak menghindari aproksimasi.
Parameter di batas
Beberapa hipotesis nol menempatkan parameter di tepi rentang yang diizinkan. Contoh paling umum adalah menguji apakah varians efek-acak dalam model campuran sama dengan 0, karena varians tidak bisa negatif.
Dalam kasus ini, statistik tidak mengikuti sebaran chi-kuadrat biasa. Untuk satu komponen varians, ia mengikuti campuran 50:50 dari chi-kuadrat dengan 0 dan 1 derajat kebebasan, sehingga p-value standar sekitar dua kali lebih besar dari seharusnya. Uji standar konservatif di sini, yang berarti lebih sering meleset mendeteksi efek nyata.
Menguji jumlah komponen dalam model campuran (mixture) memiliki masalah serupa. Saat Anda membandingkan satu komponen dengan dua, kondisi regularitas gagal, dan aproksimasi chi-kuadrat tidak berlaku sama sekali.
Spesifikasi model yang keliru
LRT mengasumsikan model penuh benar. Jika kedua model salah menggambarkan sebaran data, seperti model Poisson untuk hitungan dengan varians jauh lebih besar daripada rataan, statistik tidak akan mengikuti sebaran chi-kuadrat bahkan pada sampel besar.
Periksa kecocokan model penuh sebelum Anda mempercayai uji. Untuk hitungan yang overdispersi, model binomial negatif atau uji F quasi-likelihood sering menjadi pilihan yang lebih baik.
Jadi aproksimasi chi-kuadrat adalah default, bukan jaminan, dan hanya berlaku ketika pengaturan sesuai dengan kondisi di balik teorema Wilks.
Kesimpulan
Rasio likelihood membandingkan seberapa baik dua hipotesis atau model menjelaskan data yang diamati yang sama. Itulah gagasan utamanya, dan semua hal lain dalam artikel ini dibangun di atasnya.
Uji rasio likelihood menjadikan gagasan itu sebagai prosedur formal. Ia mem-fit dua model bertingkat, membandingkan log-likelihood yang dimaksimalkan, dan menggunakan sebaran chi-kuadrat untuk mendapatkan p-value. Anda akan paling sering melihatnya dalam regresi logistik dan GLM lainnya, dan baik statsmodels maupun R menjalankannya dengan beberapa baris kode.
Namun ingat makna angkanya. Rasio likelihood menunjukkan dukungan relatif untuk satu hipotesis atas yang lain, bukan probabilitas bahwa salah satunya benar. Untuk mendapatkannya, Anda memerlukan odds prior, seperti dalam pengujian diagnostik.
Jika Anda ingin melangkah lebih jauh, langkah berikutnya adalah blok bangunan di balik uji: likelihood itu sendiri, estimasi likelihood maksimum, dan bagaimana uji Wald dan uji hipotesis lainnya membandingkan dengan LRT.