Iloraz wiarygodności porównuje, jak dobrze dwie hipotezy lub modele wyjaśniają te same dane. Artykuł obejmuje wzór, przykład z rzutami monetą, test ilorazu wiarygodności dla zagnieżdżonych modeli regresji w Pythonie i R oraz diagnostyczne ilorazy wiarygodności.
Widziałeś w wynikach regresji lub w badaniu termin "likelihood ratio" (iloraz wiarygodności) i nie miałeś pojęcia, co właściwie oznacza?
Nie jesteś sam. Termin ten często pojawia się w testowaniu hipotez, porównywaniu modeli, klasyfikacji i testach diagnostycznych, a każde z tych pól używa go nieco inaczej. Większość wyjaśnień zaczyna się też od statystyki testowej i rozkładu chi-kwadrat, zanim jeszcze wiesz, czym jest wiarygodność. Kończy się na tym, że masz liczbę, którą potrafisz obliczyć, ale nie umiesz jej wyjaśnić.
W skrócie: wiarygodność pokazuje, jak dobrze dana wartość parametru lub model statystyczny wyjaśnia zaobserwowane dane. Iloraz wiarygodności dzieli jedną wiarygodność przez drugą, dzięki czemu możesz zobaczyć, która z dwóch hipotez dostaje większe wsparcie z danych i o ile większe.
W tym artykule przeprowadzę cię przez główną ideę i wzór, test ilorazu wiarygodności i jego interpretację oraz miejsca, w których spotkasz ilorazy wiarygodności w praktyce.
Iloraz wiarygodności to wiarygodność zaobserwowanych danych pod jedną hipotezą podzielona przez wiarygodność tych samych danych pod inną hipotezą. Dwie hipotezy mogą dotyczyć dwóch wartości parametru albo dwóch pełnych modeli statystycznych.
Odpowiada na pytanie, które wyjaśnienie lepiej tłumaczy dane, a nie czy dane są prawdopodobne.
To ważna różnica. Każda konkretna sekwencja 20 rzutów monetą ma prawdopodobieństwo rzędu jednego na milion przy uczciwej monecie, więc mała wiarygodność sama w sobie niewiele mówi. Ma sens dopiero w zestawieniu z inną wiarygodnością.
Załóżmy, że rzucasz monetą 10 razy i wypada 8 orłów. Jedna hipoteza mówi, że moneta jest uczciwa, z prawdopodobieństwem orła 0,5. Druga mówi, że jest stronnicza, z prawdopodobieństwem orła 0,8.
Obie hipotezy mogą dać 8 orłów, ale stronnicza moneta generuje taki wynik znacznie częściej. Dane więc mocniej wspierają drugą hipotezę, a iloraz wiarygodności nadaje temu wsparciu liczbowy wymiar. Dokładne wartości policzę w sekcji z przykładem później w artykule.
Wiarygodność i prawdopodobieństwo korzystają z tego samego wzoru, ale odpowiadają na różne pytania:
Prawdopodobieństwo: Ustala parametr i pyta, jak prawdopodobne są różne wyniki – np. szansa na 8 orłów w 10 rzutach uczciwą monetą
Wiarygodność: Ustala zaobserwowane dane i pyta, jak dobrze różne wartości parametru je wyjaśniają – np. jak dobrze prawdopodobieństwo orła 0,5 w porównaniu z 0,8 wyjaśnia 8 orłów w 10 rzutach
Prawdopodobieństwa po wszystkich możliwych wynikach sumują się do 1, ale wiarygodności po wszystkich możliwych wartościach parametru – nie. Dlatego wiarygodność nie jest prawdopodobieństwem tego, że hipoteza jest prawdziwa, i iloraz wiarygodności też nim nie jest.
Jak działa iloraz wiarygodności?
Każdy iloraz wiarygodności podąża za tymi samymi pięcioma krokami:
Zaobserwuj dane: Zbierz próbę, którą chcesz wyjaśnić, np. 8 orłów w 10 rzutach
Policz pierwszą wiarygodność: Ustal, jak prawdopodobne są zaobserwowane dane pod hipotezą A
Policz drugą wiarygodność: Zrób to samo pod hipotezą B
Podziel: Umieść jedną wiarygodność w liczniku, a drugą w mianowniku
Zinterpretuj iloraz: Sprawdź, którą hipotezę dane wspierają bardziej i o ile
Znaczenie ilorazu zależy od tego, która wiarygodność jest w liczniku. Z hipotezą A w liczniku:
Iloraz powyżej 1: Dane są bardziej prawdopodobne pod A, więc A dostaje większe wsparcie
Iloraz poniżej 1: Dane są bardziej prawdopodobne pod B, więc B dostaje większe wsparcie
Iloraz równy 1: Obie hipotezy wyjaśniają dane równie dobrze, a dane nie faworyzują żadnej
Iloraz 4 oznacza, że zaobserwowane dane są czterokrotnie bardziej prawdopodobne pod A niż pod B. Nie znaczy to, że A jest cztery razy bardziej prawdopodobne, że jest prawdziwe.
Jeśli zamienisz licznik z mianownikiem, dostaniesz odwrotność. Iloraz 4 na korzyść A staje się 0,25, co mówi to samo, tylko ze strony B.
Konwencje różnią się między dziedzinami. Test ilorazu wiarygodności zwykle umieszcza hipotezę zerową w liczniku, więc małe wartości liczą się jako dowód przeciwko niej, podczas gdy wiele innych zastosowań umieszcza na górze hipotezę alternatywną.
Dlatego zanim zinterpretujesz jakikolwiek iloraz wiarygodności, sprawdź, która hipoteza jest w liczniku.
Wzór na iloraz wiarygodności
Podstawowy iloraz wiarygodności dzieli jedną wiarygodność danych przez drugą:
Wzór na iloraz wiarygodności
Oto co oznacza każdy składnik:
x: Zaobserwowane dane, np. 8 orłów w 10 rzutach
theta_1 i theta_0: Dwie wartości parametru lub hipotezy, które chcesz porównać, np. prawdopodobieństwo orła 0,8 i 0,5
L(theta | x): Wiarygodność theta przy danych, równa prawdopodobieństwu x, gdy theta jest prawdziwym parametrem, lub jego gęstości dla danych ciągłych
Przy niezależnych obserwacjach wiarygodność to iloczyn jednego prawdopodobieństwa na obserwację:
Wiarygodność przy niezależnych obserwacjach
I tu zaczynają się problemy. Każdy czynnik jest poniżej 1, więc iloczyn szybko maleje wraz ze wzrostem próby.
Prawdopodobieństwo konkretnej sekwencji 1000 rzutów uczciwą monetą to około 9,3 * 10^-302, co jest blisko najmniejszej liczby, jaką może przechować 64-bitowy float. Przy 2000 rzutów Python zwróci 0.0 dla 0.5 ** 2000.
Logarytmy rozwiązują ten problem. Logarytm iloczynu to suma logarytmów, więc log-wiarygodność zamienia iloczyn maleńkich liczb w sumę liczb dających się obsłużyć:
Log-wiarygodność
Iloraz staje się różnicą:
Log-iloraz wiarygodności
Sumy są też prostsze do różniczkowania niż iloczyny, dlatego estymacja metodą największej wiarygodności działa również na log-wiarygodnościach.
Wersja logarytmiczna czyta się tak samo jak iloraz, tylko wokół 0 zamiast 1. Wartość 0 oznacza równe wsparcie, wartości dodatnie faworyzują theta_1, a ujemne – theta_0.
Przykład ilorazu wiarygodności
Wróćmy do wcześniejszej monety. Rzucasz nią 10 razy i otrzymujesz 8 orłów i 2 reszki.
Dwie hipotezy to:
Hipoteza 0: Moneta jest uczciwa, więc p = 0.5
Hipoteza 1: Moneta jest stronnicza w stronę orła, więc p = 0.8
Liczba orłów w 10 rzutach ma rozkład dwumianowy, więc wiarygodność każdej hipotezy to:
Przykład ilorazu wiarygodności
Przy hipotezie uczciwej monety:
Przykład ilorazu wiarygodności
Przy hipotezie stronniczej monety:
Przykład ilorazu wiarygodności
Iloraz wiarygodności to:
Przykład ilorazu wiarygodności
Współczynnik dwumianowy 45 pojawia się w obu wiarygodnościach, więc znika w ilorazie. Ten sam wynik 6,87 dostałbyś z prawdopodobieństwa dokładnej sekwencji rzutów.
Mówiąc po prostu, zaobserwowane dane są około 6,9 raza bardziej prawdopodobne, jeśli moneta wypada orłem w 80% przypadków, niż jeśli jest uczciwa. I tyle.
Iloraz nie mówi, że moneta jest 6,9 raza bardziej prawdopodobne, że jest stronnicza. Aby dostać prawdopodobieństwo, że któraś hipoteza jest prawdziwa, potrzebujesz rozkładów prior (wcześniejszych) dla obu. Przy wcześniejszych szansach 50/50, szanse a posteriori wyniosłyby 6,87 do 1, czyli około 87% dla stronniczej monety, ale ta liczba zależy od wybranego priory.
Wsparcie jest też względne wyłącznie wobec tych dwóch hipotez. Wartość taka jak p = 0.7 nie była częścią porównania. Tutaj 0,8 to także estymator największej wiarygodności, bo 8 z 10 rzutów dało orła, więc żadna inna wartość p nie dostaje z tych danych większego wsparcia.
Czym jest test ilorazu wiarygodności?
Przykład z monetą porównywał dwie ustalone wartości p. Większość pytań w statystyce jest szersza, np. czy kilka dodatkowych predyktorów poprawia model regresji.
Test ilorazu wiarygodności odpowiada na takie pytanie. Porównuje dwa modele zagnieżdżone, co oznacza, że mniejszy model jest szczególnym przypadkiem większego:
Model ograniczony: Reprezentuje hipotezę zerową, z niektórymi parametrami ustalonymi, zwykle na 0
Model pełny: Reprezentuje hipotezę alternatywną, z tymi parametrami swobodnymi
Test ma pięć kroków:
Dopasuj model ograniczony: Znajdź wartości parametrów maksymalizujące jego wiarygodność
Dopasuj model pełny: Zrób to samo, uwzględniając dodatkowe parametry
Porównaj zmaksymalizowane wiarygodności: Weź ich iloraz lub różnicę log-wiarygodności
Policz statystykę testową: Zamień to porównanie w liczbę o znanym rozkładzie
Wyznacz p-value: Sprawdź, jak ekstremalna jest statystyka, jeśli hipoteza zerowa jest prawdziwa
Każdy model ocenia się w jego estymatorze największej wiarygodności, a nie przy wartości parametru wybranej z góry. To główna różnica względem przykładu z monetą.
Iloraz wiarygodności porównuje dowolne dwie hipotezy i daje względne wsparcie, ale bez p-value i decyzji. LRT bierze iloraz zmaksymalizowanych wiarygodności z modeli zagnieżdżonych, zamienia go w statystykę testową i używa jej rozkładu, by zdecydować o odrzuceniu hipotezy zerowej. Każdy LRT używa ilorazu wiarygodności, ale nie każdy iloraz jest częścią LRT – przykład później to diagnostyczne ilorazy wiarygodności.
Statystyka testu ilorazu wiarygodności
LRT zaczyna od ilorazu zmaksymalizowanych wiarygodności, z modelem ograniczonym u góry:
Statystyka testu ilorazu wiarygodności
Tutaj theta_hat_0 to estymator największej wiarygodności pod modelem ograniczonym, a theta_hat to estymator pod modelem pełnym. Model pełny zawiera ograniczony, więc zawsze dopasowuje się co najmniej tak dobrze. To znaczy, że lambda leży między 0 a 1.
Statystyka testowa to:
Statystyka testu ilorazu wiarygodności
Logarytmy są tu z tego samego powodu co wcześniej. Zamieniają iloraz maleńkich liczb w różnicę log-wiarygodności, którą podaje każde oprogramowanie statystyczne.
Czynnik -2 ma dwa zadania. Ponieważ lambda <= 1, ln(lambda) jest równe 0 lub ujemne, więc minus zmienia to w dodatnią liczbę rosnącą wraz z lepszym dopasowaniem modelu pełnego. Czynnik 2 skaluje statystykę tak, by miała rozkład chi-kwadrat. Dla uogólnionych modeli liniowych D jest tym samym, co różnica dewiancji między modelami, dlatego często tak się ją raportuje.
Twierdzenie Wilksa sprawia, że test działa. Mówi, że gdy hipoteza zerowa jest prawdziwa i spełnione są standardowe warunki regularności, D zbliża się do rozkładu chi-kwadrat wraz ze wzrostem próby. Mówiąc prosto: modele muszą być zagnieżdżone, a zerowe wartości parametrów nie mogą leżeć na granicy dozwolonego zakresu. W sekcji o ograniczeniach wyjaśniam, co się dzieje, gdy te warunki zawodzą.
Liczba stopni swobody zwykle równa się różnicy liczby wolnych parametrów między modelami. Jeśli model pełny dodaje dwóch predyktorów, porównujesz D z rozkładem chi-kwadrat o 2 stopniach swobody.
Dzięki temu ten sam rozkład odniesienia działa dla regresji logistycznej, regresji Poissona i większości innych modeli dopasowywanych metodą największej wiarygodności.
Jak interpretować test ilorazu wiarygodności
Załóżmy, że chcesz przewidzieć, czy klient anuluje subskrypcję. Zbiór danych ma 1000 klientów i około 32% z nich odeszło.
Dopasowujesz dwa modele regresji logistycznej:
Model ograniczony: Przewiduje odejście na podstawie tenure_months tylko, z log-wiarygodnością -556,88
Model pełny: Dodaje monthly_charges i support_tickets, z log-wiarygodnością -515,99
Oto jak każda część testu przekłada się na ten przykład:
Hipoteza zerowa: Współczynniki monthly_charges i support_tickets są równe 0, więc dodatkowe predyktory nie poprawiają dopasowania
Hipoteza alternatywna: Przynajmniej jeden z tych dwóch współczynników nie jest równy 0
Stopnie swobody: Model pełny ma o dwa parametry więcej, więc test używa 2 stopni swobody
Wartość p: Prawdopodobieństwo statystyki tak dużej lub większej przy rozkładzie chi-kwadrat z 2 stopniami swobody, około 1.7 * 10^-18
Ta wartość p jest znacznie poniżej jakiegokolwiek typowego progu, np. 0,05. Odrzucasz hipotezę zerową i wnosisz, że dane dostarczają silnych dowodów na to, że dodatkowe predyktory poprawiają dopasowanie.
Ale odrzucenie zera nie znaczy, że model pełny to najlepszy wybór do twojego zastosowania.
Przy dużych próbach nawet drobne poprawy dopasowania dają małe wartości p. Test nie mówi, jak duże są efekty ani jak dobrze model przewiduje nowe dane. Sprawdź współczynniki i wydajność na danych odłożonych, zanim zostaniesz przy większym modelu.
A duża wartość p nie dowodzi, że dodatkowe predyktory są bezużyteczne. Oznacza tylko, że dane nie dostarczają wystarczających dowodów przeciwko hipotezie zerowej.
LRT mówi ci, czy dodatkowe parametry poprawiają dopasowanie, a decyzja, czy ta poprawa ma znaczenie, nadal należy do ciebie.
Testy ilorazu wiarygodności dla modeli regresyjnych
Najczęściej zobaczysz LRT przy porównywaniu modeli regresji. Idea zawsze jest taka sama – dopasuj model ograniczony, dopasuj model pełny i porównaj ich zmaksymalizowane log-wiarygodności.
Regresja logistyczna
Regresja logistyczna to najczęstsze miejsce, gdzie spotkasz LRT.
W sekcji interpretacji porównano model z tenure_months z modelem, który ma też monthly_charges i support_tickets. Możesz pójść krok dalej i porównać model pełny z modelem tylko z wyrazem wolnym, który przewiduje to samo prawdopodobieństwo odejścia dla każdego klienta.
Na tych samych danych o odejściach model tylko z wyrazem wolnym ma log-wiarygodność -627,62, a model pełny -515,99. To daje D = 2 * (-515.99 - (-627.62)) = 223.27 przy 3 stopniach swobody, po jednym na każdy predyktor, i wartość p około 3,9 × 10^-48.
Ten test pyta, czy predyktory łącznie wyjaśniają odejście lepiej niż ich brak. To wersja regresji logistycznej odpowiednika ogólnego testu F w regresji liniowej, a statsmodels raportuje ją w podsumowaniu modelu jako LLR p-value.
Uogólnione modele liniowe
Regresja logistyczna należy do większej rodziny zwanej uogólnionymi modelami liniowymi (GLM). Należą do niej też m.in. regresja Poissona dla zliczeń i regresja gamma dla dodatnich wyników ciągłych.
Każdy GLM raportuje dewiancję, która mierzy odległość modelu od idealnego dopasowania. Dla dwóch zagnieżdżonych GLM różnica ich dewiancji równa się statystyce LRT D, więc test często nazywa się analizą dewiancji.
Stopnie swobody działają tak jak wcześniej – to różnica liczby parametrów. Dla modeli z estymowanym parametrem dyspersji, jak GLM gamma czy Gaussowski, często używa się testu F na różnicy dewiancji zamiast wersji chi-kwadrat.
Inne modele oparte na wiarygodności
Każdy model dopasowany metodą największej wiarygodności może używać LRT, o ile modele są zagnieżdżone. Na przykład:
Modele z efektami mieszanymi: Porównuj modele z i bez efektu stałego, dopasowane metodą największej wiarygodności zamiast REML
Modele przeżycia: Testuj, czy kowariant poprawia model Coxa proporcjonalnych hazardów, który używa częściowej wiarygodności
Modele szeregów czasowych: Porównuj modele ARIMA różnych rzędów
Genetyka: Testuj sprzężenie genów, gdzie wyniki LOD to dziesiętne log-ilorazy wiarygodności
Iloraz wiarygodności a pokrewne testy statystyczne
LRT jest podobny do testu Walda i testu score. Wszystkie trzy testują tę samą hipotezę zerową i wszystkie mają w dużych próbach rozkład chi-kwadrat. Różnica leży w tym, jakie modele dopasowujesz i co mierzysz.
Test ilorazu wiarygodności vs test Walda
LRT dopasowuje oba modele i porównuje ich log-wiarygodności. Test Walda dopasowuje tylko model pełny i sprawdza, jak daleko każdy estymator jest od swojej wartości zerowej, mierzone w odchyleniach standardowych.
Dla pojedynczego współczynnika statystyka Walda to estymator podzielony przez jego błąd standardowy. Wartości p w tabeli podsumowania regresji zwykle pochodzą z tego testu.
Test Walda jest szybki, bo dopasowujesz tylko jeden model. Ale zależy od parametryzacji modelu i w regresji logistycznej może zachowywać się źle przy bardzo dużych współczynnikach, ponieważ błąd standardowy rośnie szybciej niż estymator. LRT nie ma żadnego z tych problemów, więc jest bezpieczniejszym wyborem.
Test ilorazu wiarygodności vs test score
Test score dopasowuje tylko model ograniczony.
Patrzy na nachylenie log-wiarygodności przy zerowych wartościach parametrów. Jeśli hipoteza zerowa jest prawdziwa, nachylenie powinno być bliskie 0. Strome nachylenie oznacza, że wiarygodność wzrosłaby, gdyby pozwolić parametrom odejść od zera.
To czyni test score wygodnym, gdy model pełny jest kosztowny lub trudny do dopasowania. Znany jest też jako test mnożnika Lagrange’a i często służy do wstępnego przeglądu kandydatów na predyktory, zanim je dodasz.
Test ilorazu wiarygodności vs test chi-kwadrat
Statystyka LRT ma w dużych próbach rozkład chi-kwadrat, ale nie czyni to LRT „testem chi-kwadrat” w zwykłym sensie.
„Test chi-kwadrat” to szeroka etykieta dla każdego testu, którego statystyka ma rozkład chi-kwadrat. Najczęściej używa się jej na określenie testu niezależności chi-kwadrat Pearsona lub dopasowania w tabelach kontyngencji.
Jednak oba są powiązane. Wersja ilorazu wiarygodności testu Pearsona to test G, który porównuje obserwowane i oczekiwane liczności przez log-wiarygodności zamiast różnic kwadratów. W dużych próbach oba dają podobne wyniki.
Tak porównują się trzy testy oparte na modelach:
Test Walda
Test ilorazu wiarygodności
Test score
Jakie modele dopasowujesz
Tylko pełny
Ograniczony i pełny
Tylko ograniczony
Co mierzy
Odległość estymatora od wartości zerowej w błędach standardowych
Różnicę zmaksymalizowanych log-wiarygodności
Nachylenie log-wiarygodności przy wartościach zerowych
Gdzie go zobaczysz
Wartości p współczynników w podsumowaniach regresji
Porównania modeli zagnieżdżonych i analiza dewiancji
Screening nowych predyktorów, modele trudne do dopasowania
Słaby punkt
Zależy od parametryzacji, zawodny przy bardzo dużych estymatorach
Wymaga dopasowania obu modeli
Używa tylko informacji w pobliżu wartości zerowych
Rozkład w dużych próbach
Chi-kwadrat
Chi-kwadrat
Chi-kwadrat
Iloraz wiarygodności a inne testy statystyczne
Iloraz wiarygodności vs iloraz szans
Oba terminy mają w nazwie „iloraz” i oba są częste w regresji logistycznej. Na tym podobieństwa się kończą.
Iloraz wiarygodności porównuje, jak dobrze dwie hipotezy wyjaśniają zaobserwowane dane. Iloraz szans porównuje szanse wyniku między dwiema grupami lub warunkami.
Szanse to prawdopodobieństwo zdarzenia podzielone przez prawdopodobieństwo, że nie zajdzie. Prawdopodobieństwo odejścia 25% oznacza szanse 0,25 / 0,75, czyli 1 do 3.
W modelu odejść z wcześniej, współczynnik support_tickets wynosi 0,456. Jego eksponent daje iloraz szans około 1,58, co oznacza, że każdy dodatkowy zgłoszony ticket mnoży szanse odejścia przez 1,58.
To stwierdzenie o efekcie w danych. Iloraz wiarygodności to stwierdzenie o dowodach – o ile lepiej jedna hipoteza lub model wyjaśnia te same dane niż inna.
Zatem iloraz szans odpowiada na „jak duży jest efekt?”, a iloraz wiarygodności na „którą wersję danych wspierają bardziej?”
Ilorazy wiarygodności w testach diagnostycznych
W medycynie „iloraz wiarygodności” ma drugie znaczenie. Opisuje, o ile wynik testu zmienia szanse, że pacjent ma dane schorzenie, i nie obejmuje dopasowywania modeli ani wartości p.
Diagnostyczne ilorazy wiarygodności wynikają z dwóch właściwości testu:
Czułość: Odsetek osób z chorobą, które test wypadają pozytywnie
Swoistość: Odsetek osób bez choroby, które test wypadają negatywnie
Załóżmy, że test ma czułość 90% i swoistość 80%.
Dodatni iloraz wiarygodności
Dodatni iloraz wiarygodności, czyli LR+, pokazuje, o ile częstszy jest wynik pozytywny wśród osób z chorobą niż wśród osób bez niej:
Dodatni iloraz wiarygodności
Dla przykładowego testu to 0,9 / 0,2 = 4,5. Wynik pozytywny jest 4,5 raza bardziej prawdopodobny u osoby z chorobą. Wartości powyżej 1 zwiększają szanse choroby i im wyższa wartość, tym więcej mówi wynik pozytywny.
Ujemny iloraz wiarygodności
Ujemny iloraz wiarygodności, czyli LR-, pokazuje, jak prawdopodobny jest wynik negatywny wśród osób z chorobą w porównaniu z osobami bez niej:
Ujemny iloraz wiarygodności
Dla przykładowego testu to 0,1 / 0,8 = 0,125. Wartości poniżej 1 obniżają szanse choroby, a im bliżej 0, tym więcej mówi wynik negatywny.
Od szans przedtestowych do potestowych
Diagnostyczne ilorazy wiarygodności są użyteczne, bo aktualizują to, co wiedziałeś przed testem:
Diagnostyczny iloraz wiarygodności
Załóżmy, że 10% takich pacjentów ma to schorzenie. To szanse przedtestowe 0,1 / 0,9, czyli około 0,111.
Po wyniku pozytywnym szanse stają się 0,111 * 4,5 = 0,5, co odpowiada prawdopodobieństwu około 33%. Po negatywnym – 0,111 * 0,125 = 0,014, czyli około 1,4%.
To jedyne miejsce w artykule, gdzie iloraz wiarygodności prowadzi do prawdopodobieństwa hipotezy – i jest to możliwe tylko dlatego, że szanse przedtestowe dostarczają prioru.
Testy ilorazu wiarygodności w Pythonie i R
Oba języki mają wszystko, czego potrzebujesz, by uruchomić LRT w kilku liniach. Użyję wspomnianego wcześniej zbioru odejść, więc liczby będą zgodne z tymi w sekcjach interpretacji i regresji.
Test ilorazu wiarygodności w Pythonie
Będziesz potrzebować numpy, pandas, statsmodels i scipy. Zacznij od wygenerowania zbioru danych:
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from scipy import stats
# Generate a synthetic customer churn dataset
rng = np.random.default_rng(42)
n_customers =1000
churn = pd.DataFrame({"tenure_months": rng.integers(1,73, n_customers),"monthly_charges": rng.uniform(20,120, n_customers).round(2),"support_tickets": rng.poisson(1.5, n_customers),})# Churn gets less likely with tenure and more likely with charges and tickets
log_odds =(-0.5-0.04* churn["tenure_months"]+0.01* churn["monthly_charges"]+0.25* churn["support_tickets"])
churn["churned"]= rng.binomial(1,1/(1+ np.exp(-log_odds)))# Save the data so you can load the same dataset in R
churn.to_csv("churn.csv", index=False)Obsługiwane przez
W tym zbiorze udział odejść wynosi 32,1%.
Następnie dopasuj ograniczony i pełny model regresji logistycznej. Atrybut .llf przechowuje zmaksymalizowaną log-wiarygodność każdego z nich:
# Fit the restricted and full models
reduced_model = smf.logit("churned ~ tenure_months", data=churn).fit(disp=0)
full_model = smf.logit("churned ~ tenure_months + monthly_charges + support_tickets",
data=churn,).fit(disp=0)# Get the maximized log-likelihoodsprint(f"Restricted model log-likelihood: {reduced_model.llf:.2f}")print(f"Full model log-likelihood: {full_model.llf:.2f}")Obsługiwane przez
Log-wiarygodność modeli ograniczonego i pełnego
statsmodels nie ma ogólnej funkcji LRT dla regresji logistycznej, więc statystykę liczysz z dwóch log-wiarygodności. Atrybut .df_model podaje liczbę predyktorów w każdym modelu, a stats.chi2.sf() zwraca wartość p:
lr_stat =2*(full_model.llf - reduced_model.llf)
df_diff = full_model.df_model - reduced_model.df_model
p_value = stats.chi2.sf(lr_stat, df_diff)print(f"LR statistic: {lr_stat:.2f}")print(f"Degrees of freedom: {df_diff:.0f}")print(f"P-value: {p_value:.1e}")Obsługiwane przez
Statystyka testu, stopnie swobody i wartość p
Wartość p jest znacznie poniżej 0,05, więc odrzucasz hipotezę zerową. Dane dostarczają silnych dowodów, że monthly_charges i support_tickets poprawiają dopasowanie względem modelu z samym tenure_months.
Dla porównania z modelem tylko z wyrazem wolnym nie potrzebujesz dodatkowego kodu. statsmodels liczy to dla każdego modelu regresji logistycznej:
print(f"Intercept-only log-likelihood: {full_model.llnull:.2f}")print(f"LR statistic: {full_model.llr:.2f}")print(f"P-value: {full_model.llr_pvalue:.1e}")Obsługiwane przez
Porównanie modelu pełnego z modelem tylko z wyrazem wolnym
Test ilorazu wiarygodności w R
R nie używa tego samego generatora liczb losowych co NumPy, więc wczytaj plik churn.csv z przykładu w Pythonie, aby pracować na identycznych danych. Następnie dopasuj oba modele funkcją glm() i przekaż je do anova():
# Load the churn dataset saved from Python
churn <- read.csv("churn.csv")# Fit the restricted and full models
reduced_model <- glm(churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
churned ~ tenure_months + monthly_charges + support_tickets,
data = churn,
family = binomial
)# Check the maximized log-likelihoods
logLik(reduced_model)
logLik(full_model)# Run the likelihood ratio test
anova(reduced_model, full_model, test ="Chisq")Obsługiwane przez
Log-wiarygodności i test ilorazu w R
Wartości df obok każdej log-wiarygodności to liczba estymowanych parametrów, łącznie z wyrazem wolnym. Model pełny ma o dwa więcej, co odpowiada kolumnie Df w tabeli anova().
Kolumna Deviance pokazuje 81,778 – tę samą statystykę LR, co w Pythonie. To w praktyce analiza dewiancji z sekcji GLM – spadek dewiancji reszt z 1113,8 do 1032,0 to statystyka testowa.
R wypisuje wartość p jako < 2.2e-16, bo to najmniejsza domyślnie pokazywana wartość, a nie dlatego, że różni się od wyniku w Pythonie. W obu przypadkach wniosek jest ten sam: dodatkowe predyktory poprawiają dopasowanie.
Jeśli wolisz dedykowaną funkcję, lrtest() z pakietu lmtest wykona to samo porównanie przez lrtest(reduced_model, full_model).
Założenia i ograniczenia testów ilorazu wiarygodności
LRT działa dobrze w omówionych dotąd ustawieniach, ale jego wynik chi-kwadrat zależy od kilku warunków.
Modele muszą być zagnieżdżone
Standardowy LRT porównuje tylko modele zagnieżdżone, gdzie model ograniczony jest szczególnym przypadkiem pełnego.
Jeśli chcesz porównać regresję logistyczną z modelem probitowym albo dwa modele z różnymi predyktorami, żaden nie jest szczególnym przypadkiem drugiego. Rozkład chi-kwadrat tam nie działa. Użyj kryteriów informacyjnych, takich jak AIC i BIC albo testu Vuonga dla modeli nienazagnieżdżonych.
Oba modele muszą mieć estymatory największej wiarygodności
Test porównuje zmaksymalizowane wiarygodności, więc oba modele muszą być dopasowane metodą największej wiarygodności na tych samych danych.
Dwie częste rzeczy mogą tu pójść źle. Modele mieszane dopasowane REML, co jest domyślne w wielu pakietach, nie mogą być porównywane LRT, gdy różnią się efektami stałymi – więc najpierw dopasuj je metodą największej wiarygodności. A modele z karą, jak regresja lasso lub grzbietowa, nie maksymalizują samej wiarygodności, więc zwykły test do nich nie pasuje.
Modele muszą też używać tych samych obserwacji. Jeśli jeden predyktor ma braki, model pełny może odrzucić wiersze i dwie log-wiarygodności przestają być porównywalne.
Wynik chi-kwadrat jest asymptotyczny
Twierdzenie Wilksa to wynik dla dużych prób. Obowiązuje przy warunkach regularności, które w prostych słowach znaczą, że wiarygodność jest gładka, parametry są identyfikowalne, a prawdziwe wartości parametrów leżą wewnątrz dozwolonego zakresu, a nie na jego krawędzi.
Gdy te warunki są spełnione, rozkład chi-kwadrat jest dobrym przybliżeniem dla dużych prób. To nadal przybliżenie.
Małe próby
Przy małych próbach statystyka LRT może nie mieć rozkładu chi-kwadrat, a wartości p mogą być za małe lub za duże.
Masz tu kilka opcji. Bootstrap parametryczny symuluje nowe zbiory danych z modelu ograniczonego i buduje rozkład statystyki. W prostych przypadkach, jak tabele kontyngencji, testy dokładne omijają przybliżenie.
Parametry na granicy
Niektóre hipotezy zerowe umieszczają parametr na krawędzi dozwolonego zakresu. Najczęstszy przykład to test, czy wariancja efektu losowego w modelu mieszanym równa się 0, bo wariancja nie może być ujemna.
W takim przypadku statystyka nie ma zwykłego rozkładu chi-kwadrat. Dla pojedynczego składnika wariancji ma rozkład mieszany 50:50 chi-kwadrat z 0 i 1 stopniem swobody, więc standardowa wartość p jest około dwukrotnie za duża. Standardowy test jest tu konserwatywny, co znaczy, że częściej pomija prawdziwe efekty.
Podobny problem ma testowanie liczby składników w modelu mieszanki. Gdy porównujesz jeden składnik z dwoma, warunki regularności zawodzą, a przybliżenie chi-kwadrat w ogóle nie działa.
Błędna specyfikacja modelu
LRT zakłada, że model pełny jest poprawny. Jeśli oba modele źle opisują rozkład danych, np. model Poissona dla zliczeń ze znacznie większą wariancją niż średnia, statystyka nie będzie miała rozkładu chi-kwadrat nawet w dużych próbach.
Sprawdź dopasowanie modelu pełnego, zanim zaufasz testowi. Dla nadmiernie rozproszonych zliczeń model ujemnego dwumianu lub quasi-wiarygodnościowy test F bywa lepszym wyborem.
Zatem przybliżenie chi-kwadrat to domyślność, nie gwarancja, i działa tylko wtedy, gdy ustawienie spełnia warunki stojące za twierdzeniem Wilksa.
Wnioski
Iloraz wiarygodności porównuje, jak dobrze dwie hipotezy lub modele wyjaśniają te same zaobserwowane dane. To cała idea, a wszystko inne w tym artykule na niej bazuje.
Test ilorazu wiarygodności ubiera tę ideę w formalną procedurę. Dopasowuje dwa modele zagnieżdżone, porównuje ich zmaksymalizowane log-wiarygodności i używa rozkładu chi-kwadrat do uzyskania wartości p. Najczęściej zobaczysz go w regresji logistycznej i innych GLM, a zarówno statsmodels, jak i R uruchamiają go w kilku linijkach kodu.
Ale pamiętaj, co ta liczba oznacza. Iloraz wiarygodności pokazuje względne wsparcie jednej hipotezy względem drugiej, a nie prawdopodobieństwo, że któraś jest prawdziwa. Do tego potrzebujesz wcześniejszych szans, jak w testach diagnostycznych.
Czym w prostych słowach jest iloraz wiarygodności?⌄
Iloraz wiarygodności to wiarygodność zaobserwowanych danych pod jedną hipotezą podzielona przez wiarygodność tych samych danych pod inną. Wartość powyżej 1 oznacza, że dane bardziej wspierają hipotezę w liczniku, a wartość poniżej 1 – że bardziej wspierają tę w mianowniku. Pokazuje względne dowody między dwiema wersjami wyjaśnienia, a nie prawdopodobieństwo, że któraś z nich jest prawdziwa.
Jaka jest różnica między wiarygodnością a prawdopodobieństwem?⌄
Prawdopodobieństwo ustala parametr i pyta, jak prawdopodobne są różne wyniki. Wiarygodność ustala zaobserwowane dane i pyta, jak dobrze różne wartości parametru je wyjaśniają. Oba używają tego samego wzoru, ale wiarygodności dla wszystkich możliwych wartości parametru nie sumują się do 1, więc wiarygodność nie jest prawdopodobieństwem hipotezy.
Kiedy używać testu ilorazu wiarygodności?⌄
Używaj go, gdy chcesz wiedzieć, czy bardziej złożony model dopasowuje dane lepiej niż prostszy, a prostszy jest szczególnym przypadkiem złożonego. Najczęstszy przykład to sprawdzenie, czy dodatkowe predyktory poprawiają regresję logistyczną lub inny GLM. Modele muszą być dopasowane metodą największej wiarygodności na tych samych obserwacjach.
Dlaczego statystyka testu ilorazu wiarygodności jest mnożona przez -2?⌄
Iloraz zmaksymalizowanych wiarygodności modelu ograniczonego do pełnego zawsze leży między 0 a 1, więc jego logarytm jest równy 0 lub ujemny. Minus zamienia to w dodatnią liczbę rosnącą wraz z lepszym dopasowaniem modelu pełnego. Czynnik 2 skaluje statystykę tak, by w dużych próbach miała przybliżony rozkład chi-kwadrat – to pokazuje twierdzenie Wilksa.
Czy mogę użyć testu ilorazu wiarygodności do porównania modeli nienazagnieżdżonych?⌄
Nie w standardowej wersji. Gdy żaden model nie jest szczególnym przypadkiem drugiego, jak logistyczny vs probitowy, statystyka nie ma rozkładu chi-kwadrat, więc wartość p nie jest ważna. Użyj kryteriów informacyjnych jak AIC i BIC albo testu Vuonga, który jest zbudowany do porównań nienazagnieżdżonych.
Widziałeś w wynikach regresji lub w badaniu termin "likelihood ratio" (iloraz wiarygodności) i nie miałeś pojęcia, co właściwie oznacza?
Nie jesteś sam. Termin ten często pojawia się w testowaniu hipotez, porównywaniu modeli, klasyfikacji i testach diagnostycznych, a każde z tych pól używa go nieco inaczej. Większość wyjaśnień zaczyna się też od statystyki testowej i rozkładu chi-kwadrat, zanim jeszcze wiesz, czym jest wiarygodność. Kończy się na tym, że masz liczbę, którą potrafisz obliczyć, ale nie umiesz jej wyjaśnić.
W skrócie: wiarygodność pokazuje, jak dobrze dana wartość parametru lub model statystyczny wyjaśnia zaobserwowane dane. Iloraz wiarygodności dzieli jedną wiarygodność przez drugą, dzięki czemu możesz zobaczyć, która z dwóch hipotez dostaje większe wsparcie z danych i o ile większe.
W tym artykule przeprowadzę cię przez główną ideę i wzór, test ilorazu wiarygodności i jego interpretację oraz miejsca, w których spotkasz ilorazy wiarygodności w praktyce.
Potrzebujesz odświeżenia statystyki? Przejrzyj nasz katalog kursów z prawdopodobieństwa i statystyki i znajdź idealne dopasowanie.
Czym jest iloraz wiarygodności?
Iloraz wiarygodności to wiarygodność zaobserwowanych danych pod jedną hipotezą podzielona przez wiarygodność tych samych danych pod inną hipotezą. Dwie hipotezy mogą dotyczyć dwóch wartości parametru albo dwóch pełnych modeli statystycznych.
Odpowiada na pytanie, które wyjaśnienie lepiej tłumaczy dane, a nie czy dane są prawdopodobne.
To ważna różnica. Każda konkretna sekwencja 20 rzutów monetą ma prawdopodobieństwo rzędu jednego na milion przy uczciwej monecie, więc mała wiarygodność sama w sobie niewiele mówi. Ma sens dopiero w zestawieniu z inną wiarygodnością.
Załóżmy, że rzucasz monetą 10 razy i wypada 8 orłów. Jedna hipoteza mówi, że moneta jest uczciwa, z prawdopodobieństwem orła 0,5. Druga mówi, że jest stronnicza, z prawdopodobieństwem orła 0,8.
Obie hipotezy mogą dać 8 orłów, ale stronnicza moneta generuje taki wynik znacznie częściej. Dane więc mocniej wspierają drugą hipotezę, a iloraz wiarygodności nadaje temu wsparciu liczbowy wymiar. Dokładne wartości policzę w sekcji z przykładem później w artykule.
Wiarygodność i prawdopodobieństwo korzystają z tego samego wzoru, ale odpowiadają na różne pytania:
Prawdopodobieństwa po wszystkich możliwych wynikach sumują się do 1, ale wiarygodności po wszystkich możliwych wartościach parametru – nie. Dlatego wiarygodność nie jest prawdopodobieństwem tego, że hipoteza jest prawdziwa, i iloraz wiarygodności też nim nie jest.
Jak działa iloraz wiarygodności?
Każdy iloraz wiarygodności podąża za tymi samymi pięcioma krokami:
Znaczenie ilorazu zależy od tego, która wiarygodność jest w liczniku. Z hipotezą A w liczniku:
Iloraz 4 oznacza, że zaobserwowane dane są czterokrotnie bardziej prawdopodobne pod A niż pod B. Nie znaczy to, że A jest cztery razy bardziej prawdopodobne, że jest prawdziwe.
Jeśli zamienisz licznik z mianownikiem, dostaniesz odwrotność. Iloraz 4 na korzyść A staje się 0,25, co mówi to samo, tylko ze strony B.
Konwencje różnią się między dziedzinami. Test ilorazu wiarygodności zwykle umieszcza hipotezę zerową w liczniku, więc małe wartości liczą się jako dowód przeciwko niej, podczas gdy wiele innych zastosowań umieszcza na górze hipotezę alternatywną.
Dlatego zanim zinterpretujesz jakikolwiek iloraz wiarygodności, sprawdź, która hipoteza jest w liczniku.
Wzór na iloraz wiarygodności
Podstawowy iloraz wiarygodności dzieli jedną wiarygodność danych przez drugą:
Wzór na iloraz wiarygodności
Oto co oznacza każdy składnik:
x: Zaobserwowane dane, np. 8 orłów w 10 rzutachtheta_1itheta_0: Dwie wartości parametru lub hipotezy, które chcesz porównać, np. prawdopodobieństwo orła 0,8 i 0,5L(theta | x): Wiarygodnośćthetaprzy danych, równa prawdopodobieństwux, gdythetajest prawdziwym parametrem, lub jego gęstości dla danych ciągłychPrzy niezależnych obserwacjach wiarygodność to iloczyn jednego prawdopodobieństwa na obserwację:
Wiarygodność przy niezależnych obserwacjach
I tu zaczynają się problemy. Każdy czynnik jest poniżej 1, więc iloczyn szybko maleje wraz ze wzrostem próby.
Prawdopodobieństwo konkretnej sekwencji 1000 rzutów uczciwą monetą to około 9,3 * 10^-302, co jest blisko najmniejszej liczby, jaką może przechować 64-bitowy float. Przy 2000 rzutów Python zwróci
0.0dla0.5 ** 2000.Logarytmy rozwiązują ten problem. Logarytm iloczynu to suma logarytmów, więc log-wiarygodność zamienia iloczyn maleńkich liczb w sumę liczb dających się obsłużyć:
Log-wiarygodność
Iloraz staje się różnicą:
Log-iloraz wiarygodności
Sumy są też prostsze do różniczkowania niż iloczyny, dlatego estymacja metodą największej wiarygodności działa również na log-wiarygodnościach.
Wersja logarytmiczna czyta się tak samo jak iloraz, tylko wokół 0 zamiast 1. Wartość 0 oznacza równe wsparcie, wartości dodatnie faworyzują
theta_1, a ujemne –theta_0.Przykład ilorazu wiarygodności
Wróćmy do wcześniejszej monety. Rzucasz nią 10 razy i otrzymujesz 8 orłów i 2 reszki.
Dwie hipotezy to:
Hipoteza 0: Moneta jest uczciwa, więc
p = 0.5Hipoteza 1: Moneta jest stronnicza w stronę orła, więc
p = 0.8Liczba orłów w 10 rzutach ma rozkład dwumianowy, więc wiarygodność każdej hipotezy to:
Przykład ilorazu wiarygodności
Przy hipotezie uczciwej monety:
Przykład ilorazu wiarygodności
Przy hipotezie stronniczej monety:
Przykład ilorazu wiarygodności
Iloraz wiarygodności to:
Przykład ilorazu wiarygodności
Współczynnik dwumianowy 45 pojawia się w obu wiarygodnościach, więc znika w ilorazie. Ten sam wynik 6,87 dostałbyś z prawdopodobieństwa dokładnej sekwencji rzutów.
Mówiąc po prostu, zaobserwowane dane są około 6,9 raza bardziej prawdopodobne, jeśli moneta wypada orłem w 80% przypadków, niż jeśli jest uczciwa. I tyle.
Iloraz nie mówi, że moneta jest 6,9 raza bardziej prawdopodobne, że jest stronnicza. Aby dostać prawdopodobieństwo, że któraś hipoteza jest prawdziwa, potrzebujesz rozkładów prior (wcześniejszych) dla obu. Przy wcześniejszych szansach 50/50, szanse a posteriori wyniosłyby 6,87 do 1, czyli około 87% dla stronniczej monety, ale ta liczba zależy od wybranego priory.
Wsparcie jest też względne wyłącznie wobec tych dwóch hipotez. Wartość taka jak
p = 0.7nie była częścią porównania. Tutaj 0,8 to także estymator największej wiarygodności, bo 8 z 10 rzutów dało orła, więc żadna inna wartośćpnie dostaje z tych danych większego wsparcia.Czym jest test ilorazu wiarygodności?
Przykład z monetą porównywał dwie ustalone wartości
p. Większość pytań w statystyce jest szersza, np. czy kilka dodatkowych predyktorów poprawia model regresji.Test ilorazu wiarygodności odpowiada na takie pytanie. Porównuje dwa modele zagnieżdżone, co oznacza, że mniejszy model jest szczególnym przypadkiem większego:
Test ma pięć kroków:
Każdy model ocenia się w jego estymatorze największej wiarygodności, a nie przy wartości parametru wybranej z góry. To główna różnica względem przykładu z monetą.
Iloraz wiarygodności porównuje dowolne dwie hipotezy i daje względne wsparcie, ale bez p-value i decyzji. LRT bierze iloraz zmaksymalizowanych wiarygodności z modeli zagnieżdżonych, zamienia go w statystykę testową i używa jej rozkładu, by zdecydować o odrzuceniu hipotezy zerowej. Każdy LRT używa ilorazu wiarygodności, ale nie każdy iloraz jest częścią LRT – przykład później to diagnostyczne ilorazy wiarygodności.
Statystyka testu ilorazu wiarygodności
LRT zaczyna od ilorazu zmaksymalizowanych wiarygodności, z modelem ograniczonym u góry:
Statystyka testu ilorazu wiarygodności
Tutaj
theta_hat_0to estymator największej wiarygodności pod modelem ograniczonym, atheta_hatto estymator pod modelem pełnym. Model pełny zawiera ograniczony, więc zawsze dopasowuje się co najmniej tak dobrze. To znaczy, żelambdależy między 0 a 1.Statystyka testowa to:
Statystyka testu ilorazu wiarygodności
Logarytmy są tu z tego samego powodu co wcześniej. Zamieniają iloraz maleńkich liczb w różnicę log-wiarygodności, którą podaje każde oprogramowanie statystyczne.
Czynnik -2 ma dwa zadania. Ponieważ
lambda <= 1,ln(lambda)jest równe 0 lub ujemne, więc minus zmienia to w dodatnią liczbę rosnącą wraz z lepszym dopasowaniem modelu pełnego. Czynnik 2 skaluje statystykę tak, by miała rozkład chi-kwadrat. Dla uogólnionych modeli liniowychDjest tym samym, co różnica dewiancji między modelami, dlatego często tak się ją raportuje.Twierdzenie Wilksa sprawia, że test działa. Mówi, że gdy hipoteza zerowa jest prawdziwa i spełnione są standardowe warunki regularności,
Dzbliża się do rozkładu chi-kwadrat wraz ze wzrostem próby. Mówiąc prosto: modele muszą być zagnieżdżone, a zerowe wartości parametrów nie mogą leżeć na granicy dozwolonego zakresu. W sekcji o ograniczeniach wyjaśniam, co się dzieje, gdy te warunki zawodzą.Liczba stopni swobody zwykle równa się różnicy liczby wolnych parametrów między modelami. Jeśli model pełny dodaje dwóch predyktorów, porównujesz
Dz rozkładem chi-kwadrat o 2 stopniach swobody.Dzięki temu ten sam rozkład odniesienia działa dla regresji logistycznej, regresji Poissona i większości innych modeli dopasowywanych metodą największej wiarygodności.
Jak interpretować test ilorazu wiarygodności
Załóżmy, że chcesz przewidzieć, czy klient anuluje subskrypcję. Zbiór danych ma 1000 klientów i około 32% z nich odeszło.
Dopasowujesz dwa modele regresji logistycznej:
Model ograniczony: Przewiduje odejście na podstawie
tenure_monthstylko, z log-wiarygodnością -556,88Model pełny: Dodaje
monthly_chargesisupport_tickets, z log-wiarygodnością -515,99Oto jak każda część testu przekłada się na ten przykład:
Hipoteza zerowa: Współczynniki
monthly_chargesisupport_ticketssą równe 0, więc dodatkowe predyktory nie poprawiają dopasowaniaHipoteza alternatywna: Przynajmniej jeden z tych dwóch współczynników nie jest równy 0
Statystyka testowa:
D = 2 * (-515.99 - (-556.88)) = 81.78Stopnie swobody: Model pełny ma o dwa parametry więcej, więc test używa 2 stopni swobody
Wartość p: Prawdopodobieństwo statystyki tak dużej lub większej przy rozkładzie chi-kwadrat z 2 stopniami swobody, około
1.7 * 10^-18Ta wartość p jest znacznie poniżej jakiegokolwiek typowego progu, np. 0,05. Odrzucasz hipotezę zerową i wnosisz, że dane dostarczają silnych dowodów na to, że dodatkowe predyktory poprawiają dopasowanie.
Ale odrzucenie zera nie znaczy, że model pełny to najlepszy wybór do twojego zastosowania.
Przy dużych próbach nawet drobne poprawy dopasowania dają małe wartości p. Test nie mówi, jak duże są efekty ani jak dobrze model przewiduje nowe dane. Sprawdź współczynniki i wydajność na danych odłożonych, zanim zostaniesz przy większym modelu.
A duża wartość p nie dowodzi, że dodatkowe predyktory są bezużyteczne. Oznacza tylko, że dane nie dostarczają wystarczających dowodów przeciwko hipotezie zerowej.
LRT mówi ci, czy dodatkowe parametry poprawiają dopasowanie, a decyzja, czy ta poprawa ma znaczenie, nadal należy do ciebie.
Testy ilorazu wiarygodności dla modeli regresyjnych
Najczęściej zobaczysz LRT przy porównywaniu modeli regresji. Idea zawsze jest taka sama – dopasuj model ograniczony, dopasuj model pełny i porównaj ich zmaksymalizowane log-wiarygodności.
Regresja logistyczna
Regresja logistyczna to najczęstsze miejsce, gdzie spotkasz LRT.
W sekcji interpretacji porównano model z
tenure_monthsz modelem, który ma teżmonthly_chargesisupport_tickets. Możesz pójść krok dalej i porównać model pełny z modelem tylko z wyrazem wolnym, który przewiduje to samo prawdopodobieństwo odejścia dla każdego klienta.Na tych samych danych o odejściach model tylko z wyrazem wolnym ma log-wiarygodność -627,62, a model pełny -515,99. To daje
D = 2 * (-515.99 - (-627.62)) = 223.27przy 3 stopniach swobody, po jednym na każdy predyktor, i wartość p około 3,9 × 10^-48.Ten test pyta, czy predyktory łącznie wyjaśniają odejście lepiej niż ich brak. To wersja regresji logistycznej odpowiednika ogólnego testu F w regresji liniowej, a statsmodels raportuje ją w podsumowaniu modelu jako
LLR p-value.Uogólnione modele liniowe
Regresja logistyczna należy do większej rodziny zwanej uogólnionymi modelami liniowymi (GLM). Należą do niej też m.in. regresja Poissona dla zliczeń i regresja gamma dla dodatnich wyników ciągłych.
Każdy GLM raportuje dewiancję, która mierzy odległość modelu od idealnego dopasowania. Dla dwóch zagnieżdżonych GLM różnica ich dewiancji równa się statystyce LRT
D, więc test często nazywa się analizą dewiancji.Stopnie swobody działają tak jak wcześniej – to różnica liczby parametrów. Dla modeli z estymowanym parametrem dyspersji, jak GLM gamma czy Gaussowski, często używa się testu F na różnicy dewiancji zamiast wersji chi-kwadrat.
Inne modele oparte na wiarygodności
Każdy model dopasowany metodą największej wiarygodności może używać LRT, o ile modele są zagnieżdżone. Na przykład:
Iloraz wiarygodności a pokrewne testy statystyczne
LRT jest podobny do testu Walda i testu score. Wszystkie trzy testują tę samą hipotezę zerową i wszystkie mają w dużych próbach rozkład chi-kwadrat. Różnica leży w tym, jakie modele dopasowujesz i co mierzysz.
Test ilorazu wiarygodności vs test Walda
LRT dopasowuje oba modele i porównuje ich log-wiarygodności. Test Walda dopasowuje tylko model pełny i sprawdza, jak daleko każdy estymator jest od swojej wartości zerowej, mierzone w odchyleniach standardowych.
Dla pojedynczego współczynnika statystyka Walda to estymator podzielony przez jego błąd standardowy. Wartości p w tabeli podsumowania regresji zwykle pochodzą z tego testu.
Test Walda jest szybki, bo dopasowujesz tylko jeden model. Ale zależy od parametryzacji modelu i w regresji logistycznej może zachowywać się źle przy bardzo dużych współczynnikach, ponieważ błąd standardowy rośnie szybciej niż estymator. LRT nie ma żadnego z tych problemów, więc jest bezpieczniejszym wyborem.
Test ilorazu wiarygodności vs test score
Test score dopasowuje tylko model ograniczony.
Patrzy na nachylenie log-wiarygodności przy zerowych wartościach parametrów. Jeśli hipoteza zerowa jest prawdziwa, nachylenie powinno być bliskie 0. Strome nachylenie oznacza, że wiarygodność wzrosłaby, gdyby pozwolić parametrom odejść od zera.
To czyni test score wygodnym, gdy model pełny jest kosztowny lub trudny do dopasowania. Znany jest też jako test mnożnika Lagrange’a i często służy do wstępnego przeglądu kandydatów na predyktory, zanim je dodasz.
Test ilorazu wiarygodności vs test chi-kwadrat
Statystyka LRT ma w dużych próbach rozkład chi-kwadrat, ale nie czyni to LRT „testem chi-kwadrat” w zwykłym sensie.
„Test chi-kwadrat” to szeroka etykieta dla każdego testu, którego statystyka ma rozkład chi-kwadrat. Najczęściej używa się jej na określenie testu niezależności chi-kwadrat Pearsona lub dopasowania w tabelach kontyngencji.
Jednak oba są powiązane. Wersja ilorazu wiarygodności testu Pearsona to test G, który porównuje obserwowane i oczekiwane liczności przez log-wiarygodności zamiast różnic kwadratów. W dużych próbach oba dają podobne wyniki.
Tak porównują się trzy testy oparte na modelach:
Iloraz wiarygodności a inne testy statystyczne
Iloraz wiarygodności vs iloraz szans
Oba terminy mają w nazwie „iloraz” i oba są częste w regresji logistycznej. Na tym podobieństwa się kończą.
Iloraz wiarygodności porównuje, jak dobrze dwie hipotezy wyjaśniają zaobserwowane dane. Iloraz szans porównuje szanse wyniku między dwiema grupami lub warunkami.
Szanse to prawdopodobieństwo zdarzenia podzielone przez prawdopodobieństwo, że nie zajdzie. Prawdopodobieństwo odejścia 25% oznacza szanse 0,25 / 0,75, czyli 1 do 3.
W modelu odejść z wcześniej, współczynnik
support_ticketswynosi 0,456. Jego eksponent daje iloraz szans około 1,58, co oznacza, że każdy dodatkowy zgłoszony ticket mnoży szanse odejścia przez 1,58.To stwierdzenie o efekcie w danych. Iloraz wiarygodności to stwierdzenie o dowodach – o ile lepiej jedna hipoteza lub model wyjaśnia te same dane niż inna.
Zatem iloraz szans odpowiada na „jak duży jest efekt?”, a iloraz wiarygodności na „którą wersję danych wspierają bardziej?”
Ilorazy wiarygodności w testach diagnostycznych
W medycynie „iloraz wiarygodności” ma drugie znaczenie. Opisuje, o ile wynik testu zmienia szanse, że pacjent ma dane schorzenie, i nie obejmuje dopasowywania modeli ani wartości p.
Diagnostyczne ilorazy wiarygodności wynikają z dwóch właściwości testu:
Załóżmy, że test ma czułość 90% i swoistość 80%.
Dodatni iloraz wiarygodności
Dodatni iloraz wiarygodności, czyli LR+, pokazuje, o ile częstszy jest wynik pozytywny wśród osób z chorobą niż wśród osób bez niej:
Dodatni iloraz wiarygodności
Dla przykładowego testu to 0,9 / 0,2 = 4,5. Wynik pozytywny jest 4,5 raza bardziej prawdopodobny u osoby z chorobą. Wartości powyżej 1 zwiększają szanse choroby i im wyższa wartość, tym więcej mówi wynik pozytywny.
Ujemny iloraz wiarygodności
Ujemny iloraz wiarygodności, czyli LR-, pokazuje, jak prawdopodobny jest wynik negatywny wśród osób z chorobą w porównaniu z osobami bez niej:
Ujemny iloraz wiarygodności
Dla przykładowego testu to 0,1 / 0,8 = 0,125. Wartości poniżej 1 obniżają szanse choroby, a im bliżej 0, tym więcej mówi wynik negatywny.
Od szans przedtestowych do potestowych
Diagnostyczne ilorazy wiarygodności są użyteczne, bo aktualizują to, co wiedziałeś przed testem:
Diagnostyczny iloraz wiarygodności
Załóżmy, że 10% takich pacjentów ma to schorzenie. To szanse przedtestowe 0,1 / 0,9, czyli około 0,111.
Po wyniku pozytywnym szanse stają się 0,111 * 4,5 = 0,5, co odpowiada prawdopodobieństwu około 33%. Po negatywnym – 0,111 * 0,125 = 0,014, czyli około 1,4%.
To jedyne miejsce w artykule, gdzie iloraz wiarygodności prowadzi do prawdopodobieństwa hipotezy – i jest to możliwe tylko dlatego, że szanse przedtestowe dostarczają prioru.
Testy ilorazu wiarygodności w Pythonie i R
Oba języki mają wszystko, czego potrzebujesz, by uruchomić LRT w kilku liniach. Użyję wspomnianego wcześniej zbioru odejść, więc liczby będą zgodne z tymi w sekcjach interpretacji i regresji.
Test ilorazu wiarygodności w Pythonie
Będziesz potrzebować
numpy,pandas,statsmodelsiscipy. Zacznij od wygenerowania zbioru danych:W tym zbiorze udział odejść wynosi 32,1%.
Następnie dopasuj ograniczony i pełny model regresji logistycznej. Atrybut
.llfprzechowuje zmaksymalizowaną log-wiarygodność każdego z nich:Log-wiarygodność modeli ograniczonego i pełnego
statsmodels nie ma ogólnej funkcji LRT dla regresji logistycznej, więc statystykę liczysz z dwóch log-wiarygodności. Atrybut
.df_modelpodaje liczbę predyktorów w każdym modelu, astats.chi2.sf()zwraca wartość p:Statystyka testu, stopnie swobody i wartość p
Wartość p jest znacznie poniżej 0,05, więc odrzucasz hipotezę zerową. Dane dostarczają silnych dowodów, że
monthly_chargesisupport_ticketspoprawiają dopasowanie względem modelu z samymtenure_months.Dla porównania z modelem tylko z wyrazem wolnym nie potrzebujesz dodatkowego kodu. statsmodels liczy to dla każdego modelu regresji logistycznej:
Porównanie modelu pełnego z modelem tylko z wyrazem wolnym
Test ilorazu wiarygodności w R
R nie używa tego samego generatora liczb losowych co NumPy, więc wczytaj plik
churn.csvz przykładu w Pythonie, aby pracować na identycznych danych. Następnie dopasuj oba modele funkcjąglm()i przekaż je doanova():Log-wiarygodności i test ilorazu w R
Wartości
dfobok każdej log-wiarygodności to liczba estymowanych parametrów, łącznie z wyrazem wolnym. Model pełny ma o dwa więcej, co odpowiada kolumnieDfw tabelianova().Kolumna
Deviancepokazuje 81,778 – tę samą statystykę LR, co w Pythonie. To w praktyce analiza dewiancji z sekcji GLM – spadek dewiancji reszt z 1113,8 do 1032,0 to statystyka testowa.R wypisuje wartość p jako
< 2.2e-16, bo to najmniejsza domyślnie pokazywana wartość, a nie dlatego, że różni się od wyniku w Pythonie. W obu przypadkach wniosek jest ten sam: dodatkowe predyktory poprawiają dopasowanie.Jeśli wolisz dedykowaną funkcję,
lrtest()z pakietulmtestwykona to samo porównanie przezlrtest(reduced_model, full_model).Założenia i ograniczenia testów ilorazu wiarygodności
LRT działa dobrze w omówionych dotąd ustawieniach, ale jego wynik chi-kwadrat zależy od kilku warunków.
Modele muszą być zagnieżdżone
Standardowy LRT porównuje tylko modele zagnieżdżone, gdzie model ograniczony jest szczególnym przypadkiem pełnego.
Jeśli chcesz porównać regresję logistyczną z modelem probitowym albo dwa modele z różnymi predyktorami, żaden nie jest szczególnym przypadkiem drugiego. Rozkład chi-kwadrat tam nie działa. Użyj kryteriów informacyjnych, takich jak AIC i BIC albo testu Vuonga dla modeli nienazagnieżdżonych.
Oba modele muszą mieć estymatory największej wiarygodności
Test porównuje zmaksymalizowane wiarygodności, więc oba modele muszą być dopasowane metodą największej wiarygodności na tych samych danych.
Dwie częste rzeczy mogą tu pójść źle. Modele mieszane dopasowane REML, co jest domyślne w wielu pakietach, nie mogą być porównywane LRT, gdy różnią się efektami stałymi – więc najpierw dopasuj je metodą największej wiarygodności. A modele z karą, jak regresja lasso lub grzbietowa, nie maksymalizują samej wiarygodności, więc zwykły test do nich nie pasuje.
Modele muszą też używać tych samych obserwacji. Jeśli jeden predyktor ma braki, model pełny może odrzucić wiersze i dwie log-wiarygodności przestają być porównywalne.
Wynik chi-kwadrat jest asymptotyczny
Twierdzenie Wilksa to wynik dla dużych prób. Obowiązuje przy warunkach regularności, które w prostych słowach znaczą, że wiarygodność jest gładka, parametry są identyfikowalne, a prawdziwe wartości parametrów leżą wewnątrz dozwolonego zakresu, a nie na jego krawędzi.
Gdy te warunki są spełnione, rozkład chi-kwadrat jest dobrym przybliżeniem dla dużych prób. To nadal przybliżenie.
Małe próby
Przy małych próbach statystyka LRT może nie mieć rozkładu chi-kwadrat, a wartości p mogą być za małe lub za duże.
Masz tu kilka opcji. Bootstrap parametryczny symuluje nowe zbiory danych z modelu ograniczonego i buduje rozkład statystyki. W prostych przypadkach, jak tabele kontyngencji, testy dokładne omijają przybliżenie.
Parametry na granicy
Niektóre hipotezy zerowe umieszczają parametr na krawędzi dozwolonego zakresu. Najczęstszy przykład to test, czy wariancja efektu losowego w modelu mieszanym równa się 0, bo wariancja nie może być ujemna.
W takim przypadku statystyka nie ma zwykłego rozkładu chi-kwadrat. Dla pojedynczego składnika wariancji ma rozkład mieszany 50:50 chi-kwadrat z 0 i 1 stopniem swobody, więc standardowa wartość p jest około dwukrotnie za duża. Standardowy test jest tu konserwatywny, co znaczy, że częściej pomija prawdziwe efekty.
Podobny problem ma testowanie liczby składników w modelu mieszanki. Gdy porównujesz jeden składnik z dwoma, warunki regularności zawodzą, a przybliżenie chi-kwadrat w ogóle nie działa.
Błędna specyfikacja modelu
LRT zakłada, że model pełny jest poprawny. Jeśli oba modele źle opisują rozkład danych, np. model Poissona dla zliczeń ze znacznie większą wariancją niż średnia, statystyka nie będzie miała rozkładu chi-kwadrat nawet w dużych próbach.
Sprawdź dopasowanie modelu pełnego, zanim zaufasz testowi. Dla nadmiernie rozproszonych zliczeń model ujemnego dwumianu lub quasi-wiarygodnościowy test F bywa lepszym wyborem.
Zatem przybliżenie chi-kwadrat to domyślność, nie gwarancja, i działa tylko wtedy, gdy ustawienie spełnia warunki stojące za twierdzeniem Wilksa.
Wnioski
Iloraz wiarygodności porównuje, jak dobrze dwie hipotezy lub modele wyjaśniają te same zaobserwowane dane. To cała idea, a wszystko inne w tym artykule na niej bazuje.
Test ilorazu wiarygodności ubiera tę ideę w formalną procedurę. Dopasowuje dwa modele zagnieżdżone, porównuje ich zmaksymalizowane log-wiarygodności i używa rozkładu chi-kwadrat do uzyskania wartości p. Najczęściej zobaczysz go w regresji logistycznej i innych GLM, a zarówno statsmodels, jak i R uruchamiają go w kilku linijkach kodu.
Ale pamiętaj, co ta liczba oznacza. Iloraz wiarygodności pokazuje względne wsparcie jednej hipotezy względem drugiej, a nie prawdopodobieństwo, że któraś jest prawdziwa. Do tego potrzebujesz wcześniejszych szans, jak w testach diagnostycznych.
Jeśli chcesz pójść dalej, kolejne kroki to klocki, na których opiera się test: sama wiarygodność, estymacja metodą największej wiarygodności oraz to, jak test Walda i inne testy hipotez mają się do LRT.