Sari la conținutul principal

Raportul de verosimilitate: o măsură importantă a dovezii statistice

Un raport de verosimilitate compară cât de bine două ipoteze sau modele explică aceleași date, iar acest articol acoperă formula, un exemplu lucrat cu aruncări de monedă, testul raportului de verosimilitate pentru modele de regresie imbricate în Python și R, și rapoartele de verosimilitate diagnostice.
· 15 min. citește

Descoperă cu AI

Ai văzut termenul "raport de verosimilitate" într-un output de regresie sau într-un studiu și nu ai avut idee ce îți spune?

Nu ești singurul. Termenul apare des în testarea ipotezelor, compararea modelelor, clasificare și testare diagnostică, iar fiecare domeniu îl folosește puțin diferit. Majoritatea explicațiilor încep și ele cu o statistică de test și o distribuție chi-pătrat înainte să știi măcar ce este verosimilitatea. Așa că ajungi la un număr pe care îl poți calcula, dar nu-l poți explica.

Pe scurt, verosimilitatea arată cât de bine explică o valoare a unui parametru sau un model statistic datele observate. Un raport de verosimilitate împarte o verosimilitate la alta, ca să vezi care dintre două ipoteze primește mai mult sprijin din date și cu cât.

În acest articol, te voi ghida prin ideea de bază și formulă, testul raportului de verosimilitate și cum se interpretează, precum și locurile în care vei întâlni rapoarte de verosimilitate în practică.

Ai nevoie de un „refresh” la statistică? Răsfoiește catalogul nostru de cursuri de Probabilități și Statistică și găsește varianta potrivită.

Ce este un raport de verosimilitate?

Un raport de verosimilitate este verosimilitatea datelor observate sub o ipoteză, împărțită la verosimilitatea acelorași date sub o altă ipoteză. Cele două ipoteze pot fi două valori de parametri sau două modele statistice complete.

Întrebarea la care răspunde este care explicație descrie mai bine datele, nu dacă datele sunt probabile.

E o diferență importantă. Orice secvență specifică de 20 de aruncări de monedă are o probabilitate de aproximativ una la un milion sub o monedă echitabilă, așa că o verosimilitate mică în sine nu îți spune mare lucru. Are sens doar alături de o altă verosimilitate.

Să zicem că arunci o monedă de 10 ori și obții 8 capete. O ipoteză spune că moneda e echitabilă, cu o probabilitate de 0,5 pentru cap. Alta spune că e dezechilibrată, cu o probabilitate de 0,8 pentru cap.

Ambele ipoteze pot produce 8 capete, dar moneda dezechilibrată produce acel rezultat mult mai des. Așadar, datele oferă mai mult sprijin celei de-a doua ipoteze, iar raportul de verosimilitate pune un număr pe „cu cât” mai mult. Voi calcula valorile exacte în secțiunea de exemplu, mai târziu în articol.

Verosimilitatea și probabilitatea folosesc aceeași formulă, dar răspund la întrebări diferite:

  • Probabilitate: Fixează parametrul și întreabă cât de probabile sunt rezultate diferite – de exemplu, șansa de a obține 8 capete în 10 aruncări cu o monedă echitabilă
  • Verosimilitate: Fixează datele observate și întreabă cât de bine le explică diverse valori ale parametrului – de exemplu, cât de bine explică o probabilitate de 0,5 față de 0,8 pentru cap 8 capete în 10 aruncări

Probabilitățile pe toate rezultatele posibile însumează 1, dar verosimilitățile pe toate valorile posibile ale parametrilor nu. De aceea o verosimilitate nu este probabilitatea ca o ipoteză să fie adevărată, și nici un raport de verosimilitate.

Cum funcționează un raport de verosimilitate?

Fiecare raport de verosimilitate urmează aceiași cinci pași:

  1. Observă datele: Colectează eșantionul pe care vrei să-l explici, cum ar fi 8 capete în 10 aruncări
  2. Calculează prima verosimilitate: Găsește cât de probabile sunt datele observate sub ipoteza A
  3. Calculează a doua verosimilitate: Fă același lucru sub ipoteza B
  4. Împarte: Pune o verosimilitate la numărător și cealaltă la numitor
  5. Interpretează raportul: Verifică pe care ipoteză o susțin mai mult datele și cu cât

Sensul raportului depinde de care verosimilitate este deasupra. Cu ipoteza A la numărător:

  • Raport peste 1: Datele sunt mai probabile sub A, deci A primește mai mult sprijin
  • Raport sub 1: Datele sunt mai probabile sub B, deci B primește mai mult sprijin
  • Raport egal cu 1: Ambele ipoteze explică la fel de bine datele, iar acestea nu favorizează niciuna

Un raport de 4 înseamnă că datele observate sunt de patru ori mai probabile sub A decât sub B. Nu înseamnă că A este de patru ori mai probabil să fie adevărată.

Dacă inversezi numărătorul și numitorul, obții reciprocul. Un raport de 4 în favoarea lui A devine 0,25, care spune același lucru din perspectiva lui B.

Convețiile diferă între domenii. Testul raportului de verosimilitate pune de obicei ipoteza nulă la numărător, astfel încât valorile mici contează ca dovezi împotriva ei, în timp ce multe alte aplicații pun ipoteza alternativă deasupra.

Așadar, înainte să interpretezi orice raport de verosimilitate, verifică ce ipoteză este la numărător.

Formula raportului de verosimilitate

Raportul de verosimilitate de bază împarte o verosimilitate a datelor la alta:

Likelihood ratio formula

Formula raportului de verosimilitate

Iată ce înseamnă fiecare termen:

  • x: Datele observate, cum ar fi 8 capete în 10 aruncări
  • theta_1 și theta_0: Cele două valori ale parametrilor sau ipotezele pe care vrei să le compari, cum ar fi o probabilitate de 0,8 respectiv 0,5 pentru cap
  • L(theta | x): Verosimilitatea lui theta date fiind datele, care este egală cu probabilitatea lui x când theta este parametrul adevărat, sau densitatea sa pentru date continue

Cu observații independente, verosimilitatea este un produs al unei probabilități per observație:

Likelihood with independent observations

Verosimilitate cu observații independente

Și aici încep problemele. Fiecare factor este sub 1, așa că produsul scade rapid pe măsură ce eșantionul crește.

Probabilitatea unei secvențe specifice de 1.000 de aruncări sub o monedă echitabilă este de aproximativ 9,3 * 10^-302, aproape de cel mai mic număr pe care îl poate stoca un float pe 64 de biți. La 2.000 de aruncări, 0.5 ** 2000 în Python întoarce 0.0.

Logaritmii sunt o soluție. Logaritmul unui produs este suma logaritmilor, astfel încât log-verosimilitatea transformă un produs de numere foarte mici într-o sumă de valori gestionabile:

Log likelihood

Log-verosimilitate

Raportul devine o diferență:

Log likelihood ratio

Raport de log-verosimilitate

Și sumele sunt, de asemenea, mai simple de derivat decât produsele, motiv pentru care estimarea prin verosimilitate maximă funcționează și ea cu log-verosimilități.

Versiunea log se interpretează la fel ca raportul, doar că în jurul lui 0 în loc de 1. O valoare de 0 înseamnă sprijin egal, valorile pozitive favorizează theta_1, iar cele negative favorizează theta_0.

Exemplu de raport de verosimilitate

Să revenim la moneda de mai devreme. O arunci de 10 ori și obții 8 capete și 2 pajuri.

Cele două ipoteze sunt:

  • Ipoteza 0: Moneda este echitabilă, deci p = 0.5

  • Ipoteza 1: Moneda este înclinată spre cap, deci p = 0.8

Numărul de capete în 10 aruncări urmează o distribuție binomială, deci verosimilitatea fiecărei ipoteze este:

Likelihood ratio example (1)

Exemplu de raport de verosimilitate

Sub ipoteza monedei echitabile:

Likelihood ratio example (2)

Exemplu de raport de verosimilitate

Sub ipoteza monedei dezechilibrate:

Likelihood ratio example (3)

Exemplu de raport de verosimilitate

Raportul de verosimilitate este:

Likelihood ratio example (4)

Exemplu de raport de verosimilitate

Coeficientul binomial de 45 apare în ambele verosimilități, deci se anulează în raport. Ai obține același 6,87 din probabilitatea secvenței exacte de aruncări.

În termeni simpli, datele observate sunt cam de 6,9 ori mai probabile dacă moneda iese cap în 80% din cazuri decât dacă e echitabilă. Atât.

Raportul nu spune că moneda este de 6,9 ori mai probabil să fie dezechilibrată. Pentru a obține o probabilitate ca oricare ipoteză să fie adevărată, ai nevoie de probabilități a priori pentru ambele. Cu cote a priori 50/50, cotele a posteriori ar fi 6,87 la 1, adică aproximativ 87% pentru moneda dezechilibrată, dar acel număr depinde de priorul ales.

Sprijinul este, de asemenea, relativ doar la aceste două ipoteze. O valoare precum p = 0.7 nu a făcut parte din comparație. Aici, 0,8 se întâmplă să fie și estimarea de verosimilitate maximă, deoarece 8 din 10 aruncări au fost cap, astfel încât nicio altă valoare a lui p nu primește mai mult sprijin din aceste date.

Ce este un test al raportului de verosimilitate?

Exemplul cu moneda a comparat două valori fixe ale lui p. Majoritatea întrebărilor în statistică sunt mai largi, cum ar fi dacă câțiva predictori suplimentari îmbunătățesc un model de regresie.

Testul raportului de verosimilitate răspunde la astfel de întrebări. El compară două modele imbricate (nested), ceea ce înseamnă că modelul mai mic este un caz particular al celui mai mare:

  • Model restricționat: Reprezintă ipoteza nulă, cu anumiți parametri fixați, de obicei la 0
  • Model complet: Reprezintă ipoteza alternativă, cu acei parametri lăsați liberi să ia orice valoare

Testul are cinci pași:

  1. Potrivește modelul restricționat: Găsește valorile parametrilor care îi maximizează verosimilitatea
  2. Potrivește modelul complet: Fă același lucru incluzând parametrii suplimentari
  3. Compară verosimilitățile maximizate: Ia raportul lor sau diferența log-verosimilităților
  4. Calculează statistica de test: Transformă acea comparație într-un număr cu o distribuție cunoscută
  5. Obține p-valoarea: Verifică cât de extremă este statistica dacă ipoteza nulă e adevărată

Fiecare model este evaluat la estimarea de verosimilitate maximă, nu la o valoare de parametru aleasă în avans. Aceasta este principala diferență față de exemplul cu moneda.

Raportul de verosimilitate compară orice două ipoteze și îți oferă sprijin relativ, dar fără p-valoare și fără decizie. LRT ia un raport al verosimilităților maximizate din modele imbricate, îl convertește într-o statistică de test și folosește distribuția acesteia pentru a decide dacă respinge ipoteza nulă. Fiecare LRT folosește un raport de verosimilitate, dar nu fiecare raport de verosimilitate face parte dintr-un LRT – rapoartele de verosimilitate diagnostice de mai târziu sunt un exemplu.

Statistica testului raportului de verosimilitate

LRT începe cu raportul verosimilităților maximizate, cu modelul restricționat deasupra:

Likelihood ratio test statistic (1)

Statistica testului raportului de verosimilitate

Aici, theta_hat_0 este estimarea de verosimilitate maximă sub modelul restricționat, iar theta_hat este estimarea sub modelul complet. Modelul complet îl conține pe cel restricționat, așa că se potrivește întotdeauna cel puțin la fel de bine. Asta înseamnă că lambda este între 0 și 1.

Statistica de test este:

Likelihood ratio test statistic (2)

Statistica testului raportului de verosimilitate

Logaritmii sunt acolo din același motiv ca înainte. Transformă un raport de numere foarte mici într-o diferență de log-verosimilități, ceea ce orice pachet statistic raportează.

Factorul -2 are două roluri. Deoarece lambda <= 1, ln(lambda) este 0 sau negativ, deci minusul îl transformă într-un număr pozitiv care crește pe măsură ce modelul complet se potrivește mai bine. Factorul 2 scalează statistica astfel încât să urmeze o distribuție chi-pătrat. Pentru modelele liniare generalizate, D este același cu diferența de deviață între cele două modele, motiv pentru care îl vei vedea adesea raportat astfel.

Teorema lui Wilks face testul să funcționeze. Ea spune că atunci când ipoteza nulă este adevărată și condițiile standard de regularitate sunt îndeplinite, D urmează aproximativ o distribuție chi-pătrat pe măsură ce dimensiunea eșantionului crește. În termeni simpli, modelele trebuie să fie imbricate, iar valorile nule ale parametrilor nu pot fi pe marginea intervalului permis. Secțiunea de limitări de mai târziu în articol acoperă ce se întâmplă când aceste condiții se strică.

Gradele de libertate de obicei sunt egale cu diferența în numărul de parametri liberi între cele două modele. Dacă modelul complet adaugă doi predictori, compari D cu o distribuție chi-pătrat cu 2 grade de libertate.

Așadar, aceeași distribuție de referință funcționează pentru regresia logistică, regresia Poisson și majoritatea celorlalte modele potrivite prin verosimilitate maximă.

Cum interpretezi un test al raportului de verosimilitate

Să zicem că vrei să prezici dacă un client își anulează un abonament. Setul de date are 1.000 de clienți, iar aproximativ 32% dintre ei au renunțat.

Potrivești două modele de regresie logistică:

  • Model restricționat: Prezice churn-ul din tenure_months doar, cu o log-verosimilitate de -556,88

  • Model complet: Adaugă monthly_charges și support_tickets, cu o log-verosimilitate de -515,99

Iată cum se aplică fiecare parte a testului în acest exemplu:

  • Ipoteza nulă: Coeficienții lui monthly_charges și support_tickets sunt amândoi 0, deci predictorii suplimentari nu îmbunătățesc potrivirea

  • Ipoteza alternativă: Cel puțin unul dintre acești doi coeficienți nu este 0

  • Statistica de test: D = 2 * (-515.99 - (-556.88)) = 81.78

  • Grade de libertate: Modelul complet are doi parametri în plus, deci testul folosește 2 grade de libertate

  • P-valoare: Probabilitatea unei statistici atât de mari sau mai mari sub o distribuție chi-pătrat cu 2 grade de libertate, care este aproximativ 1.7 * 10^-18

Acea p-valoare este mult sub orice prag uzual, cum ar fi 0,05. Respingi ipoteza nulă și concluzionezi că datele oferă dovezi puternice că predictorii suplimentari îmbunătățesc potrivirea.

Dar respingerea ipotezei nule nu înseamnă că modelul complet este alegerea mai bună pentru cazul tău de utilizare.

Cu eșantioane mari, chiar și îmbunătățiri minuscule ale potrivirii produc p-valori mici. Testul nu îți spune cât de mari sunt efectele sau cât de bine prezice modelul date noi. Verifică coeficienții și performanța pe date separate înainte de a păstra modelul mai mare.

Iar o p-valoare mare nu dovedește că predictorii suplimentari sunt inutili. Înseamnă doar că datele nu oferă suficientă dovadă împotriva ipotezei nule.

Un LRT îți spune dacă parametrii suplimentari îmbunătățesc potrivirea, iar decizia dacă acea îmbunătățire contează îți aparține.

Teste ale raportului de verosimilitate pentru modele de regresie

Vei vedea LRT cel mai des când compari modele de regresie. Ideea rămâne mereu aceeași – potrivește un model restricționat, potrivește un model complet și compară log-verosimilitățile lor maximizate.

Regresie logistică

Regresia logistică este cel mai frecvent loc unde apare LRT.

Secțiunea de interpretare a comparat un model cu tenure_months cu un model care are și monthly_charges și support_tickets. Poți merge un pas mai departe și compara modelul complet cu un model doar cu intercept, care prezice aceeași probabilitate de churn pentru fiecare client.

Pe aceleași date de churn, modelul doar cu intercept are o log-verosimilitate de -627,62, iar modelul complet de -515,99. Asta dă D = 2 * (-515.99 - (-627.62)) = 223.27 cu 3 grade de libertate, unul pentru fiecare predictor, și o p-valoare de aproximativ 3,9 x 10^-48.

Acest test întreabă dacă predictorii, luați împreună, explică churn-ul mai bine decât lipsa oricărui predictor. Este versiunea de regresie logistică a testului F general din regresia liniară, iar statsmodels îl raportează în sumarul modelului ca LLR p-value.

Modele liniare generalizate

Regresia logistică este un membru al unei familii mai mari numite modele liniare generalizate, sau GLM. Familia include și regresia Poisson pentru numărări și regresia gamma pentru rezultate continue pozitive, printre altele.

Fiecare GLM raportează o deviață, care măsoară cât de departe este modelul de o potrivire perfectă. Pentru două GLM-uri imbricate, diferența dintre deviațele lor este egală cu statistica LRT D, deci testul este adesea numit analiză a deviaței.

Gradele de libertate funcționează la fel ca înainte, ca diferență în numărul de parametri. Pentru modelele cu un parametru de dispersie estimat, precum GLM-urile gamma sau gaussiene, un test F pe diferența de deviață este adesea folosit în locul versiunii chi-pătrat.

Alte modele bazate pe verosimilitate

Orice model potrivit prin verosimilitate maximă poate folosi un LRT, atâta timp cât modelele sunt imbricate. De exemplu:

  • Modele cu efecte mixte: Compară modele cu și fără un efect fix, potrivite cu verosimilitate maximă și nu cu REML
  • Modele de supraviețuire: Testează dacă o covariabilă îmbunătățește un model Cox cu hazarduri proporționale, care folosește o verosimilitate parțială
  • Modele de serie temporală: Compară modele ARIMA de ordine diferite
  • Genetică: Testează legătura între gene, unde scorurile LOD sunt rapoarte de log-verosimilitate în baza 10

Raportul de verosimilitate vs. teste statistice înrudite

LRT este similar cu testul Wald și testul scor (score). Toate trei testează aceeași ipoteză nulă și toate trei urmează o distribuție chi-pătrat în eșantioane mari. Diferența constă în ce modele potrivești și ce măsori.

Testul raportului de verosimilitate vs. testul Wald

LRT potrivește ambele modele și compară log-verosimilitățile lor. Testul Wald potrivește doar modelul complet și verifică cât de departe este fiecare estimare de valoarea sa nulă, măsurat în erori standard.

Pentru un singur coeficient, statistica Wald este estimarea împărțită la eroarea sa standard. P-valorile dintr-un tabel de sumar al regresiei provin de obicei din acest test.

Testul Wald este rapid, deoarece potrivești un singur model. Dar depinde de cum parametrizezi modelul și, în regresia logistică, poate avea un comportament slab când coeficienții sunt foarte mari, deoarece eroarea standard crește mai repede decât estimarea. LRT nu are niciuna dintre aceste probleme, deci e alegerea mai sigură.

Testul raportului de verosimilitate vs. testul scor

Testul scor potrivește doar modelul restricționat.

El se uită la panta log-verosimilității la valorile nule ale parametrilor. Dacă ipoteza nulă este corectă, panta ar trebui să fie aproape de 0. O pantă abruptă înseamnă că verosimilitatea ar crește dacă ai lăsa acei parametri să se îndepărteze de valorile nule.

Acest lucru face testul scor util când modelul complet este costisitor sau greu de potrivit. Este cunoscut și ca test Lagrange multiplier și este adesea folosit pentru a filtra predictori candidați înainte să îi adaugi.

Testul raportului de verosimilitate vs. testul chi-pătrat

Statistica LRT urmează o distribuție chi-pătrat în eșantioane mari, dar asta nu face din LRT un „test chi-pătrat” în sensul obișnuit.

„Test chi-pătrat” este o etichetă largă pentru orice test a cărui statistică urmează o distribuție chi-pătrat. De cele mai multe ori, oamenii o folosesc pentru a se referi la testul chi-pătrat al lui Pearson pentru independență sau adecvare în tabele de contingență.

Totuși, cele două sunt conectate. Versiunea de raport de verosimilitate a testului lui Pearson se numește G-test și compară frecvențe observate și așteptate cu log-verosimilități în loc de diferențe pătrate. În eșantioane mari, ambele dau rezultate similare.

Iată cum se compară cele trei teste bazate pe model:

 Testul WaldTestul raportului de verosimilitateTestul scor
Modelele pe care le potriveștiDoar completRestricționat și completDoar restricționat
Ce măsoarăDistanța estimării față de valoarea nulă, în erori standardDiferența dintre log-verosimilitățile maximizatePanta log-verosimilității la valorile nule
Unde îl vei vedeaP-valorile coeficienților în rezumatele de regresieComparații de modele imbricate și analiza deviațeiSelecția de predictori noi, modele greu de potrivit
Punct slabDepinde de parametrizare, nesigur cu estimări foarte mariCere potrivirea ambelor modeleFolosește doar informații din vecinătatea valorilor nule
Distribuție asimptoticăChi-pătratChi-pătratChi-pătrat

Raportul de verosimilitate comparat cu alte teste statistice

Raportul de verosimilitate vs. raportul șanselor (odds ratio)

Ambii termeni au „raport” în denumire și ambii sunt frecvenți în regresia logistică. Aici se termină asemănarea.

Un raport de verosimilitate compară cât de bine două ipoteze explică datele observate. Un raport al șanselor compară șansele unui rezultat între două grupuri sau condiții.

Șansele sunt probabilitatea unui eveniment împărțită la probabilitatea ca acesta să nu se întâmple. O probabilitate de churn de 25% înseamnă șanse de 0,25 / 0,75, adică 1 la 3.

În modelul de churn de mai devreme, coeficientul lui support_tickets este 0,456. Exponențiala lui dă un raport al șanselor de aproximativ 1,58, ceea ce înseamnă că fiecare tichet de suport în plus multiplică șansele de churn cu 1,58.

Asta este o afirmație despre un efect în date. Un raport de verosimilitate este o afirmație despre dovezi – cât de mult explică un model sau o ipoteză mai bine aceleași date decât alta.

Așadar, raportul șanselor răspunde la „cât de mare este efectul?”, iar raportul de verosimilitate răspunde la „pe care explicație o susțin mai mult datele?”

Rapoarte de verosimilitate în testarea diagnostică

În medicină, „raport de verosimilitate” are un al doilea sens. El descrie cât de mult schimbă un rezultat al testului șansele ca un pacient să aibă o afecțiune și nu implică potrivirea de modele sau p-valori.

Rapoartele de verosimilitate diagnostice provin din două proprietăți ale unui test:

  • Sensibilitate: Proporția persoanelor cu afecțiunea care ies pozitive la test
  • Specificitate: Proporția persoanelor fără afecțiune care ies negative la test

Să zicem că un test are o sensibilitate de 90% și o specificitate de 80%.

Raport de verosimilitate pozitiv

Raportul de verosimilitate pozitiv, sau LR+, arată cât de mult mai probabil este un rezultat pozitiv în rândul persoanelor cu afecțiunea decât în rândul celor fără:

Positive likelihood ratio

Raport de verosimilitate pozitiv

Pentru testul exemplu, acesta este 0,9 / 0,2 = 4,5. Un rezultat pozitiv este de 4,5 ori mai probabil la cineva cu afecțiunea. Valorile peste 1 cresc șansele afecțiunii, iar cu cât valoarea este mai mare, cu atât un rezultat pozitiv îți spune mai mult.

Raport de verosimilitate negativ

Raportul de verosimilitate negativ, sau LR-, arată cât de probabil este un rezultat negativ în rândul persoanelor cu afecțiunea comparativ cu persoanele fără ea:

Negative likelihood ratio

Raport de verosimilitate negativ

Pentru testul exemplu, acesta este 0,1 / 0,8 = 0,125. Valorile sub 1 scad șansele afecțiunii, iar cu cât valoarea e mai aproape de 0, cu atât un rezultat negativ îți spune mai mult.

De la șanse pre-test la șanse post-test

Rapoartele de verosimilitate diagnostice sunt utile deoarece actualizează ce știai înainte de test:

Diagnostic likelihood ratio

Raport de verosimilitate diagnostic

Să zicem că 10% dintre pacienți ca acesta au afecțiunea. Acestea sunt șanse pre-test de 0,1 / 0,9, adică aproximativ 0,111.

După un rezultat pozitiv, șansele devin 0,111 * 4,5 = 0,5, ceea ce înseamnă o probabilitate de aproximativ 33%. După un rezultat negativ, devin 0,111 * 0,125 = 0,014, adică aproximativ 1,4%.

Aceasta este singura parte a articolului în care un raport de verosimilitate duce la probabilitatea unei ipoteze, și este posibil doar pentru că șansele pre-test oferă priorul.

Teste ale raportului de verosimilitate în Python și R

Ambele limbaje au tot ce îți trebuie pentru a rula un LRT în câteva linii. Voi folosi setul de date de churn menționat mai devreme, astfel încât numerele să se potrivească cu cele din secțiunile de interpretare și regresie.

Testul raportului de verosimilitate în Python

Ai nevoie de numpy, pandas, statsmodels și scipy. Începe prin a genera setul de date:

import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from scipy import stats

# Generate a synthetic customer churn dataset
rng = np.random.default_rng(42)
n_customers = 1000

churn = pd.DataFrame({
    "tenure_months": rng.integers(1, 73, n_customers),
    "monthly_charges": rng.uniform(20, 120, n_customers).round(2),
    "support_tickets": rng.poisson(1.5, n_customers),
})

# Churn gets less likely with tenure and more likely with charges and tickets
log_odds = (
    -0.5
    - 0.04 * churn["tenure_months"]
    + 0.01 * churn["monthly_charges"]
    + 0.25 * churn["support_tickets"]
)
churn["churned"] = rng.binomial(1, 1 / (1 + np.exp(-log_odds)))

# Save the data so you can load the same dataset in R
churn.to_csv("churn.csv", index=False)

În acest set de date, rata de churn este 32,1%.

Apoi, potrivește modelele de regresie logistică restricționat și complet. Atributul .llf reține log-verosimilitatea maximizată a fiecăruia:

# Fit the restricted and full models
reduced_model = smf.logit("churned ~ tenure_months", data=churn).fit(disp=0)
full_model = smf.logit(
    "churned ~ tenure_months + monthly_charges + support_tickets",
    data=churn,
).fit(disp=0)

# Get the maximized log-likelihoods
print(f"Restricted model log-likelihood: {reduced_model.llf:.2f}")
print(f"Full model log-likelihood: {full_model.llf:.2f}")

Restricted and full model log likelihood

Log-verosimilitatea modelelor restricționat și complet

statsmodels nu are o funcție LRT generală pentru regresie logistică, așa că vei calcula statistica din cele două log-verosimilități. Atributul .df_model dă numărul de predictori din fiecare model, iar stats.chi2.sf() întoarce p-valoarea:

lr_stat = 2 * (full_model.llf - reduced_model.llf)
df_diff = full_model.df_model - reduced_model.df_model
p_value = stats.chi2.sf(lr_stat, df_diff)

print(f"LR statistic: {lr_stat:.2f}")
print(f"Degrees of freedom: {df_diff:.0f}")
print(f"P-value: {p_value:.1e}")

Test statistic, degrees of freedom, and p-value

Statistica de test, gradele de libertate și p-valoarea

P-valoarea este mult sub 0,05, deci respingi ipoteza nulă. Datele oferă dovezi puternice că monthly_charges și support_tickets îmbunătățesc potrivirea față de un model doar cu tenure_months.

Pentru comparația cu un model doar cu intercept, nu ai nevoie de cod suplimentar. statsmodels o calculează pentru fiecare model de regresie logistică:

print(f"Intercept-only log-likelihood: {full_model.llnull:.2f}")
print(f"LR statistic: {full_model.llr:.2f}")
print(f"P-value: {full_model.llr_pvalue:.1e}")

Comparison of a full model to an intercept-only model

Comparația unui model complet cu un model doar cu intercept

Testul raportului de verosimilitate în R

R nu folosește același generator de numere aleatorii ca NumPy, așa că încarcă fișierul churn.csv din exemplul Python pentru a lucra cu date identice. Apoi potrivește ambele modele cu glm() și pasează-le la anova():

# Load the churn dataset saved from Python
churn <- read.csv("churn.csv")

# Fit the restricted and full models
reduced_model <- glm(churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
  churned ~ tenure_months + monthly_charges + support_tickets,
  data = churn,
  family = binomial
)

# Check the maximized log-likelihoods
logLik(reduced_model)
logLik(full_model)

# Run the likelihood ratio test
anova(reduced_model, full_model, test = "Chisq")

Log likelihoods and ratio test in R

Log-verosimilități și testul raportului în R

Valorile df de lângă fiecare log-verosimilitate sunt numărul de parametri estimați, inclusiv interceptul. Modelul complet are doi în plus, ceea ce se potrivește cu coloana Df din tabelul anova().

Coloana Deviance arată 81,778, aceeași statistică LR pe care ai obținut-o în Python. Aceasta este analiza deviaței din secțiunea GLM în acțiune – scăderea deviaței reziduale de la 1113,8 la 1032,0 este statistica testului.

R tipărește p-valoarea ca < 2.2e-16 deoarece aceasta este cea mai mică valoare afișată implicit, nu pentru că diferă de rezultatul din Python. Oricum, concluzia este aceeași, iar predictorii suplimentari îmbunătățesc potrivirea.

Dacă preferi o funcție dedicată, lrtest() din pachetul lmtest rulează aceeași comparație cu lrtest(reduced_model, full_model).

Presupuneri și limitări ale testelor raportului de verosimilitate

LRT funcționează bine în setările acoperite până acum, dar rezultatul chi-pătrat depinde de câteva condiții.

Modelele trebuie să fie imbricate

LRT standard compară doar modele imbricate, unde modelul restricționat este un caz particular al celui complet.

Dacă vrei să compari o regresie logistică cu un model probit sau două modele cu predictori diferiți, niciunul nu este caz particular al celuilalt. Distribuția chi-pătrat nu se aplică acolo. Folosește criterii informaționale precum AIC și BIC sau testul Vuong pentru modele non-imbricate, în schimb.

Ambele modele au nevoie de estimări de verosimilitate maximă

Testul compară verosimilități maximizate, deci ambele modele trebuie potrivite prin verosimilitate maximă pe aceleași date.

Două lucruri comune pot merge prost aici. Modelele cu efecte mixte potrivite cu REML, implicit în multe pachete, nu pot fi comparate cu un LRT când diferă în efecte fixe – deci re-potrivește-le întâi cu verosimilitate maximă. Iar modelele penalizate precum regresia lasso sau ridge nu maximizează verosimilitatea propriu-zisă, astfel încât testul obișnuit nu li se aplică.

Modelele au de asemenea nevoie de aceleași observații. Dacă un predictor are valori lipsă, modelul complet poate elimina rânduri, iar cele două log-verosimilități nu mai sunt comparabile.

Rezultatul chi-pătrat este asimptotic

Teorema lui Wilks este un rezultat de eșantion mare. Ea ține sub condiții de regularitate, care în termeni simpli înseamnă că verosimilitatea este netedă, parametrii sunt identificabili, iar valorile reale ale parametrilor sunt în interiorul domeniului permis, nu la margine.

Când aceste condiții sunt adevărate, distribuția chi-pătrat este o aproximație bună pentru eșantioane mari. Rămâne totuși o aproximație.

Eșantioane mici

Cu eșantioane mici, statistica LRT poate să nu urmeze o distribuție chi-pătrat, iar p-valorile pot fi prea mici sau prea mari.

Ai câteva opțiuni aici. Un bootstrap parametric simulează seturi noi de date din modelul restricționat și construiește distribuția statisticii. Pentru cazuri simple, precum tabelele de contingență, testele exacte evită aproximația.

Parametri pe frontieră

Unele ipoteze nule plasează un parametru la marginea domeniului permis. Cel mai comun exemplu este testarea dacă o varianță de efect aleator într-un model mixt este 0, din moment ce o varianță nu poate fi negativă.

În acest caz, statistica nu urmează distribuția chi-pătrat uzuală. Pentru o singură componentă de varianță, urmează un amestec 50:50 al unei chi-pătrat cu 0 și 1 grade de libertate, deci p-valoarea standard este cam de două ori mai mare decât ar trebui. Testul standard este conservator aici, ceea ce înseamnă că ratează mai des efecte reale.

Testarea numărului de componente într-un model de amestec (mixtură) are o problemă similară. Când compari o componentă cu două, condițiile de regularitate eșuează, iar aproximația chi-pătrat nu mai ține deloc.

Specificarea greșită a modelului

LRT presupune că modelul complet este corect. Dacă ambele modele greșesc distribuția datelor, cum ar fi un model Poisson pentru numărări cu mult mai multă variație decât media, statistica nu va urma o distribuție chi-pătrat nici în eșantioane mari.

Verifică potrivirea modelului complet înainte să ai încredere în test. Pentru numărări supra-dispersate, un model binomial negativ sau un test F cu quasi-verosimilitate este adesea o alegere mai bună.

Așadar, aproximația chi-pătrat este un implicit, nu o garanție, și se aplică doar când configurația se potrivește cu condițiile din spatele teoremei lui Wilks.

Concluzie

Un raport de verosimilitate compară cât de bine două ipoteze sau modele explică aceleași date observate. Aceasta este toată ideea, iar tot restul din acest articol se bazează pe ea.

Testul raportului de verosimilitate transformă ideea într-o procedură formală. Potrivește două modele imbricate, compară log-verosimilitățile lor maximizate și folosește distribuția chi-pătrat pentru a obține o p-valoare. Îl vei vedea cel mai des în regresia logistică și alte GLM-uri, iar atât statsmodels, cât și R îl rulează în câteva linii de cod.

Dar amintește-ți ce înseamnă numărul. Un raport de verosimilitate arată sprijin relativ pentru o ipoteză față de alta, nu probabilitatea ca oricare dintre ele să fie adevărată. Pentru asta ai nevoie de cote a priori, ca în testarea diagnostică.

Dacă vrei să mergi mai departe, următorii pași sunt elementele de bază din spatele testului: verosimilitatea în sine, estimarea prin verosimilitate maximă și cum se compară testul Wald și alte teste de ipoteze cu LRT.

Întrebări frecvente

Ce este un raport de verosimilitate, pe înțelesul tuturor?

Un raport de verosimilitate este verosimilitatea datelor observate sub o ipoteză împărțită la verosimilitatea acelorași date sub alta. O valoare peste 1 înseamnă că datele susțin mai mult ipoteza de la numărător, iar o valoare sub 1 înseamnă că o susțin mai mult pe cea de la numitor. El arată dovezi relative între două explicații, nu probabilitatea ca vreuna să fie adevărată.

Care este diferența dintre verosimilitate și probabilitate?

Probabilitatea fixează parametrul și întreabă cât de probabile sunt rezultate diferite. Verosimilitatea fixează datele observate și întreabă cât de bine le explică diferite valori ale parametrului. Ambele folosesc aceeași formulă, dar verosimilitățile pe toate valorile posibile ale parametrului nu însumează 1, așa că o verosimilitate nu este probabilitatea unei ipoteze.

Când ar trebui să folosesc un test al raportului de verosimilitate?

Folosește-l când vrei să știi dacă un model mai complex se potrivește mai bine datelor decât unul mai simplu, iar modelul mai simplu este un caz particular al celui complex. Cel mai frecvent exemplu este verificarea dacă predictorii suplimentari îmbunătățesc o regresie logistică sau un alt GLM. Modelele trebuie potrivite prin verosimilitate maximă pe aceleași observații.

De ce este statistica testului raportului de verosimilitate înmulțită cu -2?

 Raportul verosimilității maximizate a modelului restricționat la cea a modelului complet este întotdeauna între 0 și 1, deci logaritmul său este 0 sau negativ. Semnul minus îl transformă într-un număr pozitiv care crește pe măsură ce modelul complet se potrivește mai bine. Factorul 2 scalează statistica astfel încât să urmeze aproximativ o distribuție chi-pătrat în eșantioane mari, ceea ce arată teorema lui Wilks.

Pot folosi un test al raportului de verosimilitate pentru a compara modele non-imbricate?

Nu în versiunea standard. Când niciun model nu este caz particular al celuilalt, cum ar fi un model logistic față de unul probit, statistica nu urmează o distribuție chi-pătrat, deci p-valoarea nu este validă. Folosește criterii informaționale precum AIC și BIC sau testul Vuong, care este construit pentru comparații non-imbricate.

Subiecte