Hoppa till huvudinnehållet

Likelihoodkvot: ett viktigt mått på statistisk evidens

En likelihoodkvot jämför hur väl två hypoteser eller modeller förklarar samma data, och den här artikeln täcker formeln, ett genomräknat myntkastsexempel, likelihoodkvottestet för nästlade regressionsmodeller i Python och R, samt diagnostiska likelihoodkvoter.
· 15 min läs

Utforska med AI

Har du sett termen "likelihoodkvot" i en regressionsutskrift eller en studie och inte haft en aning om vad den säger dig?

Du är inte ensam. Termen förekommer ofta i hypotesprövning, modelljämförelse, klassificering och diagnostisk testning, och varje område använder den lite olika. De flesta förklaringar börjar också med en teststatistika och en chi-två-fördelning innan du ens vet vad en likelihood är. Så du slutar med ett tal du kan räkna ut men inte förklara.

Kort sagt visar likelihood hur väl ett parametervärde eller en statistisk modell förklarar de data du observerat. En likelihoodkvot dividerar en likelihood med en annan, så att du kan se vilken av två hypoteser som får mest stöd av data, och med hur mycket.

I den här artikeln går jag igenom kärnidéerna och formeln, likelihoodkvotstestet och hur du tolkar det, samt var du ser likelihoodkvoter i praktiken.

Behöver du fräscha upp statistiken? Bläddra i vårt utbud av kurser i sannolikhet och statistik och hitta rätt nivå.

Vad är en likelihoodkvot?

En likelihoodkvot är likelihooden för de observerade data under en hypotes dividerad med likelihooden för samma data under en annan hypotes. De två hypoteserna kan vara två parametervärden eller två fullständiga statistiska modeller.

Frågan den besvarar är vilken förklaring som bäst redogör för data, inte om data är sannolika.

Det är en viktig skillnad. Varje specifik sekvens av 20 myntkast har en sannolikhet på ungefär en på en miljon under ett rättvist mynt, så en liten likelihood i sig säger inte mycket. Den blir meningsfull först i jämförelse med en annan likelihood.

Säg att du kastar ett mynt 10 gånger och får 8 krona. En hypotes säger att myntet är rättvist, med 0,5 sannolikhet för krona. En annan säger att det är snedfördelat, med 0,8 sannolikhet för krona.

Båda hypoteserna kan ge 8 krona, men det snedfördelade myntet ger det resultatet mycket oftare. Så data ger mer stöd åt den andra hypotesen, och likelihoodkvoten sätter en siffra på hur mycket mer. Jag räknar ut exakta värden i exempelsektionen senare i artikeln.

Likelihood och sannolikhet använder samma formel, men de besvarar olika frågor:

  • Sannolikhet: Fixerar parametern och frågar hur sannolika olika utfall är – till exempel chansen för 8 krona i 10 kast med ett rättvist mynt
  • Likelihood: Fixerar de observerade data och frågar hur väl olika parametervärden förklarar dem – till exempel hur väl 0,5 jämfört med 0,8 sannolikhet för krona förklarar 8 krona i 10 kast

Sannolikheter över alla möjliga utfall summerar till 1, men likelihoods över alla möjliga parametervärden gör det inte. Därför är en likelihood inte sannolikheten att en hypotes är sann, och det är inte heller en likelihoodkvot.

Hur fungerar en likelihoodkvot?

Varje likelihoodkvot följer samma fem steg:

  1. Observera data: Samla in det stickprov du vill förklara, som 8 krona i 10 kast
  2. Beräkna den första likelihooden: Ta reda på hur sannolika de observerade data är under hypotes A
  3. Beräkna den andra likelihooden: Gör samma sak under hypotes B
  4. Dividera: Sätt en likelihood i täljaren och den andra i nämnaren
  5. Tolka kvoten: Kontrollera vilken hypotes data stöder mer, och med hur mycket

Vad kvoten betyder beror på vilken likelihood som står överst. Med hypotes A i täljaren:

  • Kvot över 1: Data är mer sannolika under A, så A får mer stöd
  • Kvot under 1: Data är mer sannolika under B, så B får mer stöd
  • Kvot lika med 1: Båda hypoteserna förklarar data lika bra, och data favoriserar ingen av dem

En kvot på 4 betyder att de observerade data är fyra gånger så sannolika under A som under B. Det betyder inte att A är fyra gånger så sann som hypotes.

Om du byter plats på täljare och nämnare får du reciprokvärdet. En kvot på 4 till förmån för A blir 0,25, vilket säger samma sak från B:s perspektiv.

Konventioner skiljer sig mellan områden. Likelihoodkvotstestet sätter vanligtvis nollhypotesen i täljaren, så små värden räknas som evidens mot den, medan många andra tillämpningar sätter alternativhypotesen överst.

Så innan du tolkar en likelihoodkvot, kontrollera vilken hypotes som står i täljaren.

Formel för likelihoodkvot

Den grundläggande likelihoodkvoten dividerar en likelihood för data med en annan:

Formel för likelihoodkvot

Formel för likelihoodkvot

Här är vad varje term betyder:

  • x: De observerade data, som 8 krona i 10 kast
  • theta_1 och theta_0: De två parametervärdena eller hypoteserna du vill jämföra, till exempel 0,8 och 0,5 sannolikhet för krona
  • L(theta | x): Likelihooden för theta givet data, vilket är lika med sannolikheten för x när theta är den sanna parametern, eller dess täthet för kontinuerliga data

Med oberoende observationer är likelihooden en produkt av en sannolikhet per observation:

Likelihood med oberoende observationer

Likelihood med oberoende observationer

Och det är där problemen börjar. Varje faktor är under 1, så produkten minskar snabbt när stickprovet växer.

Sannolikheten för en specifik sekvens av 1 000 kast med ett rättvist mynt är ungefär 9,3 * 10^-302, vilket ligger nära det minsta tal en 64-bitars float kan lagra. Vid 2 000 kast returnerar 0.5 ** 2000 i Python 0.0.

Logaritmer är ett sätt att komma runt detta. Loggen av en produkt är summan av loggarna, så log-likelihood gör om en produkt av pyttesmå tal till en summa av hanterbara:

Log-likelihood

Log-likelihood

Kvoten blir en differens:

Log-likelihoodkvot

Log-likelihoodkvot

Summor är också enklare att derivera än produkter, vilket är varför maximum likelihood-estimering också arbetar med log-likelihoods.

Loggversionen läses på samma sätt som kvoten, bara runt 0 i stället för 1. Ett värde på 0 betyder lika mycket stöd, positiva värden gynnar theta_1, och negativa värden gynnar theta_0.

Exempel på likelihoodkvot

Låt oss gå tillbaka till myntet från tidigare. Du kastar det 10 gånger och får 8 krona och 2 klave.

De två hypoteserna är:

  • Hypotes 0: Myntet är rättvist, så p = 0.5

  • Hypotes 1: Myntet är snedfördelat mot krona, så p = 0.8

Antalet krona i 10 kast följer en binomialfördelning, så likelihooden för varje hypotes är:

Exempel på likelihoodkvot (1)

Exempel på likelihoodkvot

Under hypotesen om rättvist mynt:

Exempel på likelihoodkvot (2)

Exempel på likelihoodkvot

Under hypotesen om snedfördelat mynt:

Exempel på likelihoodkvot (3)

Exempel på likelihoodkvot

Likelihoodkvoten är:

Exempel på likelihoodkvot (4)

Exempel på likelihoodkvot

Binomialkoefficienten 45 förekommer i båda likelihoods, så den stryks i kvoten. Du skulle få samma 6,87 från sannolikheten för den exakta sekvensen av kast.

På enkel svenska är de observerade data ungefär 6,9 gånger så sannolika om myntet visar krona 80% av gångerna än om det är rättvist. Det är allt.

Kvoten säger inte att myntet är 6,9 gånger så sannolikt att vara snedfördelat. För att få en sannolikhet att någon av hypoteserna är sann behöver du prior-sannolikheter för båda. Med 50/50 priorodds skulle posteriorodds bli 6,87 till 1, eller cirka 87% för det snedfördelade myntet, men den siffran beror på den prior du valde.

Stödet är också relativt bara till dessa två hypoteser. Ett värde som p = 0.7 ingick inte i jämförelsen. Här råkar 0,8 också vara maximum likelihood-skattningen, eftersom 8 av 10 kast blev krona, så inget annat värde på p får mer stöd från dessa data.

Vad är ett likelihoodkvottest?

Myntexemplet jämförde två fasta värden på p. De flesta statistiska frågor är bredare, som om ett par extra prediktorer förbättrar en regressionsmodell.

Likelihoodkvotstestet besvarar den typen av fråga. Det jämför två nästlade modeller, vilket betyder att den mindre modellen är ett specialfall av den större:

  • Restriktiv modell: Representerar nollhypotesen, med vissa parametrar fixerade, vanligtvis till 0
  • Full modell: Representerar alternativhypotesen, med dessa parametrar fria att anta vilka värden som helst

Testet har fem steg:

  1. Anpassa den restriktiva modellen: Hitta parametervärdena som maximerar dess likelihood
  2. Anpassa fullmodellen: Gör samma sak med de extra parametrarna inkluderade
  3. Jämför de maximerade likelihoods: Ta deras kvot, eller differensen av deras log-likelihoods
  4. Beräkna teststatistikan: Gör om jämförelsen till ett tal med en känd fördelning
  5. Hämta p-värdet: Kontrollera hur extrem statistikan är om nollhypotesen är sann

Varje modell utvärderas vid sin maximum likelihood-skattning, inte vid ett parametervärde du valt i förväg. Det är den stora skillnaden från myntexemplet.

Likelihoodkvoten jämför vilka två hypoteser som helst och ger dig relativt stöd, men inget p-värde och inget beslut. LRT tar en kvot av maximerade likelihoods från nästlade modeller, konverterar den till en teststatistika och använder dess fördelning för att avgöra om nollhypotesen ska förkastas. Varje LRT använder en likelihoodkvot, men inte varje likelihoodkvot ingår i en LRT – de diagnostiska likelihoodkvoterna senare i artikeln är ett exempel.

Teststatistika för likelihoodkvotstest

LRT börjar med kvoten av maximerade likelihoods, med den restriktiva modellen överst:

Teststatistika för likelihoodkvotstest (1)

Teststatistika för likelihoodkvotstest

Här är theta_hat_0 maximum likelihood-skattningen under den restriktiva modellen, och theta_hat är skattningen under fullmodellen. Fullmodellen innehåller den restriktiva, så den passar alltid minst lika bra. Detta innebär att lambda ligger mellan 0 och 1.

Teststatistikan är:

Teststatistika för likelihoodkvotstest (2)

Teststatistika för likelihoodkvotstest

Logaritmer finns där av samma skäl som tidigare. De gör om en kvot av pyttesmå tal till en differens av log-likelihoods, vilket varje statistikpaket rapporterar.

-2 har två uppgifter. Eftersom lambda <= 1 är ln(lambda) 0 eller negativt, så minustecknet gör det till ett positivt tal som växer när fullmodellen passar bättre. Faktorn 2 skalar statistikan så att den följer en chi-två-fördelning. För generaliserade linjära modeller är D samma som skillnaden i deviants mellan de två modellerna, vilket är varför du ofta ser det rapporterat så.

Wilks teorem får testet att fungera. Det säger att när nollhypotesen är sann och standardmässiga regularitetsvillkor gäller, följer D ungefär en chi-två-fördelning när stickprovsstorleken växer. Enkelt uttryckt behöver modellerna vara nästlade, och nollparametervärdena kan inte ligga på kanten av det tillåtna parametergolvet. Begränsningsavsnittet senare i denna artikel täcker vad som händer när dessa villkor bryts.

Frihetsgraderna är vanligtvis lika med skillnaden i antal fria parametrar mellan de två modellerna. Om fullmodellen lägger till två prediktorer jämför du D med en chi-två-fördelning med 2 frihetsgrader.

Samma referensfördelning fungerar alltså för logistisk regression, Poissonregression och de flesta andra modeller som skattas med maximum likelihood.

Hur tolkar man ett likelihoodkvotstest?

Säg att du vill förutsäga om en kund säger upp en prenumeration. Datasetet har 1 000 kunder, och cirka 32% av dem slutade.

Du anpassar två logistiska regressionsmodeller:

  • Restriktiv modell: Förutspår churn från tenure_months enbart, med en log-likelihood på -556,88

  • Full modell: Lägger till monthly_charges och support_tickets, med en log-likelihood på -515,99

Så här gäller varje del av testet i det här exemplet:

  • Nollhypotes: Koefficienterna för monthly_charges och support_tickets är båda 0, så de extra prediktorerna förbättrar inte passformen

  • Alternativhypotes: Minst en av de två koefficienterna är inte 0

  • Teststatistika: D = 2 * (-515.99 - (-556.88)) = 81.78

  • Frihetsgrader: Fullmodellen har två fler parametrar, så testet använder 2 frihetsgrader

  • P-värde: Sannolikheten för en så här stor eller större statistika under en chi-två-fördelning med 2 frihetsgrader, vilket är ungefär 1.7 * 10^-18

Det p-värdet ligger långt under alla vanliga trösklar, som 0,05. Du förkastar nollhypotesen och drar slutsatsen att data ger stark evidens för att de extra prediktorerna förbättrar passformen.

Men att förkasta nollhypotesen betyder inte att fullmodellen är det bättre valet för ditt användningsfall.

Med stora stickprov ger även små förbättringar i passform små p-värden. Testet säger inte hur stora effekterna är eller hur väl modellen förutsäger nya data. Kontrollera koefficienterna och prestandan på holdout-data innan du behåller den större modellen.

Och ett stort p-värde bevisar inte att de extra prediktorerna är värdelösa. Det betyder bara att data inte ger tillräcklig evidens mot nollhypotesen.

Ett LRT talar om huruvida extra parametrar förbättrar passformen, och att avgöra om den förbättringen spelar roll är fortfarande ditt jobb.

Likelihoodkvottester för regressionsmodeller

Du ser LRT oftast när du jämför regressionsmodeller. Idén är alltid densamma – anpassa en restriktiv modell, anpassa en full modell och jämför deras maximerade log-likelihoods.

Logistisk regression

Logistisk regression är den vanligaste platsen där du ser LRT.

Tolkningen jämförde en modell med tenure_months med en modell som också har monthly_charges och support_tickets. Du kan gå ett steg längre och jämföra fullmodellen med en modell med enbart intercept, som förutspår samma churnsannolikhet för varje kund.

På samma churndata har intercept-endast-modellen en log-likelihood på -627,62, och fullmodellen -515,99. Detta ger D = 2 * (-515.99 - (-627.62)) = 223.27 med 3 frihetsgrader, en för varje prediktor, och ett p-värde på cirka 3,9 x 10^-48.

Detta test frågar om prediktorerna, tagna tillsammans, förklarar churn bättre än inga prediktorer alls. Det är den logistiska regressionens motsvarighet till det övergripande F-testet i linjär regression, och statsmodels rapporterar det i modellsammanfattningen som LLR p-value.

Generaliserade linjära modeller

Logistisk regression är en medlem av en större familj som kallas generaliserade linjära modeller, eller GLM. Familjen inkluderar också Poissonregression för räknevariabler och gammaregression för positiva kontinuerliga utfall, med flera.

Varje GLM rapporterar en deviants, som mäter hur långt modellen är från en perfekt passform. För två nästlade GLM:er är skillnaden i deras deviants lika med LRT-statistikan D, så testet kallas ofta en deviansanalys.

Frihetsgraderna fungerar på samma sätt som tidigare, som skillnaden i antalet parametrar. För modeller med en skattad spridningsparameter, som gamma- eller Gaussiska GLM:er, används ofta ett F-test på skillnaden i deviants i stället för chi-två-varianten.

Andra likelihood-baserade modeller

Vilken modell som helst som anpassas med maximum likelihood kan använda ett LRT, så länge modellerna är nästlade. Till exempel:

  • Blandade effekter-modeller: Jämför modeller med och utan en fast effekt, anpassade med maximum likelihood i stället för REML
  • Överlevnadsmodeller: Testa om en kovariat förbättrar en Cox proportional hazards-modell, som använder en partiell likelihood
  • Tidsseriemodeller: Jämför ARIMA-modeller av olika ordning
  • Genetik: Testa koppling mellan gener, där LOD-poäng är logaritmer (bas 10) av likelihoodkvoter

Likelihoodkvot vs. relaterade statistiska test

LRT liknar Wald-testet och score-testet. Alla tre testar samma nollhypotes, och alla tre följer en chi-två-fördelning i stora stickprov. Skillnaden ligger i vilka modeller du anpassar och vad du mäter.

Likelihoodkvotstest vs. Wald-test

LRT anpassar båda modellerna och jämför deras log-likelihoods. Wald-testet anpassar bara fullmodellen och kontrollerar hur långt varje skattning ligger från sitt nollvärde, mätt i standardfel.

För en enskild koefficient är Wald-statistikan skattningen dividerad med dess standardfel. P-värdena i en regressionssammanfattning kommer vanligtvis från detta test.

Wald-testet är snabbt, eftersom du bara anpassar en modell. Men det beror på hur du parametriserar modellen, och i logistisk regression kan det bete sig dåligt när koefficienterna är mycket stora, eftersom standardfelet växer snabbare än skattningen. LRT har inte något av dessa problem, så det är det säkrare valet.

Likelihoodkvotstest vs. score-test

Score-testet anpassar bara den restriktiva modellen.

Det tittar på lutningen för log-likelihood vid nollparametervärdena. Om nollhypotesen stämmer bör lutningen vara nära 0. En brant lutning betyder att likelihooden skulle öka om du lät dessa parametrar röra sig bort från nollvärdena.

Detta gör score-testet praktiskt när fullmodellen är dyr eller svår att anpassa. Det är också känt som Lagrange-multiplikatortestet, och används ofta för att screena kandidatprediktorer innan du lägger till dem.

Likelihoodkvotstest vs. chi-två-test

LRT-statistikan följer en chi-två-fördelning i stora stickprov, men det gör inte LRT till ett "chi-två-test" i vanlig bemärkelse.

"Chi-två-test" är en bred etikett för alla test vars statistika följer en chi-två-fördelning. Oftast menar man Pearsons chi-två-test för oberoende eller anpassning i kontingenstabeller.

De två hänger ändå ihop. Likelihoodkvotsvarianten av Pearsons test kallas G-testet, och det jämför observerade och förväntade frekvenser med log-likelihoods i stället för kvadrerade differenser. I stora stickprov ger båda liknande resultat.

Så här jämförs de tre modellbaserade testen:

 Wald-testLikelihoodkvotstestScore-test
Modeller du anpassarEndast fullRestriktiv och fullEndast restriktiv
Vad det mäterAvståndet mellan skattning och nollvärde, i standardfelGapet mellan de maximerade log-likelihoodsLutningen för log-likelihood vid nollvärdena
Var du ser detKoefficienters p-värden i regressionssammanfattningarNästlade modelljämförelser och deviansanalysScreening av nya prediktorer, modeller som är svåra att anpassa
Svag punktBeror på parametrisering, opålitligt vid mycket stora skattningarKräver att du anpassar båda modellernaAnvänder bara information nära nollvärdena
StorfördelningChi-tvåChi-tvåChi-två

Likelihoodkvot jämfört med andra statistiska test

Likelihoodkvot vs odds-kvot

Båda termerna har "kvot" i namnet, och båda är vanliga i logistisk regression. Där slutar likheten.

En likelihoodkvot jämför hur väl två hypoteser förklarar de observerade data. En odds-kvot jämför oddsen för ett utfall mellan två grupper eller betingelser.

Odds är sannolikheten för en händelse dividerad med sannolikheten att den inte inträffar. En churnsannolikhet på 25% innebär odds på 0,25 / 0,75, eller 1 till 3.

I churnmodellen från tidigare är koefficienten för support_tickets 0,456. Dess exponent ger en odds-kvot på cirka 1,58, vilket betyder att varje extra supportärende multiplicerar oddsen för churn med 1,58.

Det är ett påstående om en effekt i data. En likelihoodkvot är ett påstående om evidens – hur mycket bättre en hypotes eller modell förklarar samma data än en annan.

Så odds-kvoten svarar på "hur stor är effekten?", och likelihoodkvoten svarar på "vilken förklaring stöder data mer?"

Likelihoodkvoter i diagnostisk testning

Inom medicinen har "likelihoodkvot" en andra betydelse. Den beskriver hur mycket ett testresultat ändrar oddsen för att en patient har ett tillstånd, och den involverar inte modellpassning eller p-värden.

Diagnostiska likelihoodkvoter kommer från två egenskaper hos ett test:

  • Sensitivitet: Andelen personer med tillståndet som testar positivt
  • Specificitet: Andelen personer utan tillståndet som testar negativt

Säg att ett test har en sensitivitet på 90% och en specificitet på 80%.

Positiv likelihoodkvot

Den positiva likelihoodkvoten, eller LR+, visar hur mycket vanligare ett positivt resultat är bland personer med tillståndet än bland personer utan det:

Positiv likelihoodkvot

Positiv likelihoodkvot

För exempeltestet är det 0,9 / 0,2 = 4,5. Ett positivt resultat är 4,5 gånger så sannolikt hos någon med tillståndet. Värden över 1 höjer oddsen för tillståndet, och ju högre värde, desto mer säger ett positivt resultat.

Negativ likelihoodkvot

Den negativa likelihoodkvoten, eller LR−, visar hur sannolikt ett negativt resultat är bland personer med tillståndet jämfört med personer utan det:

Negativ likelihoodkvot

Negativ likelihoodkvot

För exempeltestet är det 0,1 / 0,8 = 0,125. Värden under 1 sänker oddsen för tillståndet, och ju närmare 0 värdet är, desto mer säger ett negativt resultat.

Från pre-test till post-test-odds

Diagnostiska likelihoodkvoter är användbara eftersom de uppdaterar det du visste innan testet:

Diagnostisk likelihoodkvot

Diagnostisk likelihoodkvot

Säg att 10% av patienter som denna har tillståndet. Det är pre-test-odds på 0,1 / 0,9, eller cirka 0,111.

Efter ett positivt resultat blir oddsen 0,111 * 4,5 = 0,5, vilket är en sannolikhet på cirka 33%. Efter ett negativt resultat blir de 0,111 * 0,125 = 0,014, eller cirka 1,4%.

Detta är det enda stället i artikeln där en likelihoodkvot leder till sannolikheten för en hypotes, och det är bara möjligt eftersom pre-test-odds tillhandahåller priorn.

Likelihoodkvottester i Python och R

Båda språken har allt du behöver för att köra ett LRT på ett par rader. Jag använder churn-datasetet som nämndes tidigare, så siffrorna matchar dem i tolknings- och regressionsavsnitten.

Likelihoodkvotstest i Python

Du behöver numpy, pandas, statsmodels och scipy. Börja med att generera datasetet:

import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from scipy import stats

# Generate a synthetic customer churn dataset
rng = np.random.default_rng(42)
n_customers = 1000

churn = pd.DataFrame({
    "tenure_months": rng.integers(1, 73, n_customers),
    "monthly_charges": rng.uniform(20, 120, n_customers).round(2),
    "support_tickets": rng.poisson(1.5, n_customers),
})

# Churn gets less likely with tenure and more likely with charges and tickets
log_odds = (
    -0.5
    - 0.04 * churn["tenure_months"]
    + 0.01 * churn["monthly_charges"]
    + 0.25 * churn["support_tickets"]
)
churn["churned"] = rng.binomial(1, 1 / (1 + np.exp(-log_odds)))

# Save the data so you can load the same dataset in R
churn.to_csv("churn.csv", index=False)

I detta dataset är churn-andelen 32,1%.

Anpassa sedan den restriktiva och den fulla logistiska regressionsmodellen. Attributet .llf håller den maximerade log-likelihooden för var och en:

# Fit the restricted and full models
reduced_model = smf.logit("churned ~ tenure_months", data=churn).fit(disp=0)
full_model = smf.logit(
    "churned ~ tenure_months + monthly_charges + support_tickets",
    data=churn,
).fit(disp=0)

# Get the maximized log-likelihoods
print(f"Restricted model log-likelihood: {reduced_model.llf:.2f}")
print(f"Full model log-likelihood: {full_model.llf:.2f}")

Log-likelihood för restriktiv och full modell

Log-likelihood för restriktiv och full modell

statsmodels har ingen allmän LRT-funktion för logistisk regression, så du beräknar statistikan från de två log-likelihoodsen. Attributet .df_model ger antalet prediktorer i varje modell, och stats.chi2.sf() returnerar p-värdet:

lr_stat = 2 * (full_model.llf - reduced_model.llf)
df_diff = full_model.df_model - reduced_model.df_model
p_value = stats.chi2.sf(lr_stat, df_diff)

print(f"LR statistic: {lr_stat:.2f}")
print(f"Degrees of freedom: {df_diff:.0f}")
print(f"P-value: {p_value:.1e}")

Teststatistika, frihetsgrader och p-värde

Teststatistika, frihetsgrader och p-värde

P-värdet är långt under 0,05, så du förkastar nollhypotesen. Data ger stark evidens för att monthly_charges och support_tickets förbättrar passformen jämfört med en modell med enbart tenure_months.

För jämförelsen mot en modell med endast intercept behöver du ingen extra kod. statsmodels beräknar den för varje logistisk regressionsmodell:

print(f"Intercept-only log-likelihood: {full_model.llnull:.2f}")
print(f"LR statistic: {full_model.llr:.2f}")
print(f"P-value: {full_model.llr_pvalue:.1e}")

Jämförelse av full modell med en intercept-endast-modell

Jämförelse av full modell med en intercept-endast-modell

Likelihoodkvotstest i R

R använder inte samma slumpgenerator som NumPy, så ladda filen churn.csv från Python-exemplet för att arbeta med identiska data. Anpassa sedan båda modellerna med glm() och skicka dem till anova():

# Load the churn dataset saved from Python
churn <- read.csv("churn.csv")

# Fit the restricted and full models
reduced_model <- glm(churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
  churned ~ tenure_months + monthly_charges + support_tickets,
  data = churn,
  family = binomial
)

# Check the maximized log-likelihoods
logLik(reduced_model)
logLik(full_model)

# Run the likelihood ratio test
anova(reduced_model, full_model, test = "Chisq")

Log-likelihoods och kvottest i R

Log-likelihoods och kvottest i R

df-värdena bredvid varje log-likelihood är antalet skattade parametrar, inklusive intercept. Fullmodellen har två fler, vilket matchar kolumnen Df i anova()-tabellen.

Kolumnen Deviance visar 81,778, samma LR-statistika som du fick i Python. Det är deviansanalysen från GLM-avsnittet i praktiken – fallet i residualdeviants från 1113,8 till 1032,0 är teststatistikan.

R skriver ut p-värdet som < 2.2e-16 eftersom det är det minsta värde det visar som standard, inte för att det skiljer sig från Python-resultatet. Oavsett är slutsatsen densamma, och de extra prediktorerna förbättrar passformen.

Om du föredrar en särskild funktion kör lrtest() från paketet lmtest samma jämförelse med lrtest(reduced_model, full_model).

Antaganden och begränsningar för likelihoodkvottester

LRT fungerar väl i de sammanhang som täckts hittills, men dess chi-två-resultat beror på ett par villkor.

Modeller behöver vara nästlade

Det standardmässiga LRT jämför bara nästlade modeller, där den restriktiva modellen är ett specialfall av fullmodellen.

Om du vill jämföra en logistisk regression med en probitmodell, eller två modeller med olika prediktorer, är ingen av dem ett specialfall av den andra. Chi-två-fördelningen gäller inte där. Använd informationskriterier som AIC och BIC, eller Vuong-testet för icke-nästlade modeller, i stället.

Båda modellerna behöver maximum likelihood-skattningar

Testet jämför maximerade likelihoods, så båda modellerna måste anpassas med maximum likelihood på samma data.

Två vanliga saker kan gå fel här. Blandade effekter-modeller som anpassas med REML, standard i många paket, kan inte jämföras med LRT när de skiljer sig i fasta effekter – så anpassa dem först med maximum likelihood. Och regulariserade modeller som lasso eller ridge-regression maximerar inte själva likelihooden, så det vanliga testet gäller inte för dem.

Modellerna behöver också samma observationer. Om en prediktor har saknade värden kan fullmodellen ta bort rader, och de två log-likelihoods är inte längre jämförbara.

Chi-två-resultatet är asymptotiskt

Wilks teorem är ett storstickprovsresultat. Det gäller under regularitetsvillkor, vilket enkelt uttryckt betyder att likelihooden är slät, parametrarna är identifierbara och de sanna parametervärdena ligger inom det tillåtna intervallet snarare än på dess kant.

När dessa villkor är uppfyllda är chi-två-fördelningen en bra approximation för stora stickprov. Det är fortfarande en approximation.

Små stickprov

Med små stickprov kan LRT-statistikan avvika från chi-två-fördelningen, och p-värdena kan bli för små eller för stora.

Du har ett par alternativ här. En parametrisk bootstrap simulerar nya dataset från den restriktiva modellen och bygger statistikan fördelning. För enkla fall, som kontingenstabeller, undviker exakta test approximationen.

Parametrar på randvillkor

Vissa nollhypoteser placerar en parameter på kanten av dess tillåtna intervall. Det vanligaste exemplet är att testa om en slumpmässig varianskomponent i en blandad modell är lika med 0, eftersom en varians inte kan vara negativ.

I detta fall följer statistikan inte den vanliga chi-två-fördelningen. För en enskild varianskomponent följer den en 50:50-blandning av en chi-två med 0 och 1 frihetsgrad, så det standardmässiga p-värdet är ungefär dubbelt så stort som det borde vara. Det standardmässiga testet är konservativt här, vilket betyder att det missar verkliga effekter oftare.

Att testa antalet komponenter i en blandningsmodell har ett liknande problem. När du jämför en komponent med två faller regularitetsvillkoren, och chi-två-approximationen gäller inte alls.

Modellmisspecifikation

LRT antar att fullmodellen är korrekt. Om båda modellerna missar datans fördelning, som en Poissonmodell för räkningar med mycket större varians än medelvärdet, kommer statistikan inte att följa en chi-två-fördelning ens i stora stickprov.

Kontrollera passformen för din fullmodell innan du litar på testet. För överdispergerade räkningar är en negativ binomialmodell eller ett F-test med kvasi-likelihood ofta ett bättre val.

Så chi-två-approximationen är en standard, inte en garanti, och den gäller bara när upplägget matchar villkoren bakom Wilks teorem.

Slutsats

En likelihoodkvot jämför hur väl två hypoteser eller modeller förklarar samma observerade data. Det är hela idén, och allt annat i den här artikeln bygger på den.

Likelihoodkvotstestet gör om den idén till en formell procedur. Det anpassar två nästlade modeller, jämför deras maximerade log-likelihoods och använder chi-två-fördelningen för att få ett p-värde. Du ser det oftast i logistisk regression och andra GLM:er, och både statsmodels och R kör det på ett par kodrader.

Men kom ihåg vad siffran betyder. En likelihoodkvot visar relativt stöd för en hypotes över en annan, inte sannolikheten att någon av dem är sann. För att få det behöver du prior-odds, som i diagnostisk testning.

Om du vill gå vidare är nästa steg byggstenarna bakom testet: själva likelihooden, maximum likelihood-estimering, och hur Wald-testet och andra hypotesprövningar jämförs med LRT.

FAQs

Vad är en likelihoodkvot i enkla ordalag?

En likelihoodkvot är likelihooden för de observerade data under en hypotes dividerad med likelihooden för samma data under en annan. Ett värde över 1 betyder att data stöder hypotesen i täljaren mer, och ett värde under 1 betyder att de stöder den i nämnaren mer. Den visar relativ evidens mellan två förklaringar, inte sannolikheten att någon av dem är sann.

Vad är skillnaden mellan likelihood och sannolikhet?

Sannolikhet fixerar parametern och frågar hur sannolika olika utfall är. Likelihood fixerar de observerade data och frågar hur väl olika parametervärden förklarar dem. Båda använder samma formel, men likelihoods över alla möjliga parametervärden summerar inte till 1, så en likelihood är inte sannolikheten för en hypotes.

När ska jag använda ett likelihoodkvotstest?

Använd det när du vill veta om en mer komplex modell passar data bättre än en enklare, och den enklare modellen är ett specialfall av den mer komplexa. Det vanligaste exemplet är att kontrollera om extra prediktorer förbättrar en logistisk regression eller en annan GLM. Modellerna behöver anpassas med maximum likelihood på samma observationer.

Varför multipliceras likelihoodkvottestets statistika med -2?

 Kvoten mellan den restriktiva och den fulla maximerade likelihooden ligger alltid mellan 0 och 1, så dess logg är 0 eller negativ. Minustecknet gör det till ett positivt tal som växer när fullmodellen passar bättre. Faktorn 2 skalar statistikan så att den ungefär följer en chi-två-fördelning i stora stickprov, vilket är vad Wilks teorem visar.

Kan jag använda ett likelihoodkvotstest för att jämföra icke-nästlade modeller?

Inte standardversionen. När ingen modell är ett specialfall av den andra, som en logistisk kontra en probitmodell, följer statistikan inte en chi-två-fördelning, så p-värdet är inte giltigt. Använd informationskriterier som AIC och BIC, eller Vuong-testet, som är byggt för icke-nästlade jämförelser.

Ämnen