Vai al contenuto principale

Rapporto di verosimiglianza: una misura importante dell’evidenza statistica

Un rapporto di verosimiglianza confronta quanto bene due ipotesi o modelli spiegano gli stessi dati; questo articolo copre la formula, un esempio sui lanci di moneta, il test del rapporto di verosimiglianza per modelli di regressione annidati in Python e R e i rapporti di verosimiglianza diagnostici.
· 15 min leggi

Scopri con l'IA

Ti è mai capitato di vedere il termine "rapporto di verosimiglianza" in un output di regressione o in uno studio e non avere idea di cosa ti stia dicendo?

Non sei l’unico. Il termine compare spesso nei test d’ipotesi, nel confronto tra modelli, nella classificazione e nei test diagnostici, e ogni ambito lo usa in modo un po’ diverso. Molte spiegazioni partono inoltre da una statistica test e da una distribuzione chi-quadrato prima ancora che tu sappia cos’è una verosimiglianza. Così finisci con un numero che sai calcolare ma non spiegare.

In breve, la verosimiglianza mostra quanto bene un valore di parametro o un modello statistico spiega i dati che hai osservato. Un rapporto di verosimiglianza divide una verosimiglianza per un’altra, così puoi vedere quale delle due ipotesi riceve più supporto dai dati, e di quanto.

In questo articolo ti guiderò attraverso l’idea di base e la formula, il test del rapporto di verosimiglianza e come interpretarlo, e dove incontrerai i rapporti di verosimiglianza nella pratica.

Ti serve un ripasso di statistica? Dai un’occhiata al nostro catalogo di corsi di Probabilità e Statistica e trova quello giusto per te.

Cos’è un rapporto di verosimiglianza?

Un rapporto di verosimiglianza è la verosimiglianza dei dati osservati sotto un’ipotesi divisa per la verosimiglianza degli stessi dati sotto un’altra ipotesi. Le due ipotesi possono essere due valori di parametro o due modelli statistici completi.

La domanda a cui risponde è quale spiegazione rende conto meglio dei dati, non se i dati sono probabili.

È una differenza importante. Qualsiasi sequenza specifica di 20 lanci di moneta ha una probabilità di circa uno su un milione sotto una moneta equa, quindi una verosimiglianza piccola da sola non dice molto. Ha senso solo accanto a un’altra verosimiglianza.

Mettiamo che tu lanci una moneta 10 volte e ottenga 8 teste. Un’ipotesi dice che la moneta è equa, con probabilità di testa 0,5. Un’altra dice che è sbilanciata, con probabilità di testa 0,8.

Entrambe le ipotesi possono produrre 8 teste, ma la moneta sbilanciata produce quel risultato molto più spesso. Quindi i dati danno più supporto alla seconda ipotesi, e il rapporto di verosimiglianza mette un numero su quanto di più. Calcolerò i valori esatti nella sezione degli esempi più avanti in questo articolo.

Verosimiglianza e probabilità usano la stessa formula, ma rispondono a domande diverse:

  • Probabilità: Fissa il parametro e chiede quanto siano probabili diversi esiti - per esempio, la probabilità di 8 teste in 10 lanci con una moneta equa
  • Verosimiglianza: Fissa i dati osservati e chiede quanto bene diversi valori del parametro li spiegano - per esempio, quanto bene una probabilità di testa 0,5 rispetto a 0,8 spiega 8 teste in 10 lanci

Le probabilità su tutti i possibili esiti sommano a 1, ma le verosimiglianze su tutti i possibili valori del parametro no. Ecco perché una verosimiglianza non è la probabilità che un’ipotesi sia vera, e nemmeno un rapporto di verosimiglianza lo è.

Come funziona un rapporto di verosimiglianza?

Ogni rapporto di verosimiglianza segue gli stessi cinque passaggi:

  1. Osserva i dati: Raccogli il campione che vuoi spiegare, ad esempio 8 teste in 10 lanci
  2. Calcola la prima verosimiglianza: Trova quanto sono probabili i dati osservati sotto l’ipotesi A
  3. Calcola la seconda verosimiglianza: Fai lo stesso sotto l’ipotesi B
  4. Dividi: Metti una verosimiglianza al numeratore e l’altra al denominatore
  5. Interpreta il rapporto: Verifica quale ipotesi i dati supportano di più e di quanto

Il significato del rapporto dipende da quale verosimiglianza metti sopra. Con l’ipotesi A al numeratore:

  • Rapporto sopra 1: I dati sono più probabili sotto A, quindi A ottiene più supporto
  • Rapporto sotto 1: I dati sono più probabili sotto B, quindi B ottiene più supporto
  • Rapporto uguale a 1: Entrambe le ipotesi spiegano i dati allo stesso modo, e i dati non favoriscono nessuna delle due

Un rapporto di 4 significa che i dati osservati sono quattro volte più probabili sotto A che sotto B. Non significa che A sia quattro volte più probabile che sia vera.

Se scambi numeratore e denominatore, ottieni il reciproco. Un rapporto di 4 a favore di A diventa 0,25, che dice la stessa cosa dal lato di B.

Le convenzioni differiscono tra ambiti. Il test del rapporto di verosimiglianza di solito mette l’ipotesi nulla al numeratore, quindi valori piccoli contano come evidenza contro di essa, mentre molte altre applicazioni mettono l’ipotesi alternativa sopra.

Quindi, prima di interpretare qualsiasi rapporto di verosimiglianza, controlla quale ipotesi è al numeratore.

Formula del rapporto di verosimiglianza

Il rapporto di verosimiglianza di base divide una verosimiglianza dei dati per un’altra:

Likelihood ratio formula

Formula del rapporto di verosimiglianza

Ecco cosa significa ciascun termine:

  • x: I dati osservati, come 8 teste in 10 lanci
  • theta_1 e theta_0: I due valori di parametro o ipotesi che vuoi confrontare, come una probabilità di testa 0,8 e 0,5
  • L(theta | x): La verosimiglianza di theta dati i dati, che è uguale alla probabilità di x quando theta è il vero parametro, o la sua densità per dati continui

Con osservazioni indipendenti, la verosimiglianza è un prodotto di una probabilità per osservazione:

Likelihood with independent observations

Verosimiglianza con osservazioni indipendenti

Ed è qui che iniziano i problemi. Ogni fattore è inferiore a 1, quindi il prodotto si riduce rapidamente all’aumentare del campione.

La probabilità di una sequenza specifica di 1.000 lanci con una moneta equa è circa 9,3 * 10^-302, che è vicino al numero più piccolo memorizzabile da un float a 64 bit. Con 2.000 lanci, 0.5 ** 2000 in Python restituisce 0.0.

I logaritmi sono un modo per aggirare il problema. Il logaritmo di un prodotto è la somma dei logaritmi, quindi la log-verosimiglianza trasforma un prodotto di numeri minuscoli in una somma di numeri gestibili:

Log likelihood

Log-verosimiglianza

Il rapporto diventa una differenza:

Log likelihood ratio

Rapporto di log-verosimiglianze

Le somme sono anche più semplici da derivare rispetto ai prodotti, motivo per cui la stima di massima verosimiglianza funziona anch’essa con le log-verosimiglianze.

La versione log si legge come il rapporto, solo attorno a 0 invece che a 1. Un valore pari a 0 significa supporto uguale, valori positivi favoriscono theta_1 e valori negativi favoriscono theta_0.

Esempio di rapporto di verosimiglianza

Torniamo alla moneta di prima. La lanci 10 volte e ottieni 8 teste e 2 croci.

Le due ipotesi sono:

  • Ipotesi 0: La moneta è equa, quindi p = 0.5

  • Ipotesi 1: La moneta è sbilanciata a favore di testa, quindi p = 0.8

Il numero di teste in 10 lanci segue una distribuzione binomiale, quindi la verosimiglianza di ciascuna ipotesi è:

Likelihood ratio example (1)

Esempio di rapporto di verosimiglianza

Sotto l’ipotesi della moneta equa:

Likelihood ratio example (2)

Esempio di rapporto di verosimiglianza

Sotto l’ipotesi della moneta sbilanciata:

Likelihood ratio example (3)

Esempio di rapporto di verosimiglianza

Il rapporto di verosimiglianza è:

Likelihood ratio example (4)

Esempio di rapporto di verosimiglianza

Il coefficiente binomiale 45 compare in entrambe le verosimiglianze, quindi si annulla nel rapporto. Otterresti lo stesso 6,87 dalla probabilità della sequenza esatta di lanci.

In parole semplici, i dati osservati sono circa 6,9 volte più probabili se la moneta dà testa l’80% delle volte che se è equa. Tutto qui.

Il rapporto non dice che la moneta è 6,9 volte più probabile che sia sbilanciata. Per ottenere la probabilità che una delle ipotesi sia vera, ti servono probabilità a priori per entrambe. Con probabilità a priori 50/50, le probabilità a posteriori sarebbero 6,87 a 1, ovvero circa l’87% per la moneta sbilanciata, ma quel numero dipende dal prior che hai scelto.

Il supporto è anche relativo solo a queste due ipotesi. Un valore come p = 0.7 non faceva parte del confronto. Qui, 0,8 è anche la stima di massima verosimiglianza, perché 8 su 10 lanci sono usciti testa, quindi nessun altro valore di p ottiene più supporto da questi dati.

Cos’è un test del rapporto di verosimiglianza?

L’esempio della moneta ha confrontato due valori fissi di p. La maggior parte delle domande in statistica è più ampia, come se un paio di predittori in più migliorino un modello di regressione.

Il test del rapporto di verosimiglianza risponde a questo tipo di domanda. Confronta due modelli annidati, il che significa che il modello più piccolo è un caso particolare di quello più grande:

  • Modello ristretto: Rappresenta l’ipotesi nulla, con alcuni parametri fissati, di solito a 0
  • Modello completo: Rappresenta l’ipotesi alternativa, con quei parametri liberi di assumere qualsiasi valore

Il test ha cinque passaggi:

  1. Adatta il modello ristretto: Trova i valori dei parametri che massimizzano la sua verosimiglianza
  2. Adatta il modello completo: Fai lo stesso includendo i parametri extra
  3. Confronta le verosimiglianze massimizzate: Prendi il loro rapporto, o la differenza delle loro log-verosimiglianze
  4. Calcola la statistica test: Trasforma quel confronto in un numero con una distribuzione nota
  5. Ottieni il p-value: Verifica quanto è estremo il valore della statistica se l’ipotesi nulla è vera

Ogni modello è valutato alla sua stima di massima verosimiglianza, non a un valore di parametro scelto in anticipo. Questa è la principale differenza rispetto all’esempio della moneta.

Il rapporto di verosimiglianza confronta due ipotesi qualsiasi e ti dà un supporto relativo, ma niente p-value e nessuna decisione. L’LRT prende un rapporto di verosimiglianze massimizzate da modelli annidati, lo converte in una statistica test e usa la sua distribuzione per decidere se rifiutare l’ipotesi nulla. Ogni LRT usa un rapporto di verosimiglianza, ma non ogni rapporto di verosimiglianza fa parte di un LRT - i rapporti di verosimiglianza diagnostici più avanti in questo articolo ne sono un esempio.

Statistica del test del rapporto di verosimiglianza

L’LRT parte dal rapporto delle verosimiglianze massimizzate, con il modello ristretto sopra:

Likelihood ratio test statistic (1)

Statistica del test del rapporto di verosimiglianza

Qui, theta_hat_0 è la stima di massima verosimiglianza sotto il modello ristretto, e theta_hat è la stima sotto il modello completo. Il modello completo contiene quello ristretto, quindi si adatta sempre almeno altrettanto bene. Questo significa che lambda è tra 0 e 1.

La statistica test è:

Likelihood ratio test statistic (2)

Statistica del test del rapporto di verosimiglianza

I logaritmi sono lì per lo stesso motivo di prima. Trasformano un rapporto di numeri minuscoli in una differenza di log-verosimiglianze, che ogni software statistico riporta.

Il -2 ha due compiti. Dato che lambda <= 1, ln(lambda) è 0 o negativo, quindi il segno meno lo trasforma in un numero positivo che cresce man mano che il modello completo si adatta meglio. Il fattore 2 scala la statistica in modo che segua una distribuzione chi-quadrato. Per i modelli lineari generalizzati, D è lo stesso della differenza di devianza tra i due modelli, motivo per cui spesso la vedrai riportata così.

Il teorema di Wilks fa funzionare il test. Dice che quando l’ipotesi nulla è vera e valgono le regolari condizioni di regolarità, D segue approssimativamente una distribuzione chi-quadrato all’aumentare della dimensione del campione. In parole povere, i modelli devono essere annidati e i valori nulli dei parametri non possono essere sul bordo dell’intervallo consentito. La sezione sulle limitazioni più avanti spiega cosa succede quando queste condizioni non tengono.

I gradi di libertà di solito equivalgono alla differenza nel numero di parametri liberi tra i due modelli. Se il modello completo aggiunge due predittori, confronti D con una distribuzione chi-quadrato con 2 gradi di libertà.

Quindi la stessa distribuzione di riferimento funziona per regressione logistica, regressione di Poisson e la maggior parte degli altri modelli stimati per massima verosimiglianza.

Come interpretare un test del rapporto di verosimiglianza

Mettiamo che tu voglia prevedere se un cliente annulla un abbonamento. Il dataset ha 1.000 clienti e circa il 32% ha fatto churn.

Adatti due modelli di regressione logistica:

  • Modello ristretto: Predice il churn da tenure_months soltanto, con log-verosimiglianza -556,88

  • Modello completo: Aggiunge monthly_charges e support_tickets, con log-verosimiglianza -515,99

Ecco come si applica ogni parte del test a questo esempio:

  • Ipotesi nulla: I coefficienti di monthly_charges e support_tickets sono entrambi 0, quindi i predittori extra non migliorano l’adattamento

  • Ipotesi alternativa: Almeno uno di quei due coefficienti non è 0

  • Statistica test: D = 2 * (-515.99 - (-556.88)) = 81.78

  • Gradi di libertà: Il modello completo ha due parametri in più, quindi il test usa 2 gradi di libertà

  • P-value: La probabilità di una statistica così grande o maggiore sotto una distribuzione chi-quadrato con 2 gradi di libertà, che è circa 1.7 * 10^-18

Quel p-value è molto al di sotto di qualsiasi soglia comune, come 0,05. Rifiuti l’ipotesi nulla e concludi che i dati forniscono una forte evidenza che i predittori extra migliorano l’adattamento.

Ma rifiutare la nulla non significa che il modello completo sia la scelta migliore per il tuo caso d’uso.

Con campioni grandi, anche miglioramenti minimi nell’adattamento producono p-value piccoli. Il test non ti dice quanto sono grandi gli effetti o quanto bene il modello predice nuovi dati. Controlla i coefficienti e le performance su dati di validazione prima di tenere il modello più grande.

E un p-value grande non dimostra che i predittori extra siano inutili. Significa solo che i dati non forniscono abbastanza evidenza contro l’ipotesi nulla.

Un LRT ti dice se parametri extra migliorano l’adattamento, e decidere se tale miglioramento conta è comunque compito tuo.

Test del rapporto di verosimiglianza per modelli di regressione

Vedrai l’LRT più spesso quando confronti modelli di regressione. L’idea resta sempre la stessa: adatta un modello ristretto, adatta un modello completo e confronta le loro log-verosimiglianze massimizzate.

Regressione logistica

La regressione logistica è il luogo più comune in cui vedere l’LRT.

La sezione sull’interpretazione confrontava un modello con tenure_months con un modello che ha anche monthly_charges e support_tickets. Puoi fare un passo in più e confrontare il modello completo con un modello solo intercetta, che predice la stessa probabilità di churn per ogni cliente.

Sugli stessi dati di churn, il modello solo intercetta ha una log-verosimiglianza di -627,62 e il modello completo di -515,99. Questo dà D = 2 * (-515.99 - (-627.62)) = 223.27 con 3 gradi di libertà, uno per ciascun predittore, e un p-value di circa 3,9 x 10^-48.

Questo test chiede se i predittori, presi insieme, spiegano il churn meglio di nessun predittore. È la versione per la regressione logistica del test F complessivo nella regressione lineare, e statsmodels lo riporta nel sommario del modello come LLR p-value.

Modelli lineari generalizzati

La regressione logistica è un membro di una famiglia più ampia chiamata modelli lineari generalizzati, o GLM. La famiglia include anche la regressione di Poisson per conteggi e la regressione gamma per esiti continui positivi, tra gli altri.

Ogni GLM riporta una devianza, che misura quanto il modello si discosta da un adattamento perfetto. Per due GLM annidati, la differenza fra le loro devianze è uguale alla statistica LRT D, quindi il test è spesso chiamato analisi della devianza.

I gradi di libertà funzionano come prima, come differenza nel numero di parametri. Per modelli con un parametro di dispersione stimato, come i GLM gamma o gaussiani, spesso si usa un test F sulla differenza di devianza invece della versione chi-quadrato.

Altri modelli basati sulla verosimiglianza

Qualsiasi modello stimato per massima verosimiglianza può usare un LRT, purché i modelli siano annidati. Per esempio:

  • Modelli a effetti misti: Confronta modelli con e senza un effetto fisso, stimati con massima verosimiglianza anziché REML
  • Modelli di sopravvivenza: Verifica se una covariata migliora un modello di Cox a rischi proporzionali, che usa una verosimiglianza parziale
  • Serie storiche: Confronta modelli ARIMA di ordini diversi
  • Genetica: Test di linkage tra geni, dove gli LOD score sono rapporti di log-verosimiglianze in base 10

Rapporto di verosimiglianza vs test statistici correlati

L’LRT è simile al test di Wald e al test score. Tutti e tre testano la stessa ipotesi nulla e, con campioni grandi, seguono una distribuzione chi-quadrato. La differenza sta in quali modelli adatti e in cosa misuri.

Test del rapporto di verosimiglianza vs test di Wald

L’LRT adatta entrambi i modelli e confronta le loro log-verosimiglianze. Il test di Wald adatta solo il modello completo e verifica quanto ciascuna stima si discosta dal suo valore nullo, misurato in errori standard.

Per un singolo coefficiente, la statistica di Wald è la stima divisa per il suo errore standard. I p-value in una tabella di sommario della regressione provengono di solito da questo test.

Il test di Wald è veloce, perché adatti un solo modello. Ma dipende da come parametrizzi il modello e, in regressione logistica, può comportarsi male quando i coefficienti sono molto grandi, perché l’errore standard cresce più velocemente della stima. L’LRT non ha nessuno dei due problemi, quindi è la scelta più sicura.

Test del rapporto di verosimiglianza vs test score

Il test score adatta solo il modello ristretto.

Osserva la pendenza della log-verosimiglianza ai valori nulli dei parametri. Se l’ipotesi nulla è giusta, la pendenza dovrebbe essere vicina a 0. Una pendenza ripida significa che la verosimiglianza aumenterebbe se lasciassi quei parametri muoversi via dal valore nullo.

Questo rende il test score utile quando il modello completo è costoso o difficile da adattare. È noto anche come test del moltiplicatore di Lagrange, e viene spesso usato per scremare predittori candidati prima di aggiungerli.

Test del rapporto di verosimiglianza vs test chi-quadrato

La statistica dell’LRT segue una distribuzione chi-quadrato con campioni grandi, ma questo non rende l’LRT un "test chi-quadrato" nel senso usuale.

"Test chi-quadrato" è un’etichetta ampia per qualsiasi test la cui statistica segue una distribuzione chi-quadrato. Per lo più, lo si usa per indicare il test chi-quadrato di Pearson per l’indipendenza o l’adeguatezza in tabelle di contingenza.

I due sono collegati, però. La versione a rapporto di verosimiglianza del test di Pearson si chiama G-test e confronta conteggi osservati e attesi con log-verosimiglianze invece che con differenze al quadrato. Con campioni grandi, entrambi danno risultati simili.

Ecco come si confrontano i tre test basati su modelli:

 Test di WaldTest del rapporto di verosimiglianzaTest score
Modelli che adattiSolo completoRistretto e completoSolo ristretto
Cosa misuraDistanza della stima dal valore nullo, in errori standardGap tra le log-verosimiglianze massimizzatePendenza della log-verosimiglianza ai valori nulli
Dove lo vedraiP-value dei coefficienti nei sommari di regressioneConfronto di modelli annidati e analisi della devianzaScreening di nuovi predittori, modelli difficili da adattare
Punto deboleDipende dalla parametrizzazione, inaffidabile con stime molto grandiRichiede di adattare entrambi i modelliUsa solo informazioni vicino ai valori nulli
Distribuzione asintoticaChi-quadratoChi-quadratoChi-quadrato

Rapporto di verosimiglianza rispetto ad altri test statistici

Rapporto di verosimiglianza vs odds ratio

Entrambi i termini hanno "rapporto" nel nome ed entrambi sono comuni nella regressione logistica. Qui finisce la somiglianza.

Un rapporto di verosimiglianza confronta quanto bene due ipotesi spiegano i dati osservati. Un odds ratio confronta le odds di un esito tra due gruppi o condizioni.

Le odds sono la probabilità di un evento divisa per la probabilità che non accada. Una probabilità di churn del 25% significa odds di 0,25 / 0,75, cioè 1 a 3.

Nel modello di churn di prima, il coefficiente di support_tickets è 0,456. Il suo esponenziale dà un odds ratio di circa 1,58, il che significa che ogni ticket di supporto in più moltiplica le odds di churn per 1,58.

Questa è un’affermazione su un effetto nei dati. Un rapporto di verosimiglianza è un’affermazione sull’evidenza: quanto meglio un’ipotesi o un modello spiega gli stessi dati rispetto a un’altra.

Quindi l’odds ratio risponde a "quanto è grande l’effetto?", e il rapporto di verosimiglianza risponde a "quale spiegazione i dati supportano di più?"

Rapporti di verosimiglianza nei test diagnostici

In medicina, "rapporto di verosimiglianza" ha un secondo significato. Descrive quanto un risultato di test cambia le odds che un paziente abbia una condizione, e non prevede adattamento di modelli o p-value.

I rapporti di verosimiglianza diagnostici derivano da due proprietà di un test:

  • Sensibilità: La quota di persone con la condizione che risultano positive
  • Specificità: La quota di persone senza la condizione che risultano negative

Mettiamo che un test abbia sensibilità 90% e specificità 80%.

Rapporto di verosimiglianza positivo

Il rapporto di verosimiglianza positivo, o LR+, mostra quanto è più probabile un risultato positivo tra le persone con la condizione rispetto a quelle senza:

Positive likelihood ratio

Rapporto di verosimiglianza positivo

Per il test di esempio, è 0,9 / 0,2 = 4,5. Un risultato positivo è 4,5 volte più probabile in qualcuno con la condizione. Valori sopra 1 aumentano le odds della condizione e, più alto è il valore, più un risultato positivo ti dice.

Rapporto di verosimiglianza negativo

Il rapporto di verosimiglianza negativo, o LR-, mostra quanto è probabile un risultato negativo tra le persone con la condizione rispetto a quelle senza:

Negative likelihood ratio

Rapporto di verosimiglianza negativo

Per il test di esempio, è 0,1 / 0,8 = 0,125. Valori sotto 1 riducono le odds della condizione e, più il valore è vicino a 0, più un risultato negativo ti dice.

Dalle odds pre-test alle odds post-test

I rapporti di verosimiglianza diagnostici sono utili perché aggiornano ciò che sapevi prima del test:

Diagnostic likelihood ratio

Rapporto di verosimiglianza diagnostico

Mettiamo che il 10% di pazienti come questo abbia la condizione. Sono odds pre-test di 0,1 / 0,9, cioè circa 0,111.

Dopo un risultato positivo, le odds diventano 0,111 * 4,5 = 0,5, cioè una probabilità di circa il 33%. Dopo un risultato negativo, diventano 0,111 * 0,125 = 0,014, ovvero circa l’1,4%.

Questo è l’unico punto dell’articolo in cui un rapporto di verosimiglianza porta alla probabilità di un’ipotesi, ed è possibile solo perché le odds pre-test forniscono il prior.

Test del rapporto di verosimiglianza in Python e R

Entrambi i linguaggi hanno tutto il necessario per eseguire un LRT in un paio di righe. Userò il dataset di churn menzionato prima, così i numeri corrispondono a quelli nelle sezioni su interpretazione e regressione.

Test del rapporto di verosimiglianza in Python

Ti serviranno numpy, pandas, statsmodels e scipy. Inizia generando il dataset:

import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from scipy import stats

# Generate a synthetic customer churn dataset
rng = np.random.default_rng(42)
n_customers = 1000

churn = pd.DataFrame({
    "tenure_months": rng.integers(1, 73, n_customers),
    "monthly_charges": rng.uniform(20, 120, n_customers).round(2),
    "support_tickets": rng.poisson(1.5, n_customers),
})

# Churn gets less likely with tenure and more likely with charges and tickets
log_odds = (
    -0.5
    - 0.04 * churn["tenure_months"]
    + 0.01 * churn["monthly_charges"]
    + 0.25 * churn["support_tickets"]
)
churn["churned"] = rng.binomial(1, 1 / (1 + np.exp(-log_odds)))

# Save the data so you can load the same dataset in R
churn.to_csv("churn.csv", index=False)

In questo dataset, il rapporto di churn è 32,1%.

Poi, adatta i modelli di regressione logistica ristretto e completo. L’attributo .llf contiene la log-verosimiglianza massimizzata di ciascuno:

# Fit the restricted and full models
reduced_model = smf.logit("churned ~ tenure_months", data=churn).fit(disp=0)
full_model = smf.logit(
    "churned ~ tenure_months + monthly_charges + support_tickets",
    data=churn,
).fit(disp=0)

# Get the maximized log-likelihoods
print(f"Restricted model log-likelihood: {reduced_model.llf:.2f}")
print(f"Full model log-likelihood: {full_model.llf:.2f}")

Restricted and full model log likelihood

Log-verosimiglianze del modello ristretto e completo

statsmodels non ha una funzione LRT generale per la regressione logistica, quindi calcoli la statistica dalle due log-verosimiglianze. L’attributo .df_model fornisce il numero di predittori in ciascun modello e stats.chi2.sf() restituisce il p-value:

lr_stat = 2 * (full_model.llf - reduced_model.llf)
df_diff = full_model.df_model - reduced_model.df_model
p_value = stats.chi2.sf(lr_stat, df_diff)

print(f"LR statistic: {lr_stat:.2f}")
print(f"Degrees of freedom: {df_diff:.0f}")
print(f"P-value: {p_value:.1e}")

Test statistic, degrees of freedom, and p-value

Statistica test, gradi di libertà e p-value

Il p-value è molto inferiore a 0,05, quindi rifiuti l’ipotesi nulla. I dati forniscono una forte evidenza che monthly_charges e support_tickets migliorano l’adattamento rispetto a un modello con il solo tenure_months.

Per il confronto con un modello solo intercetta, non ti serve altro codice. statsmodels lo calcola per ogni modello di regressione logistica:

print(f"Intercept-only log-likelihood: {full_model.llnull:.2f}")
print(f"LR statistic: {full_model.llr:.2f}")
print(f"P-value: {full_model.llr_pvalue:.1e}")

Comparison of a full model to an intercept-only model

Confronto di un modello completo con un modello solo intercetta

Test del rapporto di verosimiglianza in R

R non usa lo stesso generatore di numeri casuali di NumPy, quindi carica il file churn.csv dall’esempio Python per lavorare con dati identici. Poi adatta entrambi i modelli con glm() e passali a anova():

# Load the churn dataset saved from Python
churn <- read.csv("churn.csv")

# Fit the restricted and full models
reduced_model <- glm(churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
  churned ~ tenure_months + monthly_charges + support_tickets,
  data = churn,
  family = binomial
)

# Check the maximized log-likelihoods
logLik(reduced_model)
logLik(full_model)

# Run the likelihood ratio test
anova(reduced_model, full_model, test = "Chisq")

Log likelihoods and ratio test in R

Log-verosimiglianze e test del rapporto in R

I valori df accanto a ciascuna log-verosimiglianza sono il numero di parametri stimati, intercetta inclusa. Il modello completo ne ha due in più, in linea con la colonna Df nella tabella di anova().

La colonna Deviance mostra 81,778, la stessa statistica LR ottenuta in Python. È l’analisi della devianza della sezione sui GLM in azione: il calo della devianza residua da 1113,8 a 1032,0 è la statistica test.

R stampa il p-value come < 2.2e-16 perché è il valore più piccolo che mostra di default, non perché differisca dal risultato in Python. In ogni caso, la conclusione è la stessa, e i predittori extra migliorano l’adattamento.

Se preferisci una funzione dedicata, lrtest() del pacchetto lmtest esegue lo stesso confronto con lrtest(reduced_model, full_model).

Assunzioni e limitazioni dei test del rapporto di verosimiglianza

L’LRT funziona bene negli scenari finora trattati, ma il suo risultato chi-quadrato dipende da un paio di condizioni.

I modelli devono essere annidati

L’LRT standard confronta solo modelli annidati, dove il modello ristretto è un caso particolare di quello completo.

Se vuoi confrontare una regressione logistica con un modello probit, o due modelli con predittori diversi, nessuno è un caso particolare dell’altro. La distribuzione chi-quadrato non si applica lì. Usa criteri informativi come AIC e BIC, o il test di Vuong per modelli non annidati.

Entrambi i modelli devono avere stime di massima verosimiglianza

Il test confronta verosimiglianze massimizzate, quindi entrambi i modelli devono essere stimati per massima verosimiglianza sugli stessi dati.

Qui possono andare storte due cose comuni. I modelli a effetti misti stimati con REML, impostazione predefinita in molti pacchetti, non possono essere confrontati con un LRT quando differiscono negli effetti fissi - quindi riadattali prima con massima verosimiglianza. E i modelli penalizzati come lasso o ridge non massimizzano la verosimiglianza in sé, quindi il test usuale non si applica.

I modelli devono anche usare le stesse osservazioni. Se un predittore ha valori mancanti, il modello completo potrebbe eliminare righe e le due log-verosimiglianze non sono più confrontabili.

Il risultato chi-quadrato è asintotico

Il teorema di Wilks è un risultato per campioni grandi. Vale sotto condizioni di regolarità che, in parole povere, significano che la verosimiglianza è liscia, i parametri sono identificabili e i veri valori dei parametri sono all’interno dell’intervallo consentito piuttosto che sul bordo.

Quando queste condizioni sono vere, la distribuzione chi-quadrato è una buona approssimazione per campioni grandi. Resta comunque un’approssimazione.

Campioni piccoli

Con campioni piccoli, la statistica LRT potrebbe non seguire una distribuzione chi-quadrato e i p-value possono risultare troppo piccoli o troppo grandi.

Hai un paio di opzioni. Un bootstrap parametrico simula nuovi dataset dal modello ristretto e costruisce la distribuzione della statistica. Per casi semplici, come le tabelle di contingenza, i test esatti evitano l’approssimazione.

Parametri sul bordo

Alcune ipotesi nulle pongono un parametro sul bordo del suo intervallo consentito. L’esempio più comune è testare se una varianza di effetto casuale in un modello misto è uguale a 0, dato che una varianza non può essere negativa.

In questo caso, la statistica non segue la solita distribuzione chi-quadrato. Per un singolo componente di varianza, segue una miscela 50:50 di un chi-quadrato con 0 e 1 gradi di libertà, quindi il p-value standard è circa il doppio di quanto dovrebbe. Il test standard qui è conservativo, cioè manca più spesso effetti reali.

Testare il numero di componenti in un modello di miscela ha un problema simile. Quando confronti una componente con due, le condizioni di regolarità falliscono e l’approssimazione chi-quadrato non regge affatto.

Specificazione errata del modello

L’LRT presume che il modello completo sia corretto. Se entrambi i modelli sbagliano la distribuzione dei dati, come un modello di Poisson per conteggi con varianza molto maggiore della media, la statistica non seguirà una chi-quadrato neppure con campioni grandi.

Verifica l’adattamento del tuo modello completo prima di fidarti del test. Per conteggi sovradispersi, spesso un modello binomiale negativo o un test F a quasi-verosimiglianza è una scelta migliore.

Quindi l’approssimazione chi-quadrato è un default, non una garanzia, e si applica solo quando l’impostazione corrisponde alle condizioni dietro il teorema di Wilks.

Conclusione

Un rapporto di verosimiglianza confronta quanto bene due ipotesi o modelli spiegano gli stessi dati osservati. È tutta qui l’idea, e tutto il resto in questo articolo si costruisce su di essa.

Il test del rapporto di verosimiglianza rende quell’idea una procedura formale. Adatta due modelli annidati, confronta le loro log-verosimiglianze massimizzate e usa la distribuzione chi-quadrato per ottenere un p-value. Lo vedrai più spesso nella regressione logistica e in altri GLM, e sia statsmodels che R lo eseguono con poche righe di codice.

Ma ricorda cosa significa il numero. Un rapporto di verosimiglianza mostra il supporto relativo per un’ipotesi rispetto a un’altra, non la probabilità che una delle due sia vera. Per ottenerla, ti servono odds a priori, come nei test diagnostici.

Se vuoi andare oltre, i prossimi passi sono i mattoni alla base del test: la verosimiglianza in sé, la stima di massima verosimiglianza e come il test di Wald e altri test d’ipotesi si confrontano con l’LRT.

Dario Radečić

Autore

Dario Radečić

Senior Data Scientist con base in Croazia. Top Tech Writer con oltre 700 articoli pubblicati, per più di 10 milioni di visualizzazioni. Autore del libro Machine Learning Automation with TPOT.

FAQs

Cos’è un rapporto di verosimiglianza in parole semplici?

Un rapporto di verosimiglianza è la verosimiglianza dei dati osservati sotto un’ipotesi divisa per la verosimiglianza degli stessi dati sotto un’altra. Un valore sopra 1 significa che i dati supportano di più l’ipotesi al numeratore, e un valore sotto 1 significa che supportano di più quella al denominatore. Mostra evidenza relativa tra due spiegazioni, non la probabilità che una delle due sia vera.

Qual è la differenza tra verosimiglianza e probabilità?

La probabilità fissa il parametro e chiede quanto siano probabili diversi esiti. La verosimiglianza fissa i dati osservati e chiede quanto bene diversi valori di parametro li spiegano. Entrambe usano la stessa formula, ma le verosimiglianze su tutti i possibili valori del parametro non sommano a 1, quindi una verosimiglianza non è la probabilità di un’ipotesi.

Quando dovrei usare un test del rapporto di verosimiglianza?

Usalo quando vuoi sapere se un modello più complesso si adatta ai dati meglio di uno più semplice, e il modello semplice è un caso particolare di quello complesso. L’esempio più comune è verificare se predittori extra migliorano una regressione logistica o un altro GLM. I modelli devono essere stimati per massima verosimiglianza sulle stesse osservazioni.

Perché la statistica del test del rapporto di verosimiglianza è moltiplicata per -2?

 Il rapporto tra la verosimiglianza massimizzata del modello ristretto e quella del completo è sempre tra 0 e 1, quindi il suo log è 0 o negativo. Il segno meno lo trasforma in un numero positivo che cresce man mano che il modello completo si adatta meglio. Il fattore 2 scala la statistica così da seguire approssimativamente una distribuzione chi-quadrato con campioni grandi, come mostra il teorema di Wilks.

Posso usare un test del rapporto di verosimiglianza per confrontare modelli non annidati?

Non nella versione standard. Quando nessuno dei due modelli è un caso particolare dell’altro, come un modello logistico rispetto a uno probit, la statistica non segue una distribuzione chi-quadrato, quindi il p-value non è valido. Usa criteri informativi come AIC e BIC, o il test di Vuong, pensato per confronti non annidati.

Argomenti

Correlato