Pular para o conteúdo principal

Razão de verossimilhança: uma medida importante de evidência estatística

Uma razão de verossimilhança compara quão bem duas hipóteses ou modelos explicam os mesmos dados. Este artigo cobre a fórmula, um exemplo prático com moeda, o teste de razão de verossimilhança para modelos de regressão aninhados em Python e R, e razões de verossimilhança diagnósticas.
· 15 min leer

Explore com IA

Você já se deparou com o termo "likelihood ratio" em um output de regressão ou em um estudo e não fazia ideia do que aquilo significava?

Você não está sozinho. O termo aparece com frequência em testes de hipótese, comparação de modelos, classificação e testes diagnósticos — e cada área usa de um jeito um pouco diferente. Muitas explicações também já começam falando de uma estatística de teste e de uma distribuição qui-quadrado antes mesmo de você saber o que é verossimilhança. No fim, você fica com um número que até consegue calcular, mas não consegue explicar.

Em poucas palavras, verossimilhança mostra quão bem um valor de parâmetro ou um modelo estatístico explica os dados que você observou. Uma razão de verossimilhança divide uma verossimilhança pela outra, para você ver qual de duas hipóteses recebe mais suporte dos dados — e em que magnitude.

Neste artigo, vou guiar você pela ideia central e pela fórmula, pelo teste de razão de verossimilhança e como interpretá-lo, além de onde você vai ver razões de verossimilhança na prática.

Precisa relembrar estatística? Explore nosso catálogo de cursos de Probabilidade e Estatística e encontre o ideal para você.

O que é uma razão de verossimilhança?

Uma razão de verossimilhança é a verossimilhança dos dados observados sob uma hipótese dividida pela verossimilhança dos mesmos dados sob outra hipótese. As duas hipóteses podem ser dois valores de parâmetro ou dois modelos estatísticos completos.

A pergunta que ela responde é qual explicação dá conta melhor dos dados, e não se os dados são prováveis.

Essa diferença é importante. Qualquer sequência específica de 20 caras-e-coroas tem probabilidade de cerca de um em um milhão sob uma moeda justa, então uma verossimilhança pequena, sozinha, não diz muita coisa. Ela só faz sentido ao lado de outra verossimilhança.

Suponha que você jogue uma moeda 10 vezes e caia 8 caras. Uma hipótese diz que a moeda é justa, com probabilidade 0,5 de dar cara. Outra diz que ela é viciada, com probabilidade 0,8 de dar cara.

Ambas as hipóteses podem gerar 8 caras, mas a moeda viciada produz esse resultado com muito mais frequência. Então os dados dão mais suporte à segunda hipótese, e a razão de verossimilhança coloca um número em quanto mais. Vou calcular os valores exatos no exemplo mais adiante neste artigo.

Verossimilhança e probabilidade usam a mesma fórmula, mas respondem a perguntas diferentes:

  • Probabilidade: Fixa o parâmetro e pergunta quão prováveis são diferentes desfechos — por exemplo, a chance de 8 caras em 10 jogadas com uma moeda justa
  • Verossimilhança: Fixa os dados observados e pergunta quão bem diferentes valores de parâmetro os explicam — por exemplo, quão bem uma probabilidade de 0,5 versus 0,8 de dar cara explica 8 caras em 10 jogadas

Probabilidades ao longo de todos os possíveis desfechos somam 1, mas verossimilhanças ao longo de todos os possíveis valores de parâmetro não. Por isso uma verossimilhança não é a probabilidade de uma hipótese ser verdadeira — e uma razão de verossimilhança também não é.

Como funciona uma razão de verossimilhança?

Toda razão de verossimilhança segue os mesmos cinco passos:

  1. Observe os dados: Coleta a amostra que você quer explicar, como 8 caras em 10 jogadas
  2. Calcule a primeira verossimilhança: Descubra quão prováveis são os dados observados sob a hipótese A
  3. Calcule a segunda verossimilhança: Faça o mesmo sob a hipótese B
  4. Divida: Coloque uma verossimilhança no numerador e a outra no denominador
  5. Interprete a razão: Veja qual hipótese os dados apoiam mais e em que grau

O significado da razão depende de qual verossimilhança fica no topo. Com a hipótese A no numerador:

  • Razão acima de 1: Os dados são mais prováveis sob A, então A recebe mais suporte
  • Razão abaixo de 1: Os dados são mais prováveis sob B, então B recebe mais suporte
  • Razão igual a 1: As duas hipóteses explicam os dados igualmente bem; os dados não favorecem nenhuma delas

Uma razão de 4 significa que os dados observados são quatro vezes mais prováveis sob A do que sob B. Isso não quer dizer que A é quatro vezes mais provável de ser verdadeira.

Se você inverter numerador e denominador, vai obter o recíproco. Uma razão de 4 a favor de A vira 0,25, que diz a mesma coisa pelo lado de B.

As convenções variam entre áreas. O teste de razão de verossimilhança geralmente coloca a hipótese nula no numerador, então valores pequenos contam como evidência contra ela, enquanto muitas outras aplicações colocam a hipótese alternativa no topo.

Portanto, antes de interpretar qualquer razão de verossimilhança, verifique qual hipótese está no numerador.

Fórmula da razão de verossimilhança

A razão básica divide uma verossimilhança dos dados por outra:

Likelihood ratio formula

Fórmula da razão de verossimilhança

O que cada termo significa:

  • x: Os dados observados, como 8 caras em 10 jogadas
  • theta_1 e theta_0: Os dois valores de parâmetro ou hipóteses que você quer comparar, como probabilidades de 0,8 e 0,5 de dar cara
  • L(theta | x): A verossimilhança de theta dados os dados, que é igual à probabilidade de x quando theta é o parâmetro verdadeiro, ou à densidade no caso contínuo

Com observações independentes, a verossimilhança é um produto de uma probabilidade por observação:

Likelihood with independent observations

Verossimilhança com observações independentes

E é aí que começam os problemas. Cada fator é menor que 1, então o produto cai rapidamente conforme a amostra cresce.

A probabilidade de uma sequência específica de 1.000 jogadas sob uma moeda justa é cerca de 9,3 * 10^-302, próximo do menor número que um float de 64 bits consegue armazenar. Com 2.000 jogadas, 0.5 ** 2000 em Python retorna 0.0.

Logaritmos ajudam a contornar isso. O log de um produto é a soma dos logs, então a log-verossimilhança transforma um produto de números minúsculos em uma soma de números administráveis:

Log likelihood

Log-verossimilhança

A razão vira uma diferença:

Log likelihood ratio

Razão de log-verossimilhança

Somas também são mais fáceis de diferenciar do que produtos, por isso a estimação por máxima verossimilhança também trabalha com log-verossimilhanças.

A versão em log lê igual à razão, só que em torno de 0 em vez de 1. Valor 0 indica suporte igual; valores positivos favorecem theta_1; e negativos favorecem theta_0.

Exemplo de razão de verossimilhança

Vamos voltar à moeda do exemplo anterior. Você a lança 10 vezes e obtém 8 caras e 2 coroas.

As duas hipóteses são:

  • Hipótese 0: A moeda é justa, então p = 0,5

  • Hipótese 1: A moeda é viciada a favor de cara, então p = 0,8

O número de caras em 10 jogadas segue uma distribuição binomial, então a verossimilhança de cada hipótese é:

Likelihood ratio example (1)

Exemplo de razão de verossimilhança

Sob a hipótese de moeda justa:

Likelihood ratio example (2)

Exemplo de razão de verossimilhança

Sob a hipótese de moeda viciada:

Likelihood ratio example (3)

Exemplo de razão de verossimilhança

A razão de verossimilhança é:

Likelihood ratio example (4)

Exemplo de razão de verossimilhança

O coeficiente binomial de 45 aparece em ambas as verossimilhanças, então se cancela na razão. Você obteria o mesmo 6,87 usando a probabilidade da sequência exata de jogadas.

Em bom português: os dados observados são cerca de 6,9 vezes mais prováveis se a moeda cair cara 80% das vezes do que se for justa. É isso.

A razão não diz que a moeda é 6,9 vezes mais provável de ser viciada. Para obter a probabilidade de cada hipótese ser verdadeira, você precisa de probabilidades a priori para ambas. Com chances prévias de 50/50, as chances posteriores seriam de 6,87 para 1, ou cerca de 87% para a moeda viciada — mas esse número depende do prior que você escolheu.

O suporte também é relativo apenas a essas duas hipóteses. Um valor como p = 0,7 não entrou na comparação. Aqui, 0,8 também é o estimador de máxima verossimilhança, porque 8 de 10 jogadas deram cara, então nenhum outro valor de p recebe mais suporte destes dados.

O que é um teste de razão de verossimilhança?

No exemplo da moeda, comparamos dois valores fixos de p. A maioria das perguntas em estatística é mais ampla — por exemplo, se alguns preditores extras melhoram um modelo de regressão.

O teste de razão de verossimilhança responde esse tipo de pergunta. Ele compara dois modelos aninhados, ou seja, o modelo menor é um caso especial do maior:

  • Modelo restrito: Representa a hipótese nula, com alguns parâmetros fixos, geralmente em 0
  • Modelo completo: Representa a hipótese alternativa, com esses parâmetros livres para assumir qualquer valor

O teste tem cinco etapas:

  1. Ajuste o modelo restrito: Encontre os valores de parâmetro que maximizam sua verossimilhança
  2. Ajuste o modelo completo: Faça o mesmo com os parâmetros extras incluídos
  3. Compare as verossimilhanças maximizadas: Tire a razão, ou a diferença entre as log-verossimilhanças
  4. Calcule a estatística de teste: Transforme essa comparação em um número com distribuição conhecida
  5. Obtenha o p-valor: Verifique quão extremo é o valor da estatística se a hipótese nula for verdadeira

Cada modelo é avaliado no seu estimador de máxima verossimilhança, não em um valor de parâmetro escolhido por você de antemão. Essa é a principal diferença em relação ao exemplo da moeda.

A razão de verossimilhança compara quaisquer duas hipóteses e dá suporte relativo, mas não p-valor e não decisão. O LRT pega a razão das verossimilhanças maximizadas de modelos aninhados, converte em uma estatística de teste e usa sua distribuição para decidir se rejeita a hipótese nula. Todo LRT usa uma razão de verossimilhança, mas nem toda razão de verossimilhança faz parte de um LRT — as razões diagnósticas mais adiante são um exemplo.

Estatística do teste de razão de verossimilhança

O LRT começa com a razão das verossimilhanças maximizadas, com o modelo restrito no topo:

Likelihood ratio test statistic (1)

Estatística do teste de razão de verossimilhança

Aqui, theta_hat_0 é o estimador de máxima verossimilhança sob o modelo restrito, e theta_hat é o estimador sob o modelo completo. O modelo completo contém o restrito, então sempre ajusta pelo menos tão bem quanto. Isso significa que lambda fica entre 0 e 1.

A estatística de teste é:

Likelihood ratio test statistic (2)

Estatística do teste de razão de verossimilhança

Os logaritmos estão aí pelo mesmo motivo de antes: transformar uma razão de números minúsculos em uma diferença de log-verossimilhanças — algo que todo software estatístico reporta.

O -2 tem dois papéis. Como lambda <= 1, ln(lambda) é 0 ou negativo, então o sinal de menos transforma em um número positivo que cresce conforme o modelo completo ajusta melhor. O fator 2 escala a estatística para que ela siga uma distribuição qui-quadrado. Em modelos lineares generalizados, D é igual à diferença de deviância entre os dois modelos — por isso você frequentemente verá o resultado reportado como tal.

O teorema de Wilks faz o teste funcionar. Ele diz que, quando a hipótese nula é verdadeira e certas condições regulares valem, D segue aproximadamente uma qui-quadrado conforme o tamanho da amostra cresce. Em termos simples, os modelos precisam ser aninhados e os valores nulos dos parâmetros não podem estar na fronteira do espaço paramétrico. A seção de limitações mais adiante explica o que acontece quando essas condições falham.

Os graus de liberdade geralmente são a diferença no número de parâmetros livres entre os dois modelos. Se o modelo completo adiciona dois preditores, você compara D com uma qui-quadrado com 2 graus de liberdade.

Assim, a mesma distribuição de referência funciona para regressão logística, regressão de Poisson e a maioria dos outros modelos ajustados por máxima verossimilhança.

Como interpretar um teste de razão de verossimilhança

Suponha que você queira prever se um cliente vai cancelar uma assinatura. O dataset tem 1.000 clientes, e cerca de 32% deram churn.

Você ajusta dois modelos de regressão logística:

  • Modelo restrito: prevê churn a partir de tenure_months apenas, com log-verossimilhança de -556,88

  • Modelo completo: adiciona monthly_charges e support_tickets, com log-verossimilhança de -515,99

Veja como cada parte do teste se aplica a este exemplo:

  • Hipótese nula: Os coeficientes de monthly_charges e support_tickets são ambos 0; os preditores extras não melhoram o ajuste

  • Hipótese alternativa: Pelo menos um desses dois coeficientes é diferente de 0

  • Estatística de teste: D = 2 * (-515.99 - (-556.88)) = 81.78

  • Graus de liberdade: o modelo completo tem dois parâmetros a mais, então o teste usa 2 graus de liberdade

  • P-valor: a probabilidade de uma estatística tão grande ou maior sob uma qui-quadrado com 2 graus de liberdade, que é cerca de 1.7 * 10^-18

Esse p-valor fica muito abaixo de qualquer limiar comum, como 0,05. Você rejeita a hipótese nula e conclui que os dados oferecem forte evidência de que os preditores extras melhoram o ajuste.

Mas rejeitar a nula não significa que o modelo completo é a melhor escolha para o seu caso de uso.

Com amostras grandes, até melhorias mínimas no ajuste produzem p-valores pequenos. O teste não diz o tamanho dos efeitos nem quão bem o modelo prevê novos dados. Confira os coeficientes e o desempenho em dados de validação antes de adotar o modelo maior.

E um p-valor alto não prova que os preditores extras são inúteis. Só significa que os dados não fornecem evidência suficiente contra a hipótese nula.

Um LRT diz se parâmetros extras melhoram o ajuste, mas decidir se essa melhoria importa ainda é com você.

Testes de razão de verossimilhança para modelos de regressão

Você verá o LRT com mais frequência ao comparar modelos de regressão. A ideia é sempre a mesma: ajustar um modelo restrito, ajustar um modelo completo e comparar suas log-verossimilhanças maximizadas.

Regressão logística

A regressão logística é o lugar mais comum para ver o LRT.

Na seção de interpretação, comparamos um modelo com tenure_months a um modelo que também inclui monthly_charges e support_tickets. Você pode ir além e comparar o modelo completo a um modelo apenas com intercepto, que prevê a mesma probabilidade de churn para todo mundo.

Com os mesmos dados de churn, o modelo apenas com intercepto tem log-verossimilhança de -627,62, e o completo tem -515,99. Isso dá D = 2 * (-515.99 - (-627.62)) = 223.27 com 3 graus de liberdade, um por preditor, e p-valor de cerca de 3,9 x 10^-48.

Esse teste pergunta se os preditores, em conjunto, explicam o churn melhor do que nenhum preditor. É a versão logística do teste F geral na regressão linear, e o statsmodels o reporta no resumo do modelo como LLR p-value.

Modelos lineares generalizados

A regressão logística é um membro de uma família maior chamada modelos lineares generalizados (GLMs). A família também inclui regressão de Poisson para contagens e regressão gama para desfechos contínuos positivos, entre outros.

Todo GLM reporta uma deviância, que mede o quão distante o modelo está de um ajuste perfeito. Para dois GLMs aninhados, a diferença entre suas deviações é igual à estatística D do LRT — por isso o teste muitas vezes é chamado de análise de deviância.

Os graus de liberdade funcionam como antes, pela diferença no número de parâmetros. Para modelos com um parâmetro de dispersão estimado, como GLMs gama ou gaussianos, um teste F sobre a diferença de deviância é frequentemente usado no lugar da versão qui-quadrado.

Outros modelos baseados em verossimilhança

Qualquer modelo ajustado por máxima verossimilhança pode usar um LRT, desde que os modelos sejam aninhados. Por exemplo:

  • Modelos de efeitos mistos: compare modelos com e sem um efeito fixo, ajustados por máxima verossimilhança (em vez de REML)
  • Modelos de sobrevivência: teste se uma covariável melhora um modelo de riscos proporcionais de Cox, que usa verossimilhança parcial
  • Séries temporais: compare modelos ARIMA de diferentes ordens
  • Genética: teste de ligação entre genes, em que escores LOD são razões de verossimilhança em log base 10

Razão de verossimilhança vs. testes estatísticos relacionados

O LRT é parecido com o teste de Wald e o teste escore. Os três testam a mesma hipótese nula e seguem distribuição qui-quadrado em amostras grandes. A diferença está em quais modelos você ajusta e o que mede.

Teste de razão de verossimilhança vs. teste de Wald

O LRT ajusta ambos os modelos e compara suas log-verossimilhanças. O teste de Wald ajusta só o modelo completo e verifica quão longe cada estimativa está do valor nulo, em erros-padrão.

Para um único coeficiente, a estatística de Wald é a estimativa dividida pelo seu erro-padrão. Os p-valores em tabelas de resumo de regressão geralmente vêm desse teste.

O teste de Wald é rápido, pois você ajusta apenas um modelo. Mas ele depende da parametrização e, em regressão logística, pode se comportar mal quando coeficientes são muito grandes, porque o erro-padrão cresce mais rápido que a estimativa. O LRT não sofre desses problemas e é a escolha mais segura.

Teste de razão de verossimilhança vs. teste escore

O teste escore ajusta apenas o modelo restrito.

Ele observa a inclinação da log-verossimilhança nos valores nulos dos parâmetros. Se a hipótese nula estiver correta, a inclinação deve estar próxima de 0. Uma inclinação acentuada significa que a verossimilhança aumentaria se você permitisse que esses parâmetros se afastassem do valor nulo.

Isso torna o teste escore útil quando o modelo completo é caro ou difícil de ajustar. Ele também é conhecido como teste do multiplicador de Lagrange e é usado com frequência para triagem de preditores candidatos antes de adicioná-los.

Teste de razão de verossimilhança vs. teste qui-quadrado

A estatística do LRT segue uma qui-quadrado em amostras grandes, mas isso não torna o LRT um "teste qui-quadrado" no sentido usual.

"Teste qui-quadrado" é um rótulo amplo para qualquer teste cuja estatística segue uma qui-quadrado. Na prática, muitas vezes se refere ao teste qui-quadrado de Pearson para independência ou aderência em tabelas de contingência.

Ainda assim, há conexão. A versão por razão de verossimilhança do teste de Pearson é chamada de G-test, e compara contagens observadas e esperadas com log-verossimilhanças em vez de diferenças ao quadrado. Em amostras grandes, ambos dão resultados semelhantes.

Veja a comparação entre os três testes baseados em modelos:

 Teste de WaldTeste de razão de verossimilhançaTeste escore
Modelos que você ajustaApenas o completoRestrito e completoApenas o restrito
O que medeDistância da estimativa ao valor nulo, em erros-padrãoLacuna entre as log-verossimilhanças maximizadasInclinação da log-verossimilhança nos valores nulos
Onde apareceP-valores de coeficientes em resumos de regressãoComparações de modelos aninhados e análise de deviânciaTriagem de novos preditores; modelos difíceis de ajustar
Ponto fracoDepende da parametrização; pouco confiável com estimativas muito grandesExige ajustar os dois modelosUsa só informação perto dos valores nulos
Distribuição assintóticaQui-quadradoQui-quadradoQui-quadrado

Razão de verossimilhança comparada a outros testes estatísticos

Razão de verossimilhança vs. odds ratio

Ambos têm "ratio" no nome e são comuns em regressão logística. A semelhança para por aí.

Uma razão de verossimilhança compara quão bem duas hipóteses explicam os dados observados. Um odds ratio compara as chances de um desfecho entre dois grupos ou condições.

Chances (odds) são a probabilidade de um evento dividida pela probabilidade de ele não acontecer. Uma probabilidade de churn de 25% implica odds de 0,25 / 0,75, ou 1 para 3.

No modelo de churn de antes, o coeficiente de support_tickets é 0,456. Seu expoente dá um odds ratio de cerca de 1,58, o que significa que cada chamado extra multiplica as chances de churn por 1,58.

Isso é uma afirmação sobre um efeito nos dados. Uma razão de verossimilhança é uma afirmação sobre evidência — o quanto uma hipótese ou modelo explica melhor os mesmos dados do que outro.

Portanto, o odds ratio responde "qual o tamanho do efeito?", e a razão de verossimilhança responde "qual explicação os dados apoiam mais?"

Razões de verossimilhança em testes diagnósticos

Na medicina, "likelihood ratio" tem um segundo significado. Ele descreve o quanto um resultado de teste muda as chances de um paciente ter uma condição — e não envolve ajuste de modelos nem p-valores.

As razões de verossimilhança diagnósticas vêm de duas propriedades de um teste:

  • Sensibilidade: a proporção de pessoas com a condição que testam positivo
  • Especificidade: a proporção de pessoas sem a condição que testam negativo

Suponha que um teste tenha sensibilidade de 90% e especificidade de 80%.

Razão de verossimilhança positiva

A razão de verossimilhança positiva, ou LR+, mostra quanto mais provável é um resultado positivo entre pessoas com a condição do que entre pessoas sem ela:

Positive likelihood ratio

Razão de verossimilhança positiva

No teste do exemplo, isso é 0,9 / 0,2 = 4,5. Um resultado positivo é 4,5 vezes mais provável em alguém com a condição. Valores acima de 1 aumentam as chances da condição; quanto maior o valor, mais um resultado positivo informa.

Razão de verossimilhança negativa

A razão de verossimilhança negativa, ou LR-, mostra quão provável é um resultado negativo entre pessoas com a condição em comparação a pessoas sem ela:

Negative likelihood ratio

Razão de verossimilhança negativa

No exemplo, isso é 0,1 / 0,8 = 0,125. Valores abaixo de 1 reduzem as chances da condição; quanto mais próximo de 0, mais um resultado negativo informa.

De odds pré-teste a pós-teste

As razões de verossimilhança diagnósticas são úteis porque atualizam o que você sabia antes do teste:

Diagnostic likelihood ratio

Razão de verossimilhança diagnóstica

Suponha que 10% dos pacientes como este tenham a condição. Isso implica odds pré-teste de 0,1 / 0,9, ou cerca de 0,111.

Após um resultado positivo, as odds viram 0,111 * 4,5 = 0,5, que é probabilidade de cerca de 33%. Após um resultado negativo, viram 0,111 * 0,125 = 0,014, ou cerca de 1,4%.

Este é o único ponto do artigo em que uma razão de verossimilhança leva à probabilidade de uma hipótese — e isso só é possível porque as odds pré-teste fornecem o prior.

Testes de razão de verossimilhança em Python e R

Ambas as linguagens têm tudo o que você precisa para rodar um LRT em poucas linhas. Vou usar o dataset de churn mencionado antes, para que os números batam com os das seções de interpretação e regressão.

Teste de razão de verossimilhança em Python

Você vai precisar de numpy, pandas, statsmodels e scipy. Comece gerando o dataset:

import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from scipy import stats

# Generate a synthetic customer churn dataset
rng = np.random.default_rng(42)
n_customers = 1000

churn = pd.DataFrame({
    "tenure_months": rng.integers(1, 73, n_customers),
    "monthly_charges": rng.uniform(20, 120, n_customers).round(2),
    "support_tickets": rng.poisson(1.5, n_customers),
})

# Churn gets less likely with tenure and more likely with charges and tickets
log_odds = (
    -0.5
    - 0.04 * churn["tenure_months"]
    + 0.01 * churn["monthly_charges"]
    + 0.25 * churn["support_tickets"]
)
churn["churned"] = rng.binomial(1, 1 / (1 + np.exp(-log_odds)))

# Save the data so you can load the same dataset in R
churn.to_csv("churn.csv", index=False)

Neste dataset, a taxa de churn é de 32,1%.

Em seguida, ajuste os modelos logísticos restrito e completo. O atributo .llf guarda a log-verossimilhança maximizada de cada um:

# Fit the restricted and full models
reduced_model = smf.logit("churned ~ tenure_months", data=churn).fit(disp=0)
full_model = smf.logit(
    "churned ~ tenure_months + monthly_charges + support_tickets",
    data=churn,
).fit(disp=0)

# Get the maximized log-likelihoods
print(f"Restricted model log-likelihood: {reduced_model.llf:.2f}")
print(f"Full model log-likelihood: {full_model.llf:.2f}")

Restricted and full model log likelihood

Log-verossimilhança dos modelos restrito e completo

O statsmodels não tem uma função geral de LRT para regressão logística, então você calcula a estatística a partir das duas log-verossimilhanças. O atributo .df_model dá o número de preditores em cada modelo, e stats.chi2.sf() retorna o p-valor:

lr_stat = 2 * (full_model.llf - reduced_model.llf)
df_diff = full_model.df_model - reduced_model.df_model
p_value = stats.chi2.sf(lr_stat, df_diff)

print(f"LR statistic: {lr_stat:.2f}")
print(f"Degrees of freedom: {df_diff:.0f}")
print(f"P-value: {p_value:.1e}")

Test statistic, degrees of freedom, and p-value

Estatística de teste, graus de liberdade e p-valor

O p-valor fica bem abaixo de 0,05, então você rejeita a hipótese nula. Os dados fornecem forte evidência de que monthly_charges e support_tickets melhoram o ajuste em relação a um modelo com apenas tenure_months.

Para a comparação contra um modelo só com intercepto, você não precisa de código extra. O statsmodels calcula isso para todo modelo logístico:

print(f"Intercept-only log-likelihood: {full_model.llnull:.2f}")
print(f"LR statistic: {full_model.llr:.2f}")
print(f"P-value: {full_model.llr_pvalue:.1e}")

Comparison of a full model to an intercept-only model

Comparação de um modelo completo com um modelo apenas com intercepto

Teste de razão de verossimilhança em R

O R não usa o mesmo gerador de números aleatórios do NumPy, então carregue o arquivo churn.csv do exemplo em Python para trabalhar com dados idênticos. Depois, ajuste ambos os modelos com glm() e passe-os para anova():

# Load the churn dataset saved from Python
churn <- read.csv("churn.csv")

# Fit the restricted and full models
reduced_model <- glm(churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
  churned ~ tenure_months + monthly_charges + support_tickets,
  data = churn,
  family = binomial
)

# Check the maximized log-likelihoods
logLik(reduced_model)
logLik(full_model)

# Run the likelihood ratio test
anova(reduced_model, full_model, test = "Chisq")

Log likelihoods and ratio test in R

Log-verossimilhanças e teste de razão no R

Os valores de df ao lado de cada log-verossimilhança são o número de parâmetros estimados, intercepto incluído. O modelo completo tem dois a mais, o que bate com a coluna Df na tabela de anova().

A coluna Deviance mostra 81,778 — a mesma estatística LR que você obteve em Python. É a análise de deviância da seção de GLMs em ação: a queda na deviância residual de 1113,8 para 1032,0 é a estatística do teste.

O R imprime o p-valor como < 2.2e-16 porque é o menor valor exibido por padrão, não porque difira do resultado em Python. De qualquer forma, a conclusão é a mesma, e os preditores extras melhoram o ajuste.

Se preferir uma função dedicada, lrtest() do pacote lmtest executa a mesma comparação com lrtest(reduced_model, full_model).

Pressupostos e limitações dos testes de razão de verossimilhança

O LRT funciona bem nos cenários vistos até aqui, mas seu resultado qui-quadrado depende de algumas condições.

Modelos precisam ser aninhados

O LRT padrão só compara modelos aninhados, nos quais o modelo restrito é um caso especial do completo.

Se você quiser comparar uma regressão logística com um modelo probit, ou dois modelos com preditores diferentes, nenhum é caso especial do outro. A distribuição qui-quadrado não se aplica. Use critérios de informação como AIC e BIC, ou o teste de Vuong para modelos não aninhados.

Ambos os modelos precisam de estimativas por máxima verossimilhança

O teste compara verossimilhanças maximizadas, então ambos os modelos têm que ser ajustados por máxima verossimilhança, nos mesmos dados.

Dois problemas comuns aqui. Modelos de efeitos mistos ajustados com REML, padrão em muitos pacotes, não podem ser comparados por LRT quando diferem nos efeitos fixos — então re-ajuste por máxima verossimilhança antes. E modelos penalizados como lasso ou ridge não maximizam a verossimilhança em si, então o teste usual não se aplica a eles.

Os modelos também precisam das mesmas observações. Se um preditor tiver valores ausentes, o modelo completo pode descartar linhas, e as duas log-verossimilhanças deixam de ser comparáveis.

O resultado qui-quadrado é assintótico

O teorema de Wilks vale para amostras grandes. Ele exige condições de regularidade que, em termos simples, significam uma verossimilhança suave, parâmetros identificáveis e valores verdadeiros dentro do espaço permitido, e não na fronteira.

Quando essas condições valem, a qui-quadrado é uma boa aproximação para amostras grandes. Ainda assim, é uma aproximação.

Amostras pequenas

Com amostras pequenas, a estatística do LRT pode não seguir uma qui-quadrado, e os p-valores podem ficar pequenos ou grandes demais.

Você tem algumas opções. Um bootstrap paramétrico simula novos datasets a partir do modelo restrito e constrói a distribuição da estatística. Para casos simples, como tabelas de contingência, testes exatos evitam a aproximação.

Parâmetros na fronteira

Algumas hipóteses nulas colocam um parâmetro na borda do seu intervalo permitido. O exemplo mais comum é testar se uma variância de efeito aleatório em um modelo misto é 0, já que variância não pode ser negativa.

Nesse caso, a estatística não segue a qui-quadrado usual. Para um único componente de variância, ela segue uma mistura 50:50 de qui-quadrado com 0 e 1 graus de liberdade, então o p-valor padrão fica cerca de duas vezes maior do que deveria. O teste padrão é conservador aqui — ou seja, perde efeitos reais com mais frequência.

Testar o número de componentes em um modelo de mistura tem problema similar. Ao comparar um componente com dois, as condições de regularidade falham, e a aproximação qui-quadrado não vale.

Especificação incorreta do modelo

O LRT supõe que o modelo completo está correto. Se ambos os modelos erram a distribuição dos dados — por exemplo, um Poisson para contagens com variância muito maior que a média — a estatística não seguirá uma qui-quadrado nem em amostras grandes.

Verifique o ajuste do seu modelo completo antes de confiar no teste. Para contagens com sobredispersão, um modelo binomial negativo ou um teste F de quasi-verossimilhança costuma ser melhor.

Portanto, a aproximação qui-quadrado é o padrão, não uma garantia — e só se aplica quando o setup atende às condições do teorema de Wilks.

Conclusão

Uma razão de verossimilhança compara quão bem duas hipóteses ou modelos explicam os mesmos dados observados. Essa é a ideia central, e todo o resto do artigo se apoia nisso.

O teste de razão de verossimilhança transforma essa ideia em procedimento formal. Ele ajusta dois modelos aninhados, compara suas log-verossimilhanças maximizadas e usa a distribuição qui-quadrado para obter um p-valor. Você vai vê-lo com mais frequência em regressão logística e outros GLMs, e tanto o statsmodels quanto o R rodam isso em poucas linhas de código.

Mas lembre o que o número significa. Uma razão de verossimilhança mostra suporte relativo de uma hipótese sobre outra — não a probabilidade de qualquer uma ser verdadeira. Para chegar lá, você precisa de odds prévias, como nos testes diagnósticos.

Se quiser ir além, os próximos passos são os blocos de construção por trás do teste: a própria verossimilhança, estimação por máxima verossimilhança e como o teste de Wald e outros testes de hipótese se comparam ao LRT.

Dario Radečić

Autor

Dario Radečić

Cientista de dados sênior baseado na Croácia. Principal redator técnico com mais de 700 artigos publicados, gerando mais de 10 milhões de visualizações. Autor do livro Automação do aprendizado de máquina com TPOT.

FAQs

What is a likelihood ratio in simple terms?

Uma razão de verossimilhança é a verossimilhança dos dados observados sob uma hipótese dividida pela verossimilhança dos mesmos dados sob outra. Um valor acima de 1 significa que os dados dão mais suporte à hipótese no numerador; um valor abaixo de 1 significa mais suporte à do denominador. Ela mostra evidência relativa entre duas explicações, não a probabilidade de qualquer uma ser verdadeira.

What's the difference between likelihood and probability?

Probabilidade fixa o parâmetro e pergunta quão prováveis são diferentes desfechos. Verossimilhança fixa os dados observados e pergunta quão bem diferentes valores de parâmetro os explicam. Ambas usam a mesma fórmula, mas verossimilhanças ao longo de todos os valores possíveis não somam 1 — por isso uma verossimilhança não é a probabilidade de uma hipótese.

When should I use a likelihood ratio test?

Use quando quiser saber se um modelo mais complexo se ajusta melhor aos dados do que um mais simples, e o modelo simples é um caso especial do complexo. O exemplo mais comum é verificar se preditores extras melhoram uma regressão logística ou outro GLM. Os modelos precisam ser ajustados por máxima verossimilhança nas mesmas observações.

Why is the likelihood ratio test statistic multiplied by -2?

 A razão entre as verossimilhanças maximizadas do modelo restrito e do completo fica sempre entre 0 e 1, então seu log é 0 ou negativo. O sinal de menos transforma isso em um número positivo que cresce à medida que o modelo completo ajusta melhor. O fator 2 escala a estatística para que ela siga aproximadamente uma qui-quadrado em amostras grandes, como mostra o teorema de Wilks.

Can I use a likelihood ratio test to compare non-nested models?

Não na versão padrão. Quando nenhum modelo é caso especial do outro — como uma logística versus um probit — a estatística não segue uma qui-quadrado, então o p-valor não é válido. Use critérios de informação como AIC e BIC, ou o teste de Vuong, que foi feito para comparações não aninhadas.

Temas

Relacionado

Tutorial

Teste de hipóteses facilitado