Rapport de vraisemblance : une mesure essentielle de l’évidence statistique
Un rapport de vraisemblance compare la capacité de deux hypothèses ou modèles à expliquer les mêmes données. Cet article présente la formule, un exemple avec lancers de pièce, le test pour modèles de régression emboîtés en Python et R, et les rapports diagnostiques.
Vous avez croisé le terme "rapport de vraisemblance" dans les résultats d’une régression ou d’une étude sans savoir ce qu’il signifiait ?
Vous n’êtes pas seul·e. On le rencontre souvent en test d’hypothèses, en comparaison de modèles, en classification et en tests diagnostiques, avec des usages qui varient selon les domaines. La plupart des explications commencent aussi par une statistique de test et une loi du khi carré, avant même de définir la vraisemblance. On se retrouve donc avec un nombre que l’on peut calculer, mais pas expliquer.
En deux mots, la vraisemblance indique dans quelle mesure une valeur de paramètre ou un modèle statistique explique les données observées. Un rapport de vraisemblance divise une vraisemblance par une autre : vous voyez ainsi quelle hypothèse reçoit le plus de soutien des données, et dans quelle proportion.
Dans cet article, je vous présente l’idée clé et la formule, le test du rapport de vraisemblance et son interprétation, ainsi que les contextes où vous le rencontrerez en pratique.
Besoin d’une remise à niveau en statistiques ? Parcourez notre catalogue de cours de probabilités et statistiques et trouvez celui qui vous convient.
Qu’est-ce qu’un rapport de vraisemblance ?
Un rapport de vraisemblance est la vraisemblance des données observées sous une hypothèse, divisée par la vraisemblance de ces mêmes données sous une autre hypothèse. Les deux hypothèses peuvent être deux valeurs de paramètre ou deux modèles statistiques complets.
La question à laquelle il répond est : quelle explication rend le mieux compte des données, et non si les données sont probables.
C’est une différence essentielle. Toute séquence spécifique de 20 lancers de pièce a une probabilité d’environ un sur un million avec une pièce équilibrée ; une faible vraisemblance isolée ne renseigne donc pas beaucoup. Elle n’a de sens qu’en comparaison avec une autre vraisemblance.
Supposons que vous lanciez une pièce 10 fois et obteniez 8 faces. Une hypothèse dit que la pièce est équilibrée, avec une probabilité de face de 0,5. Une autre dit qu’elle est biaisée, avec une probabilité de face de 0,8.
Les deux hypothèses peuvent produire 8 faces, mais la pièce biaisée génère ce résultat bien plus souvent. Les données apportent donc davantage de soutien à la seconde hypothèse, et le rapport de vraisemblance chiffre cet écart. Je calculerai les valeurs exactes dans l’exemple plus loin dans l’article.
Vraisemblance et probabilité partagent la même formule, mais ne répondent pas à la même question :
Probabilité : on fixe le paramètre et l’on s’interroge sur la probabilité des différents résultats – par exemple, la chance d’obtenir 8 faces en 10 lancers avec une pièce équilibrée
Vraisemblance : on fixe les données observées et l’on évalue dans quelle mesure différentes valeurs de paramètre les expliquent – par exemple, dans quelle mesure une probabilité de face de 0,5 versus 0,8 explique 8 faces en 10 lancers
Les probabilités de tous les résultats possibles somment à 1, mais les vraisemblances sur toutes les valeurs de paramètre ne le font pas. C’est pourquoi une vraisemblance n’est pas la probabilité qu’une hypothèse soit vraie, et un rapport de vraisemblance non plus.
Comment fonctionne un rapport de vraisemblance ?
Tout rapport de vraisemblance suit les cinq étapes suivantes :
Observer les données : recueillir l’échantillon à expliquer, comme 8 faces en 10 lancers
Calculer la première vraisemblance : évaluer la probabilité des données observées sous l’hypothèse A
Calculer la seconde vraisemblance : faire de même sous l’hypothèse B
Diviser : placer une vraisemblance au numérateur et l’autre au dénominateur
Interpréter le ratio : identifier l’hypothèse la mieux soutenue par les données, et dans quelle mesure
Le sens du ratio dépend de l’hypothèse au numérateur. Avec l’hypothèse A au numérateur :
Ratio supérieur à 1 : les données sont plus probables sous A, donc A est davantage soutenue
Ratio inférieur à 1 : les données sont plus probables sous B, donc B est davantage soutenue
Ratio égal à 1 : les deux hypothèses expliquent également bien les données, qui ne favorisent ni l’une ni l’autre
Un ratio de 4 signifie que les données observées sont quatre fois plus probables sous A que sous B. Cela ne signifie pas qu’A a quatre fois plus de chances d’être vraie.
Si vous inversez numérateur et dénominateur, vous obtenez le réciproque. Un ratio de 4 en faveur de A devient 0,25, ce qui raconte la même chose du point de vue de B.
Les conventions diffèrent selon les domaines. Le test du rapport de vraisemblance place généralement l’hypothèse nulle au numérateur, si bien que les petites valeurs comptent comme des éléments à charge contre elle, tandis que d’autres applications mettent l’hypothèse alternative en haut.
Avant d’interpréter un rapport de vraisemblance, vérifiez donc toujours quelle hypothèse est au numérateur.
Formule du rapport de vraisemblance
Le rapport de vraisemblance de base divise une vraisemblance des données par une autre :
Formule du rapport de vraisemblance
Voici ce que signifient les termes :
x : les données observées, par exemple 8 faces en 10 lancers
theta_1 et theta_0 : les deux valeurs de paramètre ou hypothèses à comparer, par exemple une probabilité de face de 0,8 et de 0,5
L(theta | x) : la vraisemblance de theta compte tenu des données, égale à la probabilité de x quand theta est le vrai paramètre, ou à sa densité pour des données continues
Avec des observations indépendantes, la vraisemblance est un produit d’une probabilité par observation :
Vraisemblance avec observations indépendantes
Et c’est là que commencent les ennuis : chaque facteur étant inférieur à 1, le produit diminue très vite avec la taille de l’échantillon.
La probabilité d’une séquence spécifique de 1 000 lancers avec une pièce équilibrée est d’environ 9,3 * 10^-302, proche du plus petit nombre stockable en flottant 64 bits. À 2 000 lancers, 0.5 ** 2000 en Python renvoie 0.0.
Les logarithmes permettent de contourner le problème. Le log d’un produit étant la somme des logs, la log-vraisemblance transforme un produit de très petits nombres en une somme gérable :
Log-vraisemblance
Le ratio devient une différence :
Rapport de log-vraisemblance
Les sommes sont aussi plus simples à différencier que les produits, ce qui explique pourquoi l’estimation par vraisemblance maximale travaille également avec les log-vraisemblances.
La version log s’interprète comme le ratio, mais autour de 0 au lieu de 1. Une valeur de 0 signifie un soutien égal, des valeurs positives favorisent theta_1, et des valeurs négatives favorisent theta_0.
Exemple de rapport de vraisemblance
Reprenons l’exemple de la pièce. Vous la lancez 10 fois et obtenez 8 faces et 2 piles.
Les deux hypothèses sont :
Hypothèse 0 : la pièce est équilibrée, donc p = 0.5
Hypothèse 1 : la pièce est biaisée en faveur de face, donc p = 0.8
Le nombre de faces en 10 lancers suit une loi binomiale ; la vraisemblance de chaque hypothèse est donc :
Exemple de rapport de vraisemblance
Sous l’hypothèse de pièce équilibrée :
Exemple de rapport de vraisemblance
Sous l’hypothèse de pièce biaisée :
Exemple de rapport de vraisemblance
Le rapport de vraisemblance est :
Exemple de rapport de vraisemblance
Le coefficient binomial 45 apparaît dans les deux vraisemblances, il s’annule donc dans le ratio. Vous obtiendriez le même 6,87 à partir de la probabilité de la séquence exacte de lancers.
En clair, les données observées sont environ 6,9 fois plus probables si la pièce fait face 80 % du temps que si elle est équilibrée. Point.
Le ratio ne dit pas que la pièce a 6,9 fois plus de chances d’être biaisée. Pour obtenir la probabilité que l’une ou l’autre hypothèse soit vraie, il faut des probabilités a priori pour chacune. Avec des cotes a priori 50/50, les cotes a posteriori seraient de 6,87 contre 1, soit environ 87 % pour la pièce biaisée ; mais ce chiffre dépend de l’a priori choisi.
Le soutien est aussi relatif à ces deux seules hypothèses. Une valeur comme p = 0.7 n’était pas dans la comparaison. Ici, 0,8 est aussi l’estimation de vraisemblance maximale, car 8 lancers sur 10 sont tombés sur face : aucune autre valeur de p n’obtient plus de soutien de ces données.
Qu’est-ce qu’un test du rapport de vraisemblance ?
L’exemple de la pièce comparait deux valeurs fixes de p. La plupart des questions en statistiques sont plus larges, par exemple vérifier si quelques prédicteurs supplémentaires améliorent un modèle de régression.
Le test du rapport de vraisemblance (LRT) répond à ce type de question. Il compare deux modèles emboîtés, c’est-à-dire que le modèle restreint est un cas particulier du modèle complet :
Modèle restreint : représente l’hypothèse nulle, avec certains paramètres fixés, généralement à 0
Modèle complet : représente l’hypothèse alternative, avec ces paramètres libres de prendre n’importe quelle valeur
Le test suit cinq étapes :
Ajuster le modèle restreint : trouver les valeurs de paramètre qui maximisent sa vraisemblance
Ajuster le modèle complet : faire de même en incluant les paramètres supplémentaires
Comparer les vraisemblances maximisées : prendre leur ratio, ou la différence de leurs log-vraisemblances
Calculer la statistique de test : convertir cette comparaison en un nombre à loi connue
Obtenir la p-valeur : évaluer à quel point la statistique est extrême si l’hypothèse nulle est vraie
Chaque modèle est évalué à son estimateur de vraisemblance maximale, et non à une valeur de paramètre choisie à l’avance. C’est la principale différence avec l’exemple de la pièce.
Le rapport de vraisemblance compare n’importe quelles deux hypothèses et fournit un soutien relatif, sans p-valeur ni décision. Le LRT prend un ratio de vraisemblances maximisées de modèles emboîtés, le convertit en statistique de test, et utilise sa distribution pour décider s’il faut rejeter l’hypothèse nulle. Tout LRT s’appuie sur un rapport de vraisemblance, mais tout rapport de vraisemblance ne fait pas partie d’un LRT : les rapports de vraisemblance diagnostiques présentés plus loin en sont un exemple.
Statistique du test du rapport de vraisemblance
Le LRT commence par le ratio des vraisemblances maximisées, avec le modèle restreint au numérateur :
Statistique du test du rapport de vraisemblance
Ici, theta_hat_0 est l’estimateur de vraisemblance maximale sous le modèle restreint, et theta_hat sous le modèle complet. Le modèle complet contenant le restreint, il s’ajuste toujours au moins aussi bien. Cela implique que lambda est compris entre 0 et 1.
La statistique de test est :
Statistique du test du rapport de vraisemblance
Les logarithmes sont là pour la même raison qu’avant : transformer un ratio de très petits nombres en différence de log-vraisemblances, ce que tous les logiciels statistiques rapportent.
Le -2 a deux rôles. Puisque lambda <= 1, ln(lambda) est nulle ou négative ; le signe moins la rend positive et croissante quand le modèle complet s’ajuste mieux. Le facteur 2 met l’échelle pour suivre une loi du khi carré. Pour les modèles linéaires généralisés, D correspond à la différence de déviance entre les deux modèles, d’où son affichage fréquent sous cette forme.
Le théorème de Wilks fait fonctionner le test. Il dit que, lorsque l’hypothèse nulle est vraie et que des conditions de régularité standard sont vérifiées, D suit approximativement une loi du khi carré à mesure que la taille d’échantillon croît. En clair, les modèles doivent être emboîtés et les valeurs nulles ne doivent pas être en bord d’espace paramétrique. Les limites sont détaillées plus loin.
Les degrés de liberté égale nt généralement la différence du nombre de paramètres libres entre les modèles. Si le modèle complet ajoute deux prédicteurs, vous comparez D à une khi carré à 2 degrés de liberté.
Ainsi, la même distribution de référence s’applique à la régression logistique, la régression de Poisson et la plupart des modèles ajustés par vraisemblance maximale.
Comment interpréter un test du rapport de vraisemblance
Supposons que vous souhaitiez prédire si un client résilie un abonnement. Le jeu de données comporte 1 000 clients, et environ 32 % ont churné.
Vous ajustez deux régressions logistiques :
Modèle restreint : prédit le churn à partir de tenure_months uniquement, avec une log-vraisemblance de -556,88
Modèle complet : ajoute monthly_charges et support_tickets, avec une log-vraisemblance de -515,99
Voici comment chaque élément du test s’applique :
Hypothèse nulle : les coefficients de monthly_charges et support_tickets sont nuls ; les prédicteurs supplémentaires n’améliorent donc pas l’ajustement
Hypothèse alternative : au moins l’un des deux coefficients n’est pas nul
Statistique de test : D = 2 * (-515.99 - (-556.88)) = 81.78
Degrés de liberté : le modèle complet a deux paramètres de plus, donc le test utilise 2 degrés de liberté
P-valeur : la probabilité d’une statistique aussi grande ou plus sous une khi carré à 2 ddl, soit environ 1.7 * 10^-18
Cette p-valeur est bien en dessous de tout seuil courant, comme 0,05. Vous rejetez l’hypothèse nulle et concluez que les données apportent une forte évidence que les prédicteurs supplémentaires améliorent l’ajustement.
Mais rejeter la nulle ne signifie pas que le modèle complet est le meilleur choix pour votre cas d’usage.
Avec de grands échantillons, même de minuscules gains d’ajustement produisent de petites p-valeurs. Le test ne dit ni l’ampleur des effets, ni la capacité prédictive sur de nouvelles données. Examinez les coefficients et la performance sur données de validation avant d’adopter le grand modèle.
Et une grande p-valeur ne prouve pas que les prédicteurs supplémentaires sont inutiles : elle signifie seulement que les données n’apportent pas suffisamment d’évidence contre l’hypothèse nulle.
Un LRT indique si des paramètres en plus améliorent l’ajustement ; à vous d’évaluer si cette amélioration est pertinente.
Tests du rapport de vraisemblance pour les modèles de régression
Vous rencontrerez le LRT le plus souvent en comparant des modèles de régression. Le principe reste le même : ajuster un modèle restreint, ajuster un modèle complet, et comparer leurs log-vraisemblances maximisées.
Régression logistique
La régression logistique est l’endroit le plus courant où voir le LRT.
Dans la section interprétation, nous avons comparé un modèle avec tenure_months à un modèle ajoutant monthly_charges et support_tickets. Vous pouvez aller plus loin et comparer le modèle complet à un modèle à intercept seul, qui prédit la même probabilité de churn pour chaque client.
Sur les mêmes données, le modèle à intercept seul a une log-vraisemblance de -627,62, et le modèle complet de -515,99. Cela donne D = 2 * (-515.99 - (-627.62)) = 223.27 avec 3 degrés de liberté, un par prédicteur, et une p-valeur d’environ 3,9 x 10^-48.
Ce test demande si les prédicteurs, pris ensemble, expliquent mieux le churn que l’absence de prédicteurs. C’est l’équivalent en logistique du test F global en régression linéaire, et statsmodels le rapporte dans le résumé de modèle sous LLR p-value.
Modèles linéaires généralisés
La régression logistique appartient à la famille des modèles linéaires généralisés (GLM), qui inclut aussi la régression de Poisson pour les comptages et la régression gamma pour les variables positives continues, entre autres.
Chaque GLM rapporte une déviance, qui mesure l’écart au parfait ajustement. Pour deux GLM emboîtés, la différence de leurs déviances égale la statistique LRT D ; le test est donc souvent appelé analyse de déviance.
Les degrés de liberté fonctionnent comme précédemment, par différence du nombre de paramètres. Pour les modèles avec un paramètre de dispersion estimé, comme les GLM gamma ou gaussiens, un test F sur la différence de déviance est souvent utilisé plutôt que la version khi carré.
Autres modèles basés sur la vraisemblance
Tout modèle ajusté par vraisemblance maximale peut utiliser un LRT, dès lors que les modèles sont emboîtés. Par exemple :
Modèles à effets mixtes : comparer des modèles avec et sans un effet fixe, ajustés par vraisemblance maximale plutôt que REML
Modèles de survie : tester si une covariable améliore un modèle à hasards proportionnels de Cox, fondé sur une vraisemblance partielle
Séries temporelles : comparer des modèles ARIMA d’ordres différents
Génétique : tester la liaison entre gènes, où les scores LOD sont des logs (base 10) de rapports de vraisemblance
Rapport de vraisemblance vs tests statistiques apparentés
Le LRT est proche du test de Wald et du test du score. Tous trois testent la même hypothèse nulle et suivent une loi du khi carré en grands échantillons. La différence tient aux modèles ajustés et à ce qui est mesuré.
Test du rapport de vraisemblance vs test de Wald
Le LRT ajuste les deux modèles et compare leurs log-vraisemblances. Le test de Wald n’ajuste que le modèle complet et vérifie à quelle distance chaque estimateur est de sa valeur nulle, en écarts types.
Pour un seul coefficient, la statistique de Wald est l’estimateur divisé par son écart type. Les p-valeurs des tableaux de régression proviennent généralement de ce test.
Le test de Wald est rapide, car un seul modèle est ajusté. Mais il dépend de la paramétrisation et peut mal se comporter en logistique quand des coefficients sont très grands, l’écart type croissant plus vite que l’estimateur. Le LRT n’a pas ces limites : c’est donc un choix plus sûr.
Test du rapport de vraisemblance vs test du score
Le test du score n’ajuste que le modèle restreint.
Il examine la pente de la log-vraisemblance en valeurs nulles. Si l’hypothèse nulle est vraie, la pente doit être proche de 0. Une pente forte signifie que la vraisemblance augmenterait si l’on éloignait ces paramètres de la nulle.
Ce test est pratique lorsque le modèle complet est coûteux ou difficile à ajuster. On le connaît aussi sous le nom de test du multiplicateur de Lagrange, et il sert souvent à présélectionner des prédicteurs avant de les ajouter.
Test du rapport de vraisemblance vs test du khi carré
La statistique du LRT suit une loi du khi carré en grands échantillons, mais cela n’en fait pas un "test du khi carré" au sens habituel.
"Test du khi carré" est une étiquette large pour tout test dont la statistique suit une loi du khi carré. La plupart du temps, on l’emploie pour désigner le test du khi carré de Pearson d’indépendance ou d’adéquation sur tableaux de contingence.
Les deux sont toutefois liés. La version rapport de vraisemblance du test de Pearson s’appelle le G-test ; elle compare effectifs observés et attendus via des log-vraisemblances au lieu d’écarts quadratiques. En grands échantillons, les résultats sont similaires.
Voici la comparaison des trois tests basés sur des modèles :
Test de Wald
Test du rapport de vraisemblance
Test du score
Modèles ajustés
Complet uniquement
Restreint et complet
Restreint uniquement
Mesure
Distance de l’estimateur à la valeur nulle, en écarts types
Écart entre log-vraisemblances maximisées
Pente de la log-vraisemblance en valeurs nulles
Usages courants
P-valeurs des coefficients dans les résumés
Comparaisons de modèles emboîtés, analyses de déviance
Présélection de prédicteurs, modèles difficiles à ajuster
Point faible
Dépend de la paramétrisation, peu fiable avec des estimates très grands
Nécessite d’ajuster deux modèles
N’utilise que l’information près des valeurs nulles
Distribution asymptotique
Khi carré
Khi carré
Khi carré
Rapport de vraisemblance comparé à d’autres tests statistiques
Rapport de vraisemblance vs odds ratio
Les deux termes contiennent "ratio" et sont courants en régression logistique. La ressemblance s’arrête là.
Un rapport de vraisemblance compare la capacité de deux hypothèses à expliquer les données observées. Un odds ratio compare les cotes d’un résultat entre deux groupes ou conditions.
Les cotes (odds) sont la probabilité d’un événement divisée par celle de son complément. Une probabilité de churn de 25 % correspond à des cotes de 0,25 / 0,75, soit 1 contre 3.
Dans le modèle de churn précédent, le coefficient de support_tickets est 0,456. Son exponentielle donne un odds ratio d’environ 1,58 : chaque ticket supplémentaire multiplie les cotes de churn par 1,58.
C’est une affirmation sur un effet dans les données. Un rapport de vraisemblance exprime une évidence : à quel point un modèle ou une hypothèse explique mieux les mêmes données qu’un autre.
Ainsi, l’odds ratio répond à "quelle est l’ampleur de l’effet ?", et le rapport de vraisemblance à "quelle explication les données soutiennent-elles le plus ?"
Rapports de vraisemblance en test diagnostique
En médecine, "rapport de vraisemblance" a un second sens. Il décrit dans quelle mesure un résultat de test modifie les cotes qu’un patient ait une affection, sans ajustement de modèle ni p-valeurs.
Les rapports de vraisemblance diagnostiques dérivent de deux caractéristiques du test :
Sensibilité : part des personnes atteintes qui testent positif
Spécificité : part des personnes non atteintes qui testent négatif
Supposons une sensibilité de 90 % et une spécificité de 80 %.
Rapport de vraisemblance positif
Le rapport de vraisemblance positif, ou LR+, indique à quel point un résultat positif est plus probable chez les personnes atteintes que chez les non-atteintes :
Rapport de vraisemblance positif
Dans notre exemple : 0,9 / 0,2 = 4,5. Un résultat positif est 4,5 fois plus probable chez une personne atteinte. Des valeurs supérieures à 1 augmentent les cotes de la maladie, et plus la valeur est élevée, plus un positif est informatif.
Rapport de vraisemblance négatif
Le rapport de vraisemblance négatif, ou LR-, indique à quel point un résultat négatif est probable chez les personnes atteintes, comparé aux non-atteintes :
Rapport de vraisemblance négatif
Dans notre exemple : 0,1 / 0,8 = 0,125. Des valeurs inférieures à 1 réduisent les cotes de la maladie, et plus elles sont proches de 0, plus un négatif est informatif.
Des cotes pré-test aux cotes post-test
Les rapports diagnostiques sont utiles car ils mettent à jour ce que vous saviez avant le test :
Rapport de vraisemblance diagnostique
Supposons que 10 % de patients semblables présentent l’affection. Les cotes pré-test valent 0,1 / 0,9, soit environ 0,111.
Après un résultat positif, les cotes deviennent 0,111 * 4,5 = 0,5, soit une probabilité d’environ 33 %. Après un résultat négatif, elles deviennent 0,111 * 0,125 = 0,014, soit environ 1,4 %.
C’est l’unique endroit de l’article où un rapport de vraisemblance conduit à la probabilité d’une hypothèse : c’est possible ici car les cotes pré-test fournissent l’a priori.
Tests du rapport de vraisemblance en Python et R
Les deux langages permettent d’exécuter un LRT en quelques lignes. J’utilise le jeu de données de churn cité plus haut, pour retrouver les mêmes chiffres que dans les sections d’interprétation et de régression.
Test du rapport de vraisemblance en Python
Vous aurez besoin de numpy, pandas, statsmodels et scipy. Commencez par générer le jeu de données :
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from scipy import stats
# Generate a synthetic customer churn dataset
rng = np.random.default_rng(42)
n_customers =1000
churn = pd.DataFrame({"tenure_months": rng.integers(1,73, n_customers),"monthly_charges": rng.uniform(20,120, n_customers).round(2),"support_tickets": rng.poisson(1.5, n_customers),})# Churn gets less likely with tenure and more likely with charges and tickets
log_odds =(-0.5-0.04* churn["tenure_months"]+0.01* churn["monthly_charges"]+0.25* churn["support_tickets"])
churn["churned"]= rng.binomial(1,1/(1+ np.exp(-log_odds)))# Save the data so you can load the same dataset in R
churn.to_csv("churn.csv", index=False)Propulsé par
Dans ce jeu de données, le taux de churn est de 32,1 %.
Ensuite, ajustez les modèles logistiques restreint et complet. L’attribut .llf contient la log-vraisemblance maximisée de chacun :
# Fit the restricted and full models
reduced_model = smf.logit("churned ~ tenure_months", data=churn).fit(disp=0)
full_model = smf.logit("churned ~ tenure_months + monthly_charges + support_tickets",
data=churn,).fit(disp=0)# Get the maximized log-likelihoodsprint(f"Restricted model log-likelihood: {reduced_model.llf:.2f}")print(f"Full model log-likelihood: {full_model.llf:.2f}")Propulsé par
Log-vraisemblances des modèles restreint et complet
statsmodels n’a pas de fonction LRT générale pour la régression logistique, vous calculez donc la statistique à partir des deux log-vraisemblances. L’attribut .df_model donne le nombre de prédicteurs de chaque modèle, et stats.chi2.sf() renvoie la p-valeur :
lr_stat =2*(full_model.llf - reduced_model.llf)
df_diff = full_model.df_model - reduced_model.df_model
p_value = stats.chi2.sf(lr_stat, df_diff)print(f"LR statistic: {lr_stat:.2f}")print(f"Degrees of freedom: {df_diff:.0f}")print(f"P-value: {p_value:.1e}")Propulsé par
Statistique de test, degrés de liberté et p-valeur
La p-valeur est bien inférieure à 0,05 : vous rejetez l’hypothèse nulle. Les données apportent une forte évidence que monthly_charges et support_tickets améliorent l’ajustement par rapport à un modèle avec tenure_months seul.
Pour la comparaison au modèle à intercept seul, aucun code supplémentaire n’est nécessaire. statsmodels la calcule pour chaque modèle logistique :
print(f"Intercept-only log-likelihood: {full_model.llnull:.2f}")print(f"LR statistic: {full_model.llr:.2f}")print(f"P-value: {full_model.llr_pvalue:.1e}")Propulsé par
Comparaison d’un modèle complet à un modèle à intercept seul
Test du rapport de vraisemblance en R
R n’utilise pas le même générateur aléatoire que NumPy ; chargez donc le fichier churn.csv issu de Python pour travailler sur des données identiques. Puis ajustez les deux modèles avec glm() et passez-les à anova() :
# Load the churn dataset saved from Python
churn <- read.csv("churn.csv")# Fit the restricted and full models
reduced_model <- glm(churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
churned ~ tenure_months + monthly_charges + support_tickets,
data = churn,
family = binomial
)# Check the maximized log-likelihoods
logLik(reduced_model)
logLik(full_model)# Run the likelihood ratio test
anova(reduced_model, full_model, test ="Chisq")Propulsé par
Log-vraisemblances et test de ratio en R
Les valeurs df à côté de chaque log-vraisemblance correspondent au nombre de paramètres estimés, intercept compris. Le modèle complet en compte deux de plus, ce qui correspond à la colonne Df du tableau anova().
La colonne Deviance affiche 81,778, la même statistique LR qu’en Python. C’est l’analyse de déviance évoquée plus haut : la chute de la déviance résiduelle de 1113,8 à 1032,0 est la statistique de test.
R affiche la p-valeur comme < 2.2e-16 car c’est la plus petite valeur affichée par défaut, pas parce qu’elle diffère du résultat Python. Dans les deux cas, la conclusion est la même : les prédicteurs supplémentaires améliorent l’ajustement.
Si vous préférez une fonction dédiée, lrtest() du package lmtest réalise la même comparaison avec lrtest(reduced_model, full_model).
Hypothèses et limites des tests du rapport de vraisemblance
Le LRT fonctionne bien dans les contextes précédents, mais son résultat khi carré dépend de quelques conditions.
Des modèles emboîtés
Le LRT standard ne compare que des modèles emboîtés, où le restreint est un cas particulier du complet.
Si vous souhaitez comparer une logistique à un modèle probit, ou deux modèles avec des prédicteurs différents, aucun n’est un cas particulier de l’autre. La loi du khi carré ne s’applique pas. Utilisez des critères d’information comme AIC et BIC, ou le test de Vuong pour modèles non emboîtés.
Des modèles ajustés par vraisemblance maximale
Le test compare des vraisemblances maximisées ; les deux modèles doivent donc être ajustés par vraisemblance maximale sur les mêmes données.
Deux pièges courants : les modèles à effets mixtes ajustés par REML, valeur par défaut de nombreux outils, ne peuvent pas être comparés par LRT s’ils diffèrent par les effets fixes – il faut les réajuster par vraisemblance maximale. Et les modèles pénalisés comme la régression lasso ou ridge ne maximisent pas la vraisemblance elle-même ; le test standard ne s’y applique donc pas.
Les modèles doivent aussi utiliser les mêmes observations. Si un prédicteur comporte des valeurs manquantes, le modèle complet peut écarter des lignes, rendant les deux log-vraisemblances non comparables.
La loi du khi carré est asymptotique
Le théorème de Wilks est un résultat en grands échantillons. Il suppose, en termes simples, une vraisemblance régulière, des paramètres identifiables, et des valeurs vraies à l’intérieur du domaine permis.
Quand ces conditions sont remplies, la loi du khi carré est une bonne approximation pour de grands échantillons. Cela reste une approximation.
Petits échantillons
Avec de petits échantillons, la statistique LRT peut ne pas suivre une khi carré, et les p-valeurs être biaisées, trop petites ou trop grandes.
Plusieurs options existent : un bootstrap paramétrique simule de nouveaux jeux de données depuis le modèle restreint pour construire la distribution de la statistique. Pour des cas simples, comme les tableaux de contingence, des tests exacts évitent l’approximation.
Paramètres en bord de domaine
Certaines hypothèses nulles placent un paramètre au bord de son domaine. L’exemple type est de tester si une variance d’effet aléatoire dans un modèle mixte vaut 0, une variance ne pouvant être négative.
Dans ce cas, la statistique ne suit pas la khi carré usuelle. Pour un seul composant de variance, elle suit un mélange 50:50 d’une khi carré à 0 et 1 ddl ; la p-valeur standard est alors environ deux fois trop grande. Le test usuel est conservateur ici, et manque plus souvent des effets réels.
Tester le nombre de composantes dans un modèle de mélange pose un problème similaire : en comparant une composante à deux, les conditions de régularité échouent et l’approximation khi carré ne tient plus.
Spécification de modèle inadéquate
Le LRT suppose que le modèle complet est correct. Si les deux modèles décrivent mal la distribution des données – par exemple un Poisson pour des comptages très surdispérsés – la statistique ne suivra pas une khi carré, même en grands échantillons.
Vérifiez l’ajustement de votre modèle complet avant de faire confiance au test. Pour des comptages surdispérsés, un modèle binomial négatif ou un test F de quasi-vraisemblance sera souvent plus adapté.
Ainsi, l’approximation khi carré est un par défaut, pas une garantie ; elle ne s’applique que lorsque le cadre respecte les conditions du théorème de Wilks.
Conclusion
Un rapport de vraisemblance compare la capacité de deux hypothèses ou modèles à expliquer les mêmes données observées. C’est l’idée centrale, à partir de laquelle tout le reste de l’article découle.
Le test du rapport de vraisemblance formalise cette idée : il ajuste deux modèles emboîtés, compare leurs log-vraisemblances maximisées, et utilise la loi du khi carré pour obtenir une p-valeur. Vous le verrez surtout en régression logistique et dans les autres GLM, et statsmodels comme R le mettent en œuvre en quelques lignes.
Mais gardez le sens du nombre en tête : un rapport de vraisemblance exprime un soutien relatif entre deux hypothèses, pas la probabilité que l’une ou l’autre soit vraie. Pour cela, il faut des cotes a priori, comme en diagnostic.
Scientifique de données senior basé en Croatie. Rédacteur technique de premier plan avec plus de 700 articles publiés, générant plus de 10 millions de vues. Auteur du livre Machine Learning Automation with TPOT.
FAQs
What is a likelihood ratio in simple terms?⌄
Un rapport de vraisemblance est la vraisemblance des données observées sous une hypothèse, divisée par la vraisemblance des mêmes données sous une autre. Une valeur supérieure à 1 signifie que les données soutiennent davantage l’hypothèse au numérateur, et une valeur inférieure à 1 qu’elles soutiennent davantage celle au dénominateur. Il exprime une évidence relative entre deux explications, pas la probabilité que l’une ou l’autre soit vraie.
What's the difference between likelihood and probability?⌄
La probabilité fixe le paramètre et s’interroge sur la probabilité des différents résultats. La vraisemblance fixe les données observées et évalue dans quelle mesure différentes valeurs de paramètre les expliquent. Les deux partagent la même formule, mais les vraisemblances sur toutes les valeurs de paramètre ne somment pas à 1 ; une vraisemblance n’est donc pas la probabilité d’une hypothèse.
When should I use a likelihood ratio test?⌄
Utilisez-le quand vous voulez savoir si un modèle plus complexe s’ajuste mieux qu’un modèle plus simple, et que le simple est un cas particulier du complexe. L’exemple le plus courant est de vérifier si des prédicteurs supplémentaires améliorent une régression logistique ou un autre GLM. Les modèles doivent être ajustés par vraisemblance maximale sur les mêmes observations.
Why is the likelihood ratio test statistic multiplied by -2?⌄
Le ratio de la vraisemblance maximisée du modèle restreint sur celle du complet est toujours compris entre 0 et 1, donc son log est nul ou négatif. Le signe moins le rend positif et croissant quand le modèle complet s’ajuste mieux. Le facteur 2 met l’échelle pour suivre approximativement une loi du khi carré en grands échantillons, ce que montre le théorème de Wilks.
Can I use a likelihood ratio test to compare non-nested models?⌄
Pas dans sa version standard. Quand aucun modèle n’est un cas particulier de l’autre (par ex. : logistique vs probit), la statistique ne suit pas une khi carré et la p-valeur n’est pas valide. Utilisez des critères d’information comme AIC et BIC, ou le test de Vuong, conçu pour les comparaisons non emboîtées.
Gagnez en confiance dans la régression par les MCO en maîtrisant ses fondements théoriques. Découvrez comment réaliser des mises en œuvre simples dans Excel, R et Python.
Découvrez les principales différences, les applications et la mise en œuvre de la normalisation et de la standardisation dans le prétraitement des données pour l’apprentissage automatique.
Découvrez comment arrondir un nombre à deux décimales en Python avec round(), les f-strings, format(), le module decimal, NumPy et plus — avec un tableau comparatif des méthodes.
Vous avez croisé le terme "rapport de vraisemblance" dans les résultats d’une régression ou d’une étude sans savoir ce qu’il signifiait ?
Vous n’êtes pas seul·e. On le rencontre souvent en test d’hypothèses, en comparaison de modèles, en classification et en tests diagnostiques, avec des usages qui varient selon les domaines. La plupart des explications commencent aussi par une statistique de test et une loi du khi carré, avant même de définir la vraisemblance. On se retrouve donc avec un nombre que l’on peut calculer, mais pas expliquer.
En deux mots, la vraisemblance indique dans quelle mesure une valeur de paramètre ou un modèle statistique explique les données observées. Un rapport de vraisemblance divise une vraisemblance par une autre : vous voyez ainsi quelle hypothèse reçoit le plus de soutien des données, et dans quelle proportion.
Dans cet article, je vous présente l’idée clé et la formule, le test du rapport de vraisemblance et son interprétation, ainsi que les contextes où vous le rencontrerez en pratique.
Besoin d’une remise à niveau en statistiques ? Parcourez notre catalogue de cours de probabilités et statistiques et trouvez celui qui vous convient.
Qu’est-ce qu’un rapport de vraisemblance ?
Un rapport de vraisemblance est la vraisemblance des données observées sous une hypothèse, divisée par la vraisemblance de ces mêmes données sous une autre hypothèse. Les deux hypothèses peuvent être deux valeurs de paramètre ou deux modèles statistiques complets.
La question à laquelle il répond est : quelle explication rend le mieux compte des données, et non si les données sont probables.
C’est une différence essentielle. Toute séquence spécifique de 20 lancers de pièce a une probabilité d’environ un sur un million avec une pièce équilibrée ; une faible vraisemblance isolée ne renseigne donc pas beaucoup. Elle n’a de sens qu’en comparaison avec une autre vraisemblance.
Supposons que vous lanciez une pièce 10 fois et obteniez 8 faces. Une hypothèse dit que la pièce est équilibrée, avec une probabilité de face de 0,5. Une autre dit qu’elle est biaisée, avec une probabilité de face de 0,8.
Les deux hypothèses peuvent produire 8 faces, mais la pièce biaisée génère ce résultat bien plus souvent. Les données apportent donc davantage de soutien à la seconde hypothèse, et le rapport de vraisemblance chiffre cet écart. Je calculerai les valeurs exactes dans l’exemple plus loin dans l’article.
Vraisemblance et probabilité partagent la même formule, mais ne répondent pas à la même question :
Les probabilités de tous les résultats possibles somment à 1, mais les vraisemblances sur toutes les valeurs de paramètre ne le font pas. C’est pourquoi une vraisemblance n’est pas la probabilité qu’une hypothèse soit vraie, et un rapport de vraisemblance non plus.
Comment fonctionne un rapport de vraisemblance ?
Tout rapport de vraisemblance suit les cinq étapes suivantes :
Le sens du ratio dépend de l’hypothèse au numérateur. Avec l’hypothèse A au numérateur :
Un ratio de 4 signifie que les données observées sont quatre fois plus probables sous A que sous B. Cela ne signifie pas qu’A a quatre fois plus de chances d’être vraie.
Si vous inversez numérateur et dénominateur, vous obtenez le réciproque. Un ratio de 4 en faveur de A devient 0,25, ce qui raconte la même chose du point de vue de B.
Les conventions diffèrent selon les domaines. Le test du rapport de vraisemblance place généralement l’hypothèse nulle au numérateur, si bien que les petites valeurs comptent comme des éléments à charge contre elle, tandis que d’autres applications mettent l’hypothèse alternative en haut.
Avant d’interpréter un rapport de vraisemblance, vérifiez donc toujours quelle hypothèse est au numérateur.
Formule du rapport de vraisemblance
Le rapport de vraisemblance de base divise une vraisemblance des données par une autre :
Formule du rapport de vraisemblance
Voici ce que signifient les termes :
x: les données observées, par exemple 8 faces en 10 lancerstheta_1ettheta_0: les deux valeurs de paramètre ou hypothèses à comparer, par exemple une probabilité de face de 0,8 et de 0,5L(theta | x): la vraisemblance dethetacompte tenu des données, égale à la probabilité dexquandthetaest le vrai paramètre, ou à sa densité pour des données continuesAvec des observations indépendantes, la vraisemblance est un produit d’une probabilité par observation :
Vraisemblance avec observations indépendantes
Et c’est là que commencent les ennuis : chaque facteur étant inférieur à 1, le produit diminue très vite avec la taille de l’échantillon.
La probabilité d’une séquence spécifique de 1 000 lancers avec une pièce équilibrée est d’environ 9,3 * 10^-302, proche du plus petit nombre stockable en flottant 64 bits. À 2 000 lancers,
0.5 ** 2000en Python renvoie0.0.Les logarithmes permettent de contourner le problème. Le log d’un produit étant la somme des logs, la log-vraisemblance transforme un produit de très petits nombres en une somme gérable :
Log-vraisemblance
Le ratio devient une différence :
Rapport de log-vraisemblance
Les sommes sont aussi plus simples à différencier que les produits, ce qui explique pourquoi l’estimation par vraisemblance maximale travaille également avec les log-vraisemblances.
La version log s’interprète comme le ratio, mais autour de 0 au lieu de 1. Une valeur de 0 signifie un soutien égal, des valeurs positives favorisent
theta_1, et des valeurs négatives favorisenttheta_0.Exemple de rapport de vraisemblance
Reprenons l’exemple de la pièce. Vous la lancez 10 fois et obtenez 8 faces et 2 piles.
Les deux hypothèses sont :
Hypothèse 0 : la pièce est équilibrée, donc
p = 0.5Hypothèse 1 : la pièce est biaisée en faveur de face, donc
p = 0.8Le nombre de faces en 10 lancers suit une loi binomiale ; la vraisemblance de chaque hypothèse est donc :
Exemple de rapport de vraisemblance
Sous l’hypothèse de pièce équilibrée :
Exemple de rapport de vraisemblance
Sous l’hypothèse de pièce biaisée :
Exemple de rapport de vraisemblance
Le rapport de vraisemblance est :
Exemple de rapport de vraisemblance
Le coefficient binomial 45 apparaît dans les deux vraisemblances, il s’annule donc dans le ratio. Vous obtiendriez le même 6,87 à partir de la probabilité de la séquence exacte de lancers.
En clair, les données observées sont environ 6,9 fois plus probables si la pièce fait face 80 % du temps que si elle est équilibrée. Point.
Le ratio ne dit pas que la pièce a 6,9 fois plus de chances d’être biaisée. Pour obtenir la probabilité que l’une ou l’autre hypothèse soit vraie, il faut des probabilités a priori pour chacune. Avec des cotes a priori 50/50, les cotes a posteriori seraient de 6,87 contre 1, soit environ 87 % pour la pièce biaisée ; mais ce chiffre dépend de l’a priori choisi.
Le soutien est aussi relatif à ces deux seules hypothèses. Une valeur comme
p = 0.7n’était pas dans la comparaison. Ici, 0,8 est aussi l’estimation de vraisemblance maximale, car 8 lancers sur 10 sont tombés sur face : aucune autre valeur depn’obtient plus de soutien de ces données.Qu’est-ce qu’un test du rapport de vraisemblance ?
L’exemple de la pièce comparait deux valeurs fixes de
p. La plupart des questions en statistiques sont plus larges, par exemple vérifier si quelques prédicteurs supplémentaires améliorent un modèle de régression.Le test du rapport de vraisemblance (LRT) répond à ce type de question. Il compare deux modèles emboîtés, c’est-à-dire que le modèle restreint est un cas particulier du modèle complet :
Le test suit cinq étapes :
Chaque modèle est évalué à son estimateur de vraisemblance maximale, et non à une valeur de paramètre choisie à l’avance. C’est la principale différence avec l’exemple de la pièce.
Le rapport de vraisemblance compare n’importe quelles deux hypothèses et fournit un soutien relatif, sans p-valeur ni décision. Le LRT prend un ratio de vraisemblances maximisées de modèles emboîtés, le convertit en statistique de test, et utilise sa distribution pour décider s’il faut rejeter l’hypothèse nulle. Tout LRT s’appuie sur un rapport de vraisemblance, mais tout rapport de vraisemblance ne fait pas partie d’un LRT : les rapports de vraisemblance diagnostiques présentés plus loin en sont un exemple.
Statistique du test du rapport de vraisemblance
Le LRT commence par le ratio des vraisemblances maximisées, avec le modèle restreint au numérateur :
Statistique du test du rapport de vraisemblance
Ici,
theta_hat_0est l’estimateur de vraisemblance maximale sous le modèle restreint, ettheta_hatsous le modèle complet. Le modèle complet contenant le restreint, il s’ajuste toujours au moins aussi bien. Cela implique quelambdaest compris entre 0 et 1.La statistique de test est :
Statistique du test du rapport de vraisemblance
Les logarithmes sont là pour la même raison qu’avant : transformer un ratio de très petits nombres en différence de log-vraisemblances, ce que tous les logiciels statistiques rapportent.
Le -2 a deux rôles. Puisque
lambda <= 1,ln(lambda)est nulle ou négative ; le signe moins la rend positive et croissante quand le modèle complet s’ajuste mieux. Le facteur 2 met l’échelle pour suivre une loi du khi carré. Pour les modèles linéaires généralisés,Dcorrespond à la différence de déviance entre les deux modèles, d’où son affichage fréquent sous cette forme.Le théorème de Wilks fait fonctionner le test. Il dit que, lorsque l’hypothèse nulle est vraie et que des conditions de régularité standard sont vérifiées,
Dsuit approximativement une loi du khi carré à mesure que la taille d’échantillon croît. En clair, les modèles doivent être emboîtés et les valeurs nulles ne doivent pas être en bord d’espace paramétrique. Les limites sont détaillées plus loin.Les degrés de liberté égale nt généralement la différence du nombre de paramètres libres entre les modèles. Si le modèle complet ajoute deux prédicteurs, vous comparez
Dà une khi carré à 2 degrés de liberté.Ainsi, la même distribution de référence s’applique à la régression logistique, la régression de Poisson et la plupart des modèles ajustés par vraisemblance maximale.
Comment interpréter un test du rapport de vraisemblance
Supposons que vous souhaitiez prédire si un client résilie un abonnement. Le jeu de données comporte 1 000 clients, et environ 32 % ont churné.
Vous ajustez deux régressions logistiques :
Modèle restreint : prédit le churn à partir de
tenure_monthsuniquement, avec une log-vraisemblance de -556,88Modèle complet : ajoute
monthly_chargesetsupport_tickets, avec une log-vraisemblance de -515,99Voici comment chaque élément du test s’applique :
Hypothèse nulle : les coefficients de
monthly_chargesetsupport_ticketssont nuls ; les prédicteurs supplémentaires n’améliorent donc pas l’ajustementHypothèse alternative : au moins l’un des deux coefficients n’est pas nul
Statistique de test :
D = 2 * (-515.99 - (-556.88)) = 81.78Degrés de liberté : le modèle complet a deux paramètres de plus, donc le test utilise 2 degrés de liberté
P-valeur : la probabilité d’une statistique aussi grande ou plus sous une khi carré à 2 ddl, soit environ
1.7 * 10^-18Cette p-valeur est bien en dessous de tout seuil courant, comme 0,05. Vous rejetez l’hypothèse nulle et concluez que les données apportent une forte évidence que les prédicteurs supplémentaires améliorent l’ajustement.
Mais rejeter la nulle ne signifie pas que le modèle complet est le meilleur choix pour votre cas d’usage.
Avec de grands échantillons, même de minuscules gains d’ajustement produisent de petites p-valeurs. Le test ne dit ni l’ampleur des effets, ni la capacité prédictive sur de nouvelles données. Examinez les coefficients et la performance sur données de validation avant d’adopter le grand modèle.
Et une grande p-valeur ne prouve pas que les prédicteurs supplémentaires sont inutiles : elle signifie seulement que les données n’apportent pas suffisamment d’évidence contre l’hypothèse nulle.
Un LRT indique si des paramètres en plus améliorent l’ajustement ; à vous d’évaluer si cette amélioration est pertinente.
Tests du rapport de vraisemblance pour les modèles de régression
Vous rencontrerez le LRT le plus souvent en comparant des modèles de régression. Le principe reste le même : ajuster un modèle restreint, ajuster un modèle complet, et comparer leurs log-vraisemblances maximisées.
Régression logistique
La régression logistique est l’endroit le plus courant où voir le LRT.
Dans la section interprétation, nous avons comparé un modèle avec
tenure_monthsà un modèle ajoutantmonthly_chargesetsupport_tickets. Vous pouvez aller plus loin et comparer le modèle complet à un modèle à intercept seul, qui prédit la même probabilité de churn pour chaque client.Sur les mêmes données, le modèle à intercept seul a une log-vraisemblance de -627,62, et le modèle complet de -515,99. Cela donne
D = 2 * (-515.99 - (-627.62)) = 223.27avec 3 degrés de liberté, un par prédicteur, et une p-valeur d’environ 3,9 x 10^-48.Ce test demande si les prédicteurs, pris ensemble, expliquent mieux le churn que l’absence de prédicteurs. C’est l’équivalent en logistique du test F global en régression linéaire, et statsmodels le rapporte dans le résumé de modèle sous
LLR p-value.Modèles linéaires généralisés
La régression logistique appartient à la famille des modèles linéaires généralisés (GLM), qui inclut aussi la régression de Poisson pour les comptages et la régression gamma pour les variables positives continues, entre autres.
Chaque GLM rapporte une déviance, qui mesure l’écart au parfait ajustement. Pour deux GLM emboîtés, la différence de leurs déviances égale la statistique LRT
D; le test est donc souvent appelé analyse de déviance.Les degrés de liberté fonctionnent comme précédemment, par différence du nombre de paramètres. Pour les modèles avec un paramètre de dispersion estimé, comme les GLM gamma ou gaussiens, un test F sur la différence de déviance est souvent utilisé plutôt que la version khi carré.
Autres modèles basés sur la vraisemblance
Tout modèle ajusté par vraisemblance maximale peut utiliser un LRT, dès lors que les modèles sont emboîtés. Par exemple :
Rapport de vraisemblance vs tests statistiques apparentés
Le LRT est proche du test de Wald et du test du score. Tous trois testent la même hypothèse nulle et suivent une loi du khi carré en grands échantillons. La différence tient aux modèles ajustés et à ce qui est mesuré.
Test du rapport de vraisemblance vs test de Wald
Le LRT ajuste les deux modèles et compare leurs log-vraisemblances. Le test de Wald n’ajuste que le modèle complet et vérifie à quelle distance chaque estimateur est de sa valeur nulle, en écarts types.
Pour un seul coefficient, la statistique de Wald est l’estimateur divisé par son écart type. Les p-valeurs des tableaux de régression proviennent généralement de ce test.
Le test de Wald est rapide, car un seul modèle est ajusté. Mais il dépend de la paramétrisation et peut mal se comporter en logistique quand des coefficients sont très grands, l’écart type croissant plus vite que l’estimateur. Le LRT n’a pas ces limites : c’est donc un choix plus sûr.
Test du rapport de vraisemblance vs test du score
Le test du score n’ajuste que le modèle restreint.
Il examine la pente de la log-vraisemblance en valeurs nulles. Si l’hypothèse nulle est vraie, la pente doit être proche de 0. Une pente forte signifie que la vraisemblance augmenterait si l’on éloignait ces paramètres de la nulle.
Ce test est pratique lorsque le modèle complet est coûteux ou difficile à ajuster. On le connaît aussi sous le nom de test du multiplicateur de Lagrange, et il sert souvent à présélectionner des prédicteurs avant de les ajouter.
Test du rapport de vraisemblance vs test du khi carré
La statistique du LRT suit une loi du khi carré en grands échantillons, mais cela n’en fait pas un "test du khi carré" au sens habituel.
"Test du khi carré" est une étiquette large pour tout test dont la statistique suit une loi du khi carré. La plupart du temps, on l’emploie pour désigner le test du khi carré de Pearson d’indépendance ou d’adéquation sur tableaux de contingence.
Les deux sont toutefois liés. La version rapport de vraisemblance du test de Pearson s’appelle le G-test ; elle compare effectifs observés et attendus via des log-vraisemblances au lieu d’écarts quadratiques. En grands échantillons, les résultats sont similaires.
Voici la comparaison des trois tests basés sur des modèles :
Rapport de vraisemblance comparé à d’autres tests statistiques
Rapport de vraisemblance vs odds ratio
Les deux termes contiennent "ratio" et sont courants en régression logistique. La ressemblance s’arrête là.
Un rapport de vraisemblance compare la capacité de deux hypothèses à expliquer les données observées. Un odds ratio compare les cotes d’un résultat entre deux groupes ou conditions.
Les cotes (odds) sont la probabilité d’un événement divisée par celle de son complément. Une probabilité de churn de 25 % correspond à des cotes de 0,25 / 0,75, soit 1 contre 3.
Dans le modèle de churn précédent, le coefficient de
support_ticketsest 0,456. Son exponentielle donne un odds ratio d’environ 1,58 : chaque ticket supplémentaire multiplie les cotes de churn par 1,58.C’est une affirmation sur un effet dans les données. Un rapport de vraisemblance exprime une évidence : à quel point un modèle ou une hypothèse explique mieux les mêmes données qu’un autre.
Ainsi, l’odds ratio répond à "quelle est l’ampleur de l’effet ?", et le rapport de vraisemblance à "quelle explication les données soutiennent-elles le plus ?"
Rapports de vraisemblance en test diagnostique
En médecine, "rapport de vraisemblance" a un second sens. Il décrit dans quelle mesure un résultat de test modifie les cotes qu’un patient ait une affection, sans ajustement de modèle ni p-valeurs.
Les rapports de vraisemblance diagnostiques dérivent de deux caractéristiques du test :
Supposons une sensibilité de 90 % et une spécificité de 80 %.
Rapport de vraisemblance positif
Le rapport de vraisemblance positif, ou LR+, indique à quel point un résultat positif est plus probable chez les personnes atteintes que chez les non-atteintes :
Rapport de vraisemblance positif
Dans notre exemple : 0,9 / 0,2 = 4,5. Un résultat positif est 4,5 fois plus probable chez une personne atteinte. Des valeurs supérieures à 1 augmentent les cotes de la maladie, et plus la valeur est élevée, plus un positif est informatif.
Rapport de vraisemblance négatif
Le rapport de vraisemblance négatif, ou LR-, indique à quel point un résultat négatif est probable chez les personnes atteintes, comparé aux non-atteintes :
Rapport de vraisemblance négatif
Dans notre exemple : 0,1 / 0,8 = 0,125. Des valeurs inférieures à 1 réduisent les cotes de la maladie, et plus elles sont proches de 0, plus un négatif est informatif.
Des cotes pré-test aux cotes post-test
Les rapports diagnostiques sont utiles car ils mettent à jour ce que vous saviez avant le test :
Rapport de vraisemblance diagnostique
Supposons que 10 % de patients semblables présentent l’affection. Les cotes pré-test valent 0,1 / 0,9, soit environ 0,111.
Après un résultat positif, les cotes deviennent 0,111 * 4,5 = 0,5, soit une probabilité d’environ 33 %. Après un résultat négatif, elles deviennent 0,111 * 0,125 = 0,014, soit environ 1,4 %.
C’est l’unique endroit de l’article où un rapport de vraisemblance conduit à la probabilité d’une hypothèse : c’est possible ici car les cotes pré-test fournissent l’a priori.
Tests du rapport de vraisemblance en Python et R
Les deux langages permettent d’exécuter un LRT en quelques lignes. J’utilise le jeu de données de churn cité plus haut, pour retrouver les mêmes chiffres que dans les sections d’interprétation et de régression.
Test du rapport de vraisemblance en Python
Vous aurez besoin de
numpy,pandas,statsmodelsetscipy. Commencez par générer le jeu de données :Dans ce jeu de données, le taux de churn est de 32,1 %.
Ensuite, ajustez les modèles logistiques restreint et complet. L’attribut
.llfcontient la log-vraisemblance maximisée de chacun :Log-vraisemblances des modèles restreint et complet
statsmodels n’a pas de fonction LRT générale pour la régression logistique, vous calculez donc la statistique à partir des deux log-vraisemblances. L’attribut
.df_modeldonne le nombre de prédicteurs de chaque modèle, etstats.chi2.sf()renvoie la p-valeur :Statistique de test, degrés de liberté et p-valeur
La p-valeur est bien inférieure à 0,05 : vous rejetez l’hypothèse nulle. Les données apportent une forte évidence que
monthly_chargesetsupport_ticketsaméliorent l’ajustement par rapport à un modèle avectenure_monthsseul.Pour la comparaison au modèle à intercept seul, aucun code supplémentaire n’est nécessaire. statsmodels la calcule pour chaque modèle logistique :
Comparaison d’un modèle complet à un modèle à intercept seul
Test du rapport de vraisemblance en R
R n’utilise pas le même générateur aléatoire que NumPy ; chargez donc le fichier
churn.csvissu de Python pour travailler sur des données identiques. Puis ajustez les deux modèles avecglm()et passez-les àanova():Log-vraisemblances et test de ratio en R
Les valeurs
dfà côté de chaque log-vraisemblance correspondent au nombre de paramètres estimés, intercept compris. Le modèle complet en compte deux de plus, ce qui correspond à la colonneDfdu tableauanova().La colonne
Devianceaffiche 81,778, la même statistique LR qu’en Python. C’est l’analyse de déviance évoquée plus haut : la chute de la déviance résiduelle de 1113,8 à 1032,0 est la statistique de test.R affiche la p-valeur comme
< 2.2e-16car c’est la plus petite valeur affichée par défaut, pas parce qu’elle diffère du résultat Python. Dans les deux cas, la conclusion est la même : les prédicteurs supplémentaires améliorent l’ajustement.Si vous préférez une fonction dédiée,
lrtest()du packagelmtestréalise la même comparaison aveclrtest(reduced_model, full_model).Hypothèses et limites des tests du rapport de vraisemblance
Le LRT fonctionne bien dans les contextes précédents, mais son résultat khi carré dépend de quelques conditions.
Des modèles emboîtés
Le LRT standard ne compare que des modèles emboîtés, où le restreint est un cas particulier du complet.
Si vous souhaitez comparer une logistique à un modèle probit, ou deux modèles avec des prédicteurs différents, aucun n’est un cas particulier de l’autre. La loi du khi carré ne s’applique pas. Utilisez des critères d’information comme AIC et BIC, ou le test de Vuong pour modèles non emboîtés.
Des modèles ajustés par vraisemblance maximale
Le test compare des vraisemblances maximisées ; les deux modèles doivent donc être ajustés par vraisemblance maximale sur les mêmes données.
Deux pièges courants : les modèles à effets mixtes ajustés par REML, valeur par défaut de nombreux outils, ne peuvent pas être comparés par LRT s’ils diffèrent par les effets fixes – il faut les réajuster par vraisemblance maximale. Et les modèles pénalisés comme la régression lasso ou ridge ne maximisent pas la vraisemblance elle-même ; le test standard ne s’y applique donc pas.
Les modèles doivent aussi utiliser les mêmes observations. Si un prédicteur comporte des valeurs manquantes, le modèle complet peut écarter des lignes, rendant les deux log-vraisemblances non comparables.
La loi du khi carré est asymptotique
Le théorème de Wilks est un résultat en grands échantillons. Il suppose, en termes simples, une vraisemblance régulière, des paramètres identifiables, et des valeurs vraies à l’intérieur du domaine permis.
Quand ces conditions sont remplies, la loi du khi carré est une bonne approximation pour de grands échantillons. Cela reste une approximation.
Petits échantillons
Avec de petits échantillons, la statistique LRT peut ne pas suivre une khi carré, et les p-valeurs être biaisées, trop petites ou trop grandes.
Plusieurs options existent : un bootstrap paramétrique simule de nouveaux jeux de données depuis le modèle restreint pour construire la distribution de la statistique. Pour des cas simples, comme les tableaux de contingence, des tests exacts évitent l’approximation.
Paramètres en bord de domaine
Certaines hypothèses nulles placent un paramètre au bord de son domaine. L’exemple type est de tester si une variance d’effet aléatoire dans un modèle mixte vaut 0, une variance ne pouvant être négative.
Dans ce cas, la statistique ne suit pas la khi carré usuelle. Pour un seul composant de variance, elle suit un mélange 50:50 d’une khi carré à 0 et 1 ddl ; la p-valeur standard est alors environ deux fois trop grande. Le test usuel est conservateur ici, et manque plus souvent des effets réels.
Tester le nombre de composantes dans un modèle de mélange pose un problème similaire : en comparant une composante à deux, les conditions de régularité échouent et l’approximation khi carré ne tient plus.
Spécification de modèle inadéquate
Le LRT suppose que le modèle complet est correct. Si les deux modèles décrivent mal la distribution des données – par exemple un Poisson pour des comptages très surdispérsés – la statistique ne suivra pas une khi carré, même en grands échantillons.
Vérifiez l’ajustement de votre modèle complet avant de faire confiance au test. Pour des comptages surdispérsés, un modèle binomial négatif ou un test F de quasi-vraisemblance sera souvent plus adapté.
Ainsi, l’approximation khi carré est un par défaut, pas une garantie ; elle ne s’applique que lorsque le cadre respecte les conditions du théorème de Wilks.
Conclusion
Un rapport de vraisemblance compare la capacité de deux hypothèses ou modèles à expliquer les mêmes données observées. C’est l’idée centrale, à partir de laquelle tout le reste de l’article découle.
Le test du rapport de vraisemblance formalise cette idée : il ajuste deux modèles emboîtés, compare leurs log-vraisemblances maximisées, et utilise la loi du khi carré pour obtenir une p-valeur. Vous le verrez surtout en régression logistique et dans les autres GLM, et statsmodels comme R le mettent en œuvre en quelques lignes.
Mais gardez le sens du nombre en tête : un rapport de vraisemblance exprime un soutien relatif entre deux hypothèses, pas la probabilité que l’une ou l’autre soit vraie. Pour cela, il faut des cotes a priori, comme en diagnostic.
Pour aller plus loin : les briques derrière le test : la vraisemblance elle-même, l’estimation par vraisemblance maximale, et la comparaison du test de Wald et d’autres tests d’hypothèses au LRT.