Likelihood-Ratio: Ein wichtiges Maß für statistische Evidenz
Eine Likelihood-Ratio vergleicht, wie gut zwei Hypothesen oder Modelle dieselben Daten erklären. Dieser Artikel behandelt die Formel, ein durchgerechnetes Münzwurf-Beispiel, den Likelihood-Ratio-Test für verschachtelte Regressionsmodelle in Python und R sowie diagnostische Likelihood-Ratios.
Bist du in einem Regressionsoutput oder einer Studie über den Begriff "likelihood ratio" gestolpert und wusstest nicht, was er dir sagt?
Damit bist du nicht allein. Der Begriff taucht häufig in Hypothesentests, beim Modellvergleich, in der Klassifikation und in der Diagnostik auf – und jede Disziplin nutzt ihn ein wenig anders. Viele Erklärungen starten außerdem mit einer Teststatistik und einer Chi-Quadrat-Verteilung, bevor überhaupt klar ist, was eine Likelihood ist. Am Ende hast du eine Zahl, die du berechnen, aber nicht erklären kannst.
Kurz gesagt zeigt die Likelihood, wie gut ein Parameterwert oder ein statistisches Modell die beobachteten Daten erklärt. Eine Likelihood-Ratio teilt eine Likelihood durch eine andere, sodass du siehst, welche von zwei Hypothesen von den Daten stärker unterstützt wird – und um wie viel.
In diesem Artikel führe ich dich durch die Grundidee und die Formel, den Likelihood-Ratio-Test und seine Interpretation – und zeige dir, wo dir Likelihood-Ratios in der Praxis begegnen.
Eine Likelihood-Ratio ist die Likelihood der beobachteten Daten unter einer Hypothese, geteilt durch die Likelihood derselben Daten unter einer anderen Hypothese. Die beiden Hypothesen können zwei Parameterwerte oder zwei vollständige statistische Modelle sein.
Sie beantwortet die Frage, welche Erklärung die Daten besser abbildet – nicht, ob die Daten wahrscheinlich sind.
Das ist ein wichtiger Unterschied. Jede konkrete Sequenz von 20 Münzwürfen hat unter einer fairen Münze eine Wahrscheinlichkeit von etwa eins zu einer Million – eine kleine Likelihood allein sagt also wenig aus. Sinn ergibt sie erst im Vergleich zu einer anderen Likelihood.
Angenommen, du wirfst eine Münze 10-mal und erhältst 8-mal Kopf. Eine Hypothese besagt, die Münze ist fair, also mit 0,5 Chance auf Kopf. Eine andere besagt, sie ist verzerrt, mit 0,8 Chance auf Kopf.
Beide Hypothesen können 8-mal Kopf erzeugen, aber die verzerrte Münze liefert dieses Ergebnis deutlich häufiger. Die Daten unterstützen also die zweite Hypothese mehr, und die Likelihood-Ratio beziffert, wie viel mehr. Die genauen Werte rechne ich im Beispielabschnitt später vor.
Likelihood und Wahrscheinlichkeit verwenden dieselbe Formel, beantworten aber unterschiedliche Fragen:
Wahrscheinlichkeit: Fixiert den Parameter und fragt, wie wahrscheinlich verschiedene Ergebnisse sind – z. B. die Chance auf 8-mal Kopf in 10 Würfen mit einer fairen Münze
Likelihood: Fixiert die beobachteten Daten und fragt, wie gut verschiedene Parameterwerte sie erklären – z. B. wie gut eine 0,5- im Vergleich zu einer 0,8-Wahrscheinlichkeit für Kopf 8-mal Kopf in 10 Würfen erklärt
Wahrscheinlichkeiten über alle möglichen Ergebnisse summieren sich zu 1, Likelihoods über alle möglichen Parameterwerte jedoch nicht. Darum ist eine Likelihood nicht die Wahrscheinlichkeit, dass eine Hypothese wahr ist – und eine Likelihood-Ratio auch nicht.
Wie funktioniert eine Likelihood-Ratio?
Jede Likelihood-Ratio folgt denselben fünf Schritten:
Daten beobachten: Erhebe die Stichprobe, die du erklären willst, z. B. 8-mal Kopf in 10 Würfen
Erste Likelihood berechnen: Ermittle, wie wahrscheinlich die beobachteten Daten unter Hypothese A sind
Zweite Likelihood berechnen: Dasselbe für Hypothese B
Teilen: Setze eine Likelihood in den Zähler und die andere in den Nenner
Verhältnis interpretieren: Prüfe, welche Hypothese die Daten stärker unterstützen – und um wie viel
Die Bedeutung des Verhältnisses hängt davon ab, welche Likelihood oben steht. Mit Hypothese A im Zähler gilt:
Verhältnis über 1: Die Daten sind unter A wahrscheinlicher, also erhält A mehr Unterstützung
Verhältnis unter 1: Die Daten sind unter B wahrscheinlicher, also erhält B mehr Unterstützung
Verhältnis gleich 1: Beide Hypothesen erklären die Daten gleich gut – die Daten bevorzugen keine von beiden
Ein Verhältnis von 4 bedeutet, dass die beobachteten Daten unter A viermal so wahrscheinlich sind wie unter B. Es bedeutet nicht, dass A viermal so wahrscheinlich wahr ist.
Wenn du Zähler und Nenner vertauschst, erhältst du das Reziprok. Ein Verhältnis von 4 zugunsten von A wird zu 0,25 – dieselbe Aussage aus Sicht von B.
Die Konventionen unterscheiden sich je nach Fachgebiet. Beim Likelihood-Ratio-Test steht meist die Nullhypothese im Zähler, sodass kleine Werte als Evidenz gegen sie zählen, während in anderen Anwendungen oft die Alternativhypothese oben steht.
Bevor du also eine Likelihood-Ratio interpretierst, prüfe, welche Hypothese im Zähler steht.
Formel der Likelihood-Ratio
Die grundlegende Likelihood-Ratio teilt eine Likelihood der Daten durch eine andere:
Formel der Likelihood-Ratio
Das bedeuten die Terme:
x: Die beobachteten Daten, z. B. 8-mal Kopf in 10 Würfen
theta_1 und theta_0: Die beiden Parameterwerte oder Hypothesen, die du vergleichen willst, z. B. 0,8 und 0,5 Wahrscheinlichkeit für Kopf
L(theta | x): Die Likelihood von theta gegeben die Daten, die der Wahrscheinlichkeit von x entspricht, wenn theta der wahre Parameter ist, bzw. der Dichte bei kontinuierlichen Daten
Bei unabhängigen Beobachtungen ist die Likelihood ein Produkt aus einer Wahrscheinlichkeit pro Beobachtung:
Likelihood bei unabhängigen Beobachtungen
Und hier beginnen die praktischen Probleme. Jeder Faktor ist kleiner als 1, also schrumpft das Produkt mit wachsender Stichprobe rasant.
Die Wahrscheinlichkeit einer konkreten Sequenz von 1.000 Würfen unter einer fairen Münze ist etwa 9,3 * 10^-302 – nahe der kleinsten Zahl, die ein 64-Bit-Float speichern kann. Bei 2.000 Würfen liefert 0.5 ** 2000 in Python 0.0.
Logarithmen helfen hier weiter. Der Logarithmus eines Produkts ist die Summe der Logarithmen – die Log-Likelihood macht also aus einem Produkt winziger Zahlen eine Summe handhabbarer Werte:
Log-Likelihood
Das Verhältnis wird zur Differenz:
Log-Likelihood-Ratio
Summen lassen sich auch leichter ableiten als Produkte – deshalb arbeitet die Maximum-Likelihood-Schätzung ebenfalls mit Log-Likelihoods.
Die Log-Variante liest sich wie das Verhältnis – nur um 0 statt um 1 herum. Ein Wert von 0 bedeutet gleiche Unterstützung, positive Werte sprechen für theta_1, negative für theta_0.
Beispiel für eine Likelihood-Ratio
Zurück zur Münze von oben. Du wirfst 10-mal und erhältst 8-mal Kopf und 2-mal Zahl.
Die beiden Hypothesen lauten:
Hypothese 0: Die Münze ist fair, also p = 0.5
Hypothese 1: Die Münze ist zugunsten von Kopf verzerrt, also p = 0.8
Die Anzahl Köpfe in 10 Würfen folgt einer Binomialverteilung, also ist die Likelihood jeder Hypothese:
Beispiel Likelihood-Ratio
Unter der fairen Münze gilt:
Beispiel Likelihood-Ratio
Unter der verzerrten Münze gilt:
Beispiel Likelihood-Ratio
Die Likelihood-Ratio ist:
Beispiel Likelihood-Ratio
Der Binomialkoeffizient 45 taucht in beiden Likelihoods auf und kürzt sich im Verhältnis heraus. Du würdest dieselben 6,87 auch aus der Wahrscheinlichkeit der exakten Wurfsequenz erhalten.
Einfach gesagt: Die beobachteten Daten sind etwa 6,9-mal so wahrscheinlich, wenn die Münze zu 80% auf Kopf fällt, als wenn sie fair ist. Punkt.
Das Verhältnis sagt nicht, dass die Münze 6,9-mal so wahrscheinlich verzerrt ist. Um eine Wahrscheinlichkeit zu erhalten, dass eine der Hypothesen wahr ist, brauchst du Vorwahrscheinlichkeiten für beide. Mit 50/50 Vorab-Chancen wären die Posterior-Odds 6,87 zu 1, also etwa 87% für die verzerrte Münze – aber dieser Wert hängt von der gewählten Prior ab.
Die Unterstützung ist außerdem relativ nur zu diesen beiden Hypothesen. Ein Wert wie p = 0.7 war nicht Teil des Vergleichs. Hier ist 0,8 zufällig auch die Maximum-Likelihood-Schätzung, weil 8 von 10 Würfen Kopf ergaben – kein anderer p-Wert erhält aus diesen Daten mehr Unterstützung.
Was ist ein Likelihood-Ratio-Test?
Im Münzbeispiel wurden zwei feste Werte von p verglichen. In der Statistik sind die Fragen meist breiter – etwa ob ein paar zusätzliche Prädiktoren ein Regressionsmodell verbessern.
Der Likelihood-Ratio-Test (LRT) beantwortet diese Art Frage. Er vergleicht zwei verschachtelte Modelle, d. h. das kleinere Modell ist ein Spezialfall des größeren:
Restriktiertes Modell: Repräsentiert die Nullhypothese, einige Parameter sind fest (meist bei 0)
Vollmodell: Repräsentiert die Alternativhypothese, diese Parameter sind frei wählbar
Der Test umfasst fünf Schritte:
Restriktiertes Modell fitten: Parameterwerte finden, die seine Likelihood maximieren
Vollmodell fitten: Dasselbe mit den zusätzlichen Parametern
Maximierte Likelihoods vergleichen: Ihr Verhältnis bilden oder die Differenz der Log-Likelihoods
Teststatistik berechnen: Den Vergleich in eine Zahl mit bekannter Verteilung überführen
P-Wert ermitteln: Prüfen, wie extrem die Statistik ist, falls die Nullhypothese wahr ist
Jedes Modell wird bei seiner Maximum-Likelihood-Schätzung bewertet, nicht bei einem vorab gewählten Parameterwert. Das ist der Hauptunterschied zum Münzbeispiel.
Die Likelihood-Ratio vergleicht beliebige zwei Hypothesen und liefert relative Unterstützung – aber keinen p-Wert und keine Entscheidung. Der LRT nimmt das Verhältnis maximierter Likelihoods verschachtelter Modelle, wandelt es in eine Teststatistik um und nutzt deren Verteilung, um über das Verwerfen der Nullhypothese zu entscheiden. Jeder LRT nutzt eine Likelihood-Ratio, aber nicht jede Likelihood-Ratio ist Teil eines LRT – die diagnostischen Likelihood-Ratios später im Artikel sind ein Beispiel.
Teststatistik des Likelihood-Ratio-Tests
Der LRT startet mit dem Verhältnis der maximierten Likelihoods, mit dem restriktiven Modell im Zähler:
Teststatistik Likelihood-Ratio
Hier ist theta_hat_0 die Maximum-Likelihood-Schätzung unter dem restriktiven Modell und theta_hat die Schätzung unter dem Vollmodell. Das Vollmodell enthält das restriktive, es passt also immer mindestens genauso gut. Daher liegt lambda zwischen 0 und 1.
Die Teststatistik lautet:
Teststatistik Likelihood-Ratio
Logarithmen sind aus demselben Grund dabei wie zuvor: Sie machen aus einem Verhältnis winziger Zahlen eine Differenz von Log-Likelihoods – ein Wert, den jedes Statistiktool ausgibt.
Das -2 erfüllt zwei Aufgaben. Da lambda <= 1 ist, ist ln(lambda) 0 oder negativ. Das Minuszeichen macht daraus eine positive Zahl, die wächst, je besser das Vollmodell passt. Der Faktor 2 skaliert die Statistik so, dass sie einer Chi-Quadrat-Verteilung folgt. Für generalisierte lineare Modelle entspricht D der Differenz der Deviance zwischen beiden Modellen – daher wird sie oft so berichtet.
Der Satz von Wilks macht den Test möglich. Er besagt, dass D unter der Nullhypothese und bei üblichen Regularitätsbedingungen asymptotisch einer Chi-Quadrat-Verteilung folgt. Übersetzt: Die Modelle müssen verschachtelt sein und die Null-Parameterwerte dürfen nicht am Rand des zulässigen Bereichs liegen. In den Limitierungen weiter unten steht, was passiert, wenn diese Bedingungen verletzt sind.
Die Freiheitsgrade entsprechen üblicherweise der Differenz in der Zahl freier Parameter zwischen den Modellen. Fügt das Vollmodell zwei Prädiktoren hinzu, vergleichst du D mit einer Chi-Quadrat-Verteilung mit 2 Freiheitsgraden.
Damit funktioniert dieselbe Referenzverteilung für logistische Regression, Poisson-Regression und die meisten anderen Modelle, die per Maximum Likelihood gefittet werden.
Wie interpretiert man einen Likelihood-Ratio-Test?
Angenommen, du möchtest vorhersagen, ob ein Kunde ein Abo kündigt. Der Datensatz umfasst 1.000 Kunden, etwa 32% davon sind abgewandert.
Du fitst zwei logistische Regressionsmodelle:
Restriktiertes Modell: Sagt Churn aus tenure_months vorher, Log-Likelihood -556,88
Vollmodell: Fügt monthly_charges und support_tickets hinzu, Log-Likelihood -515,99
So wendest du den Test an:
Nullhypothese: Die Koeffizienten von monthly_charges und support_tickets sind beide 0 – die zusätzlichen Prädiktoren verbessern den Fit nicht
Alternativhypothese: Mindestens einer dieser beiden Koeffizienten ist ungleich 0
Teststatistik: D = 2 * (-515.99 - (-556.88)) = 81.78
Freiheitsgrade: Das Vollmodell hat zwei Parameter mehr, also 2 Freiheitsgrade
P-Wert: Die Wahrscheinlichkeit einer so großen oder größeren Statistik unter einer Chi-Quadrat-Verteilung mit 2 Freiheitsgraden – etwa 1.7 * 10^-18
Dieser P-Wert liegt weit unter gängigen Schwellen wie 0,05. Du verwirfst die Nullhypothese und folgerst, dass die Daten starke Evidenz dafür liefern, dass die zusätzlichen Prädiktoren den Fit verbessern.
Aber das Verwerfen der Null bedeutet nicht automatisch, dass das Vollmodell für deinen Use Case die beste Wahl ist.
Bei großen Stichproben führen selbst minimale Verbesserungen im Fit zu sehr kleinen P-Werten. Der Test sagt dir nicht, wie groß die Effekte sind oder wie gut das Modell neue Daten vorhersagt. Prüfe die Koeffizienten und die Performance auf zurückgehaltenen Daten, bevor du das größere Modell behältst.
Und ein großer P-Wert beweist nicht, dass zusätzliche Prädiktoren nutzlos sind. Er bedeutet nur, dass die Daten nicht genug Evidenz gegen die Null liefern.
Ein LRT sagt dir, ob zusätzliche Parameter den Fit verbessern – ob diese Verbesserung relevant ist, musst du entscheiden.
Likelihood-Ratio-Tests für Regressionsmodelle
Am häufigsten nutzt du den LRT beim Vergleich von Regressionsmodellen. Die Idee bleibt immer gleich: restriktives Modell fitten, Vollmodell fitten und ihre maximierten Log-Likelihoods vergleichen.
Logistische Regression
Die logistische Regression ist der häufigste Einsatzort für den LRT.
Im Interpretationsabschnitt haben wir ein Modell mit tenure_months mit einem Modell verglichen, das zusätzlich monthly_charges und support_tickets enthält. Du kannst noch einen Schritt weitergehen und das Vollmodell mit einem reinen Interzept-Modell vergleichen, das für alle Kunden dieselbe Churn-Wahrscheinlichkeit vorhersagt.
Für dieselben Churn-Daten hat das Interzept-Modell eine Log-Likelihood von -627,62, das Vollmodell -515,99. Das ergibt D = 2 * (-515.99 - (-627.62)) = 223.27 mit 3 Freiheitsgraden, einem pro Prädiktor, und einem P-Wert von etwa 3,9 x 10^-48.
Dieser Test fragt, ob die Prädiktoren zusammen Churn besser erklären als gar keine Prädiktoren. Er ist das logistische Pendant zum Gesamt-F-Test in der linearen Regression, und statsmodels berichtet ihn in der Modellzusammenfassung als LLR p-value.
Generalisierte lineare Modelle
Die logistische Regression ist Teil der Familie der generalisierten linearen Modelle (GLMs). Dazu gehören u. a. die Poisson-Regression für Zähldaten und die Gamma-Regression für positive stetige Zielgrößen.
Jedes GLM berichtet eine Deviance, die misst, wie weit das Modell vom perfekten Fit entfernt ist. Für zwei verschachtelte GLMs entspricht die Differenz ihrer Deviances der LRT-Statistik D – daher wird der Test oft als "Analysis of Deviance" bezeichnet.
Die Freiheitsgrade funktionieren wie zuvor – als Differenz in der Anzahl der Parameter. Bei Modellen mit geschätztem Dispersionsparameter, z. B. Gamma- oder Gaussian-GLMs, wird oft ein F-Test auf die Deviance-Differenz statt der Chi-Quadrat-Version genutzt.
Andere Likelihood-basierte Modelle
Jedes per Maximum Likelihood gefittete Modell kann einen LRT nutzen, solange die Modelle verschachtelt sind. Zum Beispiel:
Mixed-Effects-Modelle: Modelle mit und ohne Fixed Effect vergleichen; mit Maximum Likelihood statt REML fitten
Survival-Modelle: Prüfen, ob eine Kovariate ein Cox-Proportional-Hazards-Modell verbessert (partielle Likelihood)
Genetik: Test auf Kopplung zwischen Genen; LOD-Scores sind Zehner-Log-Likelihood-Ratios
Likelihood-Ratio vs. verwandte statistische Tests
Der LRT ähnelt dem Wald-Test und dem Score-Test. Alle drei testen dieselbe Nullhypothese und folgen in großen Stichproben einer Chi-Quadrat-Verteilung. Der Unterschied liegt darin, welche Modelle du fittest und was du misst.
Likelihood-Ratio-Test vs. Wald-Test
Der LRT fittet beide Modelle und vergleicht ihre Log-Likelihoods. Der Wald-Test fittet nur das Vollmodell und prüft, wie weit jede Schätzung in Standardfehlern vom Nullwert entfernt ist.
Für einen einzelnen Koeffizienten ist die Wald-Statistik die Schätzung geteilt durch ihren Standardfehler. Die P-Werte in Regressions-Tabellen basieren meist auf diesem Test.
Der Wald-Test ist schnell, da nur ein Modell gefittet wird. Aber er hängt von der Parametrisierung ab und kann in der logistischen Regression bei sehr großen Koeffizienten schlecht abschneiden, weil der Standardfehler schneller wächst als die Schätzung. Der LRT hat diese Probleme nicht – er ist daher meist die robustere Wahl.
Likelihood-Ratio-Test vs. Score-Test
Der Score-Test fittet nur das restriktive Modell.
Er betrachtet die Steigung der Log-Likelihood an den Null-Parameterwerten. Ist die Nullhypothese korrekt, sollte die Steigung nahe 0 liegen. Eine steile Steigung bedeutet, dass die Likelihood steigen würde, wenn man diese Parameter vom Nullwert weg bewegt.
Damit ist der Score-Test praktisch, wenn das Vollmodell teuer oder schwer zu fitten ist. Er ist auch als Lagrange-Multiplikator-Test bekannt und wird oft genutzt, um potenzielle Prädiktoren vorab zu screenen.
Likelihood-Ratio-Test vs. Chi-Quadrat-Test
Die LRT-Statistik folgt in großen Stichproben einer Chi-Quadrat-Verteilung – das macht den LRT aber nicht zu einem "Chi-Quadrat-Test" im üblichen Sinn.
"Chi-Quadrat-Test" ist ein Sammelbegriff für Tests, deren Statistik einer Chi-Quadrat-Verteilung folgt. Meist ist damit Pearsons Chi-Quadrat-Test auf Unabhängigkeit oder Güte in Kontingenztafeln gemeint.
Es gibt dennoch Verbindungen. Die Likelihood-Ratio-Version von Pearsons Test heißt G-Test und vergleicht beobachtete und erwartete Häufigkeiten mit Log-Likelihoods statt quadrierten Abweichungen. In großen Stichproben liefern beide ähnliche Ergebnisse.
So vergleichen sich die drei modellbasierten Tests:
Wald-Test
Likelihood-Ratio-Test
Score-Test
Gefittete Modelle
Nur Vollmodell
Restriktiert und voll
Nur restriktiert
Was gemessen wird
Abstand der Schätzung vom Nullwert in Standardfehlern
Lücke zwischen den maximierten Log-Likelihoods
Steigung der Log-Likelihood an den Nullwerten
Typische Anwendung
Koeffizienten-P-Werte in Regressionssummaries
Vergleich verschachtelter Modelle, Analysis of Deviance
Screening neuer Prädiktoren, schwer zu fittende Modelle
Schwachpunkt
Hängt von der Parametrisierung ab, unzuverlässig bei sehr großen Schätzungen
Erfordert das Fitten beider Modelle
Nutzt nur Informationen nahe der Nullwerte
Großstichproben-Verteilung
Chi-Quadrat
Chi-Quadrat
Chi-Quadrat
Likelihood-Ratio im Vergleich zu anderen statistischen Tests
Likelihood-Ratio vs. Odds Ratio
Beide Begriffe enthalten "Ratio" und sind in der logistischen Regression geläufig. Damit enden die Gemeinsamkeiten.
Eine Likelihood-Ratio vergleicht, wie gut zwei Hypothesen die beobachteten Daten erklären. Eine Odds Ratio vergleicht die Quoten eines Outcomes zwischen zwei Gruppen oder Bedingungen.
Quoten sind die Wahrscheinlichkeit eines Ereignisses geteilt durch die Wahrscheinlichkeit, dass es nicht eintritt. 25% Churn entsprechen Quoten von 0,25 / 0,75, also 1 zu 3.
Im obigen Churn-Modell beträgt der Koeffizient von support_tickets 0,456. Sein Exponent ergibt eine Odds Ratio von etwa 1,58 – jedes zusätzliche Ticket multipliziert die Churn-Quoten mit 1,58.
Das ist eine Aussage über einen Effekt in den Daten. Eine Likelihood-Ratio ist eine Aussage über Evidenz – also darüber, wie viel besser ein Modell oder eine Hypothese dieselben Daten erklärt als eine andere.
Die Odds Ratio beantwortet also "Wie groß ist der Effekt?", die Likelihood-Ratio "Welche Erklärung unterstützen die Daten stärker?"
Likelihood-Ratios in der Diagnostik
In der Medizin hat "Likelihood-Ratio" eine zweite Bedeutung: Sie beschreibt, wie stark ein Testergebnis die Quoten dafür verändert, dass ein Patient eine Erkrankung hat – ganz ohne Modellfitting oder P-Werte.
Diagnostische Likelihood-Ratios basieren auf zwei Testeigenschaften:
Sensitivität: Anteil der Erkrankten mit positivem Test
Spezifität: Anteil der Gesunden mit negativem Test
Angenommen, ein Test hat 90% Sensitivität und 80% Spezifität.
Positive Likelihood-Ratio
Die positive Likelihood-Ratio (LR+) zeigt, wie viel wahrscheinlicher ein positives Ergebnis bei Erkrankten ist als bei Gesunden:
Positive Likelihood-Ratio
Im Beispiel: 0,9 / 0,2 = 4,5. Ein positives Ergebnis ist bei Erkrankten 4,5-mal so wahrscheinlich. Werte über 1 erhöhen die Erkrankungsquoten – je höher, desto informativer ist ein positives Ergebnis.
Negative Likelihood-Ratio
Die negative Likelihood-Ratio (LR-) zeigt, wie wahrscheinlich ein negatives Ergebnis bei Erkrankten im Vergleich zu Gesunden ist:
Negative Likelihood-Ratio
Im Beispiel: 0,1 / 0,8 = 0,125. Werte unter 1 senken die Erkrankungsquoten – je näher an 0, desto informativer ist ein negatives Ergebnis.
Von Pre-Test- zu Post-Test-Quoten
Diagnostische Likelihood-Ratios sind nützlich, weil sie dein Vorwissen aktualisieren:
Diagnostische Likelihood-Ratio
Angenommen, 10% vergleichbarer Patienten sind erkrankt. Das entspricht Pre-Test-Quoten von 0,1 / 0,9, also etwa 0,111.
Nach einem positiven Ergebnis werden die Quoten zu 0,111 * 4,5 = 0,5, also rund 33% Wahrscheinlichkeit. Nach einem negativen Ergebnis zu 0,111 * 0,125 = 0,014, also rund 1,4%.
Das ist die eine Stelle im Artikel, an der eine Likelihood-Ratio zur Wahrscheinlichkeit einer Hypothese führt – möglich, weil die Pre-Test-Quoten die Prior liefern.
Likelihood-Ratio-Tests in Python und R
Beide Sprachen haben alles Nötige, um einen LRT in wenigen Zeilen zu rechnen. Ich nutze den oben erwähnten Churn-Datensatz, damit die Zahlen zu den Abschnitten zur Interpretation und Regression passen.
Likelihood-Ratio-Test in Python
Du brauchst numpy, pandas, statsmodels und scipy. Starte mit der Datengenerierung:
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from scipy import stats
# Generate a synthetic customer churn dataset
rng = np.random.default_rng(42)
n_customers =1000
churn = pd.DataFrame({"tenure_months": rng.integers(1,73, n_customers),"monthly_charges": rng.uniform(20,120, n_customers).round(2),"support_tickets": rng.poisson(1.5, n_customers),})# Churn gets less likely with tenure and more likely with charges and tickets
log_odds =(-0.5-0.04* churn["tenure_months"]+0.01* churn["monthly_charges"]+0.25* churn["support_tickets"])
churn["churned"]= rng.binomial(1,1/(1+ np.exp(-log_odds)))# Save the data so you can load the same dataset in R
churn.to_csv("churn.csv", index=False)Bereitgestellt von
In diesem Datensatz liegt die Churn-Rate bei 32,1%.
Als Nächstes fitten wir das restriktive und das volle logistische Regressionsmodell. Das Attribut .llf enthält die maximierte Log-Likelihood:
# Fit the restricted and full models
reduced_model = smf.logit("churned ~ tenure_months", data=churn).fit(disp=0)
full_model = smf.logit("churned ~ tenure_months + monthly_charges + support_tickets",
data=churn,).fit(disp=0)# Get the maximized log-likelihoodsprint(f"Restricted model log-likelihood: {reduced_model.llf:.2f}")print(f"Full model log-likelihood: {full_model.llf:.2f}")Bereitgestellt von
Log-Likelihoods von restriktivem und vollem Modell
statsmodels hat keine allgemeine LRT-Funktion für die logistische Regression, daher berechnest du die Statistik aus den beiden Log-Likelihoods. Das Attribut .df_model liefert die Anzahl der Prädiktoren je Modell, und stats.chi2.sf() gibt den P-Wert zurück:
lr_stat =2*(full_model.llf - reduced_model.llf)
df_diff = full_model.df_model - reduced_model.df_model
p_value = stats.chi2.sf(lr_stat, df_diff)print(f"LR statistic: {lr_stat:.2f}")print(f"Degrees of freedom: {df_diff:.0f}")print(f"P-value: {p_value:.1e}")Bereitgestellt von
Teststatistik, Freiheitsgrade und P-Wert
Der P-Wert liegt deutlich unter 0,05 – du verwirfst die Nullhypothese. Die Daten liefern starke Evidenz, dass monthly_charges und support_tickets den Fit gegenüber einem Modell mit nur tenure_months verbessern.
Für den Vergleich mit einem reinen Interzept-Modell brauchst du keinen zusätzlichen Code. statsmodels berechnet ihn für jedes logistische Regressionsmodell:
print(f"Intercept-only log-likelihood: {full_model.llnull:.2f}")print(f"LR statistic: {full_model.llr:.2f}")print(f"P-value: {full_model.llr_pvalue:.1e}")Bereitgestellt von
Vergleich Vollmodell vs. Interzept-Modell
Likelihood-Ratio-Test in R
R nutzt nicht denselben Zufallszahlengenerator wie NumPy – lade daher die Datei churn.csv aus dem Python-Beispiel, um identische Daten zu verwenden. Fitten beide Modelle mit glm() und übergib sie an anova():
# Load the churn dataset saved from Python
churn <- read.csv("churn.csv")# Fit the restricted and full models
reduced_model <- glm(churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
churned ~ tenure_months + monthly_charges + support_tickets,
data = churn,
family = binomial
)# Check the maximized log-likelihoods
logLik(reduced_model)
logLik(full_model)# Run the likelihood ratio test
anova(reduced_model, full_model, test ="Chisq")Bereitgestellt von
Log-Likelihoods und Ratio-Test in R
Die df-Werte neben jeder Log-Likelihood sind die Anzahl geschätzter Parameter inklusive Interzept. Das Vollmodell hat zwei mehr – das deckt sich mit der Spalte Df in der anova()-Tabelle.
Die Spalte Deviance zeigt 81,778 – dieselbe LR-Statistik wie in Python. Das ist die Analysis of Deviance aus dem GLM-Abschnitt in Aktion: Der Rückgang der Residual-Deviance von 1113,8 auf 1032,0 ist die Teststatistik.
R druckt den P-Wert als < 2.2e-16, weil das der kleinste Standardwert ist – nicht, weil er vom Python-Ergebnis abweicht. Das Fazit ist identisch: Die zusätzlichen Prädiktoren verbessern den Fit.
Wenn du eine dedizierte Funktion bevorzugst: lrtest() aus dem Paket lmtest führt denselben Vergleich mit lrtest(reduced_model, full_model) aus.
Annahmen und Grenzen von Likelihood-Ratio-Tests
Der LRT funktioniert in den bislang gezeigten Settings gut – sein Chi-Quadrat-Ergebnis hängt aber an ein paar Bedingungen.
Modelle müssen verschachtelt sein
Der Standard-LRT vergleicht nur verschachtelte Modelle, bei denen das restriktive Modell ein Spezialfall des Vollmodells ist.
Willst du z. B. eine logistische Regression mit einem Probit-Modell vergleichen oder zwei Modelle mit unterschiedlichen Prädiktoren, ist keines ein Spezialfall des anderen. Die Chi-Quadrat-Verteilung gilt dann nicht. Nutze stattdessen Informationskriterien wie AIC und BIC oder den Vuong-Test für nicht verschachtelte Modelle.
Beide Modelle brauchen Maximum-Likelihood-Schätzungen
Der Test vergleicht maximierte Likelihoods – beide Modelle müssen also per Maximum Likelihood auf denselben Daten gefittet sein.
Zwei typische Stolpersteine: Mixed-Effects-Modelle, die mit REML (Standard in vielen Paketen) gefittet sind, lassen sich bei verschiedenen Fixed Effects nicht per LRT vergleichen – also zuerst mit Maximum Likelihood refitten. Und penaliserte Modelle wie Lasso oder Ridge maximieren nicht die reine Likelihood – der Standardtest ist auf sie nicht anwendbar.
Die Modelle brauchen außerdem dieselben Beobachtungen. Wenn ein Prädiktor fehlende Werte hat, kann das Vollmodell Zeilen verwerfen – die beiden Log-Likelihoods sind dann nicht mehr vergleichbar.
Die Chi-Quadrat-Aussage ist asymptotisch
Der Satz von Wilks ist ein Großstichproben-Ergebnis. Er gilt unter Regularitätsbedingungen – vereinfacht: glatte Likelihood, identifizierbare Parameter, wahre Parameterwerte innerhalb des zulässigen Bereichs statt am Rand.
Wenn diese Bedingungen erfüllt sind, ist die Chi-Quadrat-Verteilung für große Stichproben eine gute Approximation. Es bleibt eine Approximation.
Kleine Stichproben
Bei kleinen Stichproben folgt die LRT-Statistik u. U. nicht der Chi-Quadrat-Verteilung – P-Werte können zu klein oder zu groß ausfallen.
Es gibt Optionen: Ein parametrischer Bootstrap simuliert neue Datensätze aus dem restriktiven Modell und konstruiert die Verteilung der Statistik. Für einfache Fälle (z. B. Kontingenztafeln) vermeiden exakte Tests die Approximation.
Parameter am Rand
Manche Nullhypothesen setzen einen Parameter an den Rand seines zulässigen Bereichs. Häufigstes Beispiel: Test, ob eine Random-Effect-Varianz in einem Mixed-Model 0 ist – eine Varianz kann nicht negativ sein.
In diesem Fall folgt die Statistik nicht der üblichen Chi-Quadrat-Verteilung. Für eine einzelne Varianzkomponente ist sie eine 50:50-Mischung aus Chi-Quadrat mit 0 und 1 Freiheitsgrad – der Standard-P-Wert ist ungefähr doppelt so groß wie korrekt. Der Standardtest ist hier konservativ und übersieht häufiger echte Effekte.
Ähnlich problematisch ist das Testen der Anzahl Komponenten in einem Mischungsmodell. Beim Vergleich von einer mit zwei Komponenten versagen die Regularitätsbedingungen – die Chi-Quadrat-Approximation hält dann gar nicht.
Modellfehlanpassung
Der LRT setzt voraus, dass das Vollmodell korrekt ist. Liegen beide Modelle mit der Verteilung daneben – etwa ein Poisson-Modell für Zähldaten mit deutlich größerer Varianz als dem Mittelwert – folgt die Statistik selbst in großen Stichproben nicht der Chi-Quadrat-Verteilung.
Prüfe den Fit des Vollmodells, bevor du dem Test vertraust. Bei überdispersen Zähldaten ist oft ein Negativ-Binomial-Modell oder ein Quasi-Likelihood-F-Test die bessere Wahl.
Die Chi-Quadrat-Approximation ist also Standard – keine Garantie – und gilt nur, wenn das Setup zu den Bedingungen hinter dem Satz von Wilks passt.
Fazit
Eine Likelihood-Ratio vergleicht, wie gut zwei Hypothesen oder Modelle dieselben beobachteten Daten erklären. Das ist die ganze Idee – alles andere in diesem Artikel baut darauf auf.
Der Likelihood-Ratio-Test macht daraus ein formales Verfahren: Er fittet zwei verschachtelte Modelle, vergleicht ihre maximierten Log-Likelihoods und nutzt die Chi-Quadrat-Verteilung für den P-Wert. Am häufigsten siehst du ihn in der logistischen Regression und anderen GLMs – sowohl statsmodels als auch R erledigen das in wenigen Zeilen Code.
Erinnere dich, was die Zahl bedeutet: Eine Likelihood-Ratio zeigt die relative Unterstützung einer Hypothese gegenüber einer anderen – nicht die Wahrscheinlichkeit, dass eine von beiden wahr ist. Dafür brauchst du Vorab-Quoten, wie in der Diagnostik.
Wenn du tiefer einsteigen willst, sind die nächsten Schritte die Bausteine hinter dem Test: die Likelihood selbst, die Maximum-Likelihood-Schätzung und wie der Wald-Test und andere Hypothesentests im Vergleich zum LRT funktionieren.
Senior Data Scientist mit Sitz in Kroatien. Top Tech Writer mit über 700 veröffentlichten Artikeln, die mehr als 10 Millionen Mal aufgerufen wurden. Buchautor von Machine Learning Automation with TPOT.
FAQs
Was ist eine Likelihood-Ratio in einfachen Worten?⌄
Eine Likelihood-Ratio ist die Likelihood der beobachteten Daten unter einer Hypothese, geteilt durch die Likelihood derselben Daten unter einer anderen. Ein Wert über 1 bedeutet, dass die Daten die Hypothese im Zähler stärker unterstützen; ein Wert unter 1 spricht für die Hypothese im Nenner. Sie zeigt die relative Evidenz zwischen zwei Erklärungen – nicht die Wahrscheinlichkeit, dass eine davon wahr ist.
Worin liegt der Unterschied zwischen Likelihood und Wahrscheinlichkeit?⌄
Wahrscheinlichkeit fixiert den Parameter und fragt, wie wahrscheinlich verschiedene Ergebnisse sind. Likelihood fixiert die beobachteten Daten und fragt, wie gut verschiedene Parameterwerte sie erklären. Beide nutzen dieselbe Formel, aber Likelihoods über alle Parameterwerte summieren sich nicht zu 1 – eine Likelihood ist also nicht die Wahrscheinlichkeit einer Hypothese.
Wann sollte ich einen Likelihood-Ratio-Test verwenden?⌄
Nutze ihn, wenn du wissen willst, ob ein komplexeres Modell die Daten besser abbildet als ein einfacheres – und das einfache ein Spezialfall des komplexen ist. Häufigster Fall: Prüfen, ob zusätzliche Prädiktoren eine logistische Regression oder ein anderes GLM verbessern. Beide Modelle müssen per Maximum Likelihood auf denselben Beobachtungen gefittet sein.
Warum wird die Teststatistik im Likelihood-Ratio-Test mit -2 multipliziert?⌄
Das Verhältnis der maximierten Likelihoods (restriktiv zu voll) liegt stets zwischen 0 und 1, sein Log ist also 0 oder negativ. Das Minuszeichen macht daraus eine positive Zahl, die wächst, wenn das Vollmodell besser passt. Der Faktor 2 skaliert die Statistik so, dass sie in großen Stichproben näherungsweise einer Chi-Quadrat-Verteilung folgt (Satz von Wilks).
Kann ich mit einem Likelihood-Ratio-Test nicht verschachtelte Modelle vergleichen?⌄
Nicht in der Standardvariante. Wenn keines der Modelle ein Spezialfall des anderen ist – etwa logistisch vs. Probit –, folgt die Statistik keiner Chi-Quadrat-Verteilung, der P-Wert ist also ungültig. Nutze Informationskriterien wie AIC und BIC oder den Vuong-Test, der für nicht verschachtelte Vergleiche gemacht ist.
Gewinne Vertrauen in die OLS-Regression, indem du ihre theoretischen Grundlagen beherrschst. Erforsche, wie du einfache Implementierungen in Excel, R und Python durchführst.
Quadrieren in Python ist einfach: Nutze den eingebauten Operator ** oder setze für vielseitigere Lösungen NumPy, pow(), math.pow(), Bitoperatoren und weitere Funktionen ein.
Erforsche Pythons match-case: eine Anleitung zu seiner Syntax, Anwendungen in Data Science und ML sowie eine vergleichende Analyse mit dem traditionellen switch-case.
Lerne, wie du Zahlen in Python mit round(), f-Strings, format(), dem decimal-Modul, NumPy und mehr auf zwei Dezimalstellen rundest — inklusive Vergleichstabelle der Methoden.
Lerne, wie du Python-Listen mit Techniken wie Slicing, List Comprehensions und itertools aufteilen kannst. Finde heraus, wann du welche Methode für die beste Datenverarbeitung nutzen solltest.
Bist du in einem Regressionsoutput oder einer Studie über den Begriff "likelihood ratio" gestolpert und wusstest nicht, was er dir sagt?
Damit bist du nicht allein. Der Begriff taucht häufig in Hypothesentests, beim Modellvergleich, in der Klassifikation und in der Diagnostik auf – und jede Disziplin nutzt ihn ein wenig anders. Viele Erklärungen starten außerdem mit einer Teststatistik und einer Chi-Quadrat-Verteilung, bevor überhaupt klar ist, was eine Likelihood ist. Am Ende hast du eine Zahl, die du berechnen, aber nicht erklären kannst.
Kurz gesagt zeigt die Likelihood, wie gut ein Parameterwert oder ein statistisches Modell die beobachteten Daten erklärt. Eine Likelihood-Ratio teilt eine Likelihood durch eine andere, sodass du siehst, welche von zwei Hypothesen von den Daten stärker unterstützt wird – und um wie viel.
In diesem Artikel führe ich dich durch die Grundidee und die Formel, den Likelihood-Ratio-Test und seine Interpretation – und zeige dir, wo dir Likelihood-Ratios in der Praxis begegnen.
Braucht dein Statistik-Wissen ein Update? Stöbere in unserem Katalog an Kursen zu Wahrscheinlichkeit und Statistik und finde den passenden Einstieg.
Was ist eine Likelihood-Ratio?
Eine Likelihood-Ratio ist die Likelihood der beobachteten Daten unter einer Hypothese, geteilt durch die Likelihood derselben Daten unter einer anderen Hypothese. Die beiden Hypothesen können zwei Parameterwerte oder zwei vollständige statistische Modelle sein.
Sie beantwortet die Frage, welche Erklärung die Daten besser abbildet – nicht, ob die Daten wahrscheinlich sind.
Das ist ein wichtiger Unterschied. Jede konkrete Sequenz von 20 Münzwürfen hat unter einer fairen Münze eine Wahrscheinlichkeit von etwa eins zu einer Million – eine kleine Likelihood allein sagt also wenig aus. Sinn ergibt sie erst im Vergleich zu einer anderen Likelihood.
Angenommen, du wirfst eine Münze 10-mal und erhältst 8-mal Kopf. Eine Hypothese besagt, die Münze ist fair, also mit 0,5 Chance auf Kopf. Eine andere besagt, sie ist verzerrt, mit 0,8 Chance auf Kopf.
Beide Hypothesen können 8-mal Kopf erzeugen, aber die verzerrte Münze liefert dieses Ergebnis deutlich häufiger. Die Daten unterstützen also die zweite Hypothese mehr, und die Likelihood-Ratio beziffert, wie viel mehr. Die genauen Werte rechne ich im Beispielabschnitt später vor.
Likelihood und Wahrscheinlichkeit verwenden dieselbe Formel, beantworten aber unterschiedliche Fragen:
Wahrscheinlichkeiten über alle möglichen Ergebnisse summieren sich zu 1, Likelihoods über alle möglichen Parameterwerte jedoch nicht. Darum ist eine Likelihood nicht die Wahrscheinlichkeit, dass eine Hypothese wahr ist – und eine Likelihood-Ratio auch nicht.
Wie funktioniert eine Likelihood-Ratio?
Jede Likelihood-Ratio folgt denselben fünf Schritten:
Die Bedeutung des Verhältnisses hängt davon ab, welche Likelihood oben steht. Mit Hypothese A im Zähler gilt:
Ein Verhältnis von 4 bedeutet, dass die beobachteten Daten unter A viermal so wahrscheinlich sind wie unter B. Es bedeutet nicht, dass A viermal so wahrscheinlich wahr ist.
Wenn du Zähler und Nenner vertauschst, erhältst du das Reziprok. Ein Verhältnis von 4 zugunsten von A wird zu 0,25 – dieselbe Aussage aus Sicht von B.
Die Konventionen unterscheiden sich je nach Fachgebiet. Beim Likelihood-Ratio-Test steht meist die Nullhypothese im Zähler, sodass kleine Werte als Evidenz gegen sie zählen, während in anderen Anwendungen oft die Alternativhypothese oben steht.
Bevor du also eine Likelihood-Ratio interpretierst, prüfe, welche Hypothese im Zähler steht.
Formel der Likelihood-Ratio
Die grundlegende Likelihood-Ratio teilt eine Likelihood der Daten durch eine andere:
Formel der Likelihood-Ratio
Das bedeuten die Terme:
x: Die beobachteten Daten, z. B. 8-mal Kopf in 10 Würfentheta_1undtheta_0: Die beiden Parameterwerte oder Hypothesen, die du vergleichen willst, z. B. 0,8 und 0,5 Wahrscheinlichkeit für KopfL(theta | x): Die Likelihood vonthetagegeben die Daten, die der Wahrscheinlichkeit vonxentspricht, wennthetader wahre Parameter ist, bzw. der Dichte bei kontinuierlichen DatenBei unabhängigen Beobachtungen ist die Likelihood ein Produkt aus einer Wahrscheinlichkeit pro Beobachtung:
Likelihood bei unabhängigen Beobachtungen
Und hier beginnen die praktischen Probleme. Jeder Faktor ist kleiner als 1, also schrumpft das Produkt mit wachsender Stichprobe rasant.
Die Wahrscheinlichkeit einer konkreten Sequenz von 1.000 Würfen unter einer fairen Münze ist etwa 9,3 * 10^-302 – nahe der kleinsten Zahl, die ein 64-Bit-Float speichern kann. Bei 2.000 Würfen liefert
0.5 ** 2000in Python0.0.Logarithmen helfen hier weiter. Der Logarithmus eines Produkts ist die Summe der Logarithmen – die Log-Likelihood macht also aus einem Produkt winziger Zahlen eine Summe handhabbarer Werte:
Log-Likelihood
Das Verhältnis wird zur Differenz:
Log-Likelihood-Ratio
Summen lassen sich auch leichter ableiten als Produkte – deshalb arbeitet die Maximum-Likelihood-Schätzung ebenfalls mit Log-Likelihoods.
Die Log-Variante liest sich wie das Verhältnis – nur um 0 statt um 1 herum. Ein Wert von 0 bedeutet gleiche Unterstützung, positive Werte sprechen für
theta_1, negative fürtheta_0.Beispiel für eine Likelihood-Ratio
Zurück zur Münze von oben. Du wirfst 10-mal und erhältst 8-mal Kopf und 2-mal Zahl.
Die beiden Hypothesen lauten:
Hypothese 0: Die Münze ist fair, also
p = 0.5Hypothese 1: Die Münze ist zugunsten von Kopf verzerrt, also
p = 0.8Die Anzahl Köpfe in 10 Würfen folgt einer Binomialverteilung, also ist die Likelihood jeder Hypothese:
Beispiel Likelihood-Ratio
Unter der fairen Münze gilt:
Beispiel Likelihood-Ratio
Unter der verzerrten Münze gilt:
Beispiel Likelihood-Ratio
Die Likelihood-Ratio ist:
Beispiel Likelihood-Ratio
Der Binomialkoeffizient 45 taucht in beiden Likelihoods auf und kürzt sich im Verhältnis heraus. Du würdest dieselben 6,87 auch aus der Wahrscheinlichkeit der exakten Wurfsequenz erhalten.
Einfach gesagt: Die beobachteten Daten sind etwa 6,9-mal so wahrscheinlich, wenn die Münze zu 80% auf Kopf fällt, als wenn sie fair ist. Punkt.
Das Verhältnis sagt nicht, dass die Münze 6,9-mal so wahrscheinlich verzerrt ist. Um eine Wahrscheinlichkeit zu erhalten, dass eine der Hypothesen wahr ist, brauchst du Vorwahrscheinlichkeiten für beide. Mit 50/50 Vorab-Chancen wären die Posterior-Odds 6,87 zu 1, also etwa 87% für die verzerrte Münze – aber dieser Wert hängt von der gewählten Prior ab.
Die Unterstützung ist außerdem relativ nur zu diesen beiden Hypothesen. Ein Wert wie
p = 0.7war nicht Teil des Vergleichs. Hier ist 0,8 zufällig auch die Maximum-Likelihood-Schätzung, weil 8 von 10 Würfen Kopf ergaben – kein andererp-Wert erhält aus diesen Daten mehr Unterstützung.Was ist ein Likelihood-Ratio-Test?
Im Münzbeispiel wurden zwei feste Werte von
pverglichen. In der Statistik sind die Fragen meist breiter – etwa ob ein paar zusätzliche Prädiktoren ein Regressionsmodell verbessern.Der Likelihood-Ratio-Test (LRT) beantwortet diese Art Frage. Er vergleicht zwei verschachtelte Modelle, d. h. das kleinere Modell ist ein Spezialfall des größeren:
Der Test umfasst fünf Schritte:
Jedes Modell wird bei seiner Maximum-Likelihood-Schätzung bewertet, nicht bei einem vorab gewählten Parameterwert. Das ist der Hauptunterschied zum Münzbeispiel.
Die Likelihood-Ratio vergleicht beliebige zwei Hypothesen und liefert relative Unterstützung – aber keinen p-Wert und keine Entscheidung. Der LRT nimmt das Verhältnis maximierter Likelihoods verschachtelter Modelle, wandelt es in eine Teststatistik um und nutzt deren Verteilung, um über das Verwerfen der Nullhypothese zu entscheiden. Jeder LRT nutzt eine Likelihood-Ratio, aber nicht jede Likelihood-Ratio ist Teil eines LRT – die diagnostischen Likelihood-Ratios später im Artikel sind ein Beispiel.
Teststatistik des Likelihood-Ratio-Tests
Der LRT startet mit dem Verhältnis der maximierten Likelihoods, mit dem restriktiven Modell im Zähler:
Teststatistik Likelihood-Ratio
Hier ist
theta_hat_0die Maximum-Likelihood-Schätzung unter dem restriktiven Modell undtheta_hatdie Schätzung unter dem Vollmodell. Das Vollmodell enthält das restriktive, es passt also immer mindestens genauso gut. Daher liegtlambdazwischen 0 und 1.Die Teststatistik lautet:
Teststatistik Likelihood-Ratio
Logarithmen sind aus demselben Grund dabei wie zuvor: Sie machen aus einem Verhältnis winziger Zahlen eine Differenz von Log-Likelihoods – ein Wert, den jedes Statistiktool ausgibt.
Das -2 erfüllt zwei Aufgaben. Da
lambda <= 1ist, istln(lambda)0 oder negativ. Das Minuszeichen macht daraus eine positive Zahl, die wächst, je besser das Vollmodell passt. Der Faktor 2 skaliert die Statistik so, dass sie einer Chi-Quadrat-Verteilung folgt. Für generalisierte lineare Modelle entsprichtDder Differenz der Deviance zwischen beiden Modellen – daher wird sie oft so berichtet.Der Satz von Wilks macht den Test möglich. Er besagt, dass
Dunter der Nullhypothese und bei üblichen Regularitätsbedingungen asymptotisch einer Chi-Quadrat-Verteilung folgt. Übersetzt: Die Modelle müssen verschachtelt sein und die Null-Parameterwerte dürfen nicht am Rand des zulässigen Bereichs liegen. In den Limitierungen weiter unten steht, was passiert, wenn diese Bedingungen verletzt sind.Die Freiheitsgrade entsprechen üblicherweise der Differenz in der Zahl freier Parameter zwischen den Modellen. Fügt das Vollmodell zwei Prädiktoren hinzu, vergleichst du
Dmit einer Chi-Quadrat-Verteilung mit 2 Freiheitsgraden.Damit funktioniert dieselbe Referenzverteilung für logistische Regression, Poisson-Regression und die meisten anderen Modelle, die per Maximum Likelihood gefittet werden.
Wie interpretiert man einen Likelihood-Ratio-Test?
Angenommen, du möchtest vorhersagen, ob ein Kunde ein Abo kündigt. Der Datensatz umfasst 1.000 Kunden, etwa 32% davon sind abgewandert.
Du fitst zwei logistische Regressionsmodelle:
Restriktiertes Modell: Sagt Churn aus
tenure_monthsvorher, Log-Likelihood -556,88Vollmodell: Fügt
monthly_chargesundsupport_ticketshinzu, Log-Likelihood -515,99So wendest du den Test an:
Nullhypothese: Die Koeffizienten von
monthly_chargesundsupport_ticketssind beide 0 – die zusätzlichen Prädiktoren verbessern den Fit nichtAlternativhypothese: Mindestens einer dieser beiden Koeffizienten ist ungleich 0
Teststatistik:
D = 2 * (-515.99 - (-556.88)) = 81.78Freiheitsgrade: Das Vollmodell hat zwei Parameter mehr, also 2 Freiheitsgrade
P-Wert: Die Wahrscheinlichkeit einer so großen oder größeren Statistik unter einer Chi-Quadrat-Verteilung mit 2 Freiheitsgraden – etwa
1.7 * 10^-18Dieser P-Wert liegt weit unter gängigen Schwellen wie 0,05. Du verwirfst die Nullhypothese und folgerst, dass die Daten starke Evidenz dafür liefern, dass die zusätzlichen Prädiktoren den Fit verbessern.
Aber das Verwerfen der Null bedeutet nicht automatisch, dass das Vollmodell für deinen Use Case die beste Wahl ist.
Bei großen Stichproben führen selbst minimale Verbesserungen im Fit zu sehr kleinen P-Werten. Der Test sagt dir nicht, wie groß die Effekte sind oder wie gut das Modell neue Daten vorhersagt. Prüfe die Koeffizienten und die Performance auf zurückgehaltenen Daten, bevor du das größere Modell behältst.
Und ein großer P-Wert beweist nicht, dass zusätzliche Prädiktoren nutzlos sind. Er bedeutet nur, dass die Daten nicht genug Evidenz gegen die Null liefern.
Ein LRT sagt dir, ob zusätzliche Parameter den Fit verbessern – ob diese Verbesserung relevant ist, musst du entscheiden.
Likelihood-Ratio-Tests für Regressionsmodelle
Am häufigsten nutzt du den LRT beim Vergleich von Regressionsmodellen. Die Idee bleibt immer gleich: restriktives Modell fitten, Vollmodell fitten und ihre maximierten Log-Likelihoods vergleichen.
Logistische Regression
Die logistische Regression ist der häufigste Einsatzort für den LRT.
Im Interpretationsabschnitt haben wir ein Modell mit
tenure_monthsmit einem Modell verglichen, das zusätzlichmonthly_chargesundsupport_ticketsenthält. Du kannst noch einen Schritt weitergehen und das Vollmodell mit einem reinen Interzept-Modell vergleichen, das für alle Kunden dieselbe Churn-Wahrscheinlichkeit vorhersagt.Für dieselben Churn-Daten hat das Interzept-Modell eine Log-Likelihood von -627,62, das Vollmodell -515,99. Das ergibt
D = 2 * (-515.99 - (-627.62)) = 223.27mit 3 Freiheitsgraden, einem pro Prädiktor, und einem P-Wert von etwa 3,9 x 10^-48.Dieser Test fragt, ob die Prädiktoren zusammen Churn besser erklären als gar keine Prädiktoren. Er ist das logistische Pendant zum Gesamt-F-Test in der linearen Regression, und statsmodels berichtet ihn in der Modellzusammenfassung als
LLR p-value.Generalisierte lineare Modelle
Die logistische Regression ist Teil der Familie der generalisierten linearen Modelle (GLMs). Dazu gehören u. a. die Poisson-Regression für Zähldaten und die Gamma-Regression für positive stetige Zielgrößen.
Jedes GLM berichtet eine Deviance, die misst, wie weit das Modell vom perfekten Fit entfernt ist. Für zwei verschachtelte GLMs entspricht die Differenz ihrer Deviances der LRT-Statistik
D– daher wird der Test oft als "Analysis of Deviance" bezeichnet.Die Freiheitsgrade funktionieren wie zuvor – als Differenz in der Anzahl der Parameter. Bei Modellen mit geschätztem Dispersionsparameter, z. B. Gamma- oder Gaussian-GLMs, wird oft ein F-Test auf die Deviance-Differenz statt der Chi-Quadrat-Version genutzt.
Andere Likelihood-basierte Modelle
Jedes per Maximum Likelihood gefittete Modell kann einen LRT nutzen, solange die Modelle verschachtelt sind. Zum Beispiel:
Likelihood-Ratio vs. verwandte statistische Tests
Der LRT ähnelt dem Wald-Test und dem Score-Test. Alle drei testen dieselbe Nullhypothese und folgen in großen Stichproben einer Chi-Quadrat-Verteilung. Der Unterschied liegt darin, welche Modelle du fittest und was du misst.
Likelihood-Ratio-Test vs. Wald-Test
Der LRT fittet beide Modelle und vergleicht ihre Log-Likelihoods. Der Wald-Test fittet nur das Vollmodell und prüft, wie weit jede Schätzung in Standardfehlern vom Nullwert entfernt ist.
Für einen einzelnen Koeffizienten ist die Wald-Statistik die Schätzung geteilt durch ihren Standardfehler. Die P-Werte in Regressions-Tabellen basieren meist auf diesem Test.
Der Wald-Test ist schnell, da nur ein Modell gefittet wird. Aber er hängt von der Parametrisierung ab und kann in der logistischen Regression bei sehr großen Koeffizienten schlecht abschneiden, weil der Standardfehler schneller wächst als die Schätzung. Der LRT hat diese Probleme nicht – er ist daher meist die robustere Wahl.
Likelihood-Ratio-Test vs. Score-Test
Der Score-Test fittet nur das restriktive Modell.
Er betrachtet die Steigung der Log-Likelihood an den Null-Parameterwerten. Ist die Nullhypothese korrekt, sollte die Steigung nahe 0 liegen. Eine steile Steigung bedeutet, dass die Likelihood steigen würde, wenn man diese Parameter vom Nullwert weg bewegt.
Damit ist der Score-Test praktisch, wenn das Vollmodell teuer oder schwer zu fitten ist. Er ist auch als Lagrange-Multiplikator-Test bekannt und wird oft genutzt, um potenzielle Prädiktoren vorab zu screenen.
Likelihood-Ratio-Test vs. Chi-Quadrat-Test
Die LRT-Statistik folgt in großen Stichproben einer Chi-Quadrat-Verteilung – das macht den LRT aber nicht zu einem "Chi-Quadrat-Test" im üblichen Sinn.
"Chi-Quadrat-Test" ist ein Sammelbegriff für Tests, deren Statistik einer Chi-Quadrat-Verteilung folgt. Meist ist damit Pearsons Chi-Quadrat-Test auf Unabhängigkeit oder Güte in Kontingenztafeln gemeint.
Es gibt dennoch Verbindungen. Die Likelihood-Ratio-Version von Pearsons Test heißt G-Test und vergleicht beobachtete und erwartete Häufigkeiten mit Log-Likelihoods statt quadrierten Abweichungen. In großen Stichproben liefern beide ähnliche Ergebnisse.
So vergleichen sich die drei modellbasierten Tests:
Likelihood-Ratio im Vergleich zu anderen statistischen Tests
Likelihood-Ratio vs. Odds Ratio
Beide Begriffe enthalten "Ratio" und sind in der logistischen Regression geläufig. Damit enden die Gemeinsamkeiten.
Eine Likelihood-Ratio vergleicht, wie gut zwei Hypothesen die beobachteten Daten erklären. Eine Odds Ratio vergleicht die Quoten eines Outcomes zwischen zwei Gruppen oder Bedingungen.
Quoten sind die Wahrscheinlichkeit eines Ereignisses geteilt durch die Wahrscheinlichkeit, dass es nicht eintritt. 25% Churn entsprechen Quoten von 0,25 / 0,75, also 1 zu 3.
Im obigen Churn-Modell beträgt der Koeffizient von
support_tickets0,456. Sein Exponent ergibt eine Odds Ratio von etwa 1,58 – jedes zusätzliche Ticket multipliziert die Churn-Quoten mit 1,58.Das ist eine Aussage über einen Effekt in den Daten. Eine Likelihood-Ratio ist eine Aussage über Evidenz – also darüber, wie viel besser ein Modell oder eine Hypothese dieselben Daten erklärt als eine andere.
Die Odds Ratio beantwortet also "Wie groß ist der Effekt?", die Likelihood-Ratio "Welche Erklärung unterstützen die Daten stärker?"
Likelihood-Ratios in der Diagnostik
In der Medizin hat "Likelihood-Ratio" eine zweite Bedeutung: Sie beschreibt, wie stark ein Testergebnis die Quoten dafür verändert, dass ein Patient eine Erkrankung hat – ganz ohne Modellfitting oder P-Werte.
Diagnostische Likelihood-Ratios basieren auf zwei Testeigenschaften:
Angenommen, ein Test hat 90% Sensitivität und 80% Spezifität.
Positive Likelihood-Ratio
Die positive Likelihood-Ratio (LR+) zeigt, wie viel wahrscheinlicher ein positives Ergebnis bei Erkrankten ist als bei Gesunden:
Positive Likelihood-Ratio
Im Beispiel: 0,9 / 0,2 = 4,5. Ein positives Ergebnis ist bei Erkrankten 4,5-mal so wahrscheinlich. Werte über 1 erhöhen die Erkrankungsquoten – je höher, desto informativer ist ein positives Ergebnis.
Negative Likelihood-Ratio
Die negative Likelihood-Ratio (LR-) zeigt, wie wahrscheinlich ein negatives Ergebnis bei Erkrankten im Vergleich zu Gesunden ist:
Negative Likelihood-Ratio
Im Beispiel: 0,1 / 0,8 = 0,125. Werte unter 1 senken die Erkrankungsquoten – je näher an 0, desto informativer ist ein negatives Ergebnis.
Von Pre-Test- zu Post-Test-Quoten
Diagnostische Likelihood-Ratios sind nützlich, weil sie dein Vorwissen aktualisieren:
Diagnostische Likelihood-Ratio
Angenommen, 10% vergleichbarer Patienten sind erkrankt. Das entspricht Pre-Test-Quoten von 0,1 / 0,9, also etwa 0,111.
Nach einem positiven Ergebnis werden die Quoten zu 0,111 * 4,5 = 0,5, also rund 33% Wahrscheinlichkeit. Nach einem negativen Ergebnis zu 0,111 * 0,125 = 0,014, also rund 1,4%.
Das ist die eine Stelle im Artikel, an der eine Likelihood-Ratio zur Wahrscheinlichkeit einer Hypothese führt – möglich, weil die Pre-Test-Quoten die Prior liefern.
Likelihood-Ratio-Tests in Python und R
Beide Sprachen haben alles Nötige, um einen LRT in wenigen Zeilen zu rechnen. Ich nutze den oben erwähnten Churn-Datensatz, damit die Zahlen zu den Abschnitten zur Interpretation und Regression passen.
Likelihood-Ratio-Test in Python
Du brauchst
numpy,pandas,statsmodelsundscipy. Starte mit der Datengenerierung:In diesem Datensatz liegt die Churn-Rate bei 32,1%.
Als Nächstes fitten wir das restriktive und das volle logistische Regressionsmodell. Das Attribut
.llfenthält die maximierte Log-Likelihood:Log-Likelihoods von restriktivem und vollem Modell
statsmodels hat keine allgemeine LRT-Funktion für die logistische Regression, daher berechnest du die Statistik aus den beiden Log-Likelihoods. Das Attribut
.df_modelliefert die Anzahl der Prädiktoren je Modell, undstats.chi2.sf()gibt den P-Wert zurück:Teststatistik, Freiheitsgrade und P-Wert
Der P-Wert liegt deutlich unter 0,05 – du verwirfst die Nullhypothese. Die Daten liefern starke Evidenz, dass
monthly_chargesundsupport_ticketsden Fit gegenüber einem Modell mit nurtenure_monthsverbessern.Für den Vergleich mit einem reinen Interzept-Modell brauchst du keinen zusätzlichen Code. statsmodels berechnet ihn für jedes logistische Regressionsmodell:
Vergleich Vollmodell vs. Interzept-Modell
Likelihood-Ratio-Test in R
R nutzt nicht denselben Zufallszahlengenerator wie NumPy – lade daher die Datei
churn.csvaus dem Python-Beispiel, um identische Daten zu verwenden. Fitten beide Modelle mitglm()und übergib sie ananova():Log-Likelihoods und Ratio-Test in R
Die
df-Werte neben jeder Log-Likelihood sind die Anzahl geschätzter Parameter inklusive Interzept. Das Vollmodell hat zwei mehr – das deckt sich mit der SpalteDfin deranova()-Tabelle.Die Spalte
Deviancezeigt 81,778 – dieselbe LR-Statistik wie in Python. Das ist die Analysis of Deviance aus dem GLM-Abschnitt in Aktion: Der Rückgang der Residual-Deviance von 1113,8 auf 1032,0 ist die Teststatistik.R druckt den P-Wert als
< 2.2e-16, weil das der kleinste Standardwert ist – nicht, weil er vom Python-Ergebnis abweicht. Das Fazit ist identisch: Die zusätzlichen Prädiktoren verbessern den Fit.Wenn du eine dedizierte Funktion bevorzugst:
lrtest()aus dem Paketlmtestführt denselben Vergleich mitlrtest(reduced_model, full_model)aus.Annahmen und Grenzen von Likelihood-Ratio-Tests
Der LRT funktioniert in den bislang gezeigten Settings gut – sein Chi-Quadrat-Ergebnis hängt aber an ein paar Bedingungen.
Modelle müssen verschachtelt sein
Der Standard-LRT vergleicht nur verschachtelte Modelle, bei denen das restriktive Modell ein Spezialfall des Vollmodells ist.
Willst du z. B. eine logistische Regression mit einem Probit-Modell vergleichen oder zwei Modelle mit unterschiedlichen Prädiktoren, ist keines ein Spezialfall des anderen. Die Chi-Quadrat-Verteilung gilt dann nicht. Nutze stattdessen Informationskriterien wie AIC und BIC oder den Vuong-Test für nicht verschachtelte Modelle.
Beide Modelle brauchen Maximum-Likelihood-Schätzungen
Der Test vergleicht maximierte Likelihoods – beide Modelle müssen also per Maximum Likelihood auf denselben Daten gefittet sein.
Zwei typische Stolpersteine: Mixed-Effects-Modelle, die mit REML (Standard in vielen Paketen) gefittet sind, lassen sich bei verschiedenen Fixed Effects nicht per LRT vergleichen – also zuerst mit Maximum Likelihood refitten. Und penaliserte Modelle wie Lasso oder Ridge maximieren nicht die reine Likelihood – der Standardtest ist auf sie nicht anwendbar.
Die Modelle brauchen außerdem dieselben Beobachtungen. Wenn ein Prädiktor fehlende Werte hat, kann das Vollmodell Zeilen verwerfen – die beiden Log-Likelihoods sind dann nicht mehr vergleichbar.
Die Chi-Quadrat-Aussage ist asymptotisch
Der Satz von Wilks ist ein Großstichproben-Ergebnis. Er gilt unter Regularitätsbedingungen – vereinfacht: glatte Likelihood, identifizierbare Parameter, wahre Parameterwerte innerhalb des zulässigen Bereichs statt am Rand.
Wenn diese Bedingungen erfüllt sind, ist die Chi-Quadrat-Verteilung für große Stichproben eine gute Approximation. Es bleibt eine Approximation.
Kleine Stichproben
Bei kleinen Stichproben folgt die LRT-Statistik u. U. nicht der Chi-Quadrat-Verteilung – P-Werte können zu klein oder zu groß ausfallen.
Es gibt Optionen: Ein parametrischer Bootstrap simuliert neue Datensätze aus dem restriktiven Modell und konstruiert die Verteilung der Statistik. Für einfache Fälle (z. B. Kontingenztafeln) vermeiden exakte Tests die Approximation.
Parameter am Rand
Manche Nullhypothesen setzen einen Parameter an den Rand seines zulässigen Bereichs. Häufigstes Beispiel: Test, ob eine Random-Effect-Varianz in einem Mixed-Model 0 ist – eine Varianz kann nicht negativ sein.
In diesem Fall folgt die Statistik nicht der üblichen Chi-Quadrat-Verteilung. Für eine einzelne Varianzkomponente ist sie eine 50:50-Mischung aus Chi-Quadrat mit 0 und 1 Freiheitsgrad – der Standard-P-Wert ist ungefähr doppelt so groß wie korrekt. Der Standardtest ist hier konservativ und übersieht häufiger echte Effekte.
Ähnlich problematisch ist das Testen der Anzahl Komponenten in einem Mischungsmodell. Beim Vergleich von einer mit zwei Komponenten versagen die Regularitätsbedingungen – die Chi-Quadrat-Approximation hält dann gar nicht.
Modellfehlanpassung
Der LRT setzt voraus, dass das Vollmodell korrekt ist. Liegen beide Modelle mit der Verteilung daneben – etwa ein Poisson-Modell für Zähldaten mit deutlich größerer Varianz als dem Mittelwert – folgt die Statistik selbst in großen Stichproben nicht der Chi-Quadrat-Verteilung.
Prüfe den Fit des Vollmodells, bevor du dem Test vertraust. Bei überdispersen Zähldaten ist oft ein Negativ-Binomial-Modell oder ein Quasi-Likelihood-F-Test die bessere Wahl.
Die Chi-Quadrat-Approximation ist also Standard – keine Garantie – und gilt nur, wenn das Setup zu den Bedingungen hinter dem Satz von Wilks passt.
Fazit
Eine Likelihood-Ratio vergleicht, wie gut zwei Hypothesen oder Modelle dieselben beobachteten Daten erklären. Das ist die ganze Idee – alles andere in diesem Artikel baut darauf auf.
Der Likelihood-Ratio-Test macht daraus ein formales Verfahren: Er fittet zwei verschachtelte Modelle, vergleicht ihre maximierten Log-Likelihoods und nutzt die Chi-Quadrat-Verteilung für den P-Wert. Am häufigsten siehst du ihn in der logistischen Regression und anderen GLMs – sowohl statsmodels als auch R erledigen das in wenigen Zeilen Code.
Erinnere dich, was die Zahl bedeutet: Eine Likelihood-Ratio zeigt die relative Unterstützung einer Hypothese gegenüber einer anderen – nicht die Wahrscheinlichkeit, dass eine von beiden wahr ist. Dafür brauchst du Vorab-Quoten, wie in der Diagnostik.
Wenn du tiefer einsteigen willst, sind die nächsten Schritte die Bausteine hinter dem Test: die Likelihood selbst, die Maximum-Likelihood-Schätzung und wie der Wald-Test und andere Hypothesentests im Vergleich zum LRT funktionieren.