您是否在回归输出或研究中见过“likelihood ratio(似然比)”这个术语,却不知道它在告诉您什么?
这并不只是您一个人的困惑。该术语常见于假设检验、模型比较、分类与诊断测试中,而每个领域的用法略有不同。大多数解释还会在您尚不了解“似然”为何物之前,就从检验统计量和卡方分布讲起。于是您得到一个能算出来、却解释不清的数字。
简而言之,似然描述某个参数取值或统计模型对您所观察到的数据的解释程度。似然比是一个似然除以另一个似然,让您看到两种假设中哪一个更得到数据的支持,以及支持的幅度有多大。
在本文中,我将带您了解核心思想与公式、似然比检验及其解读方式,以及似然比在实践中的出现场景。
需要复习统计学吗?浏览我们的 概率与统计课程 ,找到最合适您的那门。
什么是似然比?
似然比是:在一个假设下观测数据的似然,除以在另一个假设下相同数据的似然。这两个假设可以是两个参数取值,也可以是两个完整的统计模型。
它回答的问题是:哪种解释对数据的说明更好,而不是数据本身是否“可能”。
这是一处重要差异。对于一枚公平的硬币,任何特定的20次抛掷序列的概率都约为百万分之一,因此单独一个很小的似然并不能说明太多。只有将它与另一个似然并置比较才有意义。
假设您抛硬币10次,得到8次正面。一个假设认为硬币是公平的,正面概率为0.5。另一个假设认为它有偏,正面概率为0.8。
两个假设都可能产生8次正面,但有偏硬币更常产生这样的结果。因此数据更支持第二个假设,而似然比会给出一个数量来说明“多多少”。我将在本文后面的示例部分计算精确数值。
似然与概率使用相同的公式,但回答不同的问题:
概率: 固定参数,询问不同结果的概率是多少——例如,公平硬币下10次抛掷出现8次正面的机会
似然: 固定观测数据,询问不同参数取值对其解释得有多好——例如,正面概率0.5与0.8分别对“10次抛掷中出现8次正面”的解释力度
所有可能结果的概率之和为1,但所有可能参数取值的似然之和并不为1。这就是为什么似然不是某个假设为真的概率,似然比也不是。
似然比如何起作用?
每个似然比都遵循相同的五个步骤:
观测数据: 收集您想解释的样本,例如10次抛掷中8次正面
计算第一个似然: 求出假设A下观测数据的概率
计算第二个似然: 在假设B下做同样的计算
相除: 将一个似然放在分子,另一个放在分母
解释比值: 看看数据更支持哪个假设,以及支持的幅度
比值的含义取决于哪个似然在分子。若将假设A放在分子:
比值大于1: 数据在A下更为可能,因此更支持A
比值小于1: 数据在B下更为可能,因此更支持B
比值等于1: 两个假设对数据的解释同样好,数据不偏向其中任何一个
比值为4表示在A下观测到该数据的概率是B下的4倍。这并不代表A为真的可能性是B的4倍。
如果交换分子与分母,您会得到倒数。对A有利的4会变成0.25,从B的角度表述相同的事实。
不同领域的约定并不一样。似然比检验通常将原假设放在分子,因此小的取值构成反对原假设的证据,而许多其他应用则将备择假设置于分子。
因此在解释任何似然比之前,先确认分子中的是假设哪一个。
似然比公式
基本的似然比是将一个关于数据的似然除以另一个:
似然比公式
各项含义如下:
x:观测数据,例如10次抛掷中8次正面
theta_1 和 theta_0:您要比较的两个参数取值或假设,例如正面概率0.8与0.5
L(theta | x):给定数据时 theta 的似然,等于当 theta 为真实参数时 x 的概率;对连续数据为其密度
在独立观测下,似然是每个观测概率的乘积:
独立观测下的似然
问题就从这里开始。每个因子都小于1,因此样本增大时乘积会迅速变小。
在公平硬币下,特定1000次抛掷序列的概率约为9.3 * 10^-302,接近64位浮点数能存储的最小数。到2000次时,Python中的 0.5 ** 2000 会返回 0.0。
对数提供了绕开的办法。乘积的对数是对数之和,因此对数似然会把微小数的乘积变成可处理数的和:
对数似然
比值变成了差:
对数似然比
与乘积相比,和也更易于求导,这也是最大似然估计同样使用对数似然的原因。
对数版本的解读方式与比值相同,只是以0为中心而非1。取值为0表示支持相同,正值偏向 theta_1,负值偏向 theta_0。
似然比示例
回到前面的硬币。您抛10次,得到8次正面、2次反面。
两个假设为:
假设0 :硬币是公平的,故 p = 0.5
假设1: 硬币偏向正面,故 p = 0.8
10次抛掷中正面的个数服从二项分布,因此每个假设下的似然为:
似然比示例
在公平硬币假设下:
似然比示例
在有偏硬币假设下:
似然比示例
似然比为:
似然比示例
二项式系数45在两个似然中都会出现,因此会在比值中相消。若用确切抛掷序列的概率计算,您也会得到同样的6.87。
通俗地说,若硬币有80%概率落到正面,相比公平硬币,观测到的数据大约会出现6.9倍之多。就是这样。
该比值并不意味着硬币“更可能有偏”的程度是6.9倍。若要得到任一假设为真的概率,您需要为二者设定先验概率。假设先验赔率为50/50,则后验赔率为6.87比1,即有偏硬币约为87%,但这个数值取决于您选择的先验。
该支持度也仅相对于这两个假设。比如 p = 0.7 并未参与比较。这里0.8也恰好是最大似然估计,因为10次中有8次为正面,因此没有其他 p 值能从这些数据获取更多支持。
什么是似然比检验?
硬币示例比较的是两个固定的 p 值。统计中的大多数问题更宽泛,例如,增加几个额外的自变量是否能改进回归模型。
似然比检验回答的就是这类问题。它比较两个嵌套模型,也就是说小模型是大模型的特例:
受限模型:表示原假设,固定部分参数,通常为0
完整模型:表示备择假设,这些参数不受限,可以取任意值
检验有五个步骤:
拟合受限模型:找到使其似然最大的参数取值
拟合完整模型:在包含额外参数的情况下做同样的事
比较极大似然:取其比值,或取对数似然的差
计算检验统计量:将该比较转化为一个具有已知分布的数
得到p值:在原假设为真时,检验统计量有多极端
每个模型都在其最大似然估计处进行评估,而不是在您事先选定的某个参数值处。这是与硬币示例的主要差别。
似然比可以比较任意两个假设并给出相对支持度,但不提供p值或决策。LRT对嵌套模型的极大似然取比,将其转换为检验统计量,并利用其分布来决定是否拒绝原假设。每个LRT都使用了似然比,但并非每个似然比都属于LRT的一部分——本文后面的诊断性似然比就是一例。
似然比检验统计量
LRT从极大似然的比值开始,分子放受限模型:
似然比检验统计量
其中,theta_hat_0 是受限模型下的最大似然估计,theta_hat 是完整模型下的估计。完整模型包含受限模型,因此它的拟合不差于受限模型。这意味着 lambda 介于0与1之间。
检验统计量为:
似然比检验统计量
使用对数的原因与之前相同。它将微小数的比值变成对数似然的差,这也是每个统计软件都会报告的量。
系数-2有两个作用。由于 lambda <= 1,ln(lambda) 为0或负值,因此负号将其变为正值,且完整模型拟合越好,数值越大。乘以2将统计量缩放为近似服从卡方分布。对于广义线性模型,D 等同于两个模型偏差(deviance)的差,因此您常会看到它以这种方式报告。
威尔克斯定理(Wilks' theorem)让检验得以成立。它表明当原假设为真且满足标准正则条件时,随着样本量增大,D 近似服从卡方分布。通俗地说,模型需要是嵌套的,且原假设下的参数值不能处于允许参数范围的边界。本文后面的“局限性”部分将讨论这些条件被破坏时会发生什么。
自由度 通常等于两个模型自由参数个数的差。如果完整模型增加了两个自变量,您就将 D 与自由度为2的卡方分布比较。
因此,同样的参考分布适用于逻辑回归、泊松回归,以及大多数用最大似然拟合的模型。
如何解读似然比检验
假设您想预测客户是否会取消订阅。该数据集包含1000位客户,其中约32%发生了流失。
您拟合了两个逻辑回归模型:
以下是检验各部分在该示例中的对应:
原假设 :monthly_charges 与 support_tickets 的系数都为0,即额外自变量并未改进拟合
备择假设 :至少有一个系数不为0
检验统计量 :D = 2 * (-515.99 - (-556.88)) = 81.78
自由度: 完整模型多两个参数,因此检验使用2个自由度
P值: 在自由度为2的卡方分布下,统计量不小于该值的概率,约为 1.7 * 10^-18
该p值远低于任何常见阈值,如0.05。您会拒绝原假设,并得出数据强有力地表明额外自变量改进了拟合。
但拒绝原假设并不意味着完整模型就是您用例的更佳选择。
在大样本下,即使拟合的微小改进也会产生很小的p值。该检验不会告诉您效应有多大,或模型对新数据的预测有多好。在保留更大模型之前,请查看系数并在留出数据上评估性能。
而较大的p值并不能证明额外自变量毫无用处。它只意味着数据未能提供足够证据来反对原假设。
LRT 告诉您额外参数是否改进了拟合,而该改进是否重要,仍需您来判断。
回归模型中的似然比检验
当比较回归模型时,您最常会看到LRT。思路始终不变——拟合受限模型,拟合完整模型,并比较它们的极大对数似然。
逻辑回归
逻辑回归是看到LRT最常见的地方。
解读部分比较了一个只含 tenure_months 的模型与一个还包含 monthly_charges 和 support_tickets 的模型。您可以更进一步,将完整模型与仅有截距的模型比较,后者为每位客户预测相同的流失概率。
在同一流失数据上,仅截距模型的对数似然为 -627.62,完整模型为 -515.99。这给出 D = 2 * (-515.99 - (-627.62)) = 223.27,自由度为3(每个自变量一个),p值约为 3.9 x 10^-48。
该检验询问这些自变量整体上是否比没有自变量更好地解释流失。这是线性回归中总体F检验的逻辑回归版本,而statsmodels会在模型摘要中以 LLR p-value 报告它。
广义线性模型
逻辑回归属于更大的家族——广义线性模型(GLM)。该家族还包括用于计数的泊松回归、用于正连续结果的Gamma回归等。
每个GLM都会报告偏差(deviance),用于衡量模型距离完美拟合的程度。对于两个嵌套的GLM,它们偏差的差等于LRT统计量 D,因此该检验常被称为偏差分析(analysis of deviance)。
自由度的处理方式与之前相同,为参数数量的差。对于估计了离散参数(dispersion parameter)的模型,如Gamma或高斯GLM,常用偏差差异的F检验来替代卡方版本。
其他基于似然的模型
任何通过最大似然拟合的模型,只要模型是嵌套的,都可以使用LRT。例如:
混合效应模型: 比较有无某个固定效应的模型,并用最大似然而非REML进行拟合
生存模型: 检验某协变量是否改进基于部分似然的Cox比例风险模型
时间序列模型: 比较不同阶数的ARIMA模型
遗传学: 基因连锁检验,其中LOD分数是以10为底的对数似然比
似然比与相关统计检验的比较
LRT与Wald检验、得分检验(score test)相似。三者都检验相同的原假设,并且在大样本下都服从卡方分布。差异在于您拟合哪些模型,以及衡量什么。
似然比检验 vs. Wald检验
LRT拟合两个模型并比较它们的对数似然。Wald检验只拟合完整模型,并检查每个估计值距其原假设值有多远(以标准误计)。
对于单个系数,Wald统计量是估计值除以其标准误。回归摘要表中的p值通常来自该检验。
Wald检验速度快,因为只需拟合一个模型。但它依赖于模型参数化方式;在逻辑回归中,当系数非常大时表现不佳,因为标准误增长快于估计值。LRT没有这两类问题,因此更稳妥。
似然比检验 vs. 得分检验
得分检验只拟合受限模型。
它考察原假设参数取值处对数似然的斜率。若原假设正确,斜率应接近0。陡峭的斜率意味着若允许这些参数偏离原假设值,似然会增加。
当完整模型拟合成本高或难以拟合时,得分检验很实用。它也称为拉格朗日乘子检验,常用于在加入前对候选自变量进行筛选。
似然比检验 vs. 卡方检验
LRT统计量在大样本下服从卡方分布,但这并不意味着LRT就是通常意义上的“卡方检验”。
“卡方检验”是一个广义标签,指任何统计量服从卡方分布的检验。大多数情况下,人们用它来指Pearson在列联表中的独立性或适合度卡方检验 。
不过二者有关联。Pearson检验的似然比版本称为G检验,它用对数似然替代平方差来比较观测与期望计数。在大样本下,两者给出的结果相近。
以下是三个基于模型的检验的比较:
Wald 检验 似然比检验 得分检验 拟合的模型 仅完整模型 受限与完整模型 仅受限模型 衡量内容 估计值与原假设值的距离(以标准误计) 极大对数似然之间的差距 原假设值处对数似然的斜率 常见场景 回归摘要中的系数p值 嵌套模型比较与偏差分析 新增自变量筛选、难以拟合的模型 薄弱环节 依赖参数化方式;估计值很大时不可靠 需要拟合两个模型 仅利用原假设值附近的信息 大样本分布 卡方 卡方 卡方
似然比与其他统计检验的比较
似然比 vs. 比值比(Odds Ratio)
两者名称里都有“ratio(比)”,且都常见于逻辑回归。相似之处仅止于此。
似然比比较的是两个假设对观测数据的解释力度。比值比比较的是两组或两种条件之间某个结果发生的赔率之比。
赔率是事件发生的概率除以其不发生的概率。25%的流失概率意味着赔率为0.25 / 0.75,即1比3。
在前述流失模型中,support_tickets 的系数为0.456。其指数给出约1.58的比值比,这意味着每增加一张支持工单,流失的赔率乘以1.58。
那是关于数据中某个效应的表述。似然比则是关于证据的表述——在相同数据下,一个假设或模型相较另一个解释得好多少。
因此,比值比回答“效应有多大?”,似然比回答“数据更支持哪种解释?”
诊断测试中的似然比
在医学领域,“似然比”还有第二层含义。它描述某个检测结果会在多大程度上改变患者患病的赔率,与模型拟合或p值无关。
诊断性似然比源自检测的两个属性:
灵敏度: 患病者中检测呈阳性的比例
特异度: 未患病者中检测呈阴性的比例
假设某检测的灵敏度为90%,特异度为80%。
阳性似然比
阳性似然比(LR+)表示:在患病者中出现阳性结果的可能性,相对于未患病者中出现阳性结果的可能性,增加了多少:
阳性似然比
对该示例检测而言,0.9 / 0.2 = 4.5。也就是说患病者中出现阳性结果的可能性是未患病者的4.5倍。大于1的值会提升患病赔率,且值越大,阳性结果的信息量越高。
阴性似然比
阴性似然比(LR-)表示:在患病者中出现阴性结果的可能性,相对于未患病者中出现阴性结果的可能性,有多大:
阴性似然比
对该示例检测而言,0.1 / 0.8 = 0.125。小于1的值会降低患病赔率,且越接近0,阴性结果的信息量越高。
从检前到检后赔率
诊断性似然比的价值在于它能更新您在检测之前所掌握的信息:
诊断性似然比
假设与该患者相似的人群中有10%患病。检前赔率为0.1 / 0.9,约为0.111。
阳性结果后,赔率变为0.111 * 4.5 = 0.5,即概率约为33%。阴性结果后,赔率变为0.111 * 0.125 = 0.014,即约1.4%。
这是本文中唯一一个通过似然比得到假设概率的地方,而之所以可能,是因为检前赔率提供了先验。
在 Python 与 R 中进行似然比检验
两种语言都能用几行代码运行LRT。我将使用前文提到的流失数据集,以便数值与解读和回归部分一致。
Python 中的似然比检验
您需要 numpy、pandas、statsmodels 和 scipy。先生成数据集:
import numpy as np
import pandas as pd
import statsmodels. formula. api as smf
from scipy import stats
rng = np. random. default_rng( 42 )
n_customers = 1000
churn = pd. DataFrame( {
"tenure_months" : rng. integers( 1 , 73 , n_customers) ,
"monthly_charges" : rng. uniform( 20 , 120 , n_customers) . round ( 2 ) ,
"support_tickets" : rng. poisson( 1.5 , n_customers) ,
} )
log_odds = (
- 0.5
- 0.04 * churn[ "tenure_months" ]
+ 0.01 * churn[ "monthly_charges" ]
+ 0.25 * churn[ "support_tickets" ]
)
churn[ "churned" ] = rng. binomial( 1 , 1 / ( 1 + np. exp( - log_odds) ) )
churn. to_csv( "churn.csv" , index= False ) 技术支持
在该数据集中,流失比例为32.1%。
接着,拟合受限与完整的逻辑回归模型。.llf 属性保存每个模型的极大对数似然:
reduced_model = smf. logit( "churned ~ tenure_months" , data= churn) . fit( disp= 0 )
full_model = smf. logit(
"churned ~ tenure_months + monthly_charges + support_tickets" ,
data= churn,
) . fit( disp= 0 )
print ( f"Restricted model log-likelihood: { reduced_model. llf: .2f } " )
print ( f"Full model log-likelihood: { full_model. llf: .2f } " ) 技术支持
受限与完整模型的对数似然
statsmodels 没有用于逻辑回归的一般LRT函数,因此您需要用两个对数似然来计算统计量。.df_model 属性给出每个模型的自变量个数,stats.chi2.sf() 返回p值:
lr_stat = 2 * ( full_model. llf - reduced_model. llf)
df_diff = full_model. df_model - reduced_model. df_model
p_value = stats. chi2. sf( lr_stat, df_diff)
print ( f"LR statistic: { lr_stat: .2f } " )
print ( f"Degrees of freedom: { df_diff: .0f } " )
print ( f"P-value: { p_value: .1e } " ) 技术支持
检验统计量、自由度与p值
p值远低于0.05,因此您会拒绝原假设。数据强有力地表明,与仅含 tenure_months 的模型相比,monthly_charges 与 support_tickets 改进了拟合。
对于与仅截距模型的比较,您无需额外代码。statsmodels 会为每个逻辑回归模型计算:
print ( f"Intercept-only log-likelihood: { full_model. llnull: .2f } " )
print ( f"LR statistic: { full_model. llr: .2f } " )
print ( f"P-value: { full_model. llr_pvalue: .1e } " ) 技术支持
完整模型与仅截距模型的比较
R 中的似然比检验
R 与 NumPy 使用的随机数生成器不同,因此请载入来自 Python 示例的 churn.csv 文件以使用相同数据。然后用 glm() 拟合两个模型,并传给 anova():
churn <- read.csv( "churn.csv" )
reduced_model <- glm( churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
churned ~ tenure_months + monthly_charges + support_tickets,
data = churn,
family = binomial
)
logLik( reduced_model)
logLik( full_model)
anova( reduced_model, full_model, test = "Chisq" ) 技术支持
R 中的对数似然与比值检验
df 出现在每个对数似然旁,表示估计参数的数量(包含截距)。完整模型多两个,与 anova() 表中的 Df 列相吻合。
Deviance 列显示为81.778,与您在Python中得到的LR统计量相同。这正是GLM部分所述的偏差分析——残差偏差从1113.8降到1032.0,其差即为检验统计量。
R 将p值打印为 < 2.2e-16,这是因为它默认显示的最小值如此,并非与Python结果不同。无论如何,结论相同:额外自变量改进了拟合。
如果您更偏好专用函数,lmtest 包的 lrtest() 可用 lrtest(reduced_model, full_model) 运行同样的比较。
似然比检验的假设与局限
LRT 在前述设定下工作良好,但其卡方结论依赖若干条件。
模型需要是嵌套的
标准LRT只比较嵌套模型,其中受限模型是完整模型的特例。
如果您想比较逻辑回归与probit模型,或两个含有不同自变量的模型,两者都不是对方的特例。卡方分布在此不适用。改用信息准则,如 AIC 与 BIC ,或用于非嵌套模型的Vuong检验。
两个模型都需要最大似然估计
检验比较的是极大似然,因此两个模型必须在相同数据上以最大似然进行拟合。
两类常见问题在此会出错。用REML(许多软件的默认)拟合的混合效应模型,当固定效应不同,不能用LRT比较——需先用最大似然重拟合。而带惩罚项的模型,如 lasso 或 ridge 回归 并未直接最大化似然本身,因此通常的检验不适用。
两个模型还需要使用相同的观测。如果某个自变量有缺失值,完整模型可能会丢弃行,那么两者的对数似然不再可比。
卡方结果是渐近的
威尔克斯定理是大样本结论。它要求满足正则条件,通俗地说,即似然函数平滑、参数可辨识、真实参数值位于允许范围之内而非边界上。
在这些条件成立时,卡方分布是大样本下的良好近似。但毕竟只是近似。
小样本
在小样本下,LRT统计量可能并不服从卡方分布,p值可能偏小或偏大。
您有几个选择。参数自举(parametric bootstrap)可从受限模型模拟新数据集,构建统计量的分布。对简单问题(如列联表),精确检验可避免近似。
边界处的参数
有些原假设会将参数置于允许范围的边界。最常见的例子是检验混合模型中随机效应方差是否等于0,因为方差不能为负。
此时统计量不服从通常的卡方分布。对于单个方差分量,它服从“自由度为0与1的卡方分布的50:50混合”,因此标准p值大约是应有值的两倍。标准检验在这里是保守的,意味着更容易漏检真实效应。
比较混合模型中成分数量也有类似问题。当比较一成分与二成分时,正则条件失效,卡方近似根本不成立。
模型设定错误
LRT 假设完整模型是正确的。如果两个模型都错误地刻画了数据的分布(例如对均值远小于方差的计数数据使用泊松模型),则即使在大样本下统计量也不会服从卡方分布。
在信任检验之前,先检查完整模型的拟合。对过度离散的计数数据,负二项模型或基于准似然的F检验往往更合适。
因此,卡方近似是默认而非保证,且仅当设定满足威尔克斯定理背后的条件时才适用。
结论
似然比比较的是两个假设或模型对同一组观测数据的解释力度。这就是核心思想,本文其他内容皆由此展开。
似然比检验将这一思想形式化:拟合两个嵌套模型,比较其极大对数似然,并利用卡方分布得到p值。它最常见于逻辑回归与其他GLM,statsmodels与R都能用几行代码完成。
但请记住这个数值的含义。似然比展示的是一个假设相对于另一个的相对支持度,而非任一假设为真的概率。若要得到后者,您需要先验赔率,如在诊断测试中所做。
如果您想更进一步,下一步可了解检验背后的基石:似然本身、最大似然估计 ,以及Wald检验与其他假设检验 如何与LRT比较。
您是否在回归输出或研究中见过“likelihood ratio(似然比)”这个术语,却不知道它在告诉您什么?
这并不只是您一个人的困惑。该术语常见于假设检验、模型比较、分类与诊断测试中,而每个领域的用法略有不同。大多数解释还会在您尚不了解“似然”为何物之前,就从检验统计量和卡方分布讲起。于是您得到一个能算出来、却解释不清的数字。
简而言之,似然描述某个参数取值或统计模型对您所观察到的数据的解释程度。似然比是一个似然除以另一个似然,让您看到两种假设中哪一个更得到数据的支持,以及支持的幅度有多大。
在本文中,我将带您了解核心思想与公式、似然比检验及其解读方式,以及似然比在实践中的出现场景。
需要复习统计学吗?浏览我们的概率与统计课程,找到最合适您的那门。
什么是似然比?
似然比是:在一个假设下观测数据的似然,除以在另一个假设下相同数据的似然。这两个假设可以是两个参数取值,也可以是两个完整的统计模型。
它回答的问题是:哪种解释对数据的说明更好,而不是数据本身是否“可能”。
这是一处重要差异。对于一枚公平的硬币,任何特定的20次抛掷序列的概率都约为百万分之一,因此单独一个很小的似然并不能说明太多。只有将它与另一个似然并置比较才有意义。
假设您抛硬币10次,得到8次正面。一个假设认为硬币是公平的,正面概率为0.5。另一个假设认为它有偏,正面概率为0.8。
两个假设都可能产生8次正面,但有偏硬币更常产生这样的结果。因此数据更支持第二个假设,而似然比会给出一个数量来说明“多多少”。我将在本文后面的示例部分计算精确数值。
似然与概率使用相同的公式,但回答不同的问题:
所有可能结果的概率之和为1,但所有可能参数取值的似然之和并不为1。这就是为什么似然不是某个假设为真的概率,似然比也不是。
似然比如何起作用?
每个似然比都遵循相同的五个步骤:
比值的含义取决于哪个似然在分子。若将假设A放在分子:
比值为4表示在A下观测到该数据的概率是B下的4倍。这并不代表A为真的可能性是B的4倍。
如果交换分子与分母,您会得到倒数。对A有利的4会变成0.25,从B的角度表述相同的事实。
不同领域的约定并不一样。似然比检验通常将原假设放在分子,因此小的取值构成反对原假设的证据,而许多其他应用则将备择假设置于分子。
因此在解释任何似然比之前,先确认分子中的是假设哪一个。
似然比公式
基本的似然比是将一个关于数据的似然除以另一个:
似然比公式
各项含义如下:
x:观测数据,例如10次抛掷中8次正面theta_1和theta_0:您要比较的两个参数取值或假设,例如正面概率0.8与0.5L(theta | x):给定数据时theta的似然,等于当theta为真实参数时x的概率;对连续数据为其密度在独立观测下,似然是每个观测概率的乘积:
独立观测下的似然
问题就从这里开始。每个因子都小于1,因此样本增大时乘积会迅速变小。
在公平硬币下,特定1000次抛掷序列的概率约为9.3 * 10^-302,接近64位浮点数能存储的最小数。到2000次时,Python中的
0.5 ** 2000会返回0.0。对数提供了绕开的办法。乘积的对数是对数之和,因此对数似然会把微小数的乘积变成可处理数的和:
对数似然
比值变成了差:
对数似然比
与乘积相比,和也更易于求导,这也是最大似然估计同样使用对数似然的原因。
对数版本的解读方式与比值相同,只是以0为中心而非1。取值为0表示支持相同,正值偏向
theta_1,负值偏向theta_0。似然比示例
回到前面的硬币。您抛10次,得到8次正面、2次反面。
两个假设为:
假设0:硬币是公平的,故
p = 0.5假设1: 硬币偏向正面,故
p = 0.810次抛掷中正面的个数服从二项分布,因此每个假设下的似然为:
似然比示例
在公平硬币假设下:
似然比示例
在有偏硬币假设下:
似然比示例
似然比为:
似然比示例
二项式系数45在两个似然中都会出现,因此会在比值中相消。若用确切抛掷序列的概率计算,您也会得到同样的6.87。
通俗地说,若硬币有80%概率落到正面,相比公平硬币,观测到的数据大约会出现6.9倍之多。就是这样。
该比值并不意味着硬币“更可能有偏”的程度是6.9倍。若要得到任一假设为真的概率,您需要为二者设定先验概率。假设先验赔率为50/50,则后验赔率为6.87比1,即有偏硬币约为87%,但这个数值取决于您选择的先验。
该支持度也仅相对于这两个假设。比如
p = 0.7并未参与比较。这里0.8也恰好是最大似然估计,因为10次中有8次为正面,因此没有其他p值能从这些数据获取更多支持。什么是似然比检验?
硬币示例比较的是两个固定的
p值。统计中的大多数问题更宽泛,例如,增加几个额外的自变量是否能改进回归模型。似然比检验回答的就是这类问题。它比较两个嵌套模型,也就是说小模型是大模型的特例:
检验有五个步骤:
每个模型都在其最大似然估计处进行评估,而不是在您事先选定的某个参数值处。这是与硬币示例的主要差别。
似然比可以比较任意两个假设并给出相对支持度,但不提供p值或决策。LRT对嵌套模型的极大似然取比,将其转换为检验统计量,并利用其分布来决定是否拒绝原假设。每个LRT都使用了似然比,但并非每个似然比都属于LRT的一部分——本文后面的诊断性似然比就是一例。
似然比检验统计量
LRT从极大似然的比值开始,分子放受限模型:
似然比检验统计量
其中,
theta_hat_0是受限模型下的最大似然估计,theta_hat是完整模型下的估计。完整模型包含受限模型,因此它的拟合不差于受限模型。这意味着lambda介于0与1之间。检验统计量为:
似然比检验统计量
使用对数的原因与之前相同。它将微小数的比值变成对数似然的差,这也是每个统计软件都会报告的量。
系数-2有两个作用。由于
lambda <= 1,ln(lambda)为0或负值,因此负号将其变为正值,且完整模型拟合越好,数值越大。乘以2将统计量缩放为近似服从卡方分布。对于广义线性模型,D等同于两个模型偏差(deviance)的差,因此您常会看到它以这种方式报告。威尔克斯定理(Wilks' theorem)让检验得以成立。它表明当原假设为真且满足标准正则条件时,随着样本量增大,
D近似服从卡方分布。通俗地说,模型需要是嵌套的,且原假设下的参数值不能处于允许参数范围的边界。本文后面的“局限性”部分将讨论这些条件被破坏时会发生什么。自由度通常等于两个模型自由参数个数的差。如果完整模型增加了两个自变量,您就将
D与自由度为2的卡方分布比较。因此,同样的参考分布适用于逻辑回归、泊松回归,以及大多数用最大似然拟合的模型。
如何解读似然比检验
假设您想预测客户是否会取消订阅。该数据集包含1000位客户,其中约32%发生了流失。
您拟合了两个逻辑回归模型:
受限模型:仅用
tenure_months预测流失,对数似然为 -556.88完整模型:再加入
monthly_charges和support_tickets,对数似然为 -515.99以下是检验各部分在该示例中的对应:
原假设:
monthly_charges与support_tickets的系数都为0,即额外自变量并未改进拟合备择假设:至少有一个系数不为0
检验统计量:
D = 2 * (-515.99 - (-556.88)) = 81.78自由度: 完整模型多两个参数,因此检验使用2个自由度
P值: 在自由度为2的卡方分布下,统计量不小于该值的概率,约为
1.7 * 10^-18该p值远低于任何常见阈值,如0.05。您会拒绝原假设,并得出数据强有力地表明额外自变量改进了拟合。
但拒绝原假设并不意味着完整模型就是您用例的更佳选择。
在大样本下,即使拟合的微小改进也会产生很小的p值。该检验不会告诉您效应有多大,或模型对新数据的预测有多好。在保留更大模型之前,请查看系数并在留出数据上评估性能。
而较大的p值并不能证明额外自变量毫无用处。它只意味着数据未能提供足够证据来反对原假设。
LRT 告诉您额外参数是否改进了拟合,而该改进是否重要,仍需您来判断。
回归模型中的似然比检验
当比较回归模型时,您最常会看到LRT。思路始终不变——拟合受限模型,拟合完整模型,并比较它们的极大对数似然。
逻辑回归
逻辑回归是看到LRT最常见的地方。
解读部分比较了一个只含
tenure_months的模型与一个还包含monthly_charges和support_tickets的模型。您可以更进一步,将完整模型与仅有截距的模型比较,后者为每位客户预测相同的流失概率。在同一流失数据上,仅截距模型的对数似然为 -627.62,完整模型为 -515.99。这给出
D = 2 * (-515.99 - (-627.62)) = 223.27,自由度为3(每个自变量一个),p值约为 3.9 x 10^-48。该检验询问这些自变量整体上是否比没有自变量更好地解释流失。这是线性回归中总体F检验的逻辑回归版本,而statsmodels会在模型摘要中以
LLR p-value报告它。广义线性模型
逻辑回归属于更大的家族——广义线性模型(GLM)。该家族还包括用于计数的泊松回归、用于正连续结果的Gamma回归等。
每个GLM都会报告偏差(deviance),用于衡量模型距离完美拟合的程度。对于两个嵌套的GLM,它们偏差的差等于LRT统计量
D,因此该检验常被称为偏差分析(analysis of deviance)。自由度的处理方式与之前相同,为参数数量的差。对于估计了离散参数(dispersion parameter)的模型,如Gamma或高斯GLM,常用偏差差异的F检验来替代卡方版本。
其他基于似然的模型
任何通过最大似然拟合的模型,只要模型是嵌套的,都可以使用LRT。例如:
似然比与相关统计检验的比较
LRT与Wald检验、得分检验(score test)相似。三者都检验相同的原假设,并且在大样本下都服从卡方分布。差异在于您拟合哪些模型,以及衡量什么。
似然比检验 vs. Wald检验
LRT拟合两个模型并比较它们的对数似然。Wald检验只拟合完整模型,并检查每个估计值距其原假设值有多远(以标准误计)。
对于单个系数,Wald统计量是估计值除以其标准误。回归摘要表中的p值通常来自该检验。
Wald检验速度快,因为只需拟合一个模型。但它依赖于模型参数化方式;在逻辑回归中,当系数非常大时表现不佳,因为标准误增长快于估计值。LRT没有这两类问题,因此更稳妥。
似然比检验 vs. 得分检验
得分检验只拟合受限模型。
它考察原假设参数取值处对数似然的斜率。若原假设正确,斜率应接近0。陡峭的斜率意味着若允许这些参数偏离原假设值,似然会增加。
当完整模型拟合成本高或难以拟合时,得分检验很实用。它也称为拉格朗日乘子检验,常用于在加入前对候选自变量进行筛选。
似然比检验 vs. 卡方检验
LRT统计量在大样本下服从卡方分布,但这并不意味着LRT就是通常意义上的“卡方检验”。
“卡方检验”是一个广义标签,指任何统计量服从卡方分布的检验。大多数情况下,人们用它来指Pearson在列联表中的独立性或适合度卡方检验。
不过二者有关联。Pearson检验的似然比版本称为G检验,它用对数似然替代平方差来比较观测与期望计数。在大样本下,两者给出的结果相近。
以下是三个基于模型的检验的比较:
似然比与其他统计检验的比较
似然比 vs. 比值比(Odds Ratio)
两者名称里都有“ratio(比)”,且都常见于逻辑回归。相似之处仅止于此。
似然比比较的是两个假设对观测数据的解释力度。比值比比较的是两组或两种条件之间某个结果发生的赔率之比。
赔率是事件发生的概率除以其不发生的概率。25%的流失概率意味着赔率为0.25 / 0.75,即1比3。
在前述流失模型中,
support_tickets的系数为0.456。其指数给出约1.58的比值比,这意味着每增加一张支持工单,流失的赔率乘以1.58。那是关于数据中某个效应的表述。似然比则是关于证据的表述——在相同数据下,一个假设或模型相较另一个解释得好多少。
因此,比值比回答“效应有多大?”,似然比回答“数据更支持哪种解释?”
诊断测试中的似然比
在医学领域,“似然比”还有第二层含义。它描述某个检测结果会在多大程度上改变患者患病的赔率,与模型拟合或p值无关。
诊断性似然比源自检测的两个属性:
假设某检测的灵敏度为90%,特异度为80%。
阳性似然比
阳性似然比(LR+)表示:在患病者中出现阳性结果的可能性,相对于未患病者中出现阳性结果的可能性,增加了多少:
阳性似然比
对该示例检测而言,0.9 / 0.2 = 4.5。也就是说患病者中出现阳性结果的可能性是未患病者的4.5倍。大于1的值会提升患病赔率,且值越大,阳性结果的信息量越高。
阴性似然比
阴性似然比(LR-)表示:在患病者中出现阴性结果的可能性,相对于未患病者中出现阴性结果的可能性,有多大:
阴性似然比
对该示例检测而言,0.1 / 0.8 = 0.125。小于1的值会降低患病赔率,且越接近0,阴性结果的信息量越高。
从检前到检后赔率
诊断性似然比的价值在于它能更新您在检测之前所掌握的信息:
诊断性似然比
假设与该患者相似的人群中有10%患病。检前赔率为0.1 / 0.9,约为0.111。
阳性结果后,赔率变为0.111 * 4.5 = 0.5,即概率约为33%。阴性结果后,赔率变为0.111 * 0.125 = 0.014,即约1.4%。
这是本文中唯一一个通过似然比得到假设概率的地方,而之所以可能,是因为检前赔率提供了先验。
在 Python 与 R 中进行似然比检验
两种语言都能用几行代码运行LRT。我将使用前文提到的流失数据集,以便数值与解读和回归部分一致。
Python 中的似然比检验
您需要
numpy、pandas、statsmodels和scipy。先生成数据集:在该数据集中,流失比例为32.1%。
接着,拟合受限与完整的逻辑回归模型。
.llf属性保存每个模型的极大对数似然:受限与完整模型的对数似然
statsmodels 没有用于逻辑回归的一般LRT函数,因此您需要用两个对数似然来计算统计量。
.df_model属性给出每个模型的自变量个数,stats.chi2.sf()返回p值:检验统计量、自由度与p值
p值远低于0.05,因此您会拒绝原假设。数据强有力地表明,与仅含
tenure_months的模型相比,monthly_charges与support_tickets改进了拟合。对于与仅截距模型的比较,您无需额外代码。statsmodels 会为每个逻辑回归模型计算:
完整模型与仅截距模型的比较
R 中的似然比检验
R 与 NumPy 使用的随机数生成器不同,因此请载入来自 Python 示例的
churn.csv文件以使用相同数据。然后用glm()拟合两个模型,并传给anova():R 中的对数似然与比值检验
df出现在每个对数似然旁,表示估计参数的数量(包含截距)。完整模型多两个,与anova()表中的Df列相吻合。Deviance列显示为81.778,与您在Python中得到的LR统计量相同。这正是GLM部分所述的偏差分析——残差偏差从1113.8降到1032.0,其差即为检验统计量。R 将p值打印为
< 2.2e-16,这是因为它默认显示的最小值如此,并非与Python结果不同。无论如何,结论相同:额外自变量改进了拟合。如果您更偏好专用函数,
lmtest包的lrtest()可用lrtest(reduced_model, full_model)运行同样的比较。似然比检验的假设与局限
LRT 在前述设定下工作良好,但其卡方结论依赖若干条件。
模型需要是嵌套的
标准LRT只比较嵌套模型,其中受限模型是完整模型的特例。
如果您想比较逻辑回归与probit模型,或两个含有不同自变量的模型,两者都不是对方的特例。卡方分布在此不适用。改用信息准则,如AIC 与 BIC,或用于非嵌套模型的Vuong检验。
两个模型都需要最大似然估计
检验比较的是极大似然,因此两个模型必须在相同数据上以最大似然进行拟合。
两类常见问题在此会出错。用REML(许多软件的默认)拟合的混合效应模型,当固定效应不同,不能用LRT比较——需先用最大似然重拟合。而带惩罚项的模型,如lasso 或 ridge 回归并未直接最大化似然本身,因此通常的检验不适用。
两个模型还需要使用相同的观测。如果某个自变量有缺失值,完整模型可能会丢弃行,那么两者的对数似然不再可比。
卡方结果是渐近的
威尔克斯定理是大样本结论。它要求满足正则条件,通俗地说,即似然函数平滑、参数可辨识、真实参数值位于允许范围之内而非边界上。
在这些条件成立时,卡方分布是大样本下的良好近似。但毕竟只是近似。
小样本
在小样本下,LRT统计量可能并不服从卡方分布,p值可能偏小或偏大。
您有几个选择。参数自举(parametric bootstrap)可从受限模型模拟新数据集,构建统计量的分布。对简单问题(如列联表),精确检验可避免近似。
边界处的参数
有些原假设会将参数置于允许范围的边界。最常见的例子是检验混合模型中随机效应方差是否等于0,因为方差不能为负。
此时统计量不服从通常的卡方分布。对于单个方差分量,它服从“自由度为0与1的卡方分布的50:50混合”,因此标准p值大约是应有值的两倍。标准检验在这里是保守的,意味着更容易漏检真实效应。
比较混合模型中成分数量也有类似问题。当比较一成分与二成分时,正则条件失效,卡方近似根本不成立。
模型设定错误
LRT 假设完整模型是正确的。如果两个模型都错误地刻画了数据的分布(例如对均值远小于方差的计数数据使用泊松模型),则即使在大样本下统计量也不会服从卡方分布。
在信任检验之前,先检查完整模型的拟合。对过度离散的计数数据,负二项模型或基于准似然的F检验往往更合适。
因此,卡方近似是默认而非保证,且仅当设定满足威尔克斯定理背后的条件时才适用。
结论
似然比比较的是两个假设或模型对同一组观测数据的解释力度。这就是核心思想,本文其他内容皆由此展开。
似然比检验将这一思想形式化:拟合两个嵌套模型,比较其极大对数似然,并利用卡方分布得到p值。它最常见于逻辑回归与其他GLM,statsmodels与R都能用几行代码完成。
但请记住这个数值的含义。似然比展示的是一个假设相对于另一个的相对支持度,而非任一假设为真的概率。若要得到后者,您需要先验赔率,如在诊断测试中所做。
如果您想更进一步,下一步可了解检验背后的基石:似然本身、最大似然估计,以及Wald检验与其他假设检验如何与LRT比较。