您是否曾面对包含 20 个自变量的回归数据集,不知道该把哪些放进模型?
如果把它们全都加入,模型很可能会把噪声和信号一起拟合;如果手工挑选,不同分析师看同一份数据也可能得出不同的模型。而且不用说,即便只有 20 个自变量,可比的子集也超过一百万种。
逐步回归可以将这类搜索自动化:它依据 p 值或 AIC 等统计准则,每次添加或移除一个自变量。它被广泛教学与使用,但也存在一些统计学上的局限,因此不应将其视为默认的特征选择方法。
本文将带您了解三种主要方法:前向选择、后向消除以及双向逐步选择。
还在寻找更多特征选择技巧?请阅读我们的 Python 特征选择教程 ,获取对该主题的入门级介绍。
什么是逐步回归?
逐步回归是一种自动化流程,用于选择哪些自变量应进入回归模型。
它不会只拟合一个模型,而是拟合一串候选模型,每一步都根据某个选择准则添加或移除一个自变量。当没有进一步的改变能按该准则改进模型时,搜索停止。
想象您要预测客户每年的消费额,手头有五个候选自变量:
income
age
education
location
years_experience
逐步回归可能从 income 开始,接着检验加入 age 是否改进模型,然后是 education,依此类推。如果其余三个变量未能足够改进准则,最终模型可能只保留 income 与 education。
需要记住的一个关键点是:逐步回归并不是一种独立的回归模型类型。
它是叠加在已知模型(通常是线性回归)之上的一种 变量选择过程 。输出仍是一个普通的回归模型,只不过由逐步方法来决定包含哪些自变量。
逐步回归如何工作
每种逐步过程都遵循同一个循环:
从初始模型开始: 可以没有自变量、包含全部,或介于两者之间
提出一个改动: 添加一个自变量或移除一个
为新模型打分: 用预设准则进行评估
保留或拒绝改动: 仅当准则判定新模型更好时才保留
重复: 回到步骤 2,直到没有改动能继续改进模型
逐步回归循环
该算法从不向前看超过一步。它只判断下一次单一改动是否有帮助。
准则决定了“更好”的含义。以下四种最为常见:
P 值 :当某候选的p 值 低于进入阈值时进入模型,若高于剔除阈值则离开模型
AIC :赤池信息准则 奖励更好的拟合并对每个额外参数进行惩罚,数值越低越好
BIC :贝叶斯信息准则 与 AIC 类似,但其每参数惩罚随样本量增大而增大,因而通常得到更小的模型
调整后的 R 方 :普通R 方 在添加自变量时永不降低,所以其调整版本会校正自变量数目,值越高越好
具体流程取决于搜索方向和准则。前向选择只添加变量,后向消除只移除变量,双向选择两者皆可。而同一数据集在不同准则下可能得到不同的最终模型。
因此当有人说他们运行了逐步回归,首先要问的两个问题是:采用哪个方向、采用哪个准则。
逐步回归的类型
逐步回归有三种类型,它们只在一处不同——搜索方向。
前向选择
前向选择从小做起,再逐步扩展。
您从仅含截距的模型开始,或从无论如何都想保留的少数自变量开始。算法随后针对每个尚未进入的自变量拟合一个候选模型(在当前模型上加上该自变量)。能使准则改善最多的自变量进入模型。
随后循环再次运行,以更大的模型为新基准。当没有剩余自变量满足选择规则时停止,例如没有任何添加能进一步降低 AIC。
前向选择即使在候选自变量多于观测值时也能启动,因为它从不需要拟合完整模型。问题在于,一旦某个自变量进入,它就会一直留在模型中,即使之后的添加使其变得多余。
后向消除
后向消除则反其道而行之。
您从包含所有候选自变量的完整模型开始。算法尝试一次移除一个自变量,并剔除其中使准则改善最多的那个。然后用更小的模型重新拟合并重复。当没有移除操作能改进准则时,搜索停止。
这种方法要求完整模型可估计。您需要观测数多于参数数,且任何自变量都不能被其他变量的精确线性组合表示。如果有 50 个自变量却只有 40 行数据,后向消除甚至无法启动。
它也有与前向选择相反的镜像问题——一旦某个自变量被移除,就不会再被纳入。
双向逐步选择
双向选择将二者结合。每次添加之后,算法会检查已在模型中的自变量是否有应当移除的。
这很重要,因为某个自变量的价值取决于模型中还有什么。比如 bedrooms 可能因为与房屋面积相关而先进入。当 square_feet 之后进入后,bedrooms 的增益可能几乎为零。此时双向选择可以把它移除,而前向选择会把它保留。
代价是每一步需要拟合更多模型。双向选择既可以从空模型开始,也可以从完整模型开始。
三者对比如下:
前向选择 后向消除 双向选择 起始模型 仅截距或一个小型基集 包含所有候选的完整模型 空模型或完整模型均可 允许的操作 只添加 只移除 添加或移除 注意事项 在自变量多于观测时也能启动,但早期添加不会被回溯 需要可估计的完整模型,且被移除的自变量不会回来 每步拟合更多模型,但可撤销先前决策
逐步回归类型对比
逐步回归示例
让我们把问题具体化。
我生成了一个包含 200 套房屋的合成数据集,想用五个候选自变量来预测 price(价格) :
square_feet
bedrooms
age_years
distance_km(距市中心距离)
lot_size_sqft
我将以 AIC 为准则进行前向选择(AIC 越低越好)。同一数据您会在 Python 部分再次看到。
仅截距模型的 AIC 为 5057.0。每一 步的情况如下——每个单元格显示的是把该自变量加入当前模型后得到的 AIC:
候选 步骤 1 步骤 2 步骤 3 步骤 4 步骤 5 square_feet4955.1 in model in model in model in model distance_km5020.3 4855.6 in model in model in model age_years5050.2 4926.4 4841.4 in model in model lot_size_sqft5057.9 4955.1 4844.4 4839.8 in model bedrooms4993.4 4950.0 4885.1 4842.0 4840.8 当前模型 AIC 5057.0 4955.1 4885.6 4841.4 4839.8
AIC 对比
每一步发生了什么:
步骤 1: square_feet 使 AIC 降低约 102 分,因此率先进入。bedrooms 次之,因为它与房屋面积相关
步骤 2: distance_km 带来最大降幅。bedrooms 现在几乎没有帮助,因为 square_feet 已经包含了它的大部分信息
步骤 3: age_years 进入
步骤 4: lot_size_sqft 仅将 AIC 再降 1.6 分,但更低就是更低,因此也进入
步骤 5: 若再加入 bedrooms,AIC 将升至 4840.8,故搜索停止
最终模型包含 square_feet、distance_km、age_years 和 lot_size_sqft。
这算是合理的结果。我在数据生成时设定 bedrooms 对价格没有直接影响,而该过程也将其排除在外。
若对同一数据运行后向消除,它会从 AIC 为 4840.8 的完整模型出发,剔除 bedrooms,并停留在同样的四个自变量上。前向与后向不总是一致,但此处一致。
前向选择每一步后的当前模型 AIC
逐步回归中如何选择变量
搜索方向决定算法的行为;准则决定何时停止。
基于 p 值的选择
这是最早的方法,它使用两个阈值:
进入阈值: 候选若 p 值低于该值(如 0.05)则进入模型
剔除阈值: 若某变量的 p 值升至高于该值(如 0.10)则从模型中移除
通常剔除阈值设得高于进入阈值,以免某变量在每一步反复进出。这两个数值是约定而非定律。
每个 p 值都假设您事先规划并只运行了一次检验。逐步法则在每一步运行一批检验,并保留最小的 p 值。如果对完全无效的 20 个自变量以 0.05 水平独立检验,至少出现一个看似显著的概率是 1 − 0.95^20,约为 64%。被选中的变量看起来会比实际更强,我会在问题部分解释原因。
在房价示例中,lot_size_sqft 在第 4 步的 p 值约为 0.063。若进入阈值为 0.05,前向选择会停在三个自变量。
AIC
赤池信息准则在拟合优度与复杂度之间取得平衡:
AIC 公式
其中,k 是估计参数个数,L̂ 是模型的极大似然。第二项奖励拟合,第一项对每个参数收取 2 分的“费用”。
新自变量不会降低似然,因此拟合项只能变好。问题在于它的改进是否超过这 2 分的“收费”。对单个新增参数而言,这等价于似然比检验的 p 值阈值约 0.157。
这就是为什么 lot_size_sqft 能在 AIC 下被选中,却未通过 0.05 p 值规则。AIC 更宽松,倾向于保留对预测有帮助的弱变量。
BIC
贝叶斯信息准则具有相同结构,但惩罚不同:
BIC 公式
在该公式中,n 为观测数。每个参数现在需要付出 ln(n) 分而非 2 分,因此一旦观测数≥8,BIC 对复杂度的惩罚就强于 AIC,且差距随样本量增大而扩大。
对 200 套房屋,ln(200) 约为 5.3,对单个新增参数对应的隐含 p 值阈值约为 0.021。对该房价数据,基于 BIC 的前向选择停在三个自变量,并将 lot_size_sqft 排除在外。
调整后的 R 方
普通 R 方不适合作为选择准则。
在线性回归中,即便加入的是随机噪声列,它也不会降低。如果按 R 方选择,完整模型永远是最佳。
调整后的 R 方会因自变量个数而惩罚:
调整后的 R 方公式
此处, p 为自变量个数,数值越高越好。其惩罚较轻:当新增变量的 t 统计量绝对值大于 1 时,调整后的 R 方就会上升,因此它是四种准则中最宽松的。
在该房价数据上,调整后的 R 方保留了 lot_size_sqft,并以第五位小数的差距拒绝了 bedrooms。
相同数据,相同的前向搜索,不同的答案:
准则 最终模型 P 值(0.05) square_feet, distance_km, age_years AIC square_feet, distance_km, age_years, lot_size_sqft BIC square_feet, distance_km, age_years 调整后的 R 方 square_feet, distance_km, age_years, lot_size_sqft
基于不同准则的变量选择
在 Python 与 R 中进行逐步回归
两种语言都能做逐步回归,但方式不同。下面在两种语言中都使用上文房价示例的数据。
Python 中的逐步回归
Python 并没有标准的逐步回归函数。
statsmodels 和 scikit-learn 都没有 R 的 step() 等价函数,无法按 AIC 或 p 值选择自变量。因此最透明的做法是在 statsmodels 之上自己写循环。大约 25 行代码,且每个决策一目了然。
需要说明,下面的 forward_selection() 是我自写的辅助函数,不是 statsmodels 的功能。statsmodels 只负责拟合模型并给出 .aic 和 .bic 属性。
首先生成数据集并保存,便于 R 部分使用完全相同的行:
import numpy as np
import pandas as pd
import statsmodels. formula. api as smf
rng = np. random. default_rng( 42 )
n = 200
square_feet = rng. normal( 1800 , 450 , n) . clip( 700 , 3500 )
bedrooms = np. clip( np. round ( square_feet / 600 + rng. normal( 0 , 0.6 , n) ) , 1 , 6 )
age_years = rng. uniform( 0 , 60 , n)
distance_km = rng. uniform( 1 , 30 , n)
lot_size_sqft = rng. normal( 6000 , 1500 , n) . clip( 2000 , 12000 )
price = (
60000
+ 140 * square_feet
- 1200 * age_years
- 3500 * distance_km
+ 4 * lot_size_sqft
+ rng. normal( 0 , 45000 , n)
)
house = pd. DataFrame( {
"square_feet" : square_feet,
"bedrooms" : bedrooms,
"age_years" : age_years,
"distance_km" : distance_km,
"lot_size_sqft" : lot_size_sqft,
"price" : price,
} )
house. to_csv( "house_prices.csv" , index= False ) 技术支持
接着是选择循环。从仅截距模型出发,对每个剩余候选各拟合一个模型,并保留准则值最低的添加:
def forward_selection ( data, target, candidates, criterion= "aic" ) :
selected = [ ]
remaining = list ( candidates)
null_model = smf. ols( f" { target} ~ 1" , data= data) . fit( )
current_score = getattr ( null_model, criterion)
print ( f"Start: { criterion. upper( ) } = { current_score: .1f } " )
while remaining:
scores = { }
for candidate in remaining:
formula = f" { target} ~ { ' + ' . join( selected + [ candidate] ) } "
scores[ candidate] = getattr ( smf. ols( formula, data= data) . fit( ) , criterion)
best = min ( scores, key= scores. get)
if scores[ best] >= current_score:
print ( f"Stop: adding { best} gives { scores[ best] : .1f } " )
break
selected. append( best)
remaining. remove( best)
current_score = scores[ best]
print ( f"Add { best} : { criterion. upper( ) } = { current_score: .1f } " )
return selected
candidates = [ "square_feet" , "bedrooms" , "age_years" , "distance_km" , "lot_size_sqft" ]
aic_predictors = forward_selection( house, "price" , candidates, criterion= "aic" )
print ( )
bic_predictors = forward_selection( house, "price" , candidates, criterion= "bic" ) 技术支持
Python 中的前向选择
这些就是示例表格中的同一组 AIC 数值。AIC 最终保留四个自变量;BIC 因为 lot_size_sqft 未能越过其更高的惩罚而停在三个。
如果您更偏好使用包,scikit-learn 提供了 SequentialFeatureSelector。它可进行前向或后向选择,但用交叉验证来为每个候选打分,而非 AIC 或 p 值:
from sklearn. feature_selection import SequentialFeatureSelector
from sklearn. linear_model import LinearRegression
X = house. drop( columns= "price" )
y = house[ "price" ]
sfs = SequentialFeatureSelector(
LinearRegression( ) ,
n_features_to_select= "auto" ,
tol= 0.001 ,
direction= "forward" ,
scoring= "r2" ,
cv= 5 ,
)
sfs. fit( X, y)
print ( list ( X. columns[ sfs. get_support( ) ] ) ) 技术支持
Python 中选出的特征
当 n_features_to_select="auto" 时,搜索在交叉验证 R 方的提升小于 tol 时停止。在该数据上,最终与 AIC 相同,保留四个自变量。
R 中的逐步回归
R 内置了逐步回归。
step() 函数来自基础 R 的 stats 包,无需安装。您需要提供起始模型、定义其可考虑最大模型的 scope,以及方向:
house <- read.csv( "house_prices.csv" )
null_model <- lm( price ~ 1 , data = house)
full_model <- lm(
price ~ square_feet + bedrooms + age_years + distance_km + lot_size_sqft,
data = house
)
aic_model <- step( null_model, scope = formula( full_model) , direction = "forward" )
bic_model <- step(
null_model,
scope = formula( full_model) ,
direction = "forward" ,
k = log( nrow( house) )
)
formula( aic_model)
formula( bic_model) 技术支持
R 中的 AIC 与 BIC 公式
step() 最小化的准则由一个参数控制——k。
它计算 -2 log-likelihood + k * edf,其中 edf 为估计系数个数。默认 k = 2 即 AIC。若设定 k = log(n),得到的是 BIC,但打印的跟踪输出仍会把这些值标记为 “AIC”,别被误导。
若进行后向消除,则从完整模型出发:
backward_model <- step( full_model, direction = "backward" ) 技术支持
在该数据上,它会移除 bedrooms,并与前向 AIC 得到相同的四个自变量。若传入 scope 而省略 direction,step() 默认执行双向选择。
逐步回归与其他特征选择方法的比较
逐步回归并非选择自变量的唯一方式。下面与三种常见替代方案做对比。
逐步回归 vs. 最优子集选择
逐步回归是一种 贪心搜索 。每一步只做当下最优的单步决策,除非您双向搜索,否则不会回头。
最优子集选择会拟合所有可能的自变量组合,并保留在所选准则下最优的那个。5 个自变量对应 32 个模型;20 个则超过一百万;40 个则超过一万亿。R 的 leaps 包中的分支定界等算法可跳过大量计算,但代价仍随自变量数量迅速增长。
在房价数据上,基于 AIC 的最优子集选择与前向选择得到相同的四个自变量。并非总是如此,请注意。
逐步回归 vs. Lasso 回归
逐步回归做的是二元决策:某个自变量要么进入且系数为最小二乘估计,要么被剔除、系数为零。
Lasso 回归 同时拟合所有自变量,并对系数绝对值之和施加惩罚。该惩罚会把每个系数向零收缩,并把最弱的推到零,从而在一步中同时完成选择与估计。
数据的微小变化只会使 Lasso 系数略有变动,而逐步法可能把某个变量从“在”翻到“出”。惩罚强度通过交叉验证选择,例如 scikit-learn 的 LassoCV 或 R 的 cv.glmnet()。
这些收缩后的系数有意向零偏置。这是为了获得更稳定的估计和更好的样本外预测所做的权衡。
逐步回归 vs. 递归特征消除
递归特征消除 (RFE)看起来像后向消除:先用全部特征拟合模型,移除最弱者,重新拟合并重复。
不同之处在于“最弱”的定义。后向消除使用 AIC 或 p 值等统计准则;RFE 使用模型本身的特征重要性,如系数幅度或基于树的特征重要性。
因此 RFE 首先是一种机器学习工具。它适用于任何具备特征重要性的模型,包括随机森林和支持向量机,且通常与 scikit-learn 中的 RFECV 配合交叉验证使用。您将得到一个预测效果良好的特征集,但没有基于似然的准则和 p 值。
逐步回归的问题
逐步回归易于运行和解释,这也正是其问题易被忽视的原因。
统计学家数十年来一直批评这种方法——Frank Harrell 的 《回归建模策略》 以及 Whittingham 等(2006)发表于 《动物生态学杂志》 都是知名例子。Gary Smith 在 2018 年 《大数据期刊》 的论文中则认为,潜在解释变量越多,逐步回归越无效,因此它并不能解决“变量太多”的问题。
变量选择不稳定
数据的细微变化会改变最终选出的自变量。
如果删除几行数据,或从同一总体重新抽样,逐步法可能返回不同模型。接近选择阈值的变量最为脆弱。具有真实但较小效应的变量(如示例中的 lot_size_sqft)可能在一个样本中进入、在另一个样本中被拒。无效变量(如 bedrooms)也可能在样本偶然偏好它时“混入”。
这很重要,因为您通常只看到一个样本。逐步给您的模型只是可能模型范围中的一个,而输出并不会告诉您这个范围有多宽。
系数估计有偏
逐步法使用同一份数据既选择变量又估计其系数。
较弱的变量大多是在其效应“碰巧看起来更强”的样本中被选入;在看起来较弱的样本中,它会被排除。因此选择后看到的系数平均而言偏大。
通俗地说,逐步回归只报道“胜出者”,而胜出者看起来会比实际更好。
具有误导性的 p 值与置信区间
回归摘要中的 p 值假设您在看数据之前就已确定模型。
逐步法则相反。它运行一批检验,保留通过的变量,然后再报告 p 值,仿佛这些变量是您“唯一检验过”的。因此 p 值偏小、置信区间偏窄。
当大量候选变量实际上无效时,问题更严重。David Freedman 在 1983 年发表于 《美国统计学家》 的论文展示了这一点——当他筛选纯噪声变量并重新拟合模型时,结果看上去“具有统计显著性”,尽管实际并无信号。Smith 也指出:干扰变量可能偶然显著,而真实变量可能错过阈值。
如果将这些 p 值当作证据来呈现,您可能在报告噪声。
过拟合
从预测角度看,这是同一问题的另一面。
每个候选变量都给了逐步法一次机会去拟合仅存在于您样本中的模式。被选中的模型在构建它的数据上表现良好,但这些模式不会在新数据中重现。结果是,模型在样本内拟合良好,却在样本外表现不佳。
而您给它的候选变量越多,它就越有机会找到并不存在的“模式”。
自变量相关
当两个自变量包含相似信息时,逐步法必须在它们之间做出选择,而样本中的细微差异会决定选择结果。
square_feet 与 bedrooms 在房价数据中就是一个温和的例子——一旦 square_feet 已在模型中,bedrooms 几乎不再提供增益。若相关更强,选择几乎接近随机:一个样本保留变量 A,下一次保留变量 B,而每个模型都会讲述不同的“影响因素”故事。
两种故事都不可靠。逐步法无法告诉您两者可互换,只会随意选其一。
贪心搜索
逐步法一次只做一个决策,且后续决策依赖于先前决策。
这意味着它可能错过最佳模型。比如两个自变量单独都没用,但组合起来很强(例如彼此校正噪声)。前向选择永远不会添加它们中的任一个,因为单步添加都无法改进模型。
后向消除和双向选择可降低此风险,但无法消除。三者都不会检查所有组合,因此都无法保证在所选准则下得到最佳模型。
何时应使用逐步回归?
逐步回归是一种用途狭窄的工具。
它适用于:
探索性分析: 快速初步了解哪些自变量可能重要,只要您将结果视为假设
教授变量选择: 步进式追踪使模型选择的思想更直观,也包含其问题
缩小候选集合: 可先从长名单中筛出一批变量,再进一步深入,但需检查结果的稳定性
自动化基线模型: 快速得到一个基准模型,用于与更严谨的模型比较
它不适用于验证性推断与因果分析。
如果您的目标是检验某个自变量是否有作用,那么逐步选择后的 p 值无法回答这一问题。若目标是因果推断,正确的变量集合应来源于数据生成机制,而非哪些变量能降低 AIC。逐步法无法识别因果关系。
用于预测时,还有更好的选择。 正则化 方法如 Lasso 与弹性网更稳定,而交叉验证的特征选择则在未见数据上评判模型。
逐步回归的最佳实践
若您决定使用逐步回归,以下步骤可令结果更诚实:
从合理的变量出发: 仅纳入能用领域知识加以解释的候选,因为每多一个候选就多一次选择噪声的机会
有目的地选择准则: AIC 偏向预测,BIC 偏向更小的模型,p 值阈值属约定,因此请选择与目标一致的准则,并在动手前就定好
别把选择后的 p 值当真: 仅将其视为描述性结果而非证据,因为选择已使用了同一份数据
在未见数据上验证: 在留出集或通过对整个流程(而非仅最终模型)的交叉验证上评估最终模型
检查多重共线性: 查看候选之间的相关性与方差膨胀因子,了解哪些选择可能接近随机
测试稳定性: 在自助样本上重复选择,并报告每个自变量被选中的频率
与其他模型比较: 训练一个 Lasso 模型和一个基于领域知识的模型,看看逐步法在留出数据上是否更优
报告流程细节: 写明候选集合、方向、准则与阈值,便于他人复现与评判结果
结语
逐步回归能自动执行自变量选择。它一次添加或移除一个变量,并在没有改动能按所选准则改进模型时停止。
前向选择从空开始且只添加;后向消除从完整模型出发且只移除;双向选择两者兼具,因而可以撤销早先的决定。
但其简洁也意味着:所选自变量可能随样本而变、模型可能拟合噪声、而选择后的 p 值与置信区间并不可靠——请务必牢记。因此,请将逐步回归视为众多模型选择技术之一,而非构建回归模型的默认方法。
若想进一步学习,请阅读通用的特征选择 ,了解 AIC 与 BIC 如何比较模型,并以 Lasso 回归 作为进入正则化 的第一步。
您是否曾面对包含 20 个自变量的回归数据集,不知道该把哪些放进模型?
如果把它们全都加入,模型很可能会把噪声和信号一起拟合;如果手工挑选,不同分析师看同一份数据也可能得出不同的模型。而且不用说,即便只有 20 个自变量,可比的子集也超过一百万种。
逐步回归可以将这类搜索自动化:它依据 p 值或 AIC 等统计准则,每次添加或移除一个自变量。它被广泛教学与使用,但也存在一些统计学上的局限,因此不应将其视为默认的特征选择方法。
本文将带您了解三种主要方法:前向选择、后向消除以及双向逐步选择。
还在寻找更多特征选择技巧?请阅读我们的Python 特征选择教程,获取对该主题的入门级介绍。
什么是逐步回归?
逐步回归是一种自动化流程,用于选择哪些自变量应进入回归模型。
它不会只拟合一个模型,而是拟合一串候选模型,每一步都根据某个选择准则添加或移除一个自变量。当没有进一步的改变能按该准则改进模型时,搜索停止。
想象您要预测客户每年的消费额,手头有五个候选自变量:
incomeageeducationlocationyears_experience逐步回归可能从
income开始,接着检验加入age是否改进模型,然后是education,依此类推。如果其余三个变量未能足够改进准则,最终模型可能只保留income与education。需要记住的一个关键点是:逐步回归并不是一种独立的回归模型类型。
它是叠加在已知模型(通常是线性回归)之上的一种变量选择过程。输出仍是一个普通的回归模型,只不过由逐步方法来决定包含哪些自变量。
逐步回归如何工作
每种逐步过程都遵循同一个循环:
逐步回归循环
该算法从不向前看超过一步。它只判断下一次单一改动是否有帮助。
准则决定了“更好”的含义。以下四种最为常见:
具体流程取决于搜索方向和准则。前向选择只添加变量,后向消除只移除变量,双向选择两者皆可。而同一数据集在不同准则下可能得到不同的最终模型。
因此当有人说他们运行了逐步回归,首先要问的两个问题是:采用哪个方向、采用哪个准则。
逐步回归的类型
逐步回归有三种类型,它们只在一处不同——搜索方向。
前向选择
前向选择从小做起,再逐步扩展。
您从仅含截距的模型开始,或从无论如何都想保留的少数自变量开始。算法随后针对每个尚未进入的自变量拟合一个候选模型(在当前模型上加上该自变量)。能使准则改善最多的自变量进入模型。
随后循环再次运行,以更大的模型为新基准。当没有剩余自变量满足选择规则时停止,例如没有任何添加能进一步降低 AIC。
前向选择即使在候选自变量多于观测值时也能启动,因为它从不需要拟合完整模型。问题在于,一旦某个自变量进入,它就会一直留在模型中,即使之后的添加使其变得多余。
后向消除
后向消除则反其道而行之。
您从包含所有候选自变量的完整模型开始。算法尝试一次移除一个自变量,并剔除其中使准则改善最多的那个。然后用更小的模型重新拟合并重复。当没有移除操作能改进准则时,搜索停止。
这种方法要求完整模型可估计。您需要观测数多于参数数,且任何自变量都不能被其他变量的精确线性组合表示。如果有 50 个自变量却只有 40 行数据,后向消除甚至无法启动。
它也有与前向选择相反的镜像问题——一旦某个自变量被移除,就不会再被纳入。
双向逐步选择
双向选择将二者结合。每次添加之后,算法会检查已在模型中的自变量是否有应当移除的。
这很重要,因为某个自变量的价值取决于模型中还有什么。比如
bedrooms可能因为与房屋面积相关而先进入。当square_feet之后进入后,bedrooms的增益可能几乎为零。此时双向选择可以把它移除,而前向选择会把它保留。代价是每一步需要拟合更多模型。双向选择既可以从空模型开始,也可以从完整模型开始。
三者对比如下:
逐步回归类型对比
逐步回归示例
让我们把问题具体化。
我生成了一个包含 200 套房屋的合成数据集,想用五个候选自变量来预测price(价格):
square_feetbedroomsage_yearsdistance_km(距市中心距离)lot_size_sqft我将以 AIC 为准则进行前向选择(AIC 越低越好)。同一数据您会在 Python 部分再次看到。
仅截距模型的 AIC 为 5057.0。每一步的情况如下——每个单元格显示的是把该自变量加入当前模型后得到的 AIC:
square_feetdistance_kmage_yearslot_size_sqftbedroomsAIC 对比
每一步发生了什么:
步骤 1:
square_feet使 AIC 降低约 102 分,因此率先进入。bedrooms次之,因为它与房屋面积相关步骤 2:
distance_km带来最大降幅。bedrooms 现在几乎没有帮助,因为 square_feet 已经包含了它的大部分信息步骤 3:
age_years进入步骤 4:
lot_size_sqft仅将 AIC 再降 1.6 分,但更低就是更低,因此也进入步骤 5: 若再加入
bedrooms,AIC 将升至 4840.8,故搜索停止最终模型包含
square_feet、distance_km、age_years和lot_size_sqft。这算是合理的结果。我在数据生成时设定
bedrooms对价格没有直接影响,而该过程也将其排除在外。若对同一数据运行后向消除,它会从 AIC 为 4840.8 的完整模型出发,剔除
bedrooms,并停留在同样的四个自变量上。前向与后向不总是一致,但此处一致。前向选择每一步后的当前模型 AIC
逐步回归中如何选择变量
搜索方向决定算法的行为;准则决定何时停止。
基于 p 值的选择
这是最早的方法,它使用两个阈值:
通常剔除阈值设得高于进入阈值,以免某变量在每一步反复进出。这两个数值是约定而非定律。
每个 p 值都假设您事先规划并只运行了一次检验。逐步法则在每一步运行一批检验,并保留最小的 p 值。如果对完全无效的 20 个自变量以 0.05 水平独立检验,至少出现一个看似显著的概率是
1 − 0.95^20,约为 64%。被选中的变量看起来会比实际更强,我会在问题部分解释原因。在房价示例中,
lot_size_sqft在第 4 步的 p 值约为 0.063。若进入阈值为 0.05,前向选择会停在三个自变量。AIC
赤池信息准则在拟合优度与复杂度之间取得平衡:
AIC 公式
其中,
k是估计参数个数,L̂是模型的极大似然。第二项奖励拟合,第一项对每个参数收取 2 分的“费用”。新自变量不会降低似然,因此拟合项只能变好。问题在于它的改进是否超过这 2 分的“收费”。对单个新增参数而言,这等价于似然比检验的 p 值阈值约 0.157。
这就是为什么
lot_size_sqft能在 AIC 下被选中,却未通过 0.05 p 值规则。AIC 更宽松,倾向于保留对预测有帮助的弱变量。BIC
贝叶斯信息准则具有相同结构,但惩罚不同:
BIC 公式
在该公式中,
n为观测数。每个参数现在需要付出ln(n)分而非 2 分,因此一旦观测数≥8,BIC 对复杂度的惩罚就强于 AIC,且差距随样本量增大而扩大。对 200 套房屋,
ln(200)约为 5.3,对单个新增参数对应的隐含 p 值阈值约为 0.021。对该房价数据,基于 BIC 的前向选择停在三个自变量,并将lot_size_sqft排除在外。调整后的 R 方
普通 R 方不适合作为选择准则。
在线性回归中,即便加入的是随机噪声列,它也不会降低。如果按 R 方选择,完整模型永远是最佳。
调整后的 R 方会因自变量个数而惩罚:
调整后的 R 方公式
此处,p 为自变量个数,数值越高越好。其惩罚较轻:当新增变量的 t 统计量绝对值大于 1 时,调整后的 R 方就会上升,因此它是四种准则中最宽松的。
在该房价数据上,调整后的 R 方保留了
lot_size_sqft,并以第五位小数的差距拒绝了bedrooms。相同数据,相同的前向搜索,不同的答案:
基于不同准则的变量选择
在 Python 与 R 中进行逐步回归
两种语言都能做逐步回归,但方式不同。下面在两种语言中都使用上文房价示例的数据。
Python 中的逐步回归
Python 并没有标准的逐步回归函数。
statsmodels 和 scikit-learn 都没有 R 的
step()等价函数,无法按 AIC 或 p 值选择自变量。因此最透明的做法是在 statsmodels 之上自己写循环。大约 25 行代码,且每个决策一目了然。需要说明,下面的
forward_selection()是我自写的辅助函数,不是 statsmodels 的功能。statsmodels 只负责拟合模型并给出.aic和.bic属性。首先生成数据集并保存,便于 R 部分使用完全相同的行:
接着是选择循环。从仅截距模型出发,对每个剩余候选各拟合一个模型,并保留准则值最低的添加:
Python 中的前向选择
这些就是示例表格中的同一组 AIC 数值。AIC 最终保留四个自变量;BIC 因为
lot_size_sqft未能越过其更高的惩罚而停在三个。如果您更偏好使用包,scikit-learn 提供了
SequentialFeatureSelector。它可进行前向或后向选择,但用交叉验证来为每个候选打分,而非 AIC 或 p 值:Python 中选出的特征
当
n_features_to_select="auto"时,搜索在交叉验证 R 方的提升小于tol时停止。在该数据上,最终与 AIC 相同,保留四个自变量。R 中的逐步回归
R 内置了逐步回归。
step()函数来自基础 R 的 stats 包,无需安装。您需要提供起始模型、定义其可考虑最大模型的 scope,以及方向:R 中的 AIC 与 BIC 公式
step()最小化的准则由一个参数控制——k。它计算
-2 log-likelihood + k * edf,其中 edf 为估计系数个数。默认k = 2即 AIC。若设定k = log(n),得到的是 BIC,但打印的跟踪输出仍会把这些值标记为 “AIC”,别被误导。若进行后向消除,则从完整模型出发:
在该数据上,它会移除
bedrooms,并与前向 AIC 得到相同的四个自变量。若传入scope而省略direction,step()默认执行双向选择。逐步回归与其他特征选择方法的比较
逐步回归并非选择自变量的唯一方式。下面与三种常见替代方案做对比。
逐步回归 vs. 最优子集选择
逐步回归是一种贪心搜索。每一步只做当下最优的单步决策,除非您双向搜索,否则不会回头。
最优子集选择会拟合所有可能的自变量组合,并保留在所选准则下最优的那个。5 个自变量对应 32 个模型;20 个则超过一百万;40 个则超过一万亿。R 的
leaps包中的分支定界等算法可跳过大量计算,但代价仍随自变量数量迅速增长。在房价数据上,基于 AIC 的最优子集选择与前向选择得到相同的四个自变量。并非总是如此,请注意。
逐步回归 vs. Lasso 回归
逐步回归做的是二元决策:某个自变量要么进入且系数为最小二乘估计,要么被剔除、系数为零。
Lasso 回归同时拟合所有自变量,并对系数绝对值之和施加惩罚。该惩罚会把每个系数向零收缩,并把最弱的推到零,从而在一步中同时完成选择与估计。
数据的微小变化只会使 Lasso 系数略有变动,而逐步法可能把某个变量从“在”翻到“出”。惩罚强度通过交叉验证选择,例如 scikit-learn 的
LassoCV或 R 的cv.glmnet()。这些收缩后的系数有意向零偏置。这是为了获得更稳定的估计和更好的样本外预测所做的权衡。
逐步回归 vs. 递归特征消除
递归特征消除(RFE)看起来像后向消除:先用全部特征拟合模型,移除最弱者,重新拟合并重复。
不同之处在于“最弱”的定义。后向消除使用 AIC 或 p 值等统计准则;RFE 使用模型本身的特征重要性,如系数幅度或基于树的特征重要性。
因此 RFE 首先是一种机器学习工具。它适用于任何具备特征重要性的模型,包括随机森林和支持向量机,且通常与 scikit-learn 中的
RFECV配合交叉验证使用。您将得到一个预测效果良好的特征集,但没有基于似然的准则和 p 值。逐步回归的问题
逐步回归易于运行和解释,这也正是其问题易被忽视的原因。
统计学家数十年来一直批评这种方法——Frank Harrell 的《回归建模策略》以及 Whittingham 等(2006)发表于《动物生态学杂志》都是知名例子。Gary Smith 在 2018 年《大数据期刊》的论文中则认为,潜在解释变量越多,逐步回归越无效,因此它并不能解决“变量太多”的问题。
变量选择不稳定
数据的细微变化会改变最终选出的自变量。
如果删除几行数据,或从同一总体重新抽样,逐步法可能返回不同模型。接近选择阈值的变量最为脆弱。具有真实但较小效应的变量(如示例中的
lot_size_sqft)可能在一个样本中进入、在另一个样本中被拒。无效变量(如bedrooms)也可能在样本偶然偏好它时“混入”。这很重要,因为您通常只看到一个样本。逐步给您的模型只是可能模型范围中的一个,而输出并不会告诉您这个范围有多宽。
系数估计有偏
逐步法使用同一份数据既选择变量又估计其系数。
较弱的变量大多是在其效应“碰巧看起来更强”的样本中被选入;在看起来较弱的样本中,它会被排除。因此选择后看到的系数平均而言偏大。
通俗地说,逐步回归只报道“胜出者”,而胜出者看起来会比实际更好。
具有误导性的 p 值与置信区间
回归摘要中的 p 值假设您在看数据之前就已确定模型。
逐步法则相反。它运行一批检验,保留通过的变量,然后再报告 p 值,仿佛这些变量是您“唯一检验过”的。因此 p 值偏小、置信区间偏窄。
当大量候选变量实际上无效时,问题更严重。David Freedman 在 1983 年发表于《美国统计学家》的论文展示了这一点——当他筛选纯噪声变量并重新拟合模型时,结果看上去“具有统计显著性”,尽管实际并无信号。Smith 也指出:干扰变量可能偶然显著,而真实变量可能错过阈值。
如果将这些 p 值当作证据来呈现,您可能在报告噪声。
过拟合
从预测角度看,这是同一问题的另一面。
每个候选变量都给了逐步法一次机会去拟合仅存在于您样本中的模式。被选中的模型在构建它的数据上表现良好,但这些模式不会在新数据中重现。结果是,模型在样本内拟合良好,却在样本外表现不佳。
而您给它的候选变量越多,它就越有机会找到并不存在的“模式”。
自变量相关
当两个自变量包含相似信息时,逐步法必须在它们之间做出选择,而样本中的细微差异会决定选择结果。
square_feet与bedrooms在房价数据中就是一个温和的例子——一旦square_feet已在模型中,bedrooms几乎不再提供增益。若相关更强,选择几乎接近随机:一个样本保留变量 A,下一次保留变量 B,而每个模型都会讲述不同的“影响因素”故事。两种故事都不可靠。逐步法无法告诉您两者可互换,只会随意选其一。
贪心搜索
逐步法一次只做一个决策,且后续决策依赖于先前决策。
这意味着它可能错过最佳模型。比如两个自变量单独都没用,但组合起来很强(例如彼此校正噪声)。前向选择永远不会添加它们中的任一个,因为单步添加都无法改进模型。
后向消除和双向选择可降低此风险,但无法消除。三者都不会检查所有组合,因此都无法保证在所选准则下得到最佳模型。
何时应使用逐步回归?
逐步回归是一种用途狭窄的工具。
它适用于:
它不适用于验证性推断与因果分析。
如果您的目标是检验某个自变量是否有作用,那么逐步选择后的 p 值无法回答这一问题。若目标是因果推断,正确的变量集合应来源于数据生成机制,而非哪些变量能降低 AIC。逐步法无法识别因果关系。
用于预测时,还有更好的选择。正则化 方法如 Lasso 与弹性网更稳定,而交叉验证的特征选择则在未见数据上评判模型。
逐步回归的最佳实践
若您决定使用逐步回归,以下步骤可令结果更诚实:
结语
逐步回归能自动执行自变量选择。它一次添加或移除一个变量,并在没有改动能按所选准则改进模型时停止。
前向选择从空开始且只添加;后向消除从完整模型出发且只移除;双向选择两者兼具,因而可以撤销早先的决定。
但其简洁也意味着:所选自变量可能随样本而变、模型可能拟合噪声、而选择后的 p 值与置信区间并不可靠——请务必牢记。因此,请将逐步回归视为众多模型选择技术之一,而非构建回归模型的默认方法。
若想进一步学习,请阅读通用的特征选择,了解 AIC 与 BIC 如何比较模型,并以 Lasso 回归 作为进入正则化的第一步。