20個の予測変数がある回帰データセットを見て、どれをモデルに入れるべきか迷ったことはありませんか?
全部入れると、シグナルだけでなくノイズにも当てはまってしまうかもしれません。手作業で選べば、同じデータを見ても分析者によって違うモデルになることがあります。言うまでもなく、予測変数が20個でも比較すべき部分集合は100万通り以上あります。
ステップワイズ回帰は、この探索を自動化します。p値やAICといった統計的基準にもとづき、予測変数を一度に1つずつ加えたり外したりします。広く教えられ使われていますが、統計的な限界もあるため、標準の特徴選択法として無条件に使うべきではありません。
この記事では、前進選択、後退消去、双方向ステップワイズ選択という3つの主要なアプローチを順に説明します。
ほかの特徴選択手法もお探しですか?初心者向けの入門記事として Pythonによる特徴選択チュートリアル をご覧ください。
ステップワイズ回帰とは?
ステップワイズ回帰は、回帰モデルに入れる予測変数を自動で選ぶ手続きです。
単一のモデルを当てはめるのではなく、一連の候補モデルを当てはめ、各ステップで基準にもとづいて予測変数を追加または削除します。その基準でモデルが改善しなくなったところで探索が終了します。
たとえば、顧客の年間支出額を予測したいとします。候補の予測変数が5つあります。
income
age
education
location
years_experience
ステップワイズ回帰はまずincomeから始め、つぎにageがモデルを改善するかを試し、その後にeducation……と続けます。最終的なモデルは、他の3つが基準の改善に十分寄与しなければ、incomeとeducationだけを残すかもしれません。
重要な点として、ステップワイズ回帰は独立した回帰モデルの種類ではないことを覚えておきましょう。
これは、通常は線形回帰など既知のモデルに対して実行する 変数選択の手続き です。出力はあくまで通常の回帰モデルであり、ステップワイズが決めるのはそのモデルに入る予測変数だけです。
ステップワイズ回帰の仕組み
すべてのステップワイズ手続きは、同じループを辿ります。
初期モデルを用意: 予測変数なし、全変数入り、あるいはその中間でもよい
変更を提案: 予測変数を1つ加えるか、1つ外す
新しいモデルを採点: あらかじめ定めた基準で評価する
変更を採用または却下: 新しいモデルがより良いと基準が示す場合のみ採用する
反復: 基準を改善する変更がなくなるまで2に戻る
ステップワイズ回帰のループ
アルゴリズムは1手先以上を見ません。次の単一の変更が役立つかどうかだけを判断します。
どちらが「より良い」かは基準が決めます。よく使われるのは次の4つです。
p値 : 予測変数のp値 が投入閾値を下回ればモデルに入れ、除去閾値を上回れば外します
AIC : 赤池情報量規準 は当てはまりを評価し、各パラメータに罰則を課します。小さいほど良い
BIC : ベイズ情報量規準 はAICに似ていますが、罰則がサンプルサイズに応じて大きくなるため、より小さなモデルを選びがちです
調整済み決定係数 : 通常の決定係数 は予測変数を追加しても下がらないため、調整版は予測変数の数を補正します。値が大きいほど良い
具体的な手順は探索方向と基準に依存します。前進選択は追加のみ、後退消去は削除のみ、双方向選択は両方を行います。同じデータでも、選んだ基準によって最終モデルが異なることがあります。
誰かがステップワイズ回帰を実行したと言ったら、まずは方向と基準を確認しましょう。
ステップワイズ回帰の種類
ステップワイズ回帰には3種類あり、違いは探索の方向だけです。
前進選択
前進選択は小さく始めて積み上げていきます。
切片のみのモデル、または必ず入れたい予測変数を少数含むモデルから始めます。アルゴリズムは残りの各予測変数について1つずつ候補モデルを当てはめ、それを追加したときに最も基準が改善される予測変数を採用します。
その後は、拡張されたモデルを基準に同じループを繰り返します。たとえばAICが下がらなくなった時点で停止します。
前進選択は、候補の予測変数の数が観測数を上回っていても開始できます。というのも、フルモデルを当てはめる必要がないからです。ただし、一度入った予測変数は、その後の追加で冗長になっても残り続けるのが難点です。
後退消去
後退消去は逆方向に進みます。
すべての候補予測変数を含むフルモデルから始め、予測変数を1つずつ外してみて、基準を最も改善するものを落とします。その後、小さくなったモデルを当てはめ直して繰り返します。削除で基準が改善しなくなったら停止です。
この方法ではフルモデルが推定可能である必要があります。パラメータ数より多い観測が必要であり、どの予測変数も他の線形結合と厳密に一致してはなりません。予測変数が50、行が40なら、後退消去は開始すらできません。
また、前進選択の鏡像の問題もあります。いったん外れた予測変数は戻ってきません。
双方向ステップワイズ選択
双方向選択は両方を組み合わせます。予測変数を追加するたびに、すでに入っている予測変数の中で外すべきものがないかを確認します。
これは、予測変数の価値がモデル内の他の変数に依存するため重要です。たとえば、bedroomsが家の広さと相関しているため先に入ったとします。その後でsquare_feetが入ると、bedroomsはほとんど情報を追加しなくなるかもしれません。双方向選択ならその時点で外せますが、前進選択だと残り続けます。
代償は、1ステップあたりのモデル当てはめ回数が増えることです。 ステップは空のモデルからでもフルモデルからでも開始できます。
3つの手法の比較は次のとおりです。
前進選択 後退消去 双方向選択 開始モデル 切片のみ、または小さな基礎セット 全候補を含むフルモデル 空またはフルモデルのいずれか 可能な操作 追加のみ 削除のみ 追加または削除 考慮点 予測変数が観測数を上回っても開始可能だが、初期の追加は再検討されない 推定可能なフルモデルが必要で、外した変数は戻らない 1ステップあたりの当てはめが増えるが、以前の決定を取り消せる
ステップワイズ回帰の種 類
ステップワイズ回帰の例
もう少し具体的に見てみましょう。
200軒の家からなる合成データセットを作成し、 price を5つの候補予測変数から予測します。
square_feet
bedrooms
age_years
distance_km(中心部からの距離)
lot_size_sqft
基準にはAICを用いた前進選択を使います。AICは小さいほど良いという前提です。同じデータをPythonの節でも使用します。
切片のみのモデルのAICは5057.0です。各ス テップでどうなるかを示します——各セルは、現在のモデルにその予測変数を追加したときのAICです。
候補 ステップ1 ステップ2 ステップ3 ステップ4 ステップ5 square_feet4955.1 in model in model in model in model distance_km5020.3 4855.6 in model in model in model age_years5050.2 4926.4 4841.4 in model in model lot_size_sqft5057.9 4955.1 4844.4 4839.8 in model bedrooms4993.4 4950.0 4885.1 4842.0 4840.8 現在のモデルのAIC 5057.0 4955.1 4885.6 4841.4 4839.8
AICの比較
各ステップでの動きは次のとおりです。
ステップ1: square_feetの追加でAICが約102ポイント下がるため、最初に入ります。bedroomsは家の広さと相関しているため2番手です
ステップ2: distance_kmが最も大きく下げます。 bedrooms は、 square_feet がすでに大半の情報を持っているため、ほとんど役に立たなくなりました
ステップ3: age_yearsが入ります
ステップ4: lot_size_sqftはAICを1.6ポイントしか下げませんが、下がることは下がるので採用されます
ステップ5: bedroomsを追加するとAICが4840.8に上がるため、探索は停止します
最終モデルはsquare_feet、distance_km、age_years、lot_size_sqftを使用します。
妥当な結果です。データ生成の際、bedroomsは価格に直接の効果がないようにしており、手続きはそれを外しました。
同じデータで後退消去を実行すると、4840.8のフルモデルから始まり、bedroomsを落として、同じ4つの予測変数で止まります。前進と後退が常に一致するわけではありませんが、今回は一致しました。
各前進選択ステップ後の現在のモデルのAIC
ステップワイズ回帰で変数が選ばれる仕組み
探索の方向がアルゴリズムの挙動を、基準が停止条件を決めます。
p値にもとづく選択
最も古い手法で、2つの閾値を使います。
投入閾値: 候補のp値がこの値(例: 0.05)未満ならモデルに入れる
除去閾値: 予測変数のp値がこの値(例: 0.10)を上回れば外す
除去閾値は通常、投入閾値より高く設定します。そうしないと、毎ステップで出たり入ったりを繰り返すからです。どちらの値も慣習であり、絶対的な規則ではありません。
各p値は、事前に計画した1つの検定を行ったことを前提にしています。ステップワイズでは毎ステップで複数の検定を行い、最小のp値を採用します。効果がまったくない予測変数で独立な検定を20回、閾値0.05で行うと、少なくとも1つが有意に見える確率は1 − 0.95^20、つまり約64%です。選ばれた予測変数は実際より強く見えます。この理由は後述の問題点で触れます。
家の価格の例では、lot_size_sqftのp値はステップ4で約0.063です。投入閾値が0.05なら、前進選択は3つの予測変数で止まります。
AIC
赤池情報量規準は、モデルの当てはまりと複雑さのバランスを取ります。
AICの式
ここでkは推定パラメータ数、L̂はモデルの最大化尤度です。第2項は当てはまりを評価し、第1項はパラメータ1つにつき2ポイントの罰則を課します。
新しい予測変数は尤度を下げないため、当てはまりは必ず良くなります。問題は、その改善が2ポイントの罰則を上回るかどうかです。1パラメータの追加では、これはp値約0.157の尤度比検定に相当します。
そのため、lot_size_sqftはAICでは採用され、p値0.05の規則では採用されません。AICはより寛容で、予測に役立つ弱い予測変数を残しがちです。
BIC
ベイズ情報量規準は、同じ構造で罰則が異なります。
BICの式
この式ではnが観測数です。各パラメータのコストは2の代わりにln(n)となるため、観測が8以上ならBICはAICよりも複雑さを厳しく罰します。その差はサンプルサイズとともに拡大します。
200軒なら、ln(200)は約5.3で、1パラメータ追加に対する暗黙のp値閾値は約0.021に相当します。家のデータでの前進選択(BIC)では3つで止まり、lot_size_sqftは外れます。
調整済み決定係数
通常の決定係数は選択基準としては役に立ちません。
線形回帰モデルに予測変数を追加しても、たとえランダムノイズの列でも、決定係数は下がりません。決定係数で選ぶと、常にフルモデルが最良になります。
調整済み決定係数は予測変数の数に対する罰則を加えます。
調整済み決定係数の式
ここで p は予測変数の数で、値が大きいほど良いという点は同じです。罰則は穏やかで、追加した予測変数のt統計量の絶対値が1を超えると調整済み決定係数は上がります。4つの基準の中で最も寛容です。
家のデータでは、調整済み決定係数はlot_size_sqftを採用し、bedroomsを採用しません。その差は小数第5位の僅差です。
同じデータ、同じ前進探索でも、基準が違えば答えは変わります。
基準 最終モデル p値(0.05) square_feet, distance_km, age_years AIC square_feet, distance_km, age_years, lot_size_sqft BIC square_feet, distance_km, age_years 調整済み決定係数 square_feet, distance_km, age_years, lot_size_sqft
異なる基準にもとづく変数選択
PythonとRでのステップワイズ回帰
どちらの言語でもステップワイズ回帰は実行できますが、方法が異なります。上の例と同じ家の価格データを両方で使います。
Pythonでのステップワイズ回帰
Pythonには標準のステップワイズ回帰関数はありません。
statsmodelsにもscikit-learnにも、Rのstep()のようにAICやp値で予測変数を選ぶ機能はありません。最も分かりやすい選択肢は、statsmodelsの上に自分でループを書くことです。25行程度で書け、各判断がすべて見えます。
念のため明確にしておくと、以下のforward_selection()は筆者の補助関数であり、statsmodelsの機能ではありません。statsmodelsはモデルを当てはめ、その.aicや.bic属性を返すだけです。
まずデータセットを生成して保存し、Rの節でも全く同じ行を使えるようにします。
import numpy as np
import pandas as pd
import statsmodels. formula. api as smf
rng = np. random. default_rng( 42 )
n = 200
square_feet = rng. normal( 1800 , 450 , n) . clip( 700 , 3500 )
bedrooms = np. clip( np. round ( square_feet / 600 + rng. normal( 0 , 0.6 , n) ) , 1 , 6 )
age_years = rng. uniform( 0 , 60 , n)
distance_km = rng. uniform( 1 , 30 , n)
lot_size_sqft = rng. normal( 6000 , 1500 , n) . clip( 2000 , 12000 )
price = (
60000
+ 140 * square_feet
- 1200 * age_years
- 3500 * distance_km
+ 4 * lot_size_sqft
+ rng. normal( 0 , 45000 , n)
)
house = pd. DataFrame( {
"square_feet" : square_feet,
"bedrooms" : bedrooms,
"age_years" : age_years,
"distance_km" : distance_km,
"lot_size_sqft" : lot_size_sqft,
"price" : price,
} )
house. to_csv( "house_prices.csv" , index= False ) 提供:
次に選択のループです。切片のみのモデルから始め、残りの各候補について1つずつモデルを当てはめ、基準値が最も低くなる追加を採用します。
def forward_selection ( data, target, candidates, criterion= "aic" ) :
selected = [ ]
remaining = list ( candidates)
null_model = smf. ols( f" { target} ~ 1" , data= data) . fit( )
current_score = getattr ( null_model, criterion)
print ( f"Start: { criterion. upper( ) } = { current_score: .1f } " )
while remaining:
scores = { }
for candidate in remaining:
formula = f" { target} ~ { ' + ' . join( selected + [ candidate] ) } "
scores[ candidate] = getattr ( smf. ols( formula, data= data) . fit( ) , criterion)
best = min ( scores, key= scores. get)
if scores[ best] >= current_score:
print ( f"Stop: adding { best} gives { scores[ best] : .1f } " )
break
selected. append( best)
remaining. remove( best)
current_score = scores[ best]
print ( f"Add { best} : { criterion. UPPER( ) } = { current_score: .1f } " )
return selected
candidates = [ "square_feet" , "bedrooms" , "age_years" , "distance_km" , "lot_size_sqft" ]
aic_predictors = forward_selection( house, "price" , candidates, criterion= "aic" )
print ( )
bic_predictors = forward_selection( house, "price" , candidates, criterion= "bic" ) 提供:
Pythonでの前進選択
このAICの値は、前述の表と同じです。AICでは4つで終了し、BICでは罰則が大きいためlot_size_sqftが採用されず、3つで止まります。
パッケージを使いたい場合は、scikit-learnのSequentialFeatureSelectorがあります。前進または後退の探索を行いますが、AICやp値ではなく、交差検証で各候補を評価します。
from sklearn. feature_selection import SequentialFeatureSelector
from sklearn. linear_model import LinearRegression
X = house. drop( columns= "price" )
y = house[ "price" ]
sfs = SequentialFeatureSelector(
LinearRegression( ) ,
n_features_to_select= "auto" ,
tol= 0.001 ,
direction= "forward" ,
scoring= "r2" ,
cv= 5 ,
)
sfs. fit( X, y)
print ( list ( X. columns[ sfs. get_support( ) ] ) ) 提供:
Pythonで選ばれた特徴量
n_features_to_select="auto"では、交差検証の決定係数がtol未満しか改善しなくなった時点で停止します。このデータでは、AICと同じ4つで終わります。
Rでのステップワイズ回帰
Rにはステップワイズ回帰が標準で搭載されています。
step()関数はbase Rのstatsパッケージに含まれており、追加インストールは不要です。開始モデル、最大モデルの範囲(scope)、探索の方向を指定します。
house <- read.csv( "house_prices.csv" )
null_model <- lm( price ~ 1 , data = house)
full_model <- lm(
price ~ square_feet + bedrooms + age_years + distance_km + lot_size_sqft,
data = house
)
aic_model <- step( null_model, scope = formula( full_model) , direction = "forward" )
bic_model <- step(
null_model,
scope = formula( full_model) ,
direction = "forward" ,
k = log( nrow( house) )
)
formula( aic_model)
formula( bic_model) 提供:
RにおけるAICとBICの式
step()が最小化する基準は kという1つの引数で制御します。
計算式は-2 log-likelihood + k * edfで、 edf は推定係数の数です。デフォルトのk = 2はAICに相当します。k = log(n)にするとBICになりますが、出力のトレースではラベルが引き続き「AIC」と表示されるので混乱しないでください。
後退消去を行うには、フルモデルから始めます。
backward_model <- step( full_model, direction = "backward" ) 提供:
このデータではbedroomsを削除し、前進AICと同じ4つで止まります。scopeを指定してdirectionを省略すると、step()は双方向選択がデフォルトになります。
ステップワイズ回帰と他の特徴選択の比較
予測変数の選び方はステップワイズ回帰だけではありません。ここでは3つの代表的な手法と比較します。
ステップワイズ回帰 vs. ベストサブセット選択
ステップワイズ回帰は 貪欲探索 です。各ステップで最善の一手を打ち、(双方向でない限り)振り返りません。
ベストサブセット選択は予測変数のすべての組み合わせを当てはめ、基準が最良のものを選びます。予測変数が5つなら32モデル、20なら100万超、40なら1兆超です。Rのleapsパッケージのbranch-and-boundのようなアルゴリズムで多くをスキップできますが、予測変数の数とともに計算量は急増します。
家の価格データでは、AICでのベストサブセット選択は前進選択と同じ4つを選びました。いつも一致するわけではないことに注意してください。
ステップワイズ回帰 vs. Lasso回帰
ステップワイズ回帰は二者択一の判断を行います。予測変数は、最小二乗の係数のままモデルに入るか、ゼロ係数で外れるかのどちらかです。
Lasso回帰 はすべての予測変数を同時に当てはめ、絶対値和に対する罰則を加えます。この罰則により、すべての係数はゼロに向かって縮小され、最も弱いものはゼロに押し込まれます。つまり選択と推定が1ステップで行われます。
データの小さな変化はLassoの係数を少し動かすだけですが、ステップワイズでは「入る/外れる」が反転することがあります。罰則の強さは交差検証で選びます(scikit-learnのLassoCVやRのcv.glmnet()など)。
縮小された係数は、意図的にゼロ方向へバイアスされています。これは、より安定した推定や汎化性能のために受け入れるトレードオフです。
ステップワイズ回帰 vs. 再帰的特徴量削減
再帰的特徴量削減 (RFE)は、見た目は後退消去に似ています。全特徴でモデルを当てはめ、弱いものを外し、当て直して繰り返します。
違いは「弱い」の定義です。後退消去はAICやp値などの統計的基準を使います。RFEはモデル固有の重要度(係数の大きさや木ベースの特徴重要度など)を使います。
そのため、RFEはまず機械学習の道具です。ランダムフォレストやSVMなど、特徴重要度を持つ任意のモデルで機能し、通常はscikit-learnのRFECVと組み合わせて交差検証します。尤度にもとづく基準やp値は得られませんが、予測性能の高い特徴集合を得られます。
ステップワイズ回帰の問題点
ステップワイズ回帰は手軽に実行でき、説明もしやすい——まさにそれゆえに、問題点が見過ごされがちです。
この手法は何十年も前から統計学者の批判を受けてきました。Frank Harrellの Regression Modeling Strategies や、 Journal of Animal Ecology (2006年)のWhittinghamらが代表例です。2018年の Journal of Big Data では、Gary Smithが、説明変数候補が多いほどステップワイズ回帰は効果が下がると主張しており、「予測変数が多すぎる」という問題の解決にはならないと述べています。
不安定な変数選択
データの小さな変化で、選ばれる予測変数が変わることがあります。
数行を削除したり、同じ母集団から新たな標本を集めたりすると、ステップワイズが返すモデルが変わることがあります。選択の閾値付近の予測変数が最も脆弱です。たとえば、家の価格例のlot_size_sqftのように、効果が小さいが実在する変数は、ある標本では入り、次の標本では入らないことがあります。bedroomsのように効果がない変数が、標本の偶然で紛れ込むこともあります。
問題は、見られる標本は常に1つだけだという点です。ステップワイズが与えるモデルは取りうるモデルの一つにすぎず、その幅は出力からはわかりません。
係数推定のバイアス
ステップワイズは、同じデータで予測変数の選択と係数の推定を行います。
弱い予測変数がモデルに入るのは、多くの場合、その効果が実際より強く見えた標本においてです。弱く見える標本では外れます。そのため、選択後に得られる係数は平均的に大きく出がちです。
平たく言えば、ステップワイズ回帰は勝者だけを報告し、勝者は実際より良く見えるのです。
誤解を招くp値と信頼区間
回帰のサマリーに出るp値は、データを見る前にモデルを選んだという前提にもとづいています。
ステップワイズはその逆です。多数の検定を走らせ、通過した予測変数を残してから、あたかもそれらだけを検定したかのようにp値を報告します。そのためp値は小さく出過ぎ、信頼区間は狭く出過ぎます。
候補の多くが無効な場合、この問題はさらに悪化します。David Freedmanは1983年の The American Statistician でこれを示しました。純粋なノイズの予測変数をスクリーニングしてモデルを当て直すと、何もないのに統計的に有意に見えるのです。Smithも同様に、雑音変数が偶然有意になり、実在の変数が閾値を逃す可能性を指摘しています。
そうしたp値を証拠として報告すると、ノイズを報告してしまう恐れがあります。
過学習
過学習は同じ問題の予測面での現れです。
候補の予測変数が増えるたび、ステップワイズには標本内にしか存在しないパターンに適合する機会が増えます。選ばれたモデルは構築に使ったデータ上では良く見えますが、そのパターンは新しいデータでは繰り返されません。その結果、標本内では良く当てはまっても、標本外では性能が下がる可能性があります。
そして、候補が多いほど、存在しないパターンを見つける機会は増えます。
相関した予測変数
似た情報を持つ予測変数が2つあると、ステップワイズはどちらかを選ばねばならず、標本の些細な違いが選択を左右します。
square_feetとbedroomsは軽い例です。square_feetが入るとbedroomsはほとんど情報を追加しません。相関が強い場合、選択はほぼランダムになります。ある標本では変数A、次の標本では変数Bが残り、結果としてアウトカムの要因に関する物語が標本ごとに変わります。
どちらの物語も信頼できません。ステップワイズは、2つの予測変数が代替可能だと教えてはくれないので、どちらか一方を選ぶだけです。
貪欲探索
ステップワイズは一度に1つの決定を行い、その都度、前の決定に依存します。
そのため、最良のモデルを見逃すことがあります。たとえば、単独では役に立たないが組み合わせると強力な2つの予測変数がある場合(互いのノイズを打ち消すようなケース)、前進選択はどちらも追加しません。どちらも単一ステップでは改善しないからです。
後退消去や双方向選択はこのリスクを減らしますが、なくしはしません。いずれも全組み合わせをチェックしないため、選んだ基準に対して最良のモデルを保証できません。
ステップワイズ回帰はいつ使うべきか?
ステップワイズ回帰は、用途が限定された道具です。
次のような用途には適しています。
探索的分析: どの予測変数が重要そうか、仮説として素早く見通しを得られる
変数選択の教育: 手順のトレースでモデル選択の考え方と、その問題点を視覚的に示せる
候補集合の絞り込み: 長い候補リストを絞るのに使える(ただし、結果の安定性を確認すること)
自動ベースラインモデル: より慎重に作ったモデルと比較するための素早い参照モデルを得られる
確証的な推論や因果分析には不向きです。
予測変数に効果があるか検定するのが目的なら、選択後のp値はその問いに答えられません。因果が目的なら、適切な変数集合はデータ生成過程から決まるのであって、AICを下げる変数から決まるのではありません。ステップワイズはどの変数がどれを原因するかを知りません。
予測が目的なら、より良い選択肢があります。 正則化 (LassoやElastic Netなど)はより安定で、交差検証を用いた特徴選択は未見データでモデルを評価します。
ステップワイズ回帰のベストプラクティス
ステップワイズ回帰を使うなら、次の手順で結果の誠実さを高めましょう。
もっともらしい予測変数から始める: ドメイン知識で正当化できる候補だけを含める。候補を増やすほど、アルゴリズムがノイズを拾う機会が増えるため
基準は目的に合わせて選ぶ: AICは予測重視、BICは小さなモデル重視、p値の閾値は慣習——目的に合うものを、実行前に決めておく
選択後のp値を額面通りに受け取らない: 記述的な指標として扱い、証拠とみなさない。同じデータで選択と推定をしているため
未見データで検証する: 最終モデルだけでなく、選択手順全体をホールドアウトや交差検証で評価する
多重共線性を確認する: 候補間の相関やVIFを確認し、選択が偶然に左右されやすい箇所を把握する
安定性をテストする: ブートストラップ標本で選択を繰り返し、各予測変数が選ばれる頻度を報告する
他のモデルと比較する: Lassoやドメイン知識にもとづくモデルを当てはめ、ホールドアウトでステップワイズが上回るか確認する
手続きを報告する: 候補集合・方向・基準・閾値を明記し、他者が再現し評価できるようにする
結論
ステップワイズ回帰は予測変数の選択を自動化します。変数を一度に1つずつ追加・削除し、選んだ基準で改善が止まるまで続けます。
前進選択は空から始めて追加のみ。後退消去はフルモデルから始めて削除のみ。双方向選択はその両方を行い、過去の決定を取り消すこともできます。
しかし、その単純さゆえに、選ばれる予測変数は標本ごとに変わり、ノイズに当てはまる恐れがあり、選択後のp値や信頼区間は信頼できません。これを念頭に置きつつ、ステップワイズ回帰は数あるモデル選択手法の一つとして扱いましょう。回帰モデル構築のデフォルトではありません。
さらに学ぶなら、特徴選択 全般を確認し、AICとBIC のモデル比較を理解し、Lasso回帰 から正則化 に踏み出してみてください。
20個の予測変数がある回帰データセットを見て、どれをモデルに入れるべきか迷ったことはありませんか?
全部入れると、シグナルだけでなくノイズにも当てはまってしまうかもしれません。手作業で選べば、同じデータを見ても分析者によって違うモデルになることがあります。言うまでもなく、予測変数が20個でも比較すべき部分集合は100万通り以上あります。
ステップワイズ回帰は、この探索を自動化します。p値やAICといった統計的基準にもとづき、予測変数を一度に1つずつ加えたり外したりします。広く教えられ使われていますが、統計的な限界もあるため、標準の特徴選択法として無条件に使うべきではありません。
この記事では、前進選択、後退消去、双方向ステップワイズ選択という3つの主要なアプローチを順に説明します。
ほかの特徴選択手法もお探しですか?初心者向けの入門記事としてPythonによる特徴選択チュートリアルをご覧ください。
ステップワイズ回帰とは?
ステップワイズ回帰は、回帰モデルに入れる予測変数を自動で選ぶ手続きです。
単一のモデルを当てはめるのではなく、一連の候補モデルを当てはめ、各ステップで基準にもとづいて予測変数を追加または削除します。その基準でモデルが改善しなくなったところで探索が終了します。
たとえば、顧客の年間支出額を予測したいとします。候補の予測変数が5つあります。
incomeageeducationlocationyears_experienceステップワイズ回帰はまず
incomeから始め、つぎにageがモデルを改善するかを試し、その後にeducation……と続けます。最終的なモデルは、他の3つが基準の改善に十分寄与しなければ、incomeとeducationだけを残すかもしれません。重要な点として、ステップワイズ回帰は独立した回帰モデルの種類ではないことを覚えておきましょう。
これは、通常は線形回帰など既知のモデルに対して実行する変数選択の手続きです。出力はあくまで通常の回帰モデルであり、ステップワイズが決めるのはそのモデルに入る予測変数だけです。
ステップワイズ回帰の仕組み
すべてのステップワイズ手続きは、同じループを辿ります。
ステップワイズ回帰のループ
アルゴリズムは1手先以上を見ません。次の単一の変更が役立つかどうかだけを判断します。
どちらが「より良い」かは基準が決めます。よく使われるのは次の4つです。
具体的な手順は探索方向と基準に依存します。前進選択は追加のみ、後退消去は削除のみ、双方向選択は両方を行います。同じデータでも、選んだ基準によって最終モデルが異なることがあります。
誰かがステップワイズ回帰を実行したと言ったら、まずは方向と基準を確認しましょう。
ステップワイズ回帰の種類
ステップワイズ回帰には3種類あり、違いは探索の方向だけです。
前進選択
前進選択は小さく始めて積み上げていきます。
切片のみのモデル、または必ず入れたい予測変数を少数含むモデルから始めます。アルゴリズムは残りの各予測変数について1つずつ候補モデルを当てはめ、それを追加したときに最も基準が改善される予測変数を採用します。
その後は、拡張されたモデルを基準に同じループを繰り返します。たとえばAICが下がらなくなった時点で停止します。
前進選択は、候補の予測変数の数が観測数を上回っていても開始できます。というのも、フルモデルを当てはめる必要がないからです。ただし、一度入った予測変数は、その後の追加で冗長になっても残り続けるのが難点です。
後退消去
後退消去は逆方向に進みます。
すべての候補予測変数を含むフルモデルから始め、予測変数を1つずつ外してみて、基準を最も改善するものを落とします。その後、小さくなったモデルを当てはめ直して繰り返します。削除で基準が改善しなくなったら停止です。
この方法ではフルモデルが推定可能である必要があります。パラメータ数より多い観測が必要であり、どの予測変数も他の線形結合と厳密に一致してはなりません。予測変数が50、行が40なら、後退消去は開始すらできません。
また、前進選択の鏡像の問題もあります。いったん外れた予測変数は戻ってきません。
双方向ステップワイズ選択
双方向選択は両方を組み合わせます。予測変数を追加するたびに、すでに入っている予測変数の中で外すべきものがないかを確認します。
これは、予測変数の価値がモデル内の他の変数に依存するため重要です。たとえば、
bedroomsが家の広さと相関しているため先に入ったとします。その後でsquare_feetが入ると、bedroomsはほとんど情報を追加しなくなるかもしれません。双方向選択ならその時点で外せますが、前進選択だと残り続けます。代償は、1ステップあたりのモデル当てはめ回数が増えることです。ステップは空のモデルからでもフルモデルからでも開始できます。
3つの手法の比較は次のとおりです。
ステップワイズ回帰の種類
ステップワイズ回帰の例
もう少し具体的に見てみましょう。
200軒の家からなる合成データセットを作成し、priceを5つの候補予測変数から予測します。
square_feetbedroomsage_yearsdistance_km(中心部からの距離)lot_size_sqft基準にはAICを用いた前進選択を使います。AICは小さいほど良いという前提です。同じデータをPythonの節でも使用します。
切片のみのモデルのAICは5057.0です。各ステップでどうなるかを示します——各セルは、現在のモデルにその予測変数を追加したときのAICです。
square_feetdistance_kmage_yearslot_size_sqftbedroomsAICの比較
各ステップでの動きは次のとおりです。
ステップ1:
square_feetの追加でAICが約102ポイント下がるため、最初に入ります。bedroomsは家の広さと相関しているため2番手ですステップ2:
distance_kmが最も大きく下げます。 bedroomsは、square_feetがすでに大半の情報を持っているため、ほとんど役に立たなくなりましたステップ3:
age_yearsが入りますステップ4:
lot_size_sqftはAICを1.6ポイントしか下げませんが、下がることは下がるので採用されますステップ5:
bedroomsを追加するとAICが4840.8に上がるため、探索は停止します最終モデルは
square_feet、distance_km、age_years、lot_size_sqftを使用します。妥当な結果です。データ生成の際、
bedroomsは価格に直接の効果がないようにしており、手続きはそれを外しました。同じデータで後退消去を実行すると、4840.8のフルモデルから始まり、
bedroomsを落として、同じ4つの予測変数で止まります。前進と後退が常に一致するわけではありませんが、今回は一致しました。各前進選択ステップ後の現在のモデルのAIC
ステップワイズ回帰で変数が選ばれる仕組み
探索の方向がアルゴリズムの挙動を、基準が停止条件を決めます。
p値にもとづく選択
最も古い手法で、2つの閾値を使います。
除去閾値は通常、投入閾値より高く設定します。そうしないと、毎ステップで出たり入ったりを繰り返すからです。どちらの値も慣習であり、絶対的な規則ではありません。
各p値は、事前に計画した1つの検定を行ったことを前提にしています。ステップワイズでは毎ステップで複数の検定を行い、最小のp値を採用します。効果がまったくない予測変数で独立な検定を20回、閾値0.05で行うと、少なくとも1つが有意に見える確率は
1 − 0.95^20、つまり約64%です。選ばれた予測変数は実際より強く見えます。この理由は後述の問題点で触れます。家の価格の例では、
lot_size_sqftのp値はステップ4で約0.063です。投入閾値が0.05なら、前進選択は3つの予測変数で止まります。AIC
赤池情報量規準は、モデルの当てはまりと複雑さのバランスを取ります。
AICの式
ここで
kは推定パラメータ数、L̂はモデルの最大化尤度です。第2項は当てはまりを評価し、第1項はパラメータ1つにつき2ポイントの罰則を課します。新しい予測変数は尤度を下げないため、当てはまりは必ず良くなります。問題は、その改善が2ポイントの罰則を上回るかどうかです。1パラメータの追加では、これはp値約0.157の尤度比検定に相当します。
そのため、
lot_size_sqftはAICでは採用され、p値0.05の規則では採用されません。AICはより寛容で、予測に役立つ弱い予測変数を残しがちです。BIC
ベイズ情報量規準は、同じ構造で罰則が異なります。
BICの式
この式では
nが観測数です。各パラメータのコストは2の代わりにln(n)となるため、観測が8以上ならBICはAICよりも複雑さを厳しく罰します。その差はサンプルサイズとともに拡大します。200軒なら、
ln(200)は約5.3で、1パラメータ追加に対する暗黙のp値閾値は約0.021に相当します。家のデータでの前進選択(BIC)では3つで止まり、lot_size_sqftは外れます。調整済み決定係数
通常の決定係数は選択基準としては役に立ちません。
線形回帰モデルに予測変数を追加しても、たとえランダムノイズの列でも、決定係数は下がりません。決定係数で選ぶと、常にフルモデルが最良になります。
調整済み決定係数は予測変数の数に対する罰則を加えます。
調整済み決定係数の式
ここでpは予測変数の数で、値が大きいほど良いという点は同じです。罰則は穏やかで、追加した予測変数のt統計量の絶対値が1を超えると調整済み決定係数は上がります。4つの基準の中で最も寛容です。
家のデータでは、調整済み決定係数は
lot_size_sqftを採用し、bedroomsを採用しません。その差は小数第5位の僅差です。同じデータ、同じ前進探索でも、基準が違えば答えは変わります。
異なる基準にもとづく変数選択
PythonとRでのステップワイズ回帰
どちらの言語でもステップワイズ回帰は実行できますが、方法が異なります。上の例と同じ家の価格データを両方で使います。
Pythonでのステップワイズ回帰
Pythonには標準のステップワイズ回帰関数はありません。
statsmodelsにもscikit-learnにも、Rの
step()のようにAICやp値で予測変数を選ぶ機能はありません。最も分かりやすい選択肢は、statsmodelsの上に自分でループを書くことです。25行程度で書け、各判断がすべて見えます。念のため明確にしておくと、以下の
forward_selection()は筆者の補助関数であり、statsmodelsの機能ではありません。statsmodelsはモデルを当てはめ、その.aicや.bic属性を返すだけです。まずデータセットを生成して保存し、Rの節でも全く同じ行を使えるようにします。
次に選択のループです。切片のみのモデルから始め、残りの各候補について1つずつモデルを当てはめ、基準値が最も低くなる追加を採用します。
Pythonでの前進選択
このAICの値は、前述の表と同じです。AICでは4つで終了し、BICでは罰則が大きいため
lot_size_sqftが採用されず、3つで止まります。パッケージを使いたい場合は、scikit-learnの
SequentialFeatureSelectorがあります。前進または後退の探索を行いますが、AICやp値ではなく、交差検証で各候補を評価します。Pythonで選ばれた特徴量
n_features_to_select="auto"では、交差検証の決定係数がtol未満しか改善しなくなった時点で停止します。このデータでは、AICと同じ4つで終わります。Rでのステップワイズ回帰
Rにはステップワイズ回帰が標準で搭載されています。
step()関数はbase Rのstatsパッケージに含まれており、追加インストールは不要です。開始モデル、最大モデルの範囲(scope)、探索の方向を指定します。RにおけるAICとBICの式
step()が最小化する基準はkという1つの引数で制御します。計算式は
-2 log-likelihood + k * edfで、edfは推定係数の数です。デフォルトのk = 2はAICに相当します。k = log(n)にするとBICになりますが、出力のトレースではラベルが引き続き「AIC」と表示されるので混乱しないでください。後退消去を行うには、フルモデルから始めます。
このデータでは
bedroomsを削除し、前進AICと同じ4つで止まります。scopeを指定してdirectionを省略すると、step()は双方向選択がデフォルトになります。ステップワイズ回帰と他の特徴選択の比較
予測変数の選び方はステップワイズ回帰だけではありません。ここでは3つの代表的な手法と比較します。
ステップワイズ回帰 vs. ベストサブセット選択
ステップワイズ回帰は貪欲探索です。各ステップで最善の一手を打ち、(双方向でない限り)振り返りません。
ベストサブセット選択は予測変数のすべての組み合わせを当てはめ、基準が最良のものを選びます。予測変数が5つなら32モデル、20なら100万超、40なら1兆超です。Rの
leapsパッケージのbranch-and-boundのようなアルゴリズムで多くをスキップできますが、予測変数の数とともに計算量は急増します。家の価格データでは、AICでのベストサブセット選択は前進選択と同じ4つを選びました。いつも一致するわけではないことに注意してください。
ステップワイズ回帰 vs. Lasso回帰
ステップワイズ回帰は二者択一の判断を行います。予測変数は、最小二乗の係数のままモデルに入るか、ゼロ係数で外れるかのどちらかです。
Lasso回帰はすべての予測変数を同時に当てはめ、絶対値和に対する罰則を加えます。この罰則により、すべての係数はゼロに向かって縮小され、最も弱いものはゼロに押し込まれます。つまり選択と推定が1ステップで行われます。
データの小さな変化はLassoの係数を少し動かすだけですが、ステップワイズでは「入る/外れる」が反転することがあります。罰則の強さは交差検証で選びます(scikit-learnの
LassoCVやRのcv.glmnet()など)。縮小された係数は、意図的にゼロ方向へバイアスされています。これは、より安定した推定や汎化性能のために受け入れるトレードオフです。
ステップワイズ回帰 vs. 再帰的特徴量削減
再帰的特徴量削減(RFE)は、見た目は後退消去に似ています。全特徴でモデルを当てはめ、弱いものを外し、当て直して繰り返します。
違いは「弱い」の定義です。後退消去はAICやp値などの統計的基準を使います。RFEはモデル固有の重要度(係数の大きさや木ベースの特徴重要度など)を使います。
そのため、RFEはまず機械学習の道具です。ランダムフォレストやSVMなど、特徴重要度を持つ任意のモデルで機能し、通常はscikit-learnの
RFECVと組み合わせて交差検証します。尤度にもとづく基準やp値は得られませんが、予測性能の高い特徴集合を得られます。ステップワイズ回帰の問題点
ステップワイズ回帰は手軽に実行でき、説明もしやすい——まさにそれゆえに、問題点が見過ごされがちです。
この手法は何十年も前から統計学者の批判を受けてきました。Frank HarrellのRegression Modeling Strategiesや、Journal of Animal Ecology(2006年)のWhittinghamらが代表例です。2018年のJournal of Big Dataでは、Gary Smithが、説明変数候補が多いほどステップワイズ回帰は効果が下がると主張しており、「予測変数が多すぎる」という問題の解決にはならないと述べています。
不安定な変数選択
データの小さな変化で、選ばれる予測変数が変わることがあります。
数行を削除したり、同じ母集団から新たな標本を集めたりすると、ステップワイズが返すモデルが変わることがあります。選択の閾値付近の予測変数が最も脆弱です。たとえば、家の価格例の
lot_size_sqftのように、効果が小さいが実在する変数は、ある標本では入り、次の標本では入らないことがあります。bedroomsのように効果がない変数が、標本の偶然で紛れ込むこともあります。問題は、見られる標本は常に1つだけだという点です。ステップワイズが与えるモデルは取りうるモデルの一つにすぎず、その幅は出力からはわかりません。
係数推定のバイアス
ステップワイズは、同じデータで予測変数の選択と係数の推定を行います。
弱い予測変数がモデルに入るのは、多くの場合、その効果が実際より強く見えた標本においてです。弱く見える標本では外れます。そのため、選択後に得られる係数は平均的に大きく出がちです。
平たく言えば、ステップワイズ回帰は勝者だけを報告し、勝者は実際より良く見えるのです。
誤解を招くp値と信頼区間
回帰のサマリーに出るp値は、データを見る前にモデルを選んだという前提にもとづいています。
ステップワイズはその逆です。多数の検定を走らせ、通過した予測変数を残してから、あたかもそれらだけを検定したかのようにp値を報告します。そのためp値は小さく出過ぎ、信頼区間は狭く出過ぎます。
候補の多くが無効な場合、この問題はさらに悪化します。David Freedmanは1983年のThe American Statisticianでこれを示しました。純粋なノイズの予測変数をスクリーニングしてモデルを当て直すと、何もないのに統計的に有意に見えるのです。Smithも同様に、雑音変数が偶然有意になり、実在の変数が閾値を逃す可能性を指摘しています。
そうしたp値を証拠として報告すると、ノイズを報告してしまう恐れがあります。
過学習
過学習は同じ問題の予測面での現れです。
候補の予測変数が増えるたび、ステップワイズには標本内にしか存在しないパターンに適合する機会が増えます。選ばれたモデルは構築に使ったデータ上では良く見えますが、そのパターンは新しいデータでは繰り返されません。その結果、標本内では良く当てはまっても、標本外では性能が下がる可能性があります。
そして、候補が多いほど、存在しないパターンを見つける機会は増えます。
相関した予測変数
似た情報を持つ予測変数が2つあると、ステップワイズはどちらかを選ばねばならず、標本の些細な違いが選択を左右します。
square_feetとbedroomsは軽い例です。square_feetが入るとbedroomsはほとんど情報を追加しません。相関が強い場合、選択はほぼランダムになります。ある標本では変数A、次の標本では変数Bが残り、結果としてアウトカムの要因に関する物語が標本ごとに変わります。どちらの物語も信頼できません。ステップワイズは、2つの予測変数が代替可能だと教えてはくれないので、どちらか一方を選ぶだけです。
貪欲探索
ステップワイズは一度に1つの決定を行い、その都度、前の決定に依存します。
そのため、最良のモデルを見逃すことがあります。たとえば、単独では役に立たないが組み合わせると強力な2つの予測変数がある場合(互いのノイズを打ち消すようなケース)、前進選択はどちらも追加しません。どちらも単一ステップでは改善しないからです。
後退消去や双方向選択はこのリスクを減らしますが、なくしはしません。いずれも全組み合わせをチェックしないため、選んだ基準に対して最良のモデルを保証できません。
ステップワイズ回帰はいつ使うべきか?
ステップワイズ回帰は、用途が限定された道具です。
次のような用途には適しています。
確証的な推論や因果分析には不向きです。
予測変数に効果があるか検定するのが目的なら、選択後のp値はその問いに答えられません。因果が目的なら、適切な変数集合はデータ生成過程から決まるのであって、AICを下げる変数から決まるのではありません。ステップワイズはどの変数がどれを原因するかを知りません。
予測が目的なら、より良い選択肢があります。正則化(LassoやElastic Netなど)はより安定で、交差検証を用いた特徴選択は未見データでモデルを評価します。
ステップワイズ回帰のベストプラクティス
ステップワイズ回帰を使うなら、次の手順で結果の誠実さを高めましょう。
結論
ステップワイズ回帰は予測変数の選択を自動化します。変数を一度に1つずつ追加・削除し、選んだ基準で改善が止まるまで続けます。
前進選択は空から始めて追加のみ。後退消去はフルモデルから始めて削除のみ。双方向選択はその両方を行い、過去の決定を取り消すこともできます。
しかし、その単純さゆえに、選ばれる予測変数は標本ごとに変わり、ノイズに当てはまる恐れがあり、選択後のp値や信頼区間は信頼できません。これを念頭に置きつつ、ステップワイズ回帰は数あるモデル選択手法の一つとして扱いましょう。回帰モデル構築のデフォルトではありません。
さらに学ぶなら、特徴選択全般を確認し、AICとBICのモデル比較を理解し、Lasso回帰から正則化に踏み出してみてください。