Hồi quy từng bước tự động hóa việc chọn biến dự báo với tìm kiếm tiến, lùi và hai chiều, nhưng sự đơn giản đi kèm đánh đổi về tính ổn định và quá khớp.
Bạn đã bao giờ nhìn vào một bộ dữ liệu hồi quy với 20 biến dự báo và tự hỏi nên đưa những biến nào vào mô hình chưa?
Nếu bạn thêm tất cả, mô hình có thể sẽ khớp cả nhiễu lẫn tín hiệu. Nếu bạn chọn thủ công, hai nhà phân tích có thể nhìn cùng dữ liệu nhưng đưa ra hai mô hình khác nhau. Và needless to say, ngay cả với chỉ 20 biến dự báo, đã có hơn một triệu tập con có thể so sánh.
Hồi quy từng bước tự động hóa quá trình tìm kiếm này, bằng cách thêm hoặc bớt từng biến dựa trên một tiêu chí thống kê như p-value hoặc AIC. Phương pháp này được giảng dạy và sử dụng rộng rãi, nhưng cũng có một số hạn chế về mặt thống kê, nên bạn không nên xem nó là phương pháp mặc định để chọn đặc trưng.
Trong bài viết này, tôi sẽ hướng dẫn bạn qua ba cách tiếp cận chính: lựa chọn tiến (forward selection), loại lùi (backward elimination) và lựa chọn từng bước hai chiều.
Đang tìm thêm kỹ thuật chọn đặc trưng? Hãy đọc Hướng dẫn Chọn Đặc trưng trong Python của chúng tôi để có phần giới thiệu thân thiện cho người mới bắt đầu.
Hồi quy từng bước là gì?
Hồi quy từng bước là một thủ tục tự động để chọn biến dự báo đưa vào mô hình hồi quy.
Nó không khớp một mô hình duy nhất, mà thay vào đó khớp một chuỗi các mô hình ứng viên, và ở mỗi bước sẽ thêm hoặc bớt một biến dựa trên tiêu chí lựa chọn. Việc tìm kiếm kết thúc khi không còn thay đổi nào cải thiện mô hình theo tiêu chí đó.
Hãy hình dung bạn muốn dự đoán số tiền khách hàng chi tiêu mỗi năm. Bạn có năm biến dự báo ứng viên:
income
age
education
location
years_experience
Hồi quy từng bước có thể bắt đầu với income, rồi kiểm tra xem age có cải thiện mô hình không, rồi đến education, v.v. Mô hình cuối cùng có thể chỉ giữ lại income và education nếu ba biến còn lại không cải thiện tiêu chí đủ mức.
Một điểm cần nhớ là hồi quy từng bước không phải là một loại mô hình hồi quy riêng biệt.
Đây là một thủ tục lựa chọn biến bạn chạy trên một mô hình bạn đã biết, thường là hồi quy tuyến tính. Đầu ra vẫn là một mô hình hồi quy thông thường, hồi quy từng bước chỉ quyết định biến dự báo nào được đưa vào.
Cách hoạt động của hồi quy từng bước
Mọi thủ tục từng bước đều lặp qua cùng một vòng:
Bắt đầu với mô hình khởi tạo: Có thể không có biến nào, có tất cả, hoặc đâu đó ở giữa
Đề xuất một thay đổi: Thêm một biến hoặc bớt một biến
Chấm điểm mô hình mới: Đánh giá bằng tiêu chí xác định trước
Giữ hay loại bỏ thay đổi: Chỉ giữ nếu tiêu chí cho thấy mô hình mới tốt hơn
Lặp lại: Quay lại bước 2 cho đến khi không còn thay đổi nào cải thiện mô hình
Vòng lặp hồi quy từng bước
Thuật toán không nhìn quá một bước phía trước. Nó chỉ hỏi liệu thay đổi đơn tiếp theo có hữu ích không.
Tiêu chí quyết định "tốt hơn" nghĩa là gì. Đây là bốn tiêu chí bạn sẽ gặp thường xuyên nhất:
P-value: Một biến vào mô hình nếu p-value của nó thấp hơn ngưỡng vào, và rời khỏi nếu cao hơn ngưỡng loại
AIC: Tiêu chí thông tin Akaike thưởng cho độ khớp mô hình và phạt mỗi tham số bổ sung, giá trị thấp hơn là tốt hơn
BIC: Tiêu chí thông tin Bayes hoạt động giống AIC, nhưng mức phạt mỗi tham số tăng theo kích thước mẫu, nên thường cho mô hình nhỏ hơn
R-bình phương hiệu chỉnh: R-bình phương thông thường không bao giờ giảm khi thêm biến, vì vậy phiên bản hiệu chỉnh sẽ điều chỉnh theo số biến, và giá trị cao hơn là tốt hơn
Quy trình cụ thể phụ thuộc vào hướng tìm kiếm và tiêu chí. Lựa chọn tiến chỉ thêm biến, loại lùi chỉ bớt biến, và lựa chọn hai chiều làm cả hai. Cùng một bộ dữ liệu có thể cho các mô hình cuối khác nhau tùy tiêu chí bạn chọn.
Vì vậy khi ai đó nói họ đã chạy hồi quy từng bước, hai câu hỏi đầu tiên cần hỏi là hướng nào và tiêu chí nào.
Các loại hồi quy từng bước
Có ba loại hồi quy từng bước, và chúng khác nhau ở một điểm - hướng tìm kiếm.
Lựa chọn tiến
Lựa chọn tiến bắt đầu nhỏ và xây lên từ đó.
Bạn bắt đầu với mô hình chỉ có hằng số chặn, hoặc một vài biến bạn muốn có trong mô hình dù thế nào đi nữa. Thuật toán sau đó khớp một mô hình ứng viên cho mỗi biến còn lại, mỗi mô hình thêm duy nhất biến đó. Biến cải thiện tiêu chí nhiều nhất sẽ vào mô hình.
Vòng lặp chạy lại, với mô hình lớn hơn làm cơ sở mới. Nó dừng khi không còn biến nào đáp ứng quy tắc lựa chọn, ví dụ khi không có bổ sung nào làm giảm AIC.
Lựa chọn tiến có thể bắt đầu ngay cả khi số biến ứng viên nhiều hơn số quan sát, vì nó không bao giờ cần khớp mô hình đầy đủ. Điểm hạn chế là khi một biến đã vào thì sẽ ở lại, ngay cả khi những bổ sung sau đó khiến nó trở nên dư thừa.
Loại lùi
Loại lùi đi theo hướng ngược lại.
Bạn bắt đầu với mô hình đầy đủ, bao gồm mọi biến ứng viên. Thuật toán cố gắng loại từng biến một và loại biến có việc loại bỏ cải thiện tiêu chí nhiều nhất. Sau đó khớp lại mô hình nhỏ hơn và lặp lại. Tìm kiếm dừng khi không loại bỏ nào cải thiện tiêu chí.
Cách tiếp cận này đòi hỏi mô hình đầy đủ phải ước lượng được. Bạn cần số quan sát nhiều hơn số tham số, và không biến nào là tổ hợp tuyến tính chính xác của các biến còn lại. Nếu bạn có 50 biến dự báo và 40 hàng, loại lùi thậm chí không thể bắt đầu.
Và nó có vấn đề ảnh chiếu gương với lựa chọn tiến: khi một biến ra ngoài thì sẽ ở ngoài.
Lựa chọn từng bước hai chiều
Lựa chọn hai chiều kết hợp cả hai. Sau mỗi lần thêm, thuật toán kiểm tra xem có biến nào đã ở trong mô hình nay cần loại ra không.
Điều này quan trọng vì giá trị của một biến phụ thuộc vào những gì khác có trong mô hình. Giả sử bedrooms vào trước vì nó tương quan với kích thước nhà. Khi square_feet vào sau, bedrooms có thể hầu như không bổ sung gì thêm. Lựa chọn hai chiều có thể loại nó tại thời điểm đó, trong khi lựa chọn tiến sẽ giữ nó.
Cái giá là nhiều lần khớp mô hình hơn mỗi bước. Bạn có thể bắt đầu lựa chọn hai chiều từ mô hình rỗng hoặc đầy đủ.
So sánh ba loại như sau:
Lựa chọn tiến
Loại lùi
Lựa chọn hai chiều
Mô hình khởi đầu
Chỉ chặn hoặc một tập cơ sở nhỏ
Mô hình đầy đủ với mọi ứng viên
Hoặc mô hình rỗng hoặc đầy đủ
Thao tác cho phép
Chỉ thêm
Chỉ bớt
Thêm hoặc bớt
Lưu ý
Có thể bắt đầu khi số biến vượt quá số quan sát, nhưng các bổ sung sớm sẽ không được xem xét lại
Cần mô hình đầy đủ ước lượng được, và biến đã loại sẽ không quay lại
Nhiều lần khớp mô hình hơn mỗi bước, nhưng có thể hoàn tác quyết định trước đó
Các loại hồi quy từng bước
Ví dụ về hồi quy từng bước
Hãy làm cho phần này cụ thể hơn.
Tôi đã tạo một bộ dữ liệu tổng hợp gồm 200 căn nhà và muốn dự đoán price từ năm biến dự báo ứng viên:
square_feet
bedrooms
age_years
distance_km (khoảng cách tới trung tâm thành phố)
lot_size_sqft
Tôi sẽ dùng lựa chọn tiến với AIC làm tiêu chí, trong đó AIC thấp hơn là tốt hơn. Bạn sẽ thấy lại cùng dữ liệu này trong phần Python.
Mô hình chỉ có chặn có AIC là 5057.0. Đây là mỗi bước trông như thế nào - mỗi ô cho thấy AIC bạn có được khi thêm biến đó vào mô hình hiện tại:
Ứng viên
Bước 1
Bước 2
Bước 3
Bước 4
Bước 5
square_feet
4955.1
in model
in model
in model
in model
distance_km
5020.3
4855.6
in model
in model
in model
age_years
5050.2
4926.4
4841.4
in model
in model
lot_size_sqft
5057.9
4955.1
4844.4
4839.8
in model
bedrooms
4993.4
4950.0
4885.1
4842.0
4840.8
AIC mô hình hiện tại
5057.0
4955.1
4885.6
4841.4
4839.8
So sánh AIC
Diễn biến ở mỗi bước như sau:
Bước 1:square_feet giảm AIC khoảng 102 điểm, nên vào đầu tiên. bedrooms đứng thứ hai vì tương quan với kích thước nhà
Bước 2:distance_km cho mức giảm lớn nhất. bedrooms giờ hầu như không giúp gì, vì square_feet đã nắm phần lớn thông tin của nó
Bước 3:age_years vào
Bước 4:lot_size_sqft giảm AIC chỉ 1.6 điểm, nhưng thấp hơn vẫn là thấp hơn, nên được thêm vào
Bước 5: Thêm bedrooms sẽ làm AIC tăng lên 4840.8, nên dừng tìm kiếm
Mô hình cuối cùng dùng square_feet, distance_km, age_years và lot_size_sqft.
Đó là một kết quả hợp lý. Tôi đã tạo dữ liệu sao cho bedrooms không có tác động trực tiếp lên giá, và quy trình đã loại nó ra.
Nếu bạn chạy loại lùi trên cùng dữ liệu, nó bắt đầu từ mô hình đầy đủ ở 4840.8, loại bedrooms, và dừng ở cùng bốn biến. Lựa chọn tiến và loại lùi sẽ không phải lúc nào cũng đồng ý, nhưng ở đây thì có.
AIC của mô hình hiện tại sau mỗi bước lựa chọn tiến
Cách chọn biến trong hồi quy từng bước
Hướng tìm kiếm quyết định hành vi của thuật toán. Tiêu chí quyết định khi nào dừng.
Lựa chọn dựa trên p-value
Đây là cách tiếp cận lâu đời nhất, và sử dụng hai ngưỡng:
Ngưỡng vào: Một ứng viên vào mô hình nếu p-value thấp hơn giá trị này, ví dụ 0.05
Ngưỡng loại: Một biến rời mô hình nếu p-value vượt quá giá trị này, ví dụ 0.10
Ngưỡng loại thường được đặt cao hơn ngưỡng vào, để một biến không ra vào liên tục ở mỗi bước. Cả hai giá trị đều là quy ước, không phải quy tắc.
Mỗi p-value giả định bạn chạy một kiểm định đã lên kế hoạch trước. Từng bước chạy một loạt kiểm định ở mỗi bước và giữ p-value nhỏ nhất. Nếu bạn chạy 20 kiểm định độc lập ở mức 0.05 trên các biến dự báo không có tác động gì, xác suất ít nhất một biến trông có ý nghĩa là 1 − 0.95^20, khoảng 64%. Các biến được chọn sẽ trông mạnh hơn thực tế, và tôi sẽ bàn lý do ở phần vấn đề.
Trong ví dụ giá nhà, lot_size_sqft có p-value khoảng 0.063 ở bước 4. Với ngưỡng vào 0.05, lựa chọn tiến dừng ở ba biến.
AIC
Tiêu chí thông tin Akaike cân bằng giữa độ khớp mô hình và độ phức tạp:
Công thức AIC
Ở đây, k là số tham số ước lượng và L̂ là khả năng hợp lý tối đa của mô hình. Hạng thứ hai thưởng cho độ khớp, và hạng đầu tiên tính phí 2 điểm cho mỗi tham số.
Một biến mới không bao giờ làm giảm likelihood, nên hạng phù hợp chỉ có thể cải thiện. Câu hỏi là liệu nó có cải thiện hơn mức phí 2 điểm hay không. Với một tham số thêm, điều đó tương đương kiểm định tỷ số likelihood ở ngưỡng p-value khoảng 0.157.
Đó là lý do lot_size_sqft được chọn theo AIC nhưng không theo quy tắc p-value 0.05. AIC dễ dãi hơn, và có xu hướng giữ những biến yếu hơn nhưng giúp dự báo.
BIC
Tiêu chí thông tin Bayes có cấu trúc tương tự, với mức phạt khác:
Công thức BIC
Trong công thức này, n là số quan sát. Mỗi tham số giờ tốn ln(n) điểm thay vì 2, nên BIC phạt độ phức tạp nhiều hơn AIC khi bạn có từ 8 quan sát trở lên. Và khoảng cách tăng theo kích thước mẫu.
Với 200 căn nhà, ln(200) khoảng 5.3, tương đương ngưỡng p-value ngầm khoảng 0.021 cho một tham số thêm. Lựa chọn tiến với BIC trên dữ liệu nhà dừng ở ba biến và loại lot_size_sqft.
R-bình phương hiệu chỉnh
R-bình phương thông thường vô dụng làm tiêu chí lựa chọn.
Nó không bao giờ giảm khi bạn thêm biến vào mô hình hồi quy tuyến tính, kể cả một cột nhiễu ngẫu nhiên. Nếu bạn chọn theo R-bình phương, mô hình đầy đủ luôn là tốt nhất.
R-bình phương hiệu chỉnh thêm một khoản phạt theo số biến:
Công thức R-bình phương hiệu chỉnh
Ở đây, p là số biến dự báo, và giá trị cao hơn là tốt hơn. Khoản phạt khá nhẹ. Một biến mới làm tăng R-bình phương hiệu chỉnh khi trị tuyệt đối của thống kê t của nó lớn hơn 1, nên đây là tiêu chí dễ dãi nhất trong bốn tiêu chí.
Trên dữ liệu nhà, R-bình phương hiệu chỉnh giữ lot_size_sqft và loại bedrooms với biên độ ở chữ số thập phân thứ năm.
Cùng dữ liệu, cùng tìm kiếm tiến, câu trả lời khác nhau:
Cả hai ngôn ngữ đều có thể chạy hồi quy từng bước, nhưng cách thực hiện khác nhau. Tôi sẽ dùng cùng dữ liệu giá nhà từ ví dụ trên cho cả hai.
Hồi quy từng bước trong Python
Python không có hàm hồi quy từng bước tiêu chuẩn.
Cả statsmodels lẫn scikit-learn đều không có hàm tương đương step() của R để chọn biến theo AIC hoặc p-value. Vì vậy lựa chọn minh bạch nhất là tự viết vòng lặp trên nền statsmodels. Khoảng 25 dòng, và bạn có thể thấy mọi quyết định nó đưa ra.
Cần làm rõ, hàm forward_selection() bên dưới là trợ thủ do tôi tự viết, không phải tính năng của statsmodels. statsmodels chỉ khớp mô hình và trả về thuộc tính .aic và .bic của chúng.
Đầu tiên, tạo bộ dữ liệu và lưu lại, để phần R có thể dùng đúng các hàng đó:
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
rng = np.random.default_rng(42)
n =200
square_feet = rng.normal(1800,450, n).clip(700,3500)
bedrooms = np.clip(np.round(square_feet /600+ rng.normal(0,0.6, n)),1,6)
age_years = rng.uniform(0,60, n)
distance_km = rng.uniform(1,30, n)
lot_size_sqft = rng.normal(6000,1500, n).clip(2000,12000)# Bedrooms has no direct effect on price, lot size has a small one
price =(60000+140* square_feet
-1200* age_years
-3500* distance_km
+4* lot_size_sqft
+ rng.normal(0,45000, n))
house = pd.DataFrame({"square_feet": square_feet,"bedrooms": bedrooms,"age_years": age_years,"distance_km": distance_km,"lot_size_sqft": lot_size_sqft,"price": price,})
house.to_csv("house_prices.csv", index=False)Được hỗ trợ bởi
Tiếp theo, vòng lặp lựa chọn. Nó bắt đầu từ mô hình chỉ có chặn, khớp một mô hình cho mỗi ứng viên còn lại, và giữ bổ sung có giá trị tiêu chí thấp nhất:
defforward_selection(data, target, candidates, criterion="aic"):
selected =[]
remaining =list(candidates)# Score the intercept-only model first
null_model = smf.ols(f"{target} ~ 1", data=data).fit()
current_score =getattr(null_model, criterion)print(f"Start: {criterion.upper()} = {current_score:.1f}")while remaining:# Fit one model per remaining candidate
scores ={}for candidate in remaining:
formula =f"{target} ~ {' + '.join(selected +[candidate])}"
scores[candidate]=getattr(smf.ols(formula, data=data).fit(), criterion)
best =min(scores, key=scores.get)# Stop when the best addition doesn't lower the criterionif scores[best]>= current_score:print(f"Stop: adding {best} gives {scores[best]:.1f}")break
selected.append(best)
remaining.remove(best)
current_score = scores[best]print(f"Add {best}: {criterion.upper()} = {current_score:.1f}")return selected
candidates =["square_feet","bedrooms","age_years","distance_km","lot_size_sqft"]
aic_predictors = forward_selection(house,"price", candidates, criterion="aic")print()
bic_predictors = forward_selection(house,"price", candidates, criterion="bic")Được hỗ trợ bởi
Lựa chọn tiến trong Python
Đây là các giá trị AIC giống trong bảng ví dụ. AIC kết thúc với bốn biến, còn BIC dừng ở ba vì lot_size_sqft không vượt qua mức phạt lớn hơn của nó.
Nếu bạn muốn dùng gói, scikit-learn có SequentialFeatureSelector. Nó chạy lựa chọn tiến hoặc lùi, nhưng chấm điểm mỗi ứng viên bằng cross-validation thay vì AIC hoặc p-value:
from sklearn.feature_selection import SequentialFeatureSelector
from sklearn.linear_model import LinearRegression
X = house.drop(columns="price")
y = house["price"]
sfs = SequentialFeatureSelector(
LinearRegression(),
n_features_to_select="auto",
tol=0.001,
direction="forward",
scoring="r2",
cv=5,)
sfs.fit(X, y)print(list(X.columns[sfs.get_support()]))Được hỗ trợ bởi
Các đặc trưng được chọn trong Python
Với n_features_to_select="auto", quá trình dừng khi R-bình phương cross-validation cải thiện ít hơn tol. Trên dữ liệu này, nó kết thúc với cùng bốn biến như AIC.
Hồi quy từng bước trong R
R có hồi quy từng bước tích hợp sẵn.
Hàm step() đi kèm gói stats của R cơ bản, nên không cần cài gì thêm. Bạn đưa cho nó một mô hình bắt đầu, một phạm vi (scope) xác định mô hình lớn nhất có thể xem xét, và một hướng:
# Load the same data generated in the Python section
house <- read.csv("house_prices.csv")# Intercept-only model and full model
null_model <- lm(price ~1, data = house)
full_model <- lm(
price ~ square_feet + bedrooms + age_years + distance_km + lot_size_sqft,
data = house
)# Forward selection with AIC
aic_model <- step(null_model, scope = formula(full_model), direction ="forward")# Forward selection with BIC
bic_model <- step(
null_model,
scope = formula(full_model),
direction ="forward",
k = log(nrow(house)))
formula(aic_model)
formula(bic_model)Được hỗ trợ bởi
Công thức AIC và BIC trong R
Tiêu chí mà step() tối thiểu hóa được điều khiển bởi một đối số - k.
Nó tính -2 log-likelihood + k * edf, trong đó edf là số hệ số ước lượng. Mặc định k = 2 cho bạn AIC. Nếu đặt k = log(n), bạn được BIC, nhưng vệt log in ra vẫn dán nhãn các giá trị là "AIC", nên đừng để điều đó gây nhầm lẫn.
Với loại lùi, bắt đầu từ mô hình đầy đủ:
backward_model <- step(full_model, direction ="backward")Được hỗ trợ bởi
Trên dữ liệu này, nó loại bedrooms và dừng với cùng bốn biến như lựa chọn tiến theo AIC. Nếu bạn truyền một scope và bỏ qua direction, step() mặc định là lựa chọn hai chiều.
Hồi quy từng bước so với các phương pháp chọn đặc trưng khác
Hồi quy từng bước không phải là cách duy nhất để chọn biến dự báo. Dưới đây là so sánh với ba lựa chọn phổ biến.
Hồi quy từng bước so với lựa chọn tập con tốt nhất
Hồi quy từng bước là một tìm kiếm tham lam. Ở mỗi bước, nó thực hiện nước đi đơn tốt nhất và không nhìn lại, trừ khi bạn chạy theo cả hai chiều.
Lựa chọn tập con tốt nhất khớp mọi tổ hợp biến có thể và giữ tổ hợp có giá trị tiêu chí tốt nhất. Với 5 biến, đó là 32 mô hình. Với 20, là hơn một triệu, và với 40, là hơn một nghìn tỷ. Các thuật toán như branch-and-bound trong gói leaps của R có thể bỏ qua nhiều công việc, nhưng chi phí vẫn tăng rất nhanh theo số biến.
Trên dữ liệu giá nhà, lựa chọn tập con tốt nhất với AIC chọn cùng bốn biến như lựa chọn tiến. Điều đó sẽ không phải lúc nào cũng đúng, nên hãy ghi nhớ.
Hồi quy từng bước so với hồi quy Lasso
Hồi quy từng bước đưa ra quyết định có-không. Một biến hoặc ở trong mô hình với hệ số bình phương tối thiểu đầy đủ, hoặc ở ngoài với hệ số bằng không.
Hồi quy Lasso khớp tất cả biến cùng lúc và thêm một khoản phạt lên tổng trị tuyệt đối các hệ số. Khoản phạt đó làm co mọi hệ số về 0 và đẩy những hệ số yếu nhất về đúng 0, nên việc lựa chọn và ước lượng diễn ra trong một bước.
Một thay đổi nhỏ trong dữ liệu làm các hệ số Lasso thay đổi chút ít, trong khi nó có thể lật một quyết định từng bước từ vào thành ra. Bạn chọn độ mạnh phạt bằng cross-validation, ví dụ với LassoCV trong scikit-learn hoặc cv.glmnet() trong R.
Các hệ số bị co bị lệch về 0 một cách có chủ đích. Đó là đánh đổi để có ước lượng ổn định hơn và dự báo ngoài mẫu tốt hơn.
Hồi quy từng bước so với loại bỏ đặc trưng đệ quy
Loại bỏ đặc trưng đệ quy, hay RFE, trông giống loại lùi. Bạn khớp mô hình trên tất cả đặc trưng, loại những đặc trưng yếu nhất, khớp lại, và lặp lại.
Khác biệt nằm ở định nghĩa "yếu nhất". Loại lùi dùng tiêu chí thống kê như AIC hoặc p-value. RFE dùng điểm quan trọng của chính mô hình, như độ lớn hệ số hoặc mức độ quan trọng đặc trưng dựa trên cây.
Điều đó khiến RFE trước hết là công cụ học máy. Nó hoạt động với bất kỳ mô hình nào có độ quan trọng đặc trưng, bao gồm rừng ngẫu nhiên và SVM, và bạn thường ghép nó với cross-validation qua RFECV trong scikit-learn. Bạn nhận được một tập đặc trưng dự báo tốt, nhưng không có tiêu chí dựa trên likelihood và không có p-value.
Các vấn đề với hồi quy từng bước
Hồi quy từng bước dễ chạy và dễ giải thích. Chính vì vậy các vấn đề của nó cũng dễ bị bỏ qua.
Các nhà thống kê đã chỉ trích phương pháp này trong nhiều thập kỷ - cuốn Regression Modeling Strategies của Frank Harrell và bài Whittingham et al. (2006) trên Journal of Animal Ecology là hai ví dụ nổi tiếng. Trong một bài năm 2018 trên Journal of Big Data, Gary Smith lập luận rằng hồi quy từng bước kém hiệu quả hơn khi số biến giải thích tiềm năng lớn, nên nó không giải quyết được vấn đề quá nhiều biến dự báo.
Lựa chọn biến không ổn định
Những thay đổi nhỏ trong dữ liệu có thể thay đổi các biến bạn nhận được.
Nếu bạn loại vài hàng hoặc thu thập một mẫu mới từ cùng quần thể, hồi quy từng bước có thể trả về một mô hình khác. Những biến nằm gần ngưỡng lựa chọn là mong manh nhất. Một biến có tác động thực nhưng nhỏ, như lot_size_sqft trong ví dụ giá nhà, có thể vào ở mẫu này và ở ngoài ở mẫu sau. Một biến không có tác động, như bedrooms, có thể lọt vào khi mẫu tình cờ ủng hộ nó.
Điều này quan trọng vì bạn chỉ nhìn thấy một mẫu. Mô hình hồi quy từng bước đưa cho bạn chỉ là một trong dải mô hình có thể, và đầu ra không cho biết dải đó rộng đến đâu.
Ước lượng hệ số bị lệch
Hồi quy từng bước dùng cùng dữ liệu để chọn biến và ước lượng hệ số của chúng.
Một biến yếu vào được mô hình chủ yếu ở những mẫu mà tác động của nó tình cờ trông mạnh hơn thực tế. Ở những mẫu mà nó trông yếu hơn, nó bị loại. Do đó, các hệ số bạn thấy sau khi lựa chọn thường quá lớn trung bình.
Nói nôm na, hồi quy từng bước báo cáo những kẻ chiến thắng, và kẻ chiến thắng trông tốt hơn thực tế.
P-value và khoảng tin cậy gây hiểu nhầm
Các p-value trong tóm tắt hồi quy giả định bạn đã chọn mô hình trước khi xem dữ liệu.
Hồi quy từng bước làm điều ngược lại. Nó chạy một loạt kiểm định, giữ các biến vượt ngưỡng, rồi báo cáo p-value như thể đó là những biến duy nhất bạn từng kiểm định. Vì vậy p-value bị nhỏ đi và khoảng tin cậy bị hẹp lại.
Vấn đề tệ hơn khi nhiều ứng viên không có tác động. David Freedman đã chỉ ra điều này trong một bài năm 1983 trên The American Statistician - khi ông sàng lọc các biến nhiễu thuần túy và khớp lại mô hình, kết quả trông có ý nghĩa thống kê dù không có gì để tìm. Smith cũng nêu điểm tương tự: các biến phiền nhiễu có thể tình cờ có ý nghĩa, trong khi biến thực có thể lỡ ngưỡng.
Nếu bạn báo cáo các p-value đó như bằng chứng, bạn có thể đang báo cáo nhiễu.
Quá khớp
Quá khớp là mặt dự báo của cùng vấn đề đó.
Mỗi biến dự báo ứng viên cho hồi quy từng bước thêm một cơ hội để khớp một mẫu chỉ tồn tại trong mẫu dữ liệu của bạn. Mô hình được chọn trông tốt trên dữ liệu nó được xây dựng, nhưng các mẫu đó không lặp lại trên dữ liệu mới. Kết quả là mô hình có thể khớp tốt trong mẫu, nhưng kém ngoài mẫu.
Và bạn đưa cho nó càng nhiều biến ứng viên, nó càng có nhiều cơ hội tìm ra những mẫu không tồn tại.
Biến dự báo tương quan
Khi hai biến có thông tin tương tự, hồi quy từng bước phải chọn giữa chúng, và những khác biệt nhỏ trong mẫu quyết định lựa chọn.
square_feet và bedrooms trong dữ liệu nhà là ví dụ nhẹ - khi square_feet đã có trong mô hình, bedrooms hầu như không thêm gì. Với tương quan mạnh hơn, lựa chọn trở nên gần như ngẫu nhiên. Mẫu này giữ biến A, mẫu khác giữ biến B, và mỗi mô hình kể một câu chuyện khác về yếu tố dẫn dắt kết quả.
Không câu chuyện nào đáng tin. Hồi quy từng bước không thể cho bạn biết hai biến hoán đổi được nên nó chỉ chọn một.
Tìm kiếm tham lam
Hồi quy từng bước đưa ra quyết định từng cái một, và mỗi quyết định phụ thuộc vào những quyết định trước đó.
Điều đó có nghĩa là nó có thể bỏ lỡ mô hình tốt nhất. Giả sử hai biến vô dụng khi đứng riêng nhưng mạnh khi đứng cùng, điều có thể xảy ra khi mỗi biến hiệu chỉnh nhiễu của biến kia. Lựa chọn tiến sẽ không bao giờ thêm biến nào, vì không biến nào cải thiện mô hình trong một bước đơn.
Loại lùi và lựa chọn hai chiều giảm rủi ro này, nhưng không loại bỏ được. Không phương pháp nào trong ba phương pháp kiểm tra tất cả tổ hợp, nên không phương pháp nào có thể hứa hẹn mô hình tốt nhất cho tiêu chí đã chọn.
Khi nào bạn nên dùng hồi quy từng bước?
Hồi quy từng bước là công cụ cho một công việc hẹp.
Nó phù hợp cho:
Phân tích khám phá: Nó cho bạn cái nhìn nhanh ban đầu về những biến có thể quan trọng, miễn là bạn coi kết quả như một giả thuyết
Dạy lựa chọn biến: Vệt bước từng bước giúp ý tưởng chọn mô hình dễ nhìn thấy, bao gồm cả vấn đề của nó
Thu hẹp tập ứng viên: Nó có thể thu gọn một danh sách dài biến trước khi bạn xem xét kỹ hơn, nếu bạn kiểm tra tính ổn định của kết quả
Mô hình baseline tự động: Nó cho bạn một mô hình tham chiếu nhanh để so sánh với các mô hình cẩn trọng hơn
Đó là lựa chọn sai cho suy luận khẳng định và phân tích nhân quả.
Nếu mục tiêu của bạn là kiểm định liệu một biến có tác động hay không, p-value sau lựa chọn từng bước không thể trả lời câu hỏi đó. Và nếu mục tiêu là nhân quả, tập biến đúng đến từ cách dữ liệu được tạo ra, chứ không phải từ biến nào làm AIC giảm. Hồi quy từng bước không biết biến nào gây ra biến nào.
Về dự báo, bạn có lựa chọn tốt hơn. Chuẩn hóa (regularization) như Lasso và elastic net ổn định hơn, và chọn đặc trưng bằng cross-validation đánh giá mô hình trên dữ liệu chúng chưa thấy.
Thực hành tốt nhất cho hồi quy từng bước
Nếu bạn quyết định dùng hồi quy từng bước, các bước sau có thể làm kết quả trung thực hơn:
Bắt đầu với các biến hợp lý: Chỉ bao gồm các ứng viên bạn có thể biện minh bằng kiến thức miền, vì mỗi ứng viên thêm cho thuật toán một cơ hội chọn nhiễu
Chọn tiêu chí một cách có chủ đích: AIC thiên về dự báo, BIC thiên về mô hình nhỏ, và ngưỡng p-value là quy ước, nên hãy chọn cái phù hợp mục tiêu và quyết định trước khi chạy
Đừng coi p-value được chọn là chân lý: Xem chúng như mô tả, không phải bằng chứng, vì việc lựa chọn đã dùng chính dữ liệu chúng dựa vào
Xác thực trên dữ liệu chưa thấy: Đánh giá mô hình cuối trên tập giữ lại hoặc bằng cross-validation cho toàn bộ quy trình, không chỉ mô hình cuối
Kiểm tra đa cộng tuyến: Xem tương quan và hệ số phóng đại phương sai giữa các ứng viên, để biết lựa chọn nào có thể gần như ngẫu nhiên
Kiểm tra độ ổn định: Chạy lại lựa chọn trên các mẫu bootstrap và báo cáo tần suất mỗi biến được chọn
So sánh với các mô hình khác: Khớp một mô hình Lasso và một mô hình dựa trên kiến thức miền, và xem hồi quy từng bước có làm tốt hơn trên dữ liệu giữ lại không
Báo cáo quy trình: Ghi lại tập ứng viên, hướng, tiêu chí và các ngưỡng, để người khác có thể tái lập và đánh giá kết quả
Kết luận
Hồi quy từng bước tự động hóa việc chọn biến dự báo. Nó thêm hoặc bớt từng biến một và dừng khi không thay đổi nào cải thiện mô hình theo tiêu chí bạn chọn.
Lựa chọn tiến bắt đầu trống và chỉ thêm. Loại lùi bắt đầu với mô hình đầy đủ và chỉ bớt. Lựa chọn hai chiều làm cả hai, nên có thể hoàn tác một quyết định trước đó.
Nhưng sự đơn giản đồng nghĩa các biến được chọn có thể thay đổi giữa các mẫu, mô hình có thể khớp nhiễu, và p-value cùng khoảng tin cậy sau lựa chọn không đáng tin. Đó là điều cần ghi nhớ. Hãy coi hồi quy từng bước như một kỹ thuật chọn mô hình. Nó không phải là cách mặc định để xây dựng mô hình hồi quy.
Chuyên gia Khoa học Dữ liệu Cấp cao, làm việc tại Croatia. Tác giả Công nghệ Hàng đầu với hơn 700 bài viết đã xuất bản, đạt trên 10 triệu lượt xem. Tác giả cuốn sách Tự động hóa Machine Learning với TPOT.
Câu hỏi thường gặp về hồi quy từng bước
Hồi quy từng bước là gì?⌄
Hồi quy từng bước là một thủ tục tự động để chọn biến dự báo đưa vào mô hình hồi quy. Nó thêm hoặc bớt từng biến một và chỉ giữ thay đổi nếu nó cải thiện một tiêu chí như AIC, BIC hoặc ngưỡng p-value. Đây không phải là một loại hồi quy riêng, vì kết quả cuối cùng vẫn là mô hình hồi quy thông thường.
Sự khác biệt giữa lựa chọn tiến và loại lùi là gì?⌄
Lựa chọn tiến bắt đầu với mô hình trống và thêm biến hữu ích nhất ở mỗi bước. Loại lùi bắt đầu với tất cả biến ứng viên và loại biến kém hữu ích nhất ở mỗi bước. Loại lùi cần mô hình đầy đủ ước lượng được, nên không thể bắt đầu khi bạn có nhiều biến hơn số quan sát.
Hồi quy từng bước có còn là phương pháp tốt để dùng không?⌄
Phương pháp này phù hợp cho khám phá, giảng dạy và mô hình baseline nhanh. Nhưng nó tạo ra tập biến không ổn định, hệ số bị lệch và p-value trông mạnh hơn thực tế. Với mục tiêu dự báo, các phương pháp chuẩn hóa như Lasso thường là lựa chọn tốt hơn, và với câu hỏi nhân quả, các biến nên đến từ kiến thức miền.
Vì sao AIC và BIC chọn các mô hình khác nhau?⌄
Cả hai tiêu chí đều thưởng cho độ khớp mô hình và phạt tham số thừa, nhưng mức phạt khác nhau. AIC tính 2 điểm mỗi tham số, trong khi BIC tính ln(n), lớn hơn khi có từ 8 quan sát trở lên. Vì vậy BIC thường cho mô hình nhỏ hơn, đặc biệt trên bộ dữ liệu lớn.
Tôi có thể tin các p-value từ mô hình được chọn bằng hồi quy từng bước không?⌄
Không, nếu hiểu theo nghĩa đen. Các p-value giả định bạn đã chọn mô hình trước khi nhìn dữ liệu, nhưng hồi quy từng bước đã dùng chính dữ liệu đó để quyết định giữ biến nào. Do đó các p-value được báo cáo là quá nhỏ và khoảng tin cậy quá hẹp.
Dự đoán giá nhà ở và tỷ lệ nhấp chuột vào quảng cáo thông qua việc triển khai, phân tích và giải thích phân tích hồi quy bằng thư viện statsmodels trong Python.
Bạn đã bao giờ nhìn vào một bộ dữ liệu hồi quy với 20 biến dự báo và tự hỏi nên đưa những biến nào vào mô hình chưa?
Nếu bạn thêm tất cả, mô hình có thể sẽ khớp cả nhiễu lẫn tín hiệu. Nếu bạn chọn thủ công, hai nhà phân tích có thể nhìn cùng dữ liệu nhưng đưa ra hai mô hình khác nhau. Và needless to say, ngay cả với chỉ 20 biến dự báo, đã có hơn một triệu tập con có thể so sánh.
Hồi quy từng bước tự động hóa quá trình tìm kiếm này, bằng cách thêm hoặc bớt từng biến dựa trên một tiêu chí thống kê như p-value hoặc AIC. Phương pháp này được giảng dạy và sử dụng rộng rãi, nhưng cũng có một số hạn chế về mặt thống kê, nên bạn không nên xem nó là phương pháp mặc định để chọn đặc trưng.
Trong bài viết này, tôi sẽ hướng dẫn bạn qua ba cách tiếp cận chính: lựa chọn tiến (forward selection), loại lùi (backward elimination) và lựa chọn từng bước hai chiều.
Đang tìm thêm kỹ thuật chọn đặc trưng? Hãy đọc Hướng dẫn Chọn Đặc trưng trong Python của chúng tôi để có phần giới thiệu thân thiện cho người mới bắt đầu.
Hồi quy từng bước là gì?
Hồi quy từng bước là một thủ tục tự động để chọn biến dự báo đưa vào mô hình hồi quy.
Nó không khớp một mô hình duy nhất, mà thay vào đó khớp một chuỗi các mô hình ứng viên, và ở mỗi bước sẽ thêm hoặc bớt một biến dựa trên tiêu chí lựa chọn. Việc tìm kiếm kết thúc khi không còn thay đổi nào cải thiện mô hình theo tiêu chí đó.
Hãy hình dung bạn muốn dự đoán số tiền khách hàng chi tiêu mỗi năm. Bạn có năm biến dự báo ứng viên:
incomeageeducationlocationyears_experienceHồi quy từng bước có thể bắt đầu với
income, rồi kiểm tra xemagecó cải thiện mô hình không, rồi đếneducation, v.v. Mô hình cuối cùng có thể chỉ giữ lạiincomevàeducationnếu ba biến còn lại không cải thiện tiêu chí đủ mức.Một điểm cần nhớ là hồi quy từng bước không phải là một loại mô hình hồi quy riêng biệt.
Đây là một thủ tục lựa chọn biến bạn chạy trên một mô hình bạn đã biết, thường là hồi quy tuyến tính. Đầu ra vẫn là một mô hình hồi quy thông thường, hồi quy từng bước chỉ quyết định biến dự báo nào được đưa vào.
Cách hoạt động của hồi quy từng bước
Mọi thủ tục từng bước đều lặp qua cùng một vòng:
Vòng lặp hồi quy từng bước
Thuật toán không nhìn quá một bước phía trước. Nó chỉ hỏi liệu thay đổi đơn tiếp theo có hữu ích không.
Tiêu chí quyết định "tốt hơn" nghĩa là gì. Đây là bốn tiêu chí bạn sẽ gặp thường xuyên nhất:
Quy trình cụ thể phụ thuộc vào hướng tìm kiếm và tiêu chí. Lựa chọn tiến chỉ thêm biến, loại lùi chỉ bớt biến, và lựa chọn hai chiều làm cả hai. Cùng một bộ dữ liệu có thể cho các mô hình cuối khác nhau tùy tiêu chí bạn chọn.
Vì vậy khi ai đó nói họ đã chạy hồi quy từng bước, hai câu hỏi đầu tiên cần hỏi là hướng nào và tiêu chí nào.
Các loại hồi quy từng bước
Có ba loại hồi quy từng bước, và chúng khác nhau ở một điểm - hướng tìm kiếm.
Lựa chọn tiến
Lựa chọn tiến bắt đầu nhỏ và xây lên từ đó.
Bạn bắt đầu với mô hình chỉ có hằng số chặn, hoặc một vài biến bạn muốn có trong mô hình dù thế nào đi nữa. Thuật toán sau đó khớp một mô hình ứng viên cho mỗi biến còn lại, mỗi mô hình thêm duy nhất biến đó. Biến cải thiện tiêu chí nhiều nhất sẽ vào mô hình.
Vòng lặp chạy lại, với mô hình lớn hơn làm cơ sở mới. Nó dừng khi không còn biến nào đáp ứng quy tắc lựa chọn, ví dụ khi không có bổ sung nào làm giảm AIC.
Lựa chọn tiến có thể bắt đầu ngay cả khi số biến ứng viên nhiều hơn số quan sát, vì nó không bao giờ cần khớp mô hình đầy đủ. Điểm hạn chế là khi một biến đã vào thì sẽ ở lại, ngay cả khi những bổ sung sau đó khiến nó trở nên dư thừa.
Loại lùi
Loại lùi đi theo hướng ngược lại.
Bạn bắt đầu với mô hình đầy đủ, bao gồm mọi biến ứng viên. Thuật toán cố gắng loại từng biến một và loại biến có việc loại bỏ cải thiện tiêu chí nhiều nhất. Sau đó khớp lại mô hình nhỏ hơn và lặp lại. Tìm kiếm dừng khi không loại bỏ nào cải thiện tiêu chí.
Cách tiếp cận này đòi hỏi mô hình đầy đủ phải ước lượng được. Bạn cần số quan sát nhiều hơn số tham số, và không biến nào là tổ hợp tuyến tính chính xác của các biến còn lại. Nếu bạn có 50 biến dự báo và 40 hàng, loại lùi thậm chí không thể bắt đầu.
Và nó có vấn đề ảnh chiếu gương với lựa chọn tiến: khi một biến ra ngoài thì sẽ ở ngoài.
Lựa chọn từng bước hai chiều
Lựa chọn hai chiều kết hợp cả hai. Sau mỗi lần thêm, thuật toán kiểm tra xem có biến nào đã ở trong mô hình nay cần loại ra không.
Điều này quan trọng vì giá trị của một biến phụ thuộc vào những gì khác có trong mô hình. Giả sử
bedroomsvào trước vì nó tương quan với kích thước nhà. Khisquare_feetvào sau,bedroomscó thể hầu như không bổ sung gì thêm. Lựa chọn hai chiều có thể loại nó tại thời điểm đó, trong khi lựa chọn tiến sẽ giữ nó.Cái giá là nhiều lần khớp mô hình hơn mỗi bước. Bạn có thể bắt đầu lựa chọn hai chiều từ mô hình rỗng hoặc đầy đủ.
So sánh ba loại như sau:
Các loại hồi quy từng bước
Ví dụ về hồi quy từng bước
Hãy làm cho phần này cụ thể hơn.
Tôi đã tạo một bộ dữ liệu tổng hợp gồm 200 căn nhà và muốn dự đoán price từ năm biến dự báo ứng viên:
square_feetbedroomsage_yearsdistance_km(khoảng cách tới trung tâm thành phố)lot_size_sqftTôi sẽ dùng lựa chọn tiến với AIC làm tiêu chí, trong đó AIC thấp hơn là tốt hơn. Bạn sẽ thấy lại cùng dữ liệu này trong phần Python.
Mô hình chỉ có chặn có AIC là 5057.0. Đây là mỗi bước trông như thế nào - mỗi ô cho thấy AIC bạn có được khi thêm biến đó vào mô hình hiện tại:
square_feetdistance_kmage_yearslot_size_sqftbedroomsSo sánh AIC
Diễn biến ở mỗi bước như sau:
Bước 1:
square_feetgiảm AIC khoảng 102 điểm, nên vào đầu tiên.bedroomsđứng thứ hai vì tương quan với kích thước nhàBước 2:
distance_kmcho mức giảm lớn nhất. bedrooms giờ hầu như không giúp gì, vì square_feet đã nắm phần lớn thông tin của nóBước 3:
age_yearsvàoBước 4:
lot_size_sqftgiảm AIC chỉ 1.6 điểm, nhưng thấp hơn vẫn là thấp hơn, nên được thêm vàoBước 5: Thêm
bedroomssẽ làm AIC tăng lên 4840.8, nên dừng tìm kiếmMô hình cuối cùng dùng
square_feet,distance_km,age_yearsvàlot_size_sqft.Đó là một kết quả hợp lý. Tôi đã tạo dữ liệu sao cho
bedroomskhông có tác động trực tiếp lên giá, và quy trình đã loại nó ra.Nếu bạn chạy loại lùi trên cùng dữ liệu, nó bắt đầu từ mô hình đầy đủ ở 4840.8, loại
bedrooms, và dừng ở cùng bốn biến. Lựa chọn tiến và loại lùi sẽ không phải lúc nào cũng đồng ý, nhưng ở đây thì có.AIC của mô hình hiện tại sau mỗi bước lựa chọn tiến
Cách chọn biến trong hồi quy từng bước
Hướng tìm kiếm quyết định hành vi của thuật toán. Tiêu chí quyết định khi nào dừng.
Lựa chọn dựa trên p-value
Đây là cách tiếp cận lâu đời nhất, và sử dụng hai ngưỡng:
Ngưỡng loại thường được đặt cao hơn ngưỡng vào, để một biến không ra vào liên tục ở mỗi bước. Cả hai giá trị đều là quy ước, không phải quy tắc.
Mỗi p-value giả định bạn chạy một kiểm định đã lên kế hoạch trước. Từng bước chạy một loạt kiểm định ở mỗi bước và giữ p-value nhỏ nhất. Nếu bạn chạy 20 kiểm định độc lập ở mức 0.05 trên các biến dự báo không có tác động gì, xác suất ít nhất một biến trông có ý nghĩa là
1 − 0.95^20, khoảng 64%. Các biến được chọn sẽ trông mạnh hơn thực tế, và tôi sẽ bàn lý do ở phần vấn đề.Trong ví dụ giá nhà,
lot_size_sqftcó p-value khoảng 0.063 ở bước 4. Với ngưỡng vào 0.05, lựa chọn tiến dừng ở ba biến.AIC
Tiêu chí thông tin Akaike cân bằng giữa độ khớp mô hình và độ phức tạp:
Công thức AIC
Ở đây,
klà số tham số ước lượng vàL̂là khả năng hợp lý tối đa của mô hình. Hạng thứ hai thưởng cho độ khớp, và hạng đầu tiên tính phí 2 điểm cho mỗi tham số.Một biến mới không bao giờ làm giảm likelihood, nên hạng phù hợp chỉ có thể cải thiện. Câu hỏi là liệu nó có cải thiện hơn mức phí 2 điểm hay không. Với một tham số thêm, điều đó tương đương kiểm định tỷ số likelihood ở ngưỡng p-value khoảng 0.157.
Đó là lý do
lot_size_sqftđược chọn theo AIC nhưng không theo quy tắc p-value 0.05. AIC dễ dãi hơn, và có xu hướng giữ những biến yếu hơn nhưng giúp dự báo.BIC
Tiêu chí thông tin Bayes có cấu trúc tương tự, với mức phạt khác:
Công thức BIC
Trong công thức này,
nlà số quan sát. Mỗi tham số giờ tốnln(n)điểm thay vì 2, nên BIC phạt độ phức tạp nhiều hơn AIC khi bạn có từ 8 quan sát trở lên. Và khoảng cách tăng theo kích thước mẫu.Với 200 căn nhà,
ln(200)khoảng 5.3, tương đương ngưỡng p-value ngầm khoảng 0.021 cho một tham số thêm. Lựa chọn tiến với BIC trên dữ liệu nhà dừng ở ba biến và loạilot_size_sqft.R-bình phương hiệu chỉnh
R-bình phương thông thường vô dụng làm tiêu chí lựa chọn.
Nó không bao giờ giảm khi bạn thêm biến vào mô hình hồi quy tuyến tính, kể cả một cột nhiễu ngẫu nhiên. Nếu bạn chọn theo R-bình phương, mô hình đầy đủ luôn là tốt nhất.
R-bình phương hiệu chỉnh thêm một khoản phạt theo số biến:
Công thức R-bình phương hiệu chỉnh
Ở đây, p là số biến dự báo, và giá trị cao hơn là tốt hơn. Khoản phạt khá nhẹ. Một biến mới làm tăng R-bình phương hiệu chỉnh khi trị tuyệt đối của thống kê t của nó lớn hơn 1, nên đây là tiêu chí dễ dãi nhất trong bốn tiêu chí.
Trên dữ liệu nhà, R-bình phương hiệu chỉnh giữ
lot_size_sqftvà loạibedroomsvới biên độ ở chữ số thập phân thứ năm.Cùng dữ liệu, cùng tìm kiếm tiến, câu trả lời khác nhau:
Chọn biến dựa trên các tiêu chí khác nhau
Hồi quy từng bước trong Python và R
Cả hai ngôn ngữ đều có thể chạy hồi quy từng bước, nhưng cách thực hiện khác nhau. Tôi sẽ dùng cùng dữ liệu giá nhà từ ví dụ trên cho cả hai.
Hồi quy từng bước trong Python
Python không có hàm hồi quy từng bước tiêu chuẩn.
Cả statsmodels lẫn scikit-learn đều không có hàm tương đương
step()của R để chọn biến theo AIC hoặc p-value. Vì vậy lựa chọn minh bạch nhất là tự viết vòng lặp trên nền statsmodels. Khoảng 25 dòng, và bạn có thể thấy mọi quyết định nó đưa ra.Cần làm rõ, hàm
forward_selection()bên dưới là trợ thủ do tôi tự viết, không phải tính năng của statsmodels. statsmodels chỉ khớp mô hình và trả về thuộc tính.aicvà.biccủa chúng.Đầu tiên, tạo bộ dữ liệu và lưu lại, để phần R có thể dùng đúng các hàng đó:
Tiếp theo, vòng lặp lựa chọn. Nó bắt đầu từ mô hình chỉ có chặn, khớp một mô hình cho mỗi ứng viên còn lại, và giữ bổ sung có giá trị tiêu chí thấp nhất:
Lựa chọn tiến trong Python
Đây là các giá trị AIC giống trong bảng ví dụ. AIC kết thúc với bốn biến, còn BIC dừng ở ba vì
lot_size_sqftkhông vượt qua mức phạt lớn hơn của nó.Nếu bạn muốn dùng gói, scikit-learn có
SequentialFeatureSelector. Nó chạy lựa chọn tiến hoặc lùi, nhưng chấm điểm mỗi ứng viên bằng cross-validation thay vì AIC hoặc p-value:Các đặc trưng được chọn trong Python
Với
n_features_to_select="auto", quá trình dừng khi R-bình phương cross-validation cải thiện ít hơntol. Trên dữ liệu này, nó kết thúc với cùng bốn biến như AIC.Hồi quy từng bước trong R
R có hồi quy từng bước tích hợp sẵn.
Hàm
step()đi kèm gói stats của R cơ bản, nên không cần cài gì thêm. Bạn đưa cho nó một mô hình bắt đầu, một phạm vi (scope) xác định mô hình lớn nhất có thể xem xét, và một hướng:Công thức AIC và BIC trong R
Tiêu chí mà
step()tối thiểu hóa được điều khiển bởi một đối số -k.Nó tính
-2 log-likelihood + k * edf, trong đó edf là số hệ số ước lượng. Mặc địnhk = 2cho bạn AIC. Nếu đặtk = log(n), bạn được BIC, nhưng vệt log in ra vẫn dán nhãn các giá trị là "AIC", nên đừng để điều đó gây nhầm lẫn.Với loại lùi, bắt đầu từ mô hình đầy đủ:
Trên dữ liệu này, nó loại
bedroomsvà dừng với cùng bốn biến như lựa chọn tiến theo AIC. Nếu bạn truyền mộtscopevà bỏ quadirection,step()mặc định là lựa chọn hai chiều.Hồi quy từng bước so với các phương pháp chọn đặc trưng khác
Hồi quy từng bước không phải là cách duy nhất để chọn biến dự báo. Dưới đây là so sánh với ba lựa chọn phổ biến.
Hồi quy từng bước so với lựa chọn tập con tốt nhất
Hồi quy từng bước là một tìm kiếm tham lam. Ở mỗi bước, nó thực hiện nước đi đơn tốt nhất và không nhìn lại, trừ khi bạn chạy theo cả hai chiều.
Lựa chọn tập con tốt nhất khớp mọi tổ hợp biến có thể và giữ tổ hợp có giá trị tiêu chí tốt nhất. Với 5 biến, đó là 32 mô hình. Với 20, là hơn một triệu, và với 40, là hơn một nghìn tỷ. Các thuật toán như branch-and-bound trong gói
leapscủa R có thể bỏ qua nhiều công việc, nhưng chi phí vẫn tăng rất nhanh theo số biến.Trên dữ liệu giá nhà, lựa chọn tập con tốt nhất với AIC chọn cùng bốn biến như lựa chọn tiến. Điều đó sẽ không phải lúc nào cũng đúng, nên hãy ghi nhớ.
Hồi quy từng bước so với hồi quy Lasso
Hồi quy từng bước đưa ra quyết định có-không. Một biến hoặc ở trong mô hình với hệ số bình phương tối thiểu đầy đủ, hoặc ở ngoài với hệ số bằng không.
Hồi quy Lasso khớp tất cả biến cùng lúc và thêm một khoản phạt lên tổng trị tuyệt đối các hệ số. Khoản phạt đó làm co mọi hệ số về 0 và đẩy những hệ số yếu nhất về đúng 0, nên việc lựa chọn và ước lượng diễn ra trong một bước.
Một thay đổi nhỏ trong dữ liệu làm các hệ số Lasso thay đổi chút ít, trong khi nó có thể lật một quyết định từng bước từ vào thành ra. Bạn chọn độ mạnh phạt bằng cross-validation, ví dụ với
LassoCVtrong scikit-learn hoặccv.glmnet()trong R.Các hệ số bị co bị lệch về 0 một cách có chủ đích. Đó là đánh đổi để có ước lượng ổn định hơn và dự báo ngoài mẫu tốt hơn.
Hồi quy từng bước so với loại bỏ đặc trưng đệ quy
Loại bỏ đặc trưng đệ quy, hay RFE, trông giống loại lùi. Bạn khớp mô hình trên tất cả đặc trưng, loại những đặc trưng yếu nhất, khớp lại, và lặp lại.
Khác biệt nằm ở định nghĩa "yếu nhất". Loại lùi dùng tiêu chí thống kê như AIC hoặc p-value. RFE dùng điểm quan trọng của chính mô hình, như độ lớn hệ số hoặc mức độ quan trọng đặc trưng dựa trên cây.
Điều đó khiến RFE trước hết là công cụ học máy. Nó hoạt động với bất kỳ mô hình nào có độ quan trọng đặc trưng, bao gồm rừng ngẫu nhiên và SVM, và bạn thường ghép nó với cross-validation qua
RFECVtrong scikit-learn. Bạn nhận được một tập đặc trưng dự báo tốt, nhưng không có tiêu chí dựa trên likelihood và không có p-value.Các vấn đề với hồi quy từng bước
Hồi quy từng bước dễ chạy và dễ giải thích. Chính vì vậy các vấn đề của nó cũng dễ bị bỏ qua.
Các nhà thống kê đã chỉ trích phương pháp này trong nhiều thập kỷ - cuốn Regression Modeling Strategies của Frank Harrell và bài Whittingham et al. (2006) trên Journal of Animal Ecology là hai ví dụ nổi tiếng. Trong một bài năm 2018 trên Journal of Big Data, Gary Smith lập luận rằng hồi quy từng bước kém hiệu quả hơn khi số biến giải thích tiềm năng lớn, nên nó không giải quyết được vấn đề quá nhiều biến dự báo.
Lựa chọn biến không ổn định
Những thay đổi nhỏ trong dữ liệu có thể thay đổi các biến bạn nhận được.
Nếu bạn loại vài hàng hoặc thu thập một mẫu mới từ cùng quần thể, hồi quy từng bước có thể trả về một mô hình khác. Những biến nằm gần ngưỡng lựa chọn là mong manh nhất. Một biến có tác động thực nhưng nhỏ, như
lot_size_sqfttrong ví dụ giá nhà, có thể vào ở mẫu này và ở ngoài ở mẫu sau. Một biến không có tác động, nhưbedrooms, có thể lọt vào khi mẫu tình cờ ủng hộ nó.Điều này quan trọng vì bạn chỉ nhìn thấy một mẫu. Mô hình hồi quy từng bước đưa cho bạn chỉ là một trong dải mô hình có thể, và đầu ra không cho biết dải đó rộng đến đâu.
Ước lượng hệ số bị lệch
Hồi quy từng bước dùng cùng dữ liệu để chọn biến và ước lượng hệ số của chúng.
Một biến yếu vào được mô hình chủ yếu ở những mẫu mà tác động của nó tình cờ trông mạnh hơn thực tế. Ở những mẫu mà nó trông yếu hơn, nó bị loại. Do đó, các hệ số bạn thấy sau khi lựa chọn thường quá lớn trung bình.
Nói nôm na, hồi quy từng bước báo cáo những kẻ chiến thắng, và kẻ chiến thắng trông tốt hơn thực tế.
P-value và khoảng tin cậy gây hiểu nhầm
Các p-value trong tóm tắt hồi quy giả định bạn đã chọn mô hình trước khi xem dữ liệu.
Hồi quy từng bước làm điều ngược lại. Nó chạy một loạt kiểm định, giữ các biến vượt ngưỡng, rồi báo cáo p-value như thể đó là những biến duy nhất bạn từng kiểm định. Vì vậy p-value bị nhỏ đi và khoảng tin cậy bị hẹp lại.
Vấn đề tệ hơn khi nhiều ứng viên không có tác động. David Freedman đã chỉ ra điều này trong một bài năm 1983 trên The American Statistician - khi ông sàng lọc các biến nhiễu thuần túy và khớp lại mô hình, kết quả trông có ý nghĩa thống kê dù không có gì để tìm. Smith cũng nêu điểm tương tự: các biến phiền nhiễu có thể tình cờ có ý nghĩa, trong khi biến thực có thể lỡ ngưỡng.
Nếu bạn báo cáo các p-value đó như bằng chứng, bạn có thể đang báo cáo nhiễu.
Quá khớp
Quá khớp là mặt dự báo của cùng vấn đề đó.
Mỗi biến dự báo ứng viên cho hồi quy từng bước thêm một cơ hội để khớp một mẫu chỉ tồn tại trong mẫu dữ liệu của bạn. Mô hình được chọn trông tốt trên dữ liệu nó được xây dựng, nhưng các mẫu đó không lặp lại trên dữ liệu mới. Kết quả là mô hình có thể khớp tốt trong mẫu, nhưng kém ngoài mẫu.
Và bạn đưa cho nó càng nhiều biến ứng viên, nó càng có nhiều cơ hội tìm ra những mẫu không tồn tại.
Biến dự báo tương quan
Khi hai biến có thông tin tương tự, hồi quy từng bước phải chọn giữa chúng, và những khác biệt nhỏ trong mẫu quyết định lựa chọn.
square_feetvàbedroomstrong dữ liệu nhà là ví dụ nhẹ - khisquare_feetđã có trong mô hình,bedroomshầu như không thêm gì. Với tương quan mạnh hơn, lựa chọn trở nên gần như ngẫu nhiên. Mẫu này giữ biến A, mẫu khác giữ biến B, và mỗi mô hình kể một câu chuyện khác về yếu tố dẫn dắt kết quả.Không câu chuyện nào đáng tin. Hồi quy từng bước không thể cho bạn biết hai biến hoán đổi được nên nó chỉ chọn một.
Tìm kiếm tham lam
Hồi quy từng bước đưa ra quyết định từng cái một, và mỗi quyết định phụ thuộc vào những quyết định trước đó.
Điều đó có nghĩa là nó có thể bỏ lỡ mô hình tốt nhất. Giả sử hai biến vô dụng khi đứng riêng nhưng mạnh khi đứng cùng, điều có thể xảy ra khi mỗi biến hiệu chỉnh nhiễu của biến kia. Lựa chọn tiến sẽ không bao giờ thêm biến nào, vì không biến nào cải thiện mô hình trong một bước đơn.
Loại lùi và lựa chọn hai chiều giảm rủi ro này, nhưng không loại bỏ được. Không phương pháp nào trong ba phương pháp kiểm tra tất cả tổ hợp, nên không phương pháp nào có thể hứa hẹn mô hình tốt nhất cho tiêu chí đã chọn.
Khi nào bạn nên dùng hồi quy từng bước?
Hồi quy từng bước là công cụ cho một công việc hẹp.
Nó phù hợp cho:
Đó là lựa chọn sai cho suy luận khẳng định và phân tích nhân quả.
Nếu mục tiêu của bạn là kiểm định liệu một biến có tác động hay không, p-value sau lựa chọn từng bước không thể trả lời câu hỏi đó. Và nếu mục tiêu là nhân quả, tập biến đúng đến từ cách dữ liệu được tạo ra, chứ không phải từ biến nào làm AIC giảm. Hồi quy từng bước không biết biến nào gây ra biến nào.
Về dự báo, bạn có lựa chọn tốt hơn. Chuẩn hóa (regularization) như Lasso và elastic net ổn định hơn, và chọn đặc trưng bằng cross-validation đánh giá mô hình trên dữ liệu chúng chưa thấy.
Thực hành tốt nhất cho hồi quy từng bước
Nếu bạn quyết định dùng hồi quy từng bước, các bước sau có thể làm kết quả trung thực hơn:
Kết luận
Hồi quy từng bước tự động hóa việc chọn biến dự báo. Nó thêm hoặc bớt từng biến một và dừng khi không thay đổi nào cải thiện mô hình theo tiêu chí bạn chọn.
Lựa chọn tiến bắt đầu trống và chỉ thêm. Loại lùi bắt đầu với mô hình đầy đủ và chỉ bớt. Lựa chọn hai chiều làm cả hai, nên có thể hoàn tác một quyết định trước đó.
Nhưng sự đơn giản đồng nghĩa các biến được chọn có thể thay đổi giữa các mẫu, mô hình có thể khớp nhiễu, và p-value cùng khoảng tin cậy sau lựa chọn không đáng tin. Đó là điều cần ghi nhớ. Hãy coi hồi quy từng bước như một kỹ thuật chọn mô hình. Nó không phải là cách mặc định để xây dựng mô hình hồi quy.
Nếu bạn muốn đi xa hơn, hãy đọc thêm về chọn đặc trưng nói chung, xem AIC và BIC so sánh mô hình như thế nào, và thử hồi quy Lasso như bước đầu vào chuẩn hóa.