Hồi quy tuyến tính đa biến: Hướng dẫn mô hình hóa nhiều biến đầu ra

Đôi khi bạn cần dự đoán nhiều thứ cùng lúc, như vừa dự báo doanh số vừa dự báo churn của khách hàng từ cùng một bộ dữ liệu.

Trong bài viết này, tôi sẽ hướng dẫn bạn cách “đa nhiệm” theo cách đó. Tôi sẽ giới thiệu về hồi quy tuyến tính đa biến. Bạn sẽ biết đó là gì, hoạt động ra sao, khi nào nên dùng và cách áp dụng trong thực tế. Đến cuối bài, bạn sẽ sẵn sàng áp dụng nó cho các bài toán đời thực. 

Nếu bạn mới làm quen với hồi quy, bạn có thể muốn xem lại Giới thiệu về Hồi quy trong R hoặc Giới thiệu về Hồi quy với statsmodels trong Python trước.

Hồi quy tuyến tính đa biến là gì?

Hồi quy tuyến tính đa biến là kỹ thuật thống kê mô hình hóa mối quan hệ giữa nhiều biến độc lập và nhiều biến phụ thuộc. Đôi khi nó bị nhầm với hồi quy tuyến tính bội vì tên gọi khá giống, và tôi cũng từng nhầm. Nhưng hồi quy tuyến tính bội dùng nhiều biến dự báo để ước lượng một biến kết quả duy nhất, trong khi đa biến được thiết kế cho tình huống bạn cần dự đoán nhiều kết quả cùng lúc.

Nền tảng lý thuyết và thiết lập mô hình

Tôi vừa nêu khái quát hồi quy đa biến là gì và khi nào dùng. Giờ hãy đi vào cấu trúc mô hình và các giả định đi kèm.

Biểu diễn ma trận

Hồi quy đa biến sử dụng thiết lập dựa trên ma trận để mô hình hóa nhiều đầu ra đồng thời:

Trong đó:

• Y là ma trận n×p của các biến phụ thuộc (n quan sát, p biến phản hồi)
• X là ma trận n×(k+1) của các biến độc lập (bao gồm hằng số)
• B là ma trận (k+1)×p của các hệ số hồi quy
• E là ma trận n×p của các sai số

Cách tiếp cận này thừa nhận rằng các sai số cho những biến phản hồi khác nhau có thể tương quan, nhờ đó ước lượng tham số hiệu quả hơn so với các mô hình đơn biến riêng rẽ. 

Giả định

Trước khi dùng mô hình, cần hiểu các giả định phải thỏa mãn—và làm gì nếu chúng không thỏa.

• Tính tuyến tính: Mỗi biến dự báo nên có quan hệ tuyến tính với mỗi kết quả. Quan hệ phi tuyến sẽ làm sai lệch kết quả. 
• Tính độc lập: Các quan sát nên độc lập. Nếu không (tôi đang nghĩ đến chuỗi thời gian hoặc dữ liệu phân cụm), sai số chuẩn sẽ kém tin cậy.
• Phân phối chuẩn đa biến: Các sai số nên tuân theo phân phối chuẩn đa biến. Ngay cả khi không đúng, ước lượng hệ số vẫn không chệch, nhưng độ chính xác của khoảng tin cậy và kiểm định giả thuyết có thể bị ảnh hưởng. Dù kiểm định Shapiro–Wilk đánh giá tính chuẩn cho từng kết quả riêng lẻ, tính chuẩn đa biến tốt nhất được đánh giá bằng các kiểm định chuyên dụng như kiểm định Mardia, vốn tính đến tương quan giữa phần dư.
• Phương sai đồng nhất (Homoscedasticity): Phương sai của sai số nên không đổi theo các biến dự báo và biến kết quả. Nếu không, mô hình kém hiệu quả. 
• Không đa cộng tuyến hoàn hảo: Các biến dự báo không được tương quan hoàn hảo. 

Nếu các giả định này không thỏa, bạn cần điều chỉnh. Ví dụ, thử biến đổi biến để xử lý vấn đề phi tuyến hoặc tính chuẩn, chuyển sang bình phương tối thiểu có trọng số để xử lý phương sai thay đổi, hoặc dùng ridge regression cho vấn đề đa cộng tuyến.

Xử lý biến phân loại

Nếu làm việc với biến phân loại, bạn cần chuyển chúng thành biến giả (dummy) trước. 

Với biến phân loại có k hạng mục, tạo k-1 biến giả để tránh dư thừa (bẫy biến giả). Hạng mục bị loại trở thành mốc tham chiếu. Khi đó, các hệ số thể hiện chênh lệch so với mốc này. Vì vậy, đáng để chọn một mốc giúp diễn giải dễ dàng.

Kỹ thuật ước lượng và hiệu quả

Khi đã có cấu trúc mô hình và giả định, hãy xem các hệ số được ước lượng thế nào và các phương pháp so sánh ra sao về hiệu quả và độ chính xác.

Bình phương tối thiểu thông thường (OLS)

OLS là điểm khởi đầu mặc định và mở rộng tự nhiên sang bối cảnh đa biến. Nó cho ước lượng hệ số không chệch miễn là các giả định được thỏa mãn. Dù các ước lượng riêng lẻ giống như chạy các hồi quy tách biệt, lợi thế ở đây là phần dư được chia sẻ, nên bạn có thể kiểm định giả thuyết chung trên các kết quả.

Khi các kết quả có tương quan, OLS đa biến nắm bắt những mối quan hệ đó, thường (nhưng không phải luôn luôn) cải thiện chất lượng dự đoán tổng thể. 

Định lý Gauss–Markov

Bạn có thể thắc mắc vì sao OLS được dùng rộng rãi. Định lý Gauss–Markov giải thích điều đó: Dưới một số giả định, OLS là Ước lượng Tuyến tính Không chệch Tốt nhất (BLUE). Nghĩa là nó cho phương sai nhỏ nhất trong số các ước lượng tuyến tính không chệch khi các điều kiện quen thuộc như không đa cộng tuyến, quan hệ tuyến tính và phương sai không đổi được thỏa.

Bình phương tối thiểu có trọng số (WLS)

Nhưng nếu những điều kiện đó không thỏa, đặc biệt là phương sai không đổi thì sao? Lúc này, tôi cân nhắc WLS. Nó gán trọng số lớn hơn cho các quan sát có phương sai sai số thấp và trọng số nhỏ hơn cho các quan sát nhiễu hơn.

WLS điều chỉnh quy trình OLS bằng cách thêm ma trận trọng số. Bạn có thể ước lượng trọng số dùng phần dư từ mô hình OLS hoặc dựa trên hiểu biết lý thuyết về cấu trúc sai số của dữ liệu.

Các phương pháp thu hẹp (shrinkage)

Tiếp theo, xét các kịch bản dữ liệu chiều cao hoặc đa cộng tuyến. Các phương pháp thu hẹp hữu ích ở đây. Chúng chấp nhận một ít sai lệch để giảm phương sai, thường giúp cải thiện dự đoán.

Ridge regression thêm một phạt L2 (λ||B||²), kéo tất cả hệ số về gần 0. Hữu ích khi mỗi biến dự báo đều có thể đóng góp. LASSO áp dụng phạt L1 có thể đưa một số hệ số về 0 hoàn toàn—hữu ích cho chọn biến. Elastic net kết hợp cả hai, hữu ích khi các biến dự báo tương quan trong khi vẫn thực hiện chọn biến.

Đánh giá mô hình và suy luận

Giờ chúng ta chuyển sang đánh giá mức độ hoạt động của mô hình và cách rút ra kết luận có ý nghĩa.

Mức độ phù hợp

R-bình phương đa biến cho bạn cảm nhận về mức độ biến thiên tổng thể mà mô hình giải thích trên tất cả các kết quả. Khác với phiên bản đơn biến, thước đo này thường dùng định thức của ma trận hiệp phương sai phần dư và có thể không luôn nằm trong khoảng 0 đến 1.

R-bình phương hiệu chỉnh đặc biệt quan trọng trong bối cảnh đa biến vì số tham số tăng nhanh khi có nhiều kết quả. Nó giúp tránh quá khớp bằng cách phạt độ phức tạp.

Các công cụ trực quan như ellipse khoảng tin cậy cũng hữu ích. Các ellipse này thể hiện độ bất định trong dự đoán và cách các biến kết quả liên hệ với nhau. Ellipse tròn gợi ý tính độc lập; ellipse kéo dài chỉ ra tương quan mạnh.

Kiểm định giả thuyết

Khi bạn muốn biết mô hình của mình có làm được gì hơn việc khớp với nhiễu hay không, kiểm định giả thuyết là then chốt.

Lambda của Wilks kiểm tra liệu các biến dự báo cụ thể có tác động đáng kể trên tập các kết quả hay không. Nó so sánh ma trận hiệp phương sai sai số từ mô hình đầy đủ và mô hình rút gọn để xác định xem loại bỏ một số biến dự báo có làm tăng đáng kể phương sai không giải thích được hay không. 

T² của Hotelling hoạt động như một kiểm định t đa biến. Nó đánh giá liệu một biến dự báo cụ thể có ảnh hưởng ít nhất một kết quả hay không, có xét đến tương quan giữa các kết quả.

Kiểm định chung giúp quản lý rủi ro dương tính giả khi kiểm định nhiều giả thuyết cùng lúc. Điều này hữu ích trong hồi quy đa biến, nơi các so sánh đa chiều có thể nhanh chóng vượt tầm kiểm soát.

So sánh mô hình

Để lựa chọn giữa các mô hình, các tiêu chí như AIC và BIC rất hữu ích. Cả hai đều điều chỉnh theo độ phức tạp, điều đặc biệt quan trọng khi mô hình hóa nhiều kết quả. AIC thiên về sức dự báo hơn, còn BIC có xu hướng ưu tiên mô hình đơn giản.

Bạn cũng có thể dùng kiểm định tỷ số khả năng (likelihood ratio) để so sánh các mô hình lồng nhau. Chúng kiểm tra việc thêm biến dự báo có cải thiện đáng kể độ phù hợp của mô hình hay không.

Chủ đề nâng cao và tình huống sử dụng

Hồi quy đa biến tiêu chuẩn hoạt động tốt cho nhiều vấn đề, nhưng đôi khi bạn sẽ gặp tình huống cần cách tiếp cận chuyên biệt. Có thể bạn đang làm việc với hàng trăm biến dự báo, hoặc các biến ảnh hưởng lẫn nhau theo cách vi phạm các giả định chuẩn. Dưới đây là cách xử lý (một phần) các kịch bản khó này.

Chọn đặc trưng

Khi bạn làm việc với nhiều biến dự báo, chọn đặc trưng trở nên thiết yếu cả về hiệu năng lẫn khả năng diễn giải. LASSO (viết tắt của ‘Least Absolute Shrinkage and Selection Operator’) nổi bật vì có thể tự động đưa các biến dự báo không liên quan về 0 khi khớp mô hình.

Khác với ridge regression—thu nhỏ tất cả hệ số về gần 0 nhưng giữ lại tất cả—LASSO dùng phạt L1 tạo nghiệm thưa. Điều này rất hữu ích khi bạn nghi ngờ chỉ một tập con các biến dự báo thực sự quan trọng.

Xử lý nội sinh (endogeneity)

Đôi khi các biến dự báo ảnh hưởng đến kết quả đồng thời cũng bị kết quả ảnh hưởng. Tôi đang nghĩ đến việc giáo dục tác động đến thu nhập, nhưng thu nhập cũng ảnh hưởng đến khả năng tiếp cận giáo dục. Điều này tạo ra nội sinh, khiến ước lượng hồi quy chuẩn kém tin cậy.

Biến công cụ giải quyết điều này bằng quy trình hai giai đoạn. Trước hết, bạn tìm một "công cụ", tức biến ảnh hưởng đến biến dự báo có vấn đề nhưng không ảnh hưởng trực tiếp đến kết quả. Sau đó dùng công cụ này để dự đoán phần “sạch” của biến dự báo, và dùng các dự đoán đó trong hồi quy cuối cùng. Cách này phá vỡ hoặc giúp phá vỡ mối quan hệ vòng tròn và mang lại ước lượng tin cậy hơn.

Triển khai trong phần mềm

Hầu hết các gói thống kê đều xử lý hồi quy đa biến, dù điểm mạnh khác nhau. Trong Python, sklearn.linear_model.LinearRegression hỗ trợ tự nhiên nhiều đầu ra cho hồi quy đa biến thực thụ. Theo tôi, statsmodels cung cấp đầu ra thống kê chi tiết hơn, bao gồm kiểm định giả thuyết. Nếu bạn là lập trình viên ưa thích R, bạn có thể dùng luôn hàm tích hợp lm() cho mô hình đa biến cơ bản, hoặc dùng gói car cho các chẩn đoán tinh vi hơn.

Các phương án như PLS

Partial Least Squares (PLS) hữu ích khi bạn có nhiều biến dự báo hơn số quan sát, hoặc khi đa cộng tuyến gây rắc rối. Thay vì dùng trực tiếp tất cả biến dự báo, PLS tạo các biến ẩn nắm bắt thông tin phù hợp nhất cho việc dự đoán kết quả. Cách tiếp cận này hoạt động đặc biệt tốt trong các lĩnh vực như hóa lượng tử và tin sinh học, nơi bạn có thể có hàng trăm hoặc hàng nghìn biến dự báo nhưng tương đối ít quan sát.

PLS tìm các hướng trong không gian biến dự báo giải thích cả phương sai của biến dự báo và hiệp phương sai của biến kết quả. Nó đặc biệt hữu ích khi độ chính xác dự đoán quan trọng hơn diễn giải. Hồi quy tuyến tính đa biến chuẩn có thể trở nên bất ổn với nhiều biến dự báo tương quan, nhưng PLS vẫn ổn định ngay cả trong tình huống thách thức.

Ellipse khoảng tin cậy

Khoảng tin cậy đơn giản không phù hợp cho dự đoán đa biến vì chúng bỏ qua tương quan giữa các kết quả. Ellipse khoảng tin cậy thể hiện bất định chung cho các cặp kết quả, cho thấy sai số dự đoán tương quan như thế nào giữa các biến phản hồi. Những ellipse này cho bạn biết về cấu trúc quan hệ trong dự đoán. Ellipse tròn nghĩa là các kết quả được dự đoán độc lập, trong khi ellipse kéo dài cho thấy tương quan mạnh.

Hướng của ellipse kéo dài cho thấy những tổ hợp tuyến tính nào của các kết quả có mức bất định lớn nhất và nhỏ nhất. Bạn có thể vẽ các ellipse này cho dự đoán cá nhân hoặc cho ước lượng tham số; chúng hữu ích khi trình bày kết quả vì mang lại biểu diễn trực quan, trực cảm về mức độ tin cậy ở các khía cạnh khác nhau của dự đoán.

Lưu ý thực hành và ví dụ bằng Python

Chuyển từ lý thuyết sang thực tế đồng nghĩa đối mặt dữ liệu lộn xộn và đảm bảo mô hình thực sự hoạt động. Dưới đây là cách xử lý khía cạnh thực tế của hồi quy đa biến.

Tiền xử lý

Trước khi khớp bất kỳ mô hình đa biến nào, bạn cần “chỉnh đốn” dữ liệu. Chuẩn hóa tỉ lệ và đưa về tâm đặc biệt quan trọng khi các biến dự báo có đơn vị khác nhau. Hãy tưởng tượng so sánh thu nhập (nghìn đơn vị) với tuổi (năm) mà không chuẩn hóa. Hầu hết thuật toán hoạt động tốt hơn khi đặc trưng có cùng thang đo.

Giá trị khuyết cũng là thách thức. Bạn có thể loại bỏ các hàng thiếu dữ liệu, nhưng sẽ lãng phí thông tin và có thể gây sai lệch. Các cách tốt hơn gồm thế giá trị trung bình cho biến số hoặc dùng phương pháp tinh vi hơn như bù đắp đa lần (multiple imputation), tạo vài bộ dữ liệu hợp lý và tổng hợp kết quả.

Xác thực mô hình

Cross-validation giúp bạn hiểu mô hình khái quát hóa ra sao vượt ra ngoài dữ liệu huấn luyện. Với hồi quy đa biến, k-fold cross-validation chia dữ liệu thành k nhóm, huấn luyện trên k-1 nhóm và kiểm tra trên nhóm còn lại. Lặp lại k lần và lấy trung bình để có ước lượng hiệu năng vững.

Bootstrapping cung cấp một cách xác thực khác, đặc biệt hữu ích để hiểu bất định tham số. Nó tạo bộ dữ liệu mới bằng lấy mẫu có hoàn lại từ dữ liệu gốc, khớp mô hình cho mỗi mẫu bootstrap và xem phân phối ước lượng tham số. Điều này cho biết độ ổn định của hệ số và giúp xây dựng khoảng tin cậy.

Nghiên cứu tình huống

Hãy xem một ví dụ cụ thể với bộ dữ liệu thử nghiệm vật liệu. Kỹ sư thường cần dự đoán nhiều tính chất của bê tông—như cường độ nén và tính công tác—dựa trên thành phần cấp phối như hàm lượng xi măng, tỷ lệ nước, và loại cốt liệu. Đây là trường hợp hoàn hảo cho hồi quy đa biến vì các kết quả có liên quan nhưng khác biệt.

Phân tích bắt đầu bằng khám phá tương quan giữa các thành phần và kết quả, kiểm tra đa cộng tuyến giữa các biến dự báo, và xem quan hệ có vẻ tuyến tính không. Sau tiền xử lý (chuẩn hóa tỷ lệ cấp phối và xử lý đo lường thiếu), bạn sẽ khớp mô hình đa biến và xác thực bằng cross-validation để đảm bảo dự đoán giữ vững với các cấp phối bê tông mới.

Ví dụ mã

Dưới đây là quy trình cơ bản minh họa các bước chính trong Python. Trước tiên, hãy thiết lập dữ liệu và tiền xử lý:

import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_score
from sklearn.metrics import mean_squared_error

# Load and prepare data (assuming concrete dataset)
# X: mixture components (cement, water, aggregate, etc.)
# y: multiple outcomes (strength, workability, durability)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)Được hỗ trợ bởi

Bước tiền xử lý này chuẩn hóa tất cả biến dự báo về trung bình 0 và phương sai đơn vị, giúp ổn định số học và dễ diễn giải hơn.

Tiếp theo, chúng ta sẽ khớp mô hình đa biến và xem xét kết quả:

# Fit multivariate regression
mlr_model = LinearRegression()
mlr_model.fit(X_scaled, y)

# Get coefficients for each outcome
for i, outcome in enumerate(['strength', 'workability', 'durability']):
   coeffs = mlr_model.coef_[:, i]
   print(f"{outcome} coefficients: {coeffs}”)Được hỗ trợ bởi

Mô hình LinearRegression khớp một hồi quy đa biến duy nhất xét đến tương quan giữa tất cả các kết quả đồng thời. Các hệ số cho biết mỗi thành phần cấp phối ảnh hưởng thế nào đến từng tính chất của bê tông.

Cuối cùng, hãy xác thực mô hình để kiểm tra độ tin cậy:

# Cross-validation for each outcome
cv_scores = cross_val_score(mlr_model, X_scaled, y, 
                           cv=5, scoring='neg_mean_squared_error')
print(f"Average CV score: {-cv_scores.mean():.3f}")

# Make predictions on new data
y_pred = mlr_model.predict(X_scaled)
mse_per_outcome = [mean_squared_error(y[:, i], y_pred[:, i]) 
                   for i in range(y.shape[1])]
print(f"MSE per outcome: {mse_per_outcome}")Được hỗ trợ bởi

Cross-validation cho bạn ước lượng trung thực về mức độ mô hình hoạt động trên dữ liệu chưa thấy. Điểm MSE theo từng kết quả giúp bạn hiểu tính chất bê tông nào dễ hay khó dự đoán chính xác hơn.

Hạn chế và lựa chọn thay thế

Hồi quy tuyến tính đa biến phù hợp với nhiều bài toán, nhưng có những giới hạn rõ ràng. Hạn chế lớn nhất nằm ngay ở tên gọi—nó giả định quan hệ tuyến tính giữa biến dự báo và kết quả. Khi quan hệ cong, giàu tương tác, hoặc phi tuyến theo cách khác, MLR sẽ cho kết quả sai lệch. Chiều dữ liệu cao cũng là vấn đề: khi có nhiều biến dự báo so với số quan sát, mô hình trở nên bất ổn và dễ quá khớp.

Một số lựa chọn thay thế xử lý các hạn chế này tốt hơn. Mô hình tuyến tính tổng quát (GLM) mở rộng khung cho các kết quả không chuẩn và cho phép các hàm liên kết khác nhau. ANCOVA hoạt động tốt khi bạn có cả biến liên tục và phân loại với hiệu ứng tương tác. Với vấn đề quá khớp, các phương pháp chuẩn hóa như ridge và LASSO giúp ích, hoặc bạn có thể thử các phương pháp tổ hợp như rừng ngẫu nhiên vốn xử lý phi tuyến và dữ liệu chiều cao tự nhiên hơn.

Kết luận

Hồi quy tuyến tính đa biến cung cấp cách chắc chắn để mô hình hóa đồng thời nhiều kết quả có liên quan, nắm bắt những mối quan hệ mà các mô hình đơn biến tách rời sẽ bỏ lỡ. Thế mạnh chính nằm ở khả năng diễn giải, kiểm định thống kê và xử lý hiệu quả các kết quả tương quan. 

Việc bạn gắn bó với MLR tiêu chuẩn hay chuyển sang các phương pháp khác như hồi quy có chuẩn hóa, partial least squares và phương pháp tổ hợp phụ thuộc vào đặc điểm dữ liệu, kích thước mẫu và việc ưu tiên dự đoán hay diễn giải cho bài toán cụ thể.

Nếu bạn muốn nâng cao kỹ năng, khóa học Hồi quy Trung cấp với statsmodels trong Python của chúng tôi bao quát nhiều biến giải thích và hiệu ứng tương tác, trong khi Mô hình tuyến tính tổng quát trong R mở rộng bộ công cụ để xử lý các phân phối không chuẩn như phân phối nhị thức và phân phối Poisson cho dữ liệu đếm.