Hãy tưởng tượng bạn đang cố dự đoán giá nhà dựa trên diện tích sàn. Bạn có các điểm dữ liệu từ những giao dịch gần đây, nhưng chúng không tạo thành một mẫu hoàn hảo. Một số căn bán cao hơn kỳ vọng, số khác bán thấp hơn. Làm sao bạn tìm được đường xu hướng phản ánh mối quan hệ tổng thể giữa kích thước và giá mà không để từng căn riêng lẻ làm lệch dự đoán?
Phương pháp bình phương tối thiểu có thể chính là giải pháp bạn cần. Trong bài viết này, chúng ta sẽ khám phá các khái niệm cốt lõi của phương pháp bình phương tối thiểu, các biến thể và ứng dụng của nó. Kết thúc bài, bạn sẽ nắm vững cách sử dụng phương pháp này và áp dụng vào các bài toán thực tế.
Phương pháp Bình phương Tối thiểu là gì?
Phương pháp bình phương tối thiểu là một kỹ thuật thống kê dùng để xác định đường hoặc đường cong khớp tốt nhất cho một tập hợp điểm dữ liệu. Nó hoạt động bằng cách tối thiểu hóa bình phương chênh lệch giữa các giá trị quan sát và giá trị dự đoán trong một tập dữ liệu. Chênh lệch giữa các điểm dữ liệu thực tế và giá trị do mô hình dự đoán được gọi là phần dư (residual). Mục tiêu là tìm một mô hình tối thiểu hóa tổng bình phương các phần dư này, từ đó cho ra các dự đoán chính xác nhất có thể.
Sơ đồ trên mô tả ngắn gọn các bước của phương pháp bình phương tối thiểu.
Phương pháp này được phát minh bởi Carl Friedrich Gauss khi ông mới 18 tuổi vào năm 1795 (bạn có thể nhận ra tên ông từ phân phối Gaussian). Adrien-Marie Legendre sau đó đã hệ thống hóa kỹ thuật này vào năm 1805 và là người đầu tiên viết một bài báo sử dụng phương pháp bình phương tối thiểu để tái tạo quỹ đạo của một tiểu hành tinh.
Phương pháp Bình phương Tối thiểu hoạt động thế nào
Phương pháp bình phương tối thiểu tìm đường thẳng khớp tốt nhất với một tập điểm bằng cách tối thiểu hóa tổng bình phương chênh lệch giữa các giá trị quan sát và giá trị dự đoán. Điều này được dùng để tìm các tham số mô hình có độ khớp gần nhất có thể.
Hãy thử với một tập dữ liệu cực nhỏ: chỉ 10 điểm. Trước hết, ta cần chọn một mô hình để khớp dữ liệu. Với ví dụ đơn giản này, ta chọn hồi quy tuyến tính đơn, nghĩa là ta thực hiện hồi quy với đúng một biến độc lập và một biến phụ thuộc.
Biểu đồ trên vẽ tập dữ liệu nhỏ của chúng ta, với đường hồi quy tuyến tính chồng lên. Các đường chấm vàng nối điểm dữ liệu với đường dự đoán là phần dư. Mục tiêu là tìm mô hình hồi quy tuyến tính tối thiểu hóa các đường phần dư chấm vàng này.
Với mỗi điểm dữ liệu trong tập, ta cần tìm chênh lệch theo trục y giữa điểm và đường thẳng. Đó sẽ là phần dư của ta. Sau đó ta bình phương mỗi phần dư để loại bỏ các giá trị âm và lấy tổng. Điều này cho ta cảm nhận mức độ đường thẳng khớp dữ liệu tốt đến đâu. Xem bảng dưới để phân tích cho biểu đồ cụ thể của chúng ta.
|
Tung độ X
|
Tung độ Y quan sát (Điểm dữ liệu)
|
Tung độ Y dự đoán (Đường)
|
Phần dư (Quan sát - Dự đoán)
|
Bình phương phần dư
|
|
0
|
2.5
|
2.0
|
0.5
|
0.25
|
|
1
|
3.1
|
2.3
|
0.8
|
0.64
|
|
2
|
1.8
|
2.6
|
-0.8
|
0.64
|
|
3
|
3.5
|
2.9
|
0.6
|
0.36
|
|
4
|
2.2
|
3.2
|
-1.0
|
1.0
|
|
5
|
4.0
|
3.5
|
0.5
|
0.25
|
|
6
|
3.8
|
3.8
|
0.0
|
0.0
|
|
7
|
5.0
|
4.1
|
0.9
|
0.81
|
|
8
|
4.5
|
4.4
|
0.1
|
0.01
|
|
9
|
5.2
|
4.7
|
0.5
|
0.25
|
|
Tổng bình phương phần dư
| | | |
4.21
|
Giờ khi đã có ấn tượng về mức độ đường thẳng này khớp dữ liệu, ta có thể tinh chỉnh các tham số của đường, hoặc hệ số góc hoặc điểm cắt trục, rồi tính lại. Đường có tổng bình phương phần dư nhỏ nhất là đường khớp dữ liệu tốt nhất. Do đó, đường đó sẽ cho dự đoán tốt nhất.
Dùng phương pháp bình phương tối thiểu để tìm đường tốt nhất
Trong ví dụ trên, ta chưa tìm đường khớp tốt nhất. Thay vào đó ta chỉ tính xem đường đó khớp dữ liệu đến đâu. Bây giờ ta có thể lặp qua nhiều đường tiềm năng và thực hiện cùng phép tính để tìm đường khớp nhất. Hoặc ta có thể dùng một chút đại số để tìm nhanh hơn. Hãy thử cách đó.
Ta bắt đầu với phương trình của hồi quy tuyến tính: y=mx+b, trong đó b là tung độ gốc và m là hệ số góc. Giờ hãy đặt một số dữ liệu.
|
Tung độ X
|
Tung độ Y
|
|
0
|
2.5
|
|
1
|
3.1
|
|
2
|
1.8
|
|
3
|
3.5
|
|
4
|
2.2
|
|
5
|
4.0
|
|
6
|
3.8
|
|
7
|
5.0
|
|
8
|
4.5
|
|
9
|
5.2
|
Đầu tiên, ta cần tính giá trị trung bình của X và Y. Những giá trị này sẽ đóng vai trò là giá trị dự đoán của ta:
Tiếp theo, ta có thể dùng tổng bình phương phần dư giữa mỗi điểm dữ liệu và giá trị dự đoán (trung bình) để tìm hệ số góc. Đây là phương trình ta sẽ dùng:
Vì đây là một phương trình khá cồng kềnh để tính tay, ta sẽ tính tử số và mẫu số riêng rẽ. Bắt đầu với tử số:
|
xi
|
yi
|
xi - xmean
|
yi - ymean
|
(xi - xmean)(yi -ymean)
|
|
0
|
2.5
|
-4.5
|
-1.06
|
4.77
|
|
1
|
3.1
|
-3.5
|
-0.46
|
1.61
|
|
2
|
1.8
|
-2.5
|
-1.76
|
4.40
|
|
3
|
3.5
|
-1.5
|
-0.06
|
0.09
|
|
4
|
2.2
|
-0.5
|
-1.36
|
0.68
|
|
5
|
4.0
|
0.5
|
0.44
|
0.22
|
|
6
|
3.8
|
1.5
|
0.24
|
0.36
|
|
7
|
5.0
|
2.5
|
1.44
|
3.60
|
|
8
|
4.5
|
3.5
|
0.94
|
3.29
|
|
9
|
5.2
|
4.5
|
1.64
|
7.38
|
|
Tổng (xi - xmean)(yi - ymean)
| | | |
26.4
|
Giờ hãy làm tương tự cho mẫu số:
|
xi
|
xi - xmean
|
(xi - xmean)2
|
|
0
|
-4.5
|
20.25
|
|
1
|
-3.5
|
12.25
|
|
2
|
-2.5
|
6.25
|
|
3
|
-1.5
|
2.25
|
|
4
|
-0.5
|
0.25
|
|
5
|
0.5
|
0.25
|
|
6
|
1.5
|
2.25
|
|
7
|
2.5
|
6.25
|
|
8
|
3.5
|
12.25
|
|
9
|
4.5
|
20.25
|
|
Tổng (xi - xmean)2
| |
82.50
|
Giờ ta có thể tính hệ số góc cho đường khớp tốt nhất.
Vậy là ta đã biết hệ số góc của đường thẳng khớp dữ liệu tốt nhất. Tiếp theo, ta cần tìm tung độ gốc. Công thức cho hệ số chặn b khá dễ tìm bằng một chút biến đổi đại số:
Vì ta đã biết hệ số góc, chỉ cần thế giá trị trung bình x và y vào và giải b.
Giờ khi đã có cả m và b, ta có thể viết phương trình của đường khớp tốt nhất:
Phương pháp bình phương tối thiểu cho phép ta suy ra nhanh chóng và dễ dàng đường hồi quy tuyến tính tối ưu, thậm chí làm tay! Rõ ràng dữ liệu càng nhiều, làm tay càng khó. May mắn là vì toán học khá thẳng thắn, việc triển khai phương pháp này trong Python hoặc R rất đơn giản. Để có giải thích chi tiết về cách làm, hãy xem Essentials of Linear Regression in Python và How to Do Linear Regression in R.
Nền tảng toán học của phương pháp bình phương tối thiểu
Ở trên, ta dùng ví dụ hồi quy tuyến tính đơn và tìm hệ số góc cùng tung độ gốc bằng các phương trình dạng đóng gọn đẹp, và ta mô hình hóa biến phụ thuộc như một hàm của biến độc lập: y=mx+b.
Tuy nhiên, các phương trình tôi nêu trên chỉ hoạt động khi bạn có một biến độc lập. Một cách khác để tìm các hệ số cho hồi quy là dùng cái gọi là phương trình chuẩn (normal equation), cung cấp lời giải dựa trên ma trận cho bài toán bình phương tối thiểu. Phương trình chuẩn đề cập đến phương trình ma trận thu được khi tối thiểu hóa tổng bình phương phần dư bằng phương pháp bình phương tối thiểu. Về mặt hình học và dùng ngôn ngữ đại số tuyến tính, nghiệm bình phương tối thiểu có thể hình dung như phép chiếu vuông góc của vectơ dữ liệu quan sát lên không gian cột của ma trận mô hình. Nói đơn giản, điều này nghĩa là sai số được tối thiểu theo cách đảm bảo các giá trị dự đoán nằm gần nhất có thể với dữ liệu quan sát, trong các ràng buộc của mô hình.
Trong các trường hợp ma trận không khả nghịch (nghĩa là hệ phương trình không có nghiệm duy nhất), giả nghịch đảo Moore-Penrose cung cấp cách tính nghiệm bình phương tối thiểu. Điều này cho phép ta linh hoạt xử lý các tình huống hệ phương trình thiếu xác định (nhiều ẩn hơn phương trình) hoặc thừa xác định (nhiều phương trình hơn ẩn).
Nếu bạn cần ôn tập đại số ma trận, tôi khuyến nghị khóa Linear Algebra for Data Science in R.
Các loại Phương pháp Bình phương Tối thiểu
Cho đến giờ, ta mới chỉ nói về việc sử dụng phương pháp bình phương tối thiểu với ước lượng bình phương tối thiểu thông thường. Tuy nhiên, đây là một công cụ linh hoạt có thể thích ứng với nhiều kịch bản tùy theo bản chất vấn đề bạn đang giải quyết. Hãy cùng khám phá một vài loại phương pháp bình phương tối thiểu, điều gì khiến chúng khác biệt và các ứng dụng thực tế.
Bình phương tối thiểu tuyến tính
Đến thời điểm này, bạn hẳn đã khá quen với bình phương tối thiểu tuyến tính (cũng được gọi là bình phương tối thiểu thông thường). Nó được dùng với các mô hình có hệ số tuyến tính, như trong hồi quy tuyến tính đơn hoặc hồi quy tuyến tính bội multiple linear regression. Mục tiêu là tìm đường thẳng (hoặc siêu phẳng, trong trường hợp hồi quy tuyến tính bội) tối thiểu hóa tổng bình phương phần dư.
Kiểu bình phương tối thiểu này giả định phần dư có phương sai không đổi và không có ngoại lệ (outlier) đáng kể trong dữ liệu. Nó có thể áp dụng cho hầu hết những gì có mối quan hệ tuyến tính. Ví dụ, bạn có thể dùng cho mối quan hệ giữa thời gian thai kỳ và cân nặng sơ sinh hoặc giữa chi tiêu quảng cáo và doanh thu. Đây là kiểu bình phương tối thiểu tôi thường dùng nhất và cũng thường nghe người khác nhắc đến nhất.
Bình phương tối thiểu có trọng số
Bình phương tối thiểu có trọng số là phần mở rộng hoạt động khi phương sai của phần dư không hằng. Bằng cách gán trọng số cho mỗi điểm dữ liệu, phương pháp này ưu tiên hơn cho các quan sát có phương sai thấp. Phương trình tương tự tổng bình phương trước đây, nhưng có một trọng số (wi) áp cho từng phần dư:
Phương pháp này hữu ích cho các tập dữ liệu mà sai số đo lường thay đổi giữa các quan sát, ví dụ khi hiệu chuẩn cảm biến. Trọng số thường là nghịch đảo của phương sai cho mỗi quan sát.
Bình phương tối thiểu vững (robust)
Bình phương tối thiểu vững được thiết kế để xử lý các tập dữ liệu có ngoại lệ có thể ảnh hưởng không tương xứng tới kết quả của bình phương tối thiểu thông thường. Nó dùng các kỹ thuật tái trọng số lặp để giảm tác động của ngoại lệ.
Trong bình phương tối thiểu vững, bạn có thể dùng các phương pháp như least absolute residuals (LAR) hoặc trọng số bisquare để điều chỉnh trọng số lặp và giảm ảnh hưởng của ngoại lệ.
Ví dụ khi bạn có thể dùng phương pháp này là trong mô hình tài chính, nơi bạn muốn tính đến các cú sụp đổ thị trường cực đoan. Nếu bạn có tập dữ liệu mà bạn không muốn loại bỏ ngoại lệ, nhưng vẫn muốn tính đến chúng, bình phương tối thiểu vững có thể là con đường phù hợp.
Bình phương tối thiểu phi tuyến
Bình phương tối thiểu không chỉ dùng cho hồi quy tuyến tính. Bình phương tối thiểu phi tuyến được dùng khi mô hình bạn áp dụng là phi tuyến theo các hệ số. Điều này phức tạp hơn bình phương tối thiểu tuyến tính và có thể cần các kỹ thuật tối ưu lặp (như Gauss–Newton hoặc Levenberg–Marquardt) để tìm khớp tốt nhất.
Cần thận trọng với bình phương tối thiểu phi tuyến. Phép tính có thể nhạy với ước lượng tham số ban đầu cũng như các vấn đề hội tụ. Ví dụ dùng bao gồm mô hình hóa tăng trưởng theo hàm mũ của virus trong cơ thể khi nhiễm bệnh hoặc mô hình hóa tốc độ phản ứng hóa học trong phòng thí nghiệm.
Bình phương tối thiểu toàn phần
Cho đến giờ, ta chủ yếu nói về các trường hợp chỉ biến phụ thuộc có sai số. Và ta đã tối thiểu hóa khoảng cách thẳng đứng giữa mô hình và dữ liệu. Nhưng nếu cả các phép đo biến độc lập cũng có sai số thì sao?
Bình phương tối thiểu toàn phần hữu ích khi cả biến độc lập và biến phụ thuộc đều có sai số đo lường. Phương pháp này tính đến sai số ở tất cả các biến. Điều này đặc biệt hữu ích trong các lĩnh vực như thiên văn học và trắc địa (lĩnh vực đo đạc hình dạng Trái Đất và trường hấp dẫn), nơi sai số đo tồn tại ở mọi chiều do yêu cầu độ chính xác rất cao. Bình phương tối thiểu toàn phần thường được dùng cùng với phân rã giá trị kỳ dị.
Bình phương tối thiểu tổng quát
Bình phương tối thiểu tổng quát là phần mở rộng của phương pháp bình phương tối thiểu để giải quyết thách thức do phần dư có tương quan. Với bình phương tối thiểu tổng quát, ta biến đổi dữ liệu về dạng có thể áp dụng bình phương tối thiểu thông thường. Phép biến đổi này sử dụng ma trận hiệp phương sai của phần dư để tính đến cấu trúc tương quan của chúng, cho phép ước lượng tham số chính xác hơn.
Điều này đặc biệt hữu ích trong các tình huống như phân tích chuỗi thời gian, nơi phần dư có thể thể hiện tự tương quan.
Ứng dụng của Phương pháp Bình phương Tối thiểu
Phương pháp bình phương tối thiểu là một kỹ thuật thống kê được sử dụng rộng rãi với ứng dụng trên nhiều lĩnh vực.
Trong thống kê và khoa học dữ liệu, bình phương tối thiểu được dùng để xây dựng các mô hình hồi quy tuyến tính và phi tuyến nhằm dự đoán dựa trên các đầu vào đã biết. Nó cũng hữu ích trong phân tích xu hướng, đặc biệt với dữ liệu chuỗi thời gian.
Trong tài chính, bình phương tối thiểu được dùng trong phân tích hiệu suất cổ phiếu, giúp xác định mối quan hệ giữa hiệu suất của một cổ phiếu và các chỉ số thị trường. Ví dụ, nó có thể dùng để tính độ nhạy của một cổ phiếu với biến động thị trường. Nó cũng hỗ trợ mô hình hóa rủi ro bằng cách khớp các mô hình với dữ liệu tài chính lịch sử để ước tính rủi ro và lợi nhuận.
Kỹ sư sử dụng bình phương tối thiểu trong hiệu chuẩn cảm biến để khớp mô hình với dữ liệu quan sát và giảm thiểu sai số đo lường. Nó cũng được áp dụng trong xử lý tín hiệu cho việc lọc và giảm nhiễu, giúp diễn giải dữ liệu rõ ràng hơn.
Dĩ nhiên, bình phương tối thiểu khởi nguồn từ thiên văn học; lần đầu được Carl Friedrich Gauss dùng để dự đoán quỹ đạo của tiểu hành tinh Ceres. Nó cũng được dùng trong trắc địa để mô hình hóa hình dạng Trái Đất dựa trên dữ liệu quan sát, điều thiết yếu cho các đo đạc địa lý chính xác.
Nếu bạn từng thử sức với học máy, bạn sẽ nhận ra phương pháp bình phương tối thiểu như một cách tối thiểu hóa hàm mất mát trong quá trình huấn luyện các mô hình hồi quy tuyến tính. Bạn cũng có thể đã dùng nó trong lựa chọn đặc trưng để xác định các biến quan trọng nhất đóng góp vào mô hình.
Nó cũng có vai trò trong nhiều ngành khoa học tự nhiên khác như vật lý và hóa học. Có thể dùng để khớp đường cong với dữ liệu thực nghiệm, như tốc độ phản ứng hoặc đo đạc vật lý, và giúp giảm thiểu sai số trong bố trí thí nghiệm.
Phương pháp bình phương tối thiểu là một công cụ thống kê đa năng. Cá nhân tôi đã dùng phương pháp này để hiệu chuẩn cảm biến áp suất, đưa ra dự đoán dựa trên dữ liệu thí nghiệm của mình, và trong quá trình huấn luyện học máy. Khả năng mô hình hóa mối quan hệ một cách tin cậy và tối thiểu hóa sai số là một đặc trưng mang lại giá trị cho nhiều ngành khác nhau.
Giả định và Chẩn đoán
Phương pháp bình phương tối thiểu đưa ra một số giả định then chốt về dữ liệu và mô hình đang dùng. Việc hiểu các giả định này là quan trọng, vì vi phạm chúng có thể dẫn đến kết quả sai lệch hoặc không đáng tin cậy. Vậy nên, hãy bàn về các giả định này cũng như cách chẩn đoán và khắc phục các vấn đề tiềm ẩn.
Một giả định là tính độc lập của sai số, nghĩa là các phần dư không nên tương quan. Nếu sai số tương quan với nhau, đặc biệt trong dữ liệu tuần tự hoặc không gian, các ước lượng có thể bị méo. Kiểm định Durbin-Watson có thể phát hiện tự tương quan trong phần dư, đặc biệt với các tập dữ liệu phụ thuộc thời gian. Nếu bạn phát hiện tương quan, bạn có thể dùng bình phương tối thiểu tổng quát để tính đến điều đó.
Một giả định khác là phương sai của phần dư giữ không đổi qua mọi mức của biến độc lập. Nếu phần dư thể hiện dạng hình phễu khi vẽ so với giá trị khớp, giả định này có khả năng bị vi phạm. Để xử lý, bạn có thể dùng bình phương tối thiểu có trọng số để gán trọng số phù hợp cho các quan sát. Ngoài ra, bạn có thể dùng các phép biến đổi như logarit hoặc căn bậc hai để ổn định phương sai không đồng đều và khắc phục các vấn đề về phương sai thay đổi (heteroscesdasticity).
Như với mọi mô hình hóa, điều quan trọng là cấu trúc mô hình phản ánh mối quan hệ nền tảng giữa các biến. Nếu không, dù độ khớp của bạn tối ưu đến đâu, kết quả vẫn sẽ gây hiểu lầm. Biểu đồ phần dư và các thước đo độ phù hợp như R² có thể giúp bạn xác định liệu mô hình đã chọn có nắm bắt các mẫu trong dữ liệu hay chưa.
Phương pháp bình phương tối thiểu tiêu chuẩn giả định các biến độc lập được đo không có sai số. Vì vậy, điều quan trọng là biết độ chính xác của phép đo biến độc lập của bạn. Bạn nên có ý niệm về độ chính xác này bằng cách xem xét phương pháp thu thập. Nếu tồn tại sai số đo trong biến dự báo, hãy dùng phương pháp bình phương tối thiểu toàn phần để giảm sai lệch trong mô hình hóa.
Cuối cùng, phân phối của sai số phần dư đóng vai trò quan trọng, đặc biệt trong kiểm định giả thuyết và ước lượng khoảng tin cậy. Bình phương tối thiểu giả định sai số tuân theo phân phối chuẩn (Gaussian), và sự lệch khỏi chuẩn có thể ảnh hưởng đến suy luận. Biểu đồ tần suất và Q-Q plot giúp đánh giá liệu phần dư có khớp với phân phối kỳ vọng không. Nếu có độ lệch lớn khỏi chuẩn, các kỹ thuật hồi quy vững hoặc phương pháp bootstrapping có thể cung cấp ước lượng đáng tin cậy hơn, ít nhạy với ngoại lệ.
Ưu và Nhược điểm của Bình phương Tối thiểu
Phương pháp bình phương tối thiểu là một công cụ được dùng rộng rãi trong phân tích dữ liệu. Nhưng điều đó không có nghĩa là nên dùng cho mọi tập dữ liệu.
Phương pháp bình phương tối thiểu có một số ưu điểm. Khá dễ tính toán, đặc biệt với các mô hình tuyến tính. Dễ diễn giải đối với cả đối tượng kỹ thuật và phi kỹ thuật. Thêm vào đó, có nhiều biến thể như hồi quy có trọng số, vững và phi tuyến, khiến nó rất linh hoạt. Và quan trọng là nó có nền tảng lý thuyết vững chắc được cung cấp bởi định lý Gauss-Markov. Tất cả khiến bình phương tối thiểu được áp dụng rộng rãi trong các lĩnh vực từ kinh tế đến kỹ thuật.
Tuy nhiên, phương pháp này nhạy với ngoại lệ, có thể ảnh hưởng không cân xứng đến kết quả mô hình. Nó cũng giả định không có sai số ở các biến dự báo, điều này có thể không đúng với dữ liệu thực tế. Ngoài ra, bình phương tối thiểu có thể bị hạn chế bởi đa cộng tuyến. Nghĩa là các biến dự báo tương quan cao có thể dẫn đến hệ số không ổn định và do đó ước lượng không đáng tin cậy. Nó cũng yêu cầu phương sai phần dư không đổi, một điều kiện không phải lúc nào cũng đáp ứng.
Điều quan trọng là xem xét kỹ tập dữ liệu và mục tiêu của bạn trước khi quyết định rằng phương pháp bình phương tối thiểu là công cụ phù hợp nhất cho hoàn cảnh của bạn.
|
Ưu điểm
|
Nhược điểm
|
|
Dễ tính toán
|
Nhạy với ngoại lệ
|
|
Dễ diễn giải
|
Giả định không có sai số ở biến dự báo
|
|
Khả năng áp dụng rộng
|
Hạn chế khi có đa cộng tuyến
|
|
Nền tảng lý thuyết vững
|
Giả định phương sai không đổi
|
Kết luận
Phương pháp bình phương tối thiểu là công cụ nền tảng cho bất kỳ nhà phân tích dữ liệu nào. Bằng cách tìm đường khớp tốt nhất cho dữ liệu, chúng ta có thể đưa ra dự đoán chính xác hơn và khám phá những xu hướng sâu sắc hơn.
Để đọc thêm về đo lường đường thẳng trong không gian Euclid, tôi khuyến nghị hướng dẫn Understanding Euclidean Distance: From Theory to Practice của chúng tôi. Đồng thời, nhớ đăng ký các khóa học hồi quy để thực sự trở thành chuyên gia.
%22%3E%3Cpath%20d%3D%22m-369%200h408v79h-408z%22%20fill%3D%22%237933ff%22%2F%3E%3Cpath%20d%3D%22m-148%200h306v45h-306z%22%20fill%3D%22%23974dff%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%2F%3E%3C%2FclipPath%3E%3Cg%20clip-path%3D%22url(%23a)%22%3E%3Cpath%20d%3D%22m76%200h484v36h-484z%22%20fill%3D%22%23974dff%22%2F%3E%3Cpath%20d%3D%22m0%200h384v24h-384z%22%20fill%3D%22%2306bdfc%22%20transform%3D%22matrix(1%200%200%20-1%200%2060)%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%3E%0A%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22%23EFEBE4%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23DD3400%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FFEC3C%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-208.588%20220.18)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-208.588%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22220.18%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20-226.525%20189.111)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22347.576%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22-226.525%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22189.111%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23DD3400%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%22106.6%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22456.125%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FFEC3C%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%2085.5879%20256.055)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22184.5%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%2285.5879%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22256.055%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%20%20%3Crect%0A%20%20%20%20%20%20%20%20%20%20fill%3D%22%23FF931E%22%0A%20%20%20%20%20%20%20%20%20%20height%3D%2235.875%22%0A%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-30%20227.432%20132.736)%22%0A%20%20%20%20%20%20%20%20%20%20width%3D%22271.625%22%0A%20%20%20%20%20%20%20%20%20%20x%3D%22227.432%22%0A%20%20%20%20%20%20%20%20%20%20y%3D%22132.736%22%0A%20%20%20%20%20%20%20%20%2F%3E%0A%20%20%20%20%20%20%3C%2Fg%3E%0A%20%20%20%20%20%20%3Cdefs%3E%0A%20%20%20%20%20%20%20%20%3CclipPath%20id%3D%22clip%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Crect%20fill%3D%22white%22%20height%3D%22180%22%20width%3D%22336%22%20%2F%3E%0A%20%20%20%20%20%20%20%20%3C%2FclipPath%3E%0A%20%20%20%20%20%20%3C%2Fdefs%3E%0A%20%20%20%20%3C%2Fsvg%3E)
Hãy tưởng tượng bạn đang cố dự đoán giá nhà dựa trên diện tích sàn. Bạn có các điểm dữ liệu từ những giao dịch gần đây, nhưng chúng không tạo thành một mẫu hoàn hảo. Một số căn bán cao hơn kỳ vọng, số khác bán thấp hơn. Làm sao bạn tìm được đường xu hướng phản ánh mối quan hệ tổng thể giữa kích thước và giá mà không để từng căn riêng lẻ làm lệch dự đoán?
Phương pháp bình phương tối thiểu có thể chính là giải pháp bạn cần. Trong bài viết này, chúng ta sẽ khám phá các khái niệm cốt lõi của phương pháp bình phương tối thiểu, các biến thể và ứng dụng của nó. Kết thúc bài, bạn sẽ nắm vững cách sử dụng phương pháp này và áp dụng vào các bài toán thực tế.
Phương pháp Bình phương Tối thiểu là gì?
Phương pháp bình phương tối thiểu là một kỹ thuật thống kê dùng để xác định đường hoặc đường cong khớp tốt nhất cho một tập hợp điểm dữ liệu. Nó hoạt động bằng cách tối thiểu hóa bình phương chênh lệch giữa các giá trị quan sát và giá trị dự đoán trong một tập dữ liệu. Chênh lệch giữa các điểm dữ liệu thực tế và giá trị do mô hình dự đoán được gọi là phần dư (residual). Mục tiêu là tìm một mô hình tối thiểu hóa tổng bình phương các phần dư này, từ đó cho ra các dự đoán chính xác nhất có thể.
Sơ đồ trên mô tả ngắn gọn các bước của phương pháp bình phương tối thiểu.
Phương pháp này được phát minh bởi Carl Friedrich Gauss khi ông mới 18 tuổi vào năm 1795 (bạn có thể nhận ra tên ông từ phân phối Gaussian). Adrien-Marie Legendre sau đó đã hệ thống hóa kỹ thuật này vào năm 1805 và là người đầu tiên viết một bài báo sử dụng phương pháp bình phương tối thiểu để tái tạo quỹ đạo của một tiểu hành tinh.
Phương pháp Bình phương Tối thiểu hoạt động thế nào
Phương pháp bình phương tối thiểu tìm đường thẳng khớp tốt nhất với một tập điểm bằng cách tối thiểu hóa tổng bình phương chênh lệch giữa các giá trị quan sát và giá trị dự đoán. Điều này được dùng để tìm các tham số mô hình có độ khớp gần nhất có thể.
Hãy thử với một tập dữ liệu cực nhỏ: chỉ 10 điểm. Trước hết, ta cần chọn một mô hình để khớp dữ liệu. Với ví dụ đơn giản này, ta chọn hồi quy tuyến tính đơn, nghĩa là ta thực hiện hồi quy với đúng một biến độc lập và một biến phụ thuộc.
Biểu đồ trên vẽ tập dữ liệu nhỏ của chúng ta, với đường hồi quy tuyến tính chồng lên. Các đường chấm vàng nối điểm dữ liệu với đường dự đoán là phần dư. Mục tiêu là tìm mô hình hồi quy tuyến tính tối thiểu hóa các đường phần dư chấm vàng này.
Với mỗi điểm dữ liệu trong tập, ta cần tìm chênh lệch theo trục y giữa điểm và đường thẳng. Đó sẽ là phần dư của ta. Sau đó ta bình phương mỗi phần dư để loại bỏ các giá trị âm và lấy tổng. Điều này cho ta cảm nhận mức độ đường thẳng khớp dữ liệu tốt đến đâu. Xem bảng dưới để phân tích cho biểu đồ cụ thể của chúng ta.
Tung độ X
Tung độ Y quan sát (Điểm dữ liệu)
Tung độ Y dự đoán (Đường)
Phần dư (Quan sát - Dự đoán)
Bình phương phần dư
0
2.5
2.0
0.5
0.25
1
3.1
2.3
0.8
0.64
2
1.8
2.6
-0.8
0.64
3
3.5
2.9
0.6
0.36
4
2.2
3.2
-1.0
1.0
5
4.0
3.5
0.5
0.25
6
3.8
3.8
0.0
0.0
7
5.0
4.1
0.9
0.81
8
4.5
4.4
0.1
0.01
9
5.2
4.7
0.5
0.25
Tổng bình phương phần dư
4.21
Giờ khi đã có ấn tượng về mức độ đường thẳng này khớp dữ liệu, ta có thể tinh chỉnh các tham số của đường, hoặc hệ số góc hoặc điểm cắt trục, rồi tính lại. Đường có tổng bình phương phần dư nhỏ nhất là đường khớp dữ liệu tốt nhất. Do đó, đường đó sẽ cho dự đoán tốt nhất.
Dùng phương pháp bình phương tối thiểu để tìm đường tốt nhất
Trong ví dụ trên, ta chưa tìm đường khớp tốt nhất. Thay vào đó ta chỉ tính xem đường đó khớp dữ liệu đến đâu. Bây giờ ta có thể lặp qua nhiều đường tiềm năng và thực hiện cùng phép tính để tìm đường khớp nhất. Hoặc ta có thể dùng một chút đại số để tìm nhanh hơn. Hãy thử cách đó.
Ta bắt đầu với phương trình của hồi quy tuyến tính: y=mx+b, trong đó b là tung độ gốc và m là hệ số góc. Giờ hãy đặt một số dữ liệu.
Tung độ X
Tung độ Y
0
2.5
1
3.1
2
1.8
3
3.5
4
2.2
5
4.0
6
3.8
7
5.0
8
4.5
9
5.2
Đầu tiên, ta cần tính giá trị trung bình của X và Y. Những giá trị này sẽ đóng vai trò là giá trị dự đoán của ta:
Tiếp theo, ta có thể dùng tổng bình phương phần dư giữa mỗi điểm dữ liệu và giá trị dự đoán (trung bình) để tìm hệ số góc. Đây là phương trình ta sẽ dùng:
Vì đây là một phương trình khá cồng kềnh để tính tay, ta sẽ tính tử số và mẫu số riêng rẽ. Bắt đầu với tử số:
xi
yi
xi - xmean
yi - ymean
(xi - xmean)(yi -ymean)
0
2.5
-4.5
-1.06
4.77
1
3.1
-3.5
-0.46
1.61
2
1.8
-2.5
-1.76
4.40
3
3.5
-1.5
-0.06
0.09
4
2.2
-0.5
-1.36
0.68
5
4.0
0.5
0.44
0.22
6
3.8
1.5
0.24
0.36
7
5.0
2.5
1.44
3.60
8
4.5
3.5
0.94
3.29
9
5.2
4.5
1.64
7.38
Tổng (xi - xmean)(yi - ymean)
26.4
Giờ hãy làm tương tự cho mẫu số:
xi
xi - xmean
(xi - xmean)2
0
-4.5
20.25
1
-3.5
12.25
2
-2.5
6.25
3
-1.5
2.25
4
-0.5
0.25
5
0.5
0.25
6
1.5
2.25
7
2.5
6.25
8
3.5
12.25
9
4.5
20.25
Tổng (xi - xmean)2
82.50
Giờ ta có thể tính hệ số góc cho đường khớp tốt nhất.
Vậy là ta đã biết hệ số góc của đường thẳng khớp dữ liệu tốt nhất. Tiếp theo, ta cần tìm tung độ gốc. Công thức cho hệ số chặn b khá dễ tìm bằng một chút biến đổi đại số:
Vì ta đã biết hệ số góc, chỉ cần thế giá trị trung bình x và y vào và giải b.
Giờ khi đã có cả m và b, ta có thể viết phương trình của đường khớp tốt nhất:
Phương pháp bình phương tối thiểu cho phép ta suy ra nhanh chóng và dễ dàng đường hồi quy tuyến tính tối ưu, thậm chí làm tay! Rõ ràng dữ liệu càng nhiều, làm tay càng khó. May mắn là vì toán học khá thẳng thắn, việc triển khai phương pháp này trong Python hoặc R rất đơn giản. Để có giải thích chi tiết về cách làm, hãy xem Essentials of Linear Regression in Python và How to Do Linear Regression in R.
Nền tảng toán học của phương pháp bình phương tối thiểu
Ở trên, ta dùng ví dụ hồi quy tuyến tính đơn và tìm hệ số góc cùng tung độ gốc bằng các phương trình dạng đóng gọn đẹp, và ta mô hình hóa biến phụ thuộc như một hàm của biến độc lập: y=mx+b.
Tuy nhiên, các phương trình tôi nêu trên chỉ hoạt động khi bạn có một biến độc lập. Một cách khác để tìm các hệ số cho hồi quy là dùng cái gọi là phương trình chuẩn (normal equation), cung cấp lời giải dựa trên ma trận cho bài toán bình phương tối thiểu. Phương trình chuẩn đề cập đến phương trình ma trận thu được khi tối thiểu hóa tổng bình phương phần dư bằng phương pháp bình phương tối thiểu. Về mặt hình học và dùng ngôn ngữ đại số tuyến tính, nghiệm bình phương tối thiểu có thể hình dung như phép chiếu vuông góc của vectơ dữ liệu quan sát lên không gian cột của ma trận mô hình. Nói đơn giản, điều này nghĩa là sai số được tối thiểu theo cách đảm bảo các giá trị dự đoán nằm gần nhất có thể với dữ liệu quan sát, trong các ràng buộc của mô hình.
Trong các trường hợp ma trận không khả nghịch (nghĩa là hệ phương trình không có nghiệm duy nhất), giả nghịch đảo Moore-Penrose cung cấp cách tính nghiệm bình phương tối thiểu. Điều này cho phép ta linh hoạt xử lý các tình huống hệ phương trình thiếu xác định (nhiều ẩn hơn phương trình) hoặc thừa xác định (nhiều phương trình hơn ẩn).
Nếu bạn cần ôn tập đại số ma trận, tôi khuyến nghị khóa Linear Algebra for Data Science in R.
Các loại Phương pháp Bình phương Tối thiểu
Cho đến giờ, ta mới chỉ nói về việc sử dụng phương pháp bình phương tối thiểu với ước lượng bình phương tối thiểu thông thường. Tuy nhiên, đây là một công cụ linh hoạt có thể thích ứng với nhiều kịch bản tùy theo bản chất vấn đề bạn đang giải quyết. Hãy cùng khám phá một vài loại phương pháp bình phương tối thiểu, điều gì khiến chúng khác biệt và các ứng dụng thực tế.
Bình phương tối thiểu tuyến tính
Đến thời điểm này, bạn hẳn đã khá quen với bình phương tối thiểu tuyến tính (cũng được gọi là bình phương tối thiểu thông thường). Nó được dùng với các mô hình có hệ số tuyến tính, như trong hồi quy tuyến tính đơn hoặc hồi quy tuyến tính bội multiple linear regression. Mục tiêu là tìm đường thẳng (hoặc siêu phẳng, trong trường hợp hồi quy tuyến tính bội) tối thiểu hóa tổng bình phương phần dư.
Kiểu bình phương tối thiểu này giả định phần dư có phương sai không đổi và không có ngoại lệ (outlier) đáng kể trong dữ liệu. Nó có thể áp dụng cho hầu hết những gì có mối quan hệ tuyến tính. Ví dụ, bạn có thể dùng cho mối quan hệ giữa thời gian thai kỳ và cân nặng sơ sinh hoặc giữa chi tiêu quảng cáo và doanh thu. Đây là kiểu bình phương tối thiểu tôi thường dùng nhất và cũng thường nghe người khác nhắc đến nhất.
Bình phương tối thiểu có trọng số
Bình phương tối thiểu có trọng số là phần mở rộng hoạt động khi phương sai của phần dư không hằng. Bằng cách gán trọng số cho mỗi điểm dữ liệu, phương pháp này ưu tiên hơn cho các quan sát có phương sai thấp. Phương trình tương tự tổng bình phương trước đây, nhưng có một trọng số (wi) áp cho từng phần dư:
Phương pháp này hữu ích cho các tập dữ liệu mà sai số đo lường thay đổi giữa các quan sát, ví dụ khi hiệu chuẩn cảm biến. Trọng số thường là nghịch đảo của phương sai cho mỗi quan sát.
Bình phương tối thiểu vững (robust)
Bình phương tối thiểu vững được thiết kế để xử lý các tập dữ liệu có ngoại lệ có thể ảnh hưởng không tương xứng tới kết quả của bình phương tối thiểu thông thường. Nó dùng các kỹ thuật tái trọng số lặp để giảm tác động của ngoại lệ.
Trong bình phương tối thiểu vững, bạn có thể dùng các phương pháp như least absolute residuals (LAR) hoặc trọng số bisquare để điều chỉnh trọng số lặp và giảm ảnh hưởng của ngoại lệ.
Ví dụ khi bạn có thể dùng phương pháp này là trong mô hình tài chính, nơi bạn muốn tính đến các cú sụp đổ thị trường cực đoan. Nếu bạn có tập dữ liệu mà bạn không muốn loại bỏ ngoại lệ, nhưng vẫn muốn tính đến chúng, bình phương tối thiểu vững có thể là con đường phù hợp.
Bình phương tối thiểu phi tuyến
Bình phương tối thiểu không chỉ dùng cho hồi quy tuyến tính. Bình phương tối thiểu phi tuyến được dùng khi mô hình bạn áp dụng là phi tuyến theo các hệ số. Điều này phức tạp hơn bình phương tối thiểu tuyến tính và có thể cần các kỹ thuật tối ưu lặp (như Gauss–Newton hoặc Levenberg–Marquardt) để tìm khớp tốt nhất.
Cần thận trọng với bình phương tối thiểu phi tuyến. Phép tính có thể nhạy với ước lượng tham số ban đầu cũng như các vấn đề hội tụ. Ví dụ dùng bao gồm mô hình hóa tăng trưởng theo hàm mũ của virus trong cơ thể khi nhiễm bệnh hoặc mô hình hóa tốc độ phản ứng hóa học trong phòng thí nghiệm.
Bình phương tối thiểu toàn phần
Cho đến giờ, ta chủ yếu nói về các trường hợp chỉ biến phụ thuộc có sai số. Và ta đã tối thiểu hóa khoảng cách thẳng đứng giữa mô hình và dữ liệu. Nhưng nếu cả các phép đo biến độc lập cũng có sai số thì sao?
Bình phương tối thiểu toàn phần hữu ích khi cả biến độc lập và biến phụ thuộc đều có sai số đo lường. Phương pháp này tính đến sai số ở tất cả các biến. Điều này đặc biệt hữu ích trong các lĩnh vực như thiên văn học và trắc địa (lĩnh vực đo đạc hình dạng Trái Đất và trường hấp dẫn), nơi sai số đo tồn tại ở mọi chiều do yêu cầu độ chính xác rất cao. Bình phương tối thiểu toàn phần thường được dùng cùng với phân rã giá trị kỳ dị.
Bình phương tối thiểu tổng quát
Bình phương tối thiểu tổng quát là phần mở rộng của phương pháp bình phương tối thiểu để giải quyết thách thức do phần dư có tương quan. Với bình phương tối thiểu tổng quát, ta biến đổi dữ liệu về dạng có thể áp dụng bình phương tối thiểu thông thường. Phép biến đổi này sử dụng ma trận hiệp phương sai của phần dư để tính đến cấu trúc tương quan của chúng, cho phép ước lượng tham số chính xác hơn.
Điều này đặc biệt hữu ích trong các tình huống như phân tích chuỗi thời gian, nơi phần dư có thể thể hiện tự tương quan.
Ứng dụng của Phương pháp Bình phương Tối thiểu
Phương pháp bình phương tối thiểu là một kỹ thuật thống kê được sử dụng rộng rãi với ứng dụng trên nhiều lĩnh vực.
Trong thống kê và khoa học dữ liệu, bình phương tối thiểu được dùng để xây dựng các mô hình hồi quy tuyến tính và phi tuyến nhằm dự đoán dựa trên các đầu vào đã biết. Nó cũng hữu ích trong phân tích xu hướng, đặc biệt với dữ liệu chuỗi thời gian.
Trong tài chính, bình phương tối thiểu được dùng trong phân tích hiệu suất cổ phiếu, giúp xác định mối quan hệ giữa hiệu suất của một cổ phiếu và các chỉ số thị trường. Ví dụ, nó có thể dùng để tính độ nhạy của một cổ phiếu với biến động thị trường. Nó cũng hỗ trợ mô hình hóa rủi ro bằng cách khớp các mô hình với dữ liệu tài chính lịch sử để ước tính rủi ro và lợi nhuận.
Kỹ sư sử dụng bình phương tối thiểu trong hiệu chuẩn cảm biến để khớp mô hình với dữ liệu quan sát và giảm thiểu sai số đo lường. Nó cũng được áp dụng trong xử lý tín hiệu cho việc lọc và giảm nhiễu, giúp diễn giải dữ liệu rõ ràng hơn.
Dĩ nhiên, bình phương tối thiểu khởi nguồn từ thiên văn học; lần đầu được Carl Friedrich Gauss dùng để dự đoán quỹ đạo của tiểu hành tinh Ceres. Nó cũng được dùng trong trắc địa để mô hình hóa hình dạng Trái Đất dựa trên dữ liệu quan sát, điều thiết yếu cho các đo đạc địa lý chính xác.
Nếu bạn từng thử sức với học máy, bạn sẽ nhận ra phương pháp bình phương tối thiểu như một cách tối thiểu hóa hàm mất mát trong quá trình huấn luyện các mô hình hồi quy tuyến tính. Bạn cũng có thể đã dùng nó trong lựa chọn đặc trưng để xác định các biến quan trọng nhất đóng góp vào mô hình.
Nó cũng có vai trò trong nhiều ngành khoa học tự nhiên khác như vật lý và hóa học. Có thể dùng để khớp đường cong với dữ liệu thực nghiệm, như tốc độ phản ứng hoặc đo đạc vật lý, và giúp giảm thiểu sai số trong bố trí thí nghiệm.
Phương pháp bình phương tối thiểu là một công cụ thống kê đa năng. Cá nhân tôi đã dùng phương pháp này để hiệu chuẩn cảm biến áp suất, đưa ra dự đoán dựa trên dữ liệu thí nghiệm của mình, và trong quá trình huấn luyện học máy. Khả năng mô hình hóa mối quan hệ một cách tin cậy và tối thiểu hóa sai số là một đặc trưng mang lại giá trị cho nhiều ngành khác nhau.
Giả định và Chẩn đoán
Phương pháp bình phương tối thiểu đưa ra một số giả định then chốt về dữ liệu và mô hình đang dùng. Việc hiểu các giả định này là quan trọng, vì vi phạm chúng có thể dẫn đến kết quả sai lệch hoặc không đáng tin cậy. Vậy nên, hãy bàn về các giả định này cũng như cách chẩn đoán và khắc phục các vấn đề tiềm ẩn.
Một giả định là tính độc lập của sai số, nghĩa là các phần dư không nên tương quan. Nếu sai số tương quan với nhau, đặc biệt trong dữ liệu tuần tự hoặc không gian, các ước lượng có thể bị méo. Kiểm định Durbin-Watson có thể phát hiện tự tương quan trong phần dư, đặc biệt với các tập dữ liệu phụ thuộc thời gian. Nếu bạn phát hiện tương quan, bạn có thể dùng bình phương tối thiểu tổng quát để tính đến điều đó.
Một giả định khác là phương sai của phần dư giữ không đổi qua mọi mức của biến độc lập. Nếu phần dư thể hiện dạng hình phễu khi vẽ so với giá trị khớp, giả định này có khả năng bị vi phạm. Để xử lý, bạn có thể dùng bình phương tối thiểu có trọng số để gán trọng số phù hợp cho các quan sát. Ngoài ra, bạn có thể dùng các phép biến đổi như logarit hoặc căn bậc hai để ổn định phương sai không đồng đều và khắc phục các vấn đề về phương sai thay đổi (heteroscesdasticity).
Như với mọi mô hình hóa, điều quan trọng là cấu trúc mô hình phản ánh mối quan hệ nền tảng giữa các biến. Nếu không, dù độ khớp của bạn tối ưu đến đâu, kết quả vẫn sẽ gây hiểu lầm. Biểu đồ phần dư và các thước đo độ phù hợp như R² có thể giúp bạn xác định liệu mô hình đã chọn có nắm bắt các mẫu trong dữ liệu hay chưa.
Phương pháp bình phương tối thiểu tiêu chuẩn giả định các biến độc lập được đo không có sai số. Vì vậy, điều quan trọng là biết độ chính xác của phép đo biến độc lập của bạn. Bạn nên có ý niệm về độ chính xác này bằng cách xem xét phương pháp thu thập. Nếu tồn tại sai số đo trong biến dự báo, hãy dùng phương pháp bình phương tối thiểu toàn phần để giảm sai lệch trong mô hình hóa.
Cuối cùng, phân phối của sai số phần dư đóng vai trò quan trọng, đặc biệt trong kiểm định giả thuyết và ước lượng khoảng tin cậy. Bình phương tối thiểu giả định sai số tuân theo phân phối chuẩn (Gaussian), và sự lệch khỏi chuẩn có thể ảnh hưởng đến suy luận. Biểu đồ tần suất và Q-Q plot giúp đánh giá liệu phần dư có khớp với phân phối kỳ vọng không. Nếu có độ lệch lớn khỏi chuẩn, các kỹ thuật hồi quy vững hoặc phương pháp bootstrapping có thể cung cấp ước lượng đáng tin cậy hơn, ít nhạy với ngoại lệ.
Ưu và Nhược điểm của Bình phương Tối thiểu
Phương pháp bình phương tối thiểu là một công cụ được dùng rộng rãi trong phân tích dữ liệu. Nhưng điều đó không có nghĩa là nên dùng cho mọi tập dữ liệu.
Phương pháp bình phương tối thiểu có một số ưu điểm. Khá dễ tính toán, đặc biệt với các mô hình tuyến tính. Dễ diễn giải đối với cả đối tượng kỹ thuật và phi kỹ thuật. Thêm vào đó, có nhiều biến thể như hồi quy có trọng số, vững và phi tuyến, khiến nó rất linh hoạt. Và quan trọng là nó có nền tảng lý thuyết vững chắc được cung cấp bởi định lý Gauss-Markov. Tất cả khiến bình phương tối thiểu được áp dụng rộng rãi trong các lĩnh vực từ kinh tế đến kỹ thuật.
Tuy nhiên, phương pháp này nhạy với ngoại lệ, có thể ảnh hưởng không cân xứng đến kết quả mô hình. Nó cũng giả định không có sai số ở các biến dự báo, điều này có thể không đúng với dữ liệu thực tế. Ngoài ra, bình phương tối thiểu có thể bị hạn chế bởi đa cộng tuyến. Nghĩa là các biến dự báo tương quan cao có thể dẫn đến hệ số không ổn định và do đó ước lượng không đáng tin cậy. Nó cũng yêu cầu phương sai phần dư không đổi, một điều kiện không phải lúc nào cũng đáp ứng.
Điều quan trọng là xem xét kỹ tập dữ liệu và mục tiêu của bạn trước khi quyết định rằng phương pháp bình phương tối thiểu là công cụ phù hợp nhất cho hoàn cảnh của bạn.
Ưu điểm
Nhược điểm
Dễ tính toán
Nhạy với ngoại lệ
Dễ diễn giải
Giả định không có sai số ở biến dự báo
Khả năng áp dụng rộng
Hạn chế khi có đa cộng tuyến
Nền tảng lý thuyết vững
Giả định phương sai không đổi
Kết luận
Phương pháp bình phương tối thiểu là công cụ nền tảng cho bất kỳ nhà phân tích dữ liệu nào. Bằng cách tìm đường khớp tốt nhất cho dữ liệu, chúng ta có thể đưa ra dự đoán chính xác hơn và khám phá những xu hướng sâu sắc hơn.
Để đọc thêm về đo lường đường thẳng trong không gian Euclid, tôi khuyến nghị hướng dẫn Understanding Euclidean Distance: From Theory to Practice của chúng tôi. Đồng thời, nhớ đăng ký các khóa học hồi quy để thực sự trở thành chuyên gia.