Tổng bình phương là gì: Hướng dẫn về SST, SSR và SSE

Tổng bình phương là một thước đo thống kê phức tạp, đóng vai trò thiết yếu trong phân tích hồi quy. Nó mô tả mức độ biến thiên của biến phụ thuộc và có thể được phân rã thành ba thành phần—tổng bình phương tổng (SST), tổng bình phương hồi quy (SSR) và tổng bình phương sai số (SSE)—những thành phần này cùng nhau giúp đánh giá hiệu suất của mô hình hồi quy.

Trong bài viết này, chúng ta sẽ thảo luận về ba thành phần của tổng bình phương, cũng như hệ số xác định R-squared. Trước tiên, chúng ta sẽ lần lượt điểm qua từng tổng bình phương. Tiếp theo, chúng ta sẽ xem xét mối quan hệ toán học giữa chúng. Cuối cùng, chúng ta sẽ khám phá mối liên hệ giữa SST, SSR, SSE với R-squared, một chỉ số then chốt để đánh giá mô hình.

SST, SSR và SSE là gì?

Hãy bắt đầu bằng cách định nghĩa SST, SSR và SSE là gì, cách mỗi thước đo phản ánh tổng mức biến thiên và cách từng thước đo giúp đánh giá độ phù hợp của mô hình hồi quy. Ngoài ra, chúng ta sẽ xem mỗi tổng bình phương thể hiện như thế nào trên một hồi quy tuyến tính đơn giản với một biến phụ thuộc và một biến độc lập.

Nếu trong lúc xem lại các định nghĩa, bạn muốn ôn thống kê mà không cần viết mã, hãy xem khóa học Introduction to Statistics. Với các khóa nhập môn thống kê gắn với công nghệ cụ thể, chúng tôi có các lựa chọn như Introduction to Statistics in Google Sheets, Introduction to Statistics in Python và Introduction to Statistics in R.

Tổng bình phương tổng (SST)

Tổng bình phương tổng (SST) là tổng các bình phương sai khác giữa từng giá trị của biến phụ thuộc quan sát được và giá trị trung bình của biến đó. Nó còn được gọi là tổng bình phương toàn phần (TSS). 

Tổng bình phương tổng biểu thị tổng mức biến thiên của biến phụ thuộc, bao gồm cả phần biến thiên được mô hình hồi quy giải thích và phần không được giải thích. Về bản chất, SST phản ánh độ phân tán tổng thể của các giá trị riêng lẻ của biến phụ thuộc quan sát được so với giá trị trung bình của nó.

Dưới đây là công thức toán học để tính SST:

trong đó:

• y_i là giá trị của biến phụ thuộc quan sát được cho mỗi điểm dữ liệu n.
• ȳ là giá trị trung bình của biến phụ thuộc quan sát được.

Biểu đồ dưới đây cho hồi quy tuyến tính đơn giản minh họa trực quan ý nghĩa của công thức trên:

Tính tổng bình phương tổng cho hồi quy tuyến tính đơn giản. Hình minh họa của Tác giả

Như có thể thấy, các khoảng cách (đoạn màu đỏ trên biểu đồ) giữa giá trị trung bình (đường gạch xám) của biến phụ thuộc quan sát được và từng giá trị (các chấm xám) của biến đó được đo, bình phương và cộng lại. Ngoài ra, biểu đồ này cho thấy rõ SST không phụ thuộc vào mô hình hồi quy; nó chỉ phụ thuộc vào các giá trị y quan sát được và trung bình của biến phụ thuộc quan sát được.

Tổng bình phương hồi quy (SSR)

Tổng bình phương hồi quy (SSR) là tổng các bình phương sai khác giữa từng giá trị của biến phụ thuộc được mô hình hồi quy dự đoán cho mỗi điểm dữ liệu của biến độc lập và giá trị trung bình của biến phụ thuộc quan sát được. Các thuật ngữ khác cho thước đo này gồm: tổng bình phương hồi quy, tổng bình phương do hồi quy, và tổng bình phương giải thích. Thậm chí còn có một chữ viết tắt khác—ESS. 

Tổng bình phương hồi quy nắm bắt phần biến thiên tổng trong biến phụ thuộc được mô hình hồi quy giải thích (do đó có thuật ngữ thay thế là tổng bình phương giải thích). Ta cũng có thể coi đây là phần sai số được giảm nhờ mô hình hồi quy.

Để tính SSR, chúng ta dùng công thức sau:

trong đó:

• y_i là giá trị của biến phụ thuộc được mô hình hồi quy dự đoán cho mỗi điểm dữ liệu n của biến độc lập,
• ȳ là giá trị trung bình của biến phụ thuộc quan sát được.

Chúng ta có thể minh họa công thức này trên biểu đồ hồi quy tuyến tính đơn giản sau:

Tính tổng bình phương hồi quy cho hồi quy tuyến tính đơn giản. Hình minh họa của Tác giả

Nói một cách đơn giản, các khoảng cách (đoạn màu xanh lá trên biểu đồ) giữa giá trị trung bình (đường gạch xám) của biến phụ thuộc quan sát được và từng giá trị của biến phụ thuộc do mô hình hồi quy dự đoán (đường màu xanh dương) cho mỗi điểm dữ liệu của biến độc lập được đo, bình phương và cộng lại.

Trong phân tích hồi quy, SSR góp phần đo lường độ phù hợp của mô hình bằng cách giúp xác định mô hình dự đoán các điểm dữ liệu tốt đến đâu. Chúng ta sẽ thấy rõ hơn điều này ở phần sau khi bàn về mối quan hệ giữa ba thước đo của tổng bình phương.

Tổng bình phương sai số (SSE)

Tổng bình phương sai số (SSE) là tổng các bình phương sai khác giữa từng giá trị của biến phụ thuộc quan sát được và giá trị của biến phụ thuộc được mô hình hồi quy dự đoán cho cùng một điểm dữ liệu của biến độc lập. Nói cách khác, thước đo này đo lường chênh lệch giữa giá trị thực tế và giá trị dự đoán của biến phụ thuộc. 

Tổng bình phương sai số còn được gọi là tổng bình phương lỗi, tổng bình phương phần dư, hoặc tổng bình phương không giải thích được. Ngoài chữ viết tắt SSE, đôi khi còn viết là RSS, ESS, thậm chí SSR—trường hợp cuối dễ nhầm với SSR đã nói ở trên là tổng bình phương hồi quy.

Tổng bình phương sai số phản ánh phần sai số còn lại, hay biến thiên không giải thích được, tức phần biến thiên tổng trong biến phụ thuộc mà mô hình hồi quy không thể giải thích (vì vậy còn được gọi là tổng bình phương không giải thích được).

Chúng ta có thể dùng công thức sau để tính SSE:

trong đó:

• y_i là giá trị thực tế của biến phụ thuộc cho mỗi điểm dữ liệu n của biến độc lập.
• ŷ là giá trị dự đoán của biến phụ thuộc cho mỗi điểm dữ liệu n của biến độc lập.

Về mặt trực quan, công thức này có thể được biểu diễn như sau:

Tính tổng bình phương sai số cho hồi quy tuyến tính đơn giản. Hình minh họa của Tác giả

Ở đây, các khoảng cách (đoạn màu vàng trên biểu đồ) cho từng cặp giá trị thực tế - dự đoán của biến phụ thuộc được đo, bình phương và cộng lại.

Trong phân tích hồi quy, tối thiểu hóa SSE là chìa khóa để cải thiện độ chính xác của mô hình hồi quy, và chúng ta sẽ xây dựng trực giác quanh điều này ở chương tiếp theo.

Chúng tôi cũng có bộ hướng dẫn theo công nghệ để giúp bạn trang bị kỹ năng xây dựng các mô hình hồi quy tuyến tính và logistic đơn giản, bao gồm Essentials of Linear Regression in Python, How to Do Linear Regression in R và Linear Regression in Excel: A Comprehensive Guide For Beginners.

Mối quan hệ toán học giữa SST, SSR và SSE

Mối quan hệ toán học giữa SST, SSR và SSE được biểu diễn bởi công thức sau:

Trước đó, chúng ta đã đề cập rằng tổng mức biến thiên (SST) bao gồm cả biến thiên được giải thích (SSR) và biến thiên không giải thích được (SSE), điều này được phản ánh trong công thức trên.

Như đã thấy, SST không phụ thuộc vào mô hình hồi quy, trong khi hai thước đo còn lại thì có. Điều này có nghĩa là cải thiện độ chính xác của mô hình liên quan đến thay đổi ở SSR hoặc SSE—đặc biệt là bằng cách tối thiểu hóa SSE và do đó tối đa hóa SSR. Từ công thức trên, có thể nói SSE càng nhỏ thì SSR càng tiến gần SST; do đó, mô hình hồi quy càng phù hợp với các giá trị quan sát của biến phụ thuộc. 

Nếu SSE bằng 0, SSR sẽ trùng với SST, nghĩa là mọi giá trị quan sát của biến phụ thuộc đều được mô hình hồi quy giải thích hoàn hảo, tức tất cả nằm chính xác trên đường hồi quy. Trong thực tế, điều này sẽ không xảy ra, nhưng chúng ta nên hướng tới việc giảm SSE để có mô hình hồi quy đáng tin cậy hơn.

Diễn giải hình học

Vì SST đại diện cho tổng biến thiên trong dữ liệu, khi ta khớp một mô hình hồi quy, ta phân rã tổng biến thiên này thành hai phần: SSR và SSE. Sự phân rã này thú vị về mặt hình học vì nó phản ánh định lý Pythagoras trong không gian nhiều chiều. Lý do là tổng biến thiên được tách thành hai thành phần trực giao: biến thiên được mô hình giải thích và sai số không giải thích được. Diễn giải này hợp lý vì hồi quy về bản chất là phép chiếu dữ liệu lên không gian có số chiều thấp hơn, là không gian do các biến dự báo của chúng ta sinh ra. Hãy tham gia khóa Linear Algebra for Data Science in R để tìm hiểu thêm về các khái niệm như không gian con.

Khi SST không bằng SSR + SSE

Trong hồi quy ridge và lasso, sự phân rã SST thành SSR và SSE không tuân theo cùng mối quan hệ. Nguyên nhân là cả ridge và lasso đều thêm các hạng điều chuẩn, hay hình phạt, vào hàm chi phí tương ứng, làm thay đổi mối quan hệ. Với các phiên bản hồi quy có điều chuẩn, SST vẫn được xác định rõ, nhưng biến thiên giải thích được và biến thiên phần dư không còn cộng lại thành SST do có hạng điều chuẩn. Đọc Regularization in R Tutorial: Ridge, Lasso and Elastic Net để biết thêm.

Tổng bình phương và R-Squared

R-squared, còn gọi là hệ số xác định, là một thước đo thống kê quan trọng để đánh giá chất lượng độ phù hợp của mô hình hồi quy và vì thế, sức mạnh dự báo của nó. Nó biểu thị tỷ lệ biến thiên của biến phụ thuộc có thể được biến độc lập giải thích. R-squared có thể được tính bằng cách bình phương hệ số tương quan r, và cũng có thể tính theo công thức sau:

Hoặc, tương đương:

Xét mối quan hệ giữa SST, SSR và SSE, công thức trên có thể được viết lại như sau:

Giá trị R-squared có thể từ 0 đến 1, bao gồm cả hai đầu. Nếu R² = 0, nghĩa là mô hình hồi quy của chúng ta không giải thích được bất kỳ phần nào của biến thiên trong biến phụ thuộc. Ngược lại, nếu R² = 1, nghĩa là mô hình hồi quy giải thích hoàn hảo toàn bộ biến thiên trong biến phụ thuộc. Trên thực tế, hầu như không gặp các giá trị cực đoan này—trong các tình huống thực tế, chúng ta sẽ thấy giá trị nằm ở khoảng giữa.

Các mô hình hồi quy với giá trị R-squared cao (trái) và thấp (phải). Nguồn: Kaggle Number of Books Read và Kaggle Possum Regression. Hình minh họa của Tác giả.

Giá trị R-squared cao cho thấy mô hình hoạt động tốt, nghĩa là biến phụ thuộc có thể được dự đoán từ biến độc lập với độ chính xác cao. Tuy nhiên, không có quy tắc chung cho việc giá trị R-squared bao nhiêu là đủ tốt. Điều này phụ thuộc vào từng trường hợp cụ thể, yêu cầu về độ chính xác của mô hình hồi quy và mức độ biến thiên kỳ vọng trong dữ liệu. Thường thì cũng phụ thuộc vào lĩnh vực mà phân tích hồi quy liên quan. Ví dụ, trong các ngành khoa học tự nhiên, chúng ta sẽ hướng tới giá trị R-squared lớn hơn 0,8, trong khi ở khoa học xã hội, giá trị 0,3 có thể đã đủ tốt. 

Cuối cùng, cần nói rằng với hồi quy tuyến tính bội, tức hồi quy có nhiều hơn một biến độc lập, chúng ta thường xem xét adjusted R-squared, là phần mở rộng của R-squared có tính đến số lượng biến dự báo và kích thước mẫu.

Kết luận

Ngày nay, chúng ta có thể dễ dàng và nhanh chóng tính SST, SSR và SSE trong hầu hết phần mềm thống kê và ngôn ngữ lập trình, nhưng vẫn rất đáng để thực sự hiểu ý nghĩa của chúng, mối liên hệ giữa chúng và đặc biệt là tầm quan trọng của chúng trong phân tích hồi quy. Hiểu mối quan hệ giữa ba thành phần của biến thiên và R-squared giúp các nhà phân tích dữ liệu và nhà khoa học dữ liệu cải thiện hiệu suất mô hình bằng cách giảm SSE đồng thời tăng SSR, từ đó có thể đưa ra quyết định sáng suốt về các mô hình hồi quy của mình.

Để xây dựng nền tảng vững chắc về thống kê và học các kỹ thuật thống kê mạnh mẽ thông qua dữ liệu thực tế, hãy cân nhắc các lộ trình kỹ năng toàn diện, thân thiện với người mới bắt đầu sau: Statistics Fundamentals in Python và Statistics Fundamentals in R. Cuối cùng, nếu bạn quan tâm cách các hệ số hồi quy được tính, hãy xem Normal Equation for Linear Regression Tutorial và QR Decomposition in Machine Learning: A Detailed Guide.