Nghịch lý Simpson: Tránh bị dữ liệu đánh lừa

Tôi từng thấy nghịch lý Simpson rất rối rắm khi lần đầu học ở đại học. Tôi gần như không biết mình đang nhìn gì. Rõ ràng có một xu hướng tổng thể, và câu chuyện có vẻ khá rõ. Nhưng rồi, khi tôi tách các nhóm bên dưới ra, xu hướng lại đảo ngược.

Phản ứng đầu tiên của tôi khi thấy vậy là kiểu: “Chà, chắc là không thể tin thống kê rồi.” Nhưng sau đó tôi đã học thêm, và rất vui được nói rằng tôi lại tin thống kê. Nếu bạn cũng bối rối như tôi trước đây, hãy đọc tiếp, tôi sẽ giúp bạn hiểu chuyện gì đang diễn ra. 

Nghịch lý Simpson là gì?

Một nhà phân tích dữ liệu dày dạn sẽ biết rằng mình cần hoài nghi trước các xu hướng rộng. Bởi vì một giá trị trung bình đơn giản có thể che khuất điều gì đó phức tạp hơn nhưng đúng với dữ liệu. Với nghịch lý Simpson, “điều gì đó” này thật đáng chú ý: Dữ liệu gộp không chỉ làm mờ sự thật, mà còn chỉ tới kết luận hoàn toàn ngược lại.

Nói cách khác, nghịch lý Simpson xảy ra khi một xu hướng xuất hiện trong các nhóm dữ liệu riêng rẽ nhưng biến mất hoặc đảo chiều hoàn toàn khi các nhóm đó được gộp lại. Đây là lời nhắc nhở rõ ràng rằng nhìn bức tranh lớn mà không hiểu các phần cấu thành có thể dẫn tới rắc rối.

Ví dụ về nghịch lý Simpson

Cách tốt nhất là minh họa bằng ví dụ. Tôi sẽ bắt đầu với một trường hợp đơn giản rồi chỉ ra các ví dụ nổi tiếng để bạn tự nghiên cứu. 

Hãy tưởng tượng một nghiên cứu so sánh tỷ lệ thành công của hai loại đất đối với sự sinh trưởng của cây, Đất A và Đất B. Khi xem sinh trưởng của cây theo loại đất, kết quả có vẻ rõ ràng:

• Với cây ở khí hậu mát (Nhóm 1), đất A cho kết quả tốt hơn.
• Với cây ở khí hậu ấm (Nhóm 2), đất A vẫn cho kết quả tốt hơn.

Dựa trên đó, đất A có vẻ là lựa chọn hiển nhiên. Nhưng khi chúng ta gộp toàn bộ dữ liệu, nghịch lý xuất hiện: Hóa ra đất B mới là lựa chọn hiệu quả hơn xét tổng thể.

Nếu bạn chưa tin, tôi sẽ đưa số liệu vào đây:

Sinh trưởng của cây ở khí hậu mát

Ở khí hậu mát, Đất A hỗ trợ tăng trưởng nhanh hơn.

Sinh trưởng của cây ở khí hậu ấm

Ở khí hậu ấm, Đất A vẫn thể hiện tốt hơn, dù chênh lệch nhỏ hơn.

Nhưng khi bạn gộp tất cả cây

Giờ thì ta thấy rằng Đất B tốt hơn xét tổng thể, dù Đất A vượt trội trong cả hai kiểu khí hậu. 

Vậy điều này sao có thể? Câu trả lời là một biến gây nhiễu—một yếu tố ẩn ảnh hưởng cả các nhóm được nghiên cứu và kết quả cuối cùng. Ở đây, khí hậu là biến gây nhiễu. 

Cụ thể, ta nên nói rằng: 

• Đất A được dùng thường xuyên hơn ở khí hậu mát, nơi mọi cây đều tăng trưởng chậm hơn, bất kể loại đất.
• Và Đất B được dùng nhiều hơn ở khí hậu ấm, nơi cây nói chung tăng trưởng nhanh hơn.

Vì vậy, khí hậu ảnh hưởng đến tốc độ tăng trưởng và cũng được phân bổ không đồng đều giữa các nhóm đất.

Những ví dụ kinh điển về nghịch lý Simpson 

Nghịch lý Simpson thường được nghiên cứu qua các trường hợp lịch sử cụ thể cho thấy rất rõ điều gì đang xảy ra.

Một ví dụ nổi tiếng đến từ tuyển sinh của UC Berkeley vào những năm 1970. Ban đầu, dữ liệu gợi ý rằng phụ nữ được nhận với tỷ lệ thấp hơn nam giới. Nhưng khi phân tách theo khoa, hầu hết các khoa lại nhận nữ với tỷ lệ tương đương hoặc cao hơn. Biến gây nhiễu là lựa chọn khoa: phụ nữ nộp vào các khoa cạnh tranh hơn với tỷ lệ trúng tuyển thấp hơn nói chung, trong khi nam giới nộp vào các khoa ít cạnh tranh hơn.

Một trường hợp khác là nghiên cứu năm 1986 về điều trị sỏi thận. Xét tổng thể, một phương pháp ít xâm lấn hơn có vẻ hiệu quả hơn. Nhưng khi tách theo kích thước sỏi, phẫu thuật xâm lấn hơn lại có tỷ lệ thành công cao hơn cho cả sỏi nhỏ và lớn. Biến gây nhiễu ở đây là mức độ nặng: các ca khó hơn được đưa đi phẫu thuật, khiến số liệu tổng thể của phương pháp này trông tệ hơn.

Trong cả hai trường hợp, dữ liệu gộp đưa đến ấn tượng sai. Chỉ sau khi phân tách mọi thứ, sự thật mới lộ rõ.

Điều gì gây ra nghịch lý Simpson?

Trong nghịch lý Simpson, các con số đều đúng cho cả dữ liệu gộp và từng nhóm riêng. Vậy nên không có lỗi toán học nào. Vấn đề nằm ở cách diễn giải. Nó thử thách khả năng giữ cho mọi sự kiện được thấu suốt. 

Để giúp bạn hiểu—và tôi đã nhắc đến một chút trước đó—nghịch lý Simpson xảy ra khi đáp ứng hai điều kiện:

1. Có mặt biến gây nhiễu: Có một yếu tố thứ ba liên quan cả tới biến độc lập và kết quả.
2. Các nhóm mất cân bằng: Trong ví dụ về cây, Đất A được dùng thường xuyên hơn ở khí hậu mát, nơi cây tăng trưởng chậm hơn nói chung. Đất B được dùng nhiều hơn ở khí hậu ấm, nơi tăng trưởng nhanh hơn. Sự mất cân bằng này làm lệch trung bình gộp và gây đảo chiều.

Nên làm gì với nghịch lý Simpson

Đây có lẽ là phần quan trọng nhất: Làm sao bạn tự bảo vệ trong phân tích của mình để nghịch lý Simpson không vô tình xuất hiện, và nếu nó xuất hiện thì bạn phải báo cáo phiên bản nào của sự việc? 

Nên làm gì trước đó

Có lẽ, nghịch lý Simpson được xử lý tốt nhất trước khi nó có cơ hội làm sai lệch kết luận của bạn. Điều đó có nghĩa là hình thành vài thói quen kỷ luật:

• Phân đoạn dữ liệu của bạn: Đừng chỉ dựa vào trung bình cấp cao. Hãy chia dữ liệu thành các nhóm con liên quan như độ tuổi, khu vực, loại sản phẩm, mức độ nặng nhẹ, v.v., và kiểm tra xem xu hướng có giữ nguyên trong các lát cắt đó không.
• Tìm kiếm biến gây nhiễu: Luôn tự hỏi: Còn điều gì có thể ảnh hưởng đến kết quả này? Tìm các yếu tố có thể được phân bổ không đồng đều giữa các nhóm, đặc biệt là những yếu tố bạn biết từ chuyên môn lĩnh vực.
• Nhớ rằng tương quan không phải là quan hệ nhân quả: Chỉ vì một xu hướng xuất hiện ở dữ liệu gộp không có nghĩa nó phản ánh mối quan hệ nhân quả thực. Nghịch lý Simpson thường nổi lên khi một tương quan bề mặt che khuất một hay nhiều mất cân bằng sâu hơn.
• Luôn đòi hỏi bối cảnh: Hãy biết dữ liệu của bạn đến từ đâu và điều gì có thể định hình nó. Phương pháp thu thập, bản chất đối tượng và các tác động bên ngoài đều quan trọng.

Nên làm gì sau khi nó xuất hiện

Nếu nghịch lý Simpson xuất hiện, đừng hoảng. Đây là tín hiệu để bạn soi kỹ hơn:

• Điều tra sự mất cân bằng. Điều gì đang được phân bổ không đồng đều giữa các nhóm? Đó rất có thể là biến gây nhiễu của bạn.
• Báo cáo cả hai góc nhìn, nhưng ưu tiên sự rõ ràng. Có thể trình bày cả kết quả gộp, nhưng hãy giải thích vì sao nó gây hiểu lầm và nhấn mạnh phân tích đã tách nhóm phản ánh đúng mô hình hơn.
• Hãy để mục đích dẫn dắt báo cáo của bạn. Nếu bạn đang đưa ra quyết sách hay thay đổi vận hành, thường bạn sẽ muốn hành động dựa trên hiểu biết cấp nhóm con, không phải bản tóm gộp.

Nếu bạn tự hỏi liệu một phiên bản kết quả nào “tốt hơn” — phiên bản gộp hay đã tách nhóm? Hãy biết rằng không có câu trả lời chung cho mọi trường hợp. Tuy vậy, tôi cho rằng phân tích đã tách nhóm thường đáng tin cậy hơn khi có hiện tượng gây nhiễu. Kết quả đã tách (theo nhóm) thường giàu thông tin hơn vì chúng phản ánh một biến ứng xử thế nào dưới các điều kiện hay ngữ cảnh khác nhau, còn kết quả gộp có thể gây hiểu lầm nếu có biến gây nhiễu ảnh hưởng cả việc phân nhóm lẫn kết quả. Điều quan trọng nhất, theo tôi, là hiểu vì sao có đảo chiều và truyền đạt rõ ràng trong báo cáo của bạn.

Kết luận

Nghịch lý Simpson là một bài học tuyệt vời về nghệ thuật diễn giải dữ liệu. Khả năng vượt lên một con số tổng đánh lừa và tự hỏi, "Mình đang bỏ lỡ điều gì?" là dấu hiệu của một nhà phân tích trưởng thành. Đó là kỹ năng phân biệt người chỉ báo cáo con số với người khai mở insight.

Nếu bạn thấy hứng thú với “lý do” phía sau các sự đảo chiều này (tôi thì có), nghịch lý là cánh cổng tuyệt vời dẫn vào lĩnh vực suy luận nhân quả rộng lớn hơn, khóa học Machine Learning for Business của chúng tôi dạy về các mô hình nhân quả và những nội dung khác. Ngoài ra, hãy đăng ký khóa Foundations of Inference in Python ngay hôm nay như một lựa chọn học tập rất tốt khác.