Tương quan ngụy tạo: Cái bẫy thống kê quan trọng (và cách tránh mắc phải)

Trong thống kê và học máy, một mẫu hình không đồng nghĩa với một câu trả lời.

Có lẽ bạn đã thấy biểu đồ liên hệ giữa doanh số kem và tỷ lệ đuối nước, hoặc biểu đồ kết nối phim của Nicolas Cage với số ca tử vong ở hồ bơi. Chúng thu hút và dễ nhớ, nhưng là ví dụ rõ ràng cho thấy tương quan không đồng nghĩa với quan hệ nhân quả. Đồng thời, chúng bị lạm dụng đến mức bỏ qua lý do vì sao vấn đề này lại quan trọng trong công việc của bạn.

Bạn có thể hiểu tương quan ngụy tạo là mối quan hệ có vẻ như tồn tại giữa hai biến nhưng không bắt nguồn từ bất kỳ liên hệ thực sự nào. Nó xuất hiện do tình cờ hoặc do một biến ẩn mà bạn không theo dõi. Nếu coi đó là thông tin giá trị, bạn sẽ lãng phí thời gian đuổi theo những mẫu hình vô nghĩa và không áp dụng được ngoài đời thực.

Trong bài viết này, tôi sẽ giải thích vì sao tương quan ngụy tạo xảy ra, cách nhận diện và cách tránh đưa ra quyết định dựa trên nó.

Nhưng tương quan là gì? Hãy đọc bài viết Đo lường các mối quan hệ trong dữ liệu để tìm hiểu các hệ số tương quan khác nhau và cách ứng dụng.

Tương quan ngụy tạo là gì?

Tương quan ngụy tạo là mối quan hệ thống kê có vẻ tồn tại giữa hai biến nhưng không do bất kỳ kết nối thực sự nào giữa chúng.

Bản thân giá trị tương quan là có thật. Khi bạn chạy phân tích, bạn nhận được một con số trông có ý nghĩa và hợp lý. Phần tính toán không sai hay bịa đặt, và đó chính là vấn đề.

Điều thiếu ở đây là quan hệ nhân quả.

Không có điều gì ở biến này khiến biến kia xảy ra. Chúng có thể cùng biến động vì những lý do chẳng liên quan đến nhau, hoặc thậm chí chẳng vì lý do nào cả. Sự khác biệt giữa những gì dữ liệu thể hiện và những gì thực sự diễn ra chính là cốt lõi của tương quan ngụy tạo.

Vì sao xảy ra tương quan ngụy tạo

Tương quan ngụy tạo hầu như luôn có thể được giải thích bởi vài cơ chế, và một khi biết cần tìm gì, bạn sẽ không còn tin tưởng tương quan một cách mù quáng.

Biến gây nhiễu

Biến gây nhiễu là biến ẩn ảnh hưởng đến cả hai thứ bạn đang đo lường.

Lấy ví dụ kinh điển về kem và đuối nước. Doanh số kem không gây ra đuối nước. Thời tiết nóng mới là yếu tố dẫn dắt cả hai — nhiều người mua kem hơn, và nhiều người bơi hơn, kéo theo nhiều vụ đuối nước hơn.

Nhiệt độ là biến gây nhiễu ở đây. Nếu dữ liệu của bạn không theo dõi nó, rất dễ bỏ sót.

Sự tình cờ

Đôi khi hai biến cùng biến động hoàn toàn vô cớ.

Nếu bạn chạy đủ nhiều phép so sánh trên đủ nhiều tập dữ liệu, một vài trong số đó sẽ trùng khớp chỉ do ngẫu nhiên. Đây chính là cách xuất hiện tương quan giữa Nicolas Cage và số ca đuối nước ở hồ bơi — hai chuỗi thời gian không liên quan nhưng lại cùng xu hướng trong cùng giai đoạn.

Khi có đủ nhiều biến, một mức độ trùng khớp ngẫu nhiên là điều có thể dự đoán.

Xu hướng chung

Một số biến đơn giản là cùng tăng giảm theo thời gian, và sự trùng khớp đó có thể trông như một mối quan hệ dù thực tế không có.

Hãy nghĩ đến dân số, GDP, mức sử dụng internet và sản lượng nhựa. Nhiều thứ trong số này đã tăng suốt hàng thập kỷ. Nếu so sánh bất kỳ cặp nào, bạn sẽ nhận được tương quan mạnh chỉ vì cả hai cùng xu hướng đi lên.

Nhưng chúng chỉ chia sẻ hướng đi, không có liên kết nội tại giữa các biến.

Thiên lệch lấy mẫu

Tương quan ngụy tạo cũng có thể xuất phát từ dữ liệu bạn thu thập, không phải từ thế giới mà nó đại diện.

Nếu mẫu của bạn không phản ánh đúng quần thể nghiên cứu, bạn có thể thấy một mối quan hệ chỉ tồn tại trong tập dữ liệu của mình. Ví dụ, khảo sát khách hàng chỉ qua ứng dụng, bạn sẽ thấy “mức sử dụng ứng dụng” tương quan với đủ thứ. Không phải vì dùng ứng dụng gây ra chúng, mà vì mẫu của bạn thiên lệch về người dùng ứng dụng.

Ví dụ về tương quan ngụy tạo

Tương quan ngụy tạo phổ biến hơn bạn nghĩ. Dưới đây là cách nhận diện và xử lý.

Ví dụ thống kê kinh điển

Tương quan giữa kem và đuối nước là ví dụ ai cũng biết. Doanh số kem và số ca tử vong do đuối nước cùng tăng giảm, nhưng chẳng cái nào gây ra cái kia. Thời tiết nóng là biến gây nhiễu, tác động đồng thời lên cả hai.

Ví dụ Nicolas Cage thì khác. Số phim ông ấy đóng qua các năm tương quan với số vụ đuối nước ở hồ bơi trong cùng giai đoạn, và hoàn toàn không có biến gây nhiễu nào. Đó là sự trùng hợp — hai xu hướng không liên quan nhưng lại song hành.

Cả hai ví dụ đều làm rõ điểm cốt lõi của tương quan ngụy tạo, nhưng đáng tiếc là trong thực tế, bạn sẽ khó nhận ra rõ ràng như vậy.

Ví dụ trong kinh doanh và nghiên cứu

Trong phân tích kinh doanh, tương quan ngụy tạo thường ẩn sau những con số trông có vẻ liên quan với nhau.

Hãy tưởng tượng một công ty theo dõi chi tiêu marketing hàng tuần và doanh thu hàng tuần trong hai năm. Bạn có thể dùng đoạn mã Python này để làm theo:

import numpy as np
import pandas as pd

np.random.seed(42)
weeks = 104

# Seasonal effect
seasonality = 10 * np.sin(np.linspace(0, 8 * np.pi, weeks)) + 20

marketing_spend = seasonality + np.random.normal(0, 2, weeks)
revenue = seasonality * 50 + np.random.normal(0, 30, weeks)

df = pd.DataFrame({
    "week": range(1, weeks + 1),
    "marketing_spend": marketing_spend,
    "revenue": revenue
})

print(df["marketing_spend"].corr(df["revenue"]))

Output: 0.9707905810711147

Bạn sẽ nhận được tương quan dương mạnh giữa marketing_spend và revenue. Rất dễ diễn giải thành “chi tiêu marketing làm tăng doanh thu”, và có thể là đúng, nhưng đoạn mã trên không chứng minh điều đó. Cả hai biến đều bị chi phối bởi cùng một chu kỳ nhu cầu theo mùa. Nếu công ty chi tiêu nhiều hơn đúng vào tuần nhu cầu vốn đã cao, tương quan sẽ xuất hiện dù bản thân hoạt động marketing có tác dụng hay không.

Đây là sai lầm thường gặp trong rất nhiều phân tích kinh doanh.

Những yếu tố như hành vi khách hàng và kết quả marketing biến động theo mùa, theo nền kinh tế, hoặc hàng chục yếu tố ẩn khác. Hai chỉ số tương quan không cho bạn biết cái nào, nếu có, là nguyên nhân.

Ví dụ trong học máy

Các mô hình học máy không hiểu “nguyên nhân” nghĩa là gì. Chúng chỉ tìm bất kỳ mẫu hình nào làm giảm sai số, và nếu một lối tắt hiệu quả trên dữ liệu huấn luyện, mô hình sẽ chọn lối tắt đó.

Ví dụ:

• Phụ thuộc vào nền ảnh: Bộ phân loại ảnh học cách gắn đồng cỏ xanh với “bò”, chứ không phải chính con vật. Nếu bạn cho nó xem con bò trên bãi biển, nó sẽ thất bại.
• Đại diện thay thế nhân khẩu học và địa lý: Mô hình huấn luyện trên dữ liệu lịch sử học rằng mã bưu điện có thể thay thế cho thu nhập hoặc chủng tộc, ngay cả khi không có hai biến này trong tập huấn luyện.
• Tạo tác của tập dữ liệu: Mô hình chẩn đoán ảnh y khoa học rằng các ảnh quét từ máy cũ của một bệnh viện tương quan với bệnh, vì bệnh viện đó điều trị nhiều ca nặng hơn, chứ không phải vì đầu ra của máy hé lộ điều gì về chính căn bệnh.

Đây là cùng một ý tưởng, xây dựng thành ví dụ tổng hợp bạn có thể tự chạy. Một mô hình dự đoán rủi ro vỡ nợ, và zip_code đóng vai trò đại diện cho income, biến thực sự quan trọng.

import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression

np.random.seed(42)
n = 1000

# Zip code correlates with income, income drives default risk
zip_code = np.random.choice([1, 2, 3], size=n)
income = 80000 - zip_code * 15000 + np.random.normal(0, 5000, n)
default_risk = (income < 40000).astype(int)

df = pd.DataFrame({"zip_code": zip_code, "income": income, "default": default_risk})

model = LogisticRegression()
model.fit(df[["zip_code"]], df["default"])
print(model.score(df[["zip_code"]], df["default"]))

Điểm số mô hình ví dụ học máy

Mô hình này có thể dự đoán rủi ro vỡ nợ chỉ bằng zip_code, mà không hề thấy income. Trên tập dữ liệu này, nó hoạt động, nhưng nếu đưa sang một thành phố mới nơi mẫu hình giữa mã bưu điện và thu nhập không đúng, độ chính xác của mô hình sẽ giảm.

Đó chính là vấn đề của việc học đường tắt.

Một mô hình dựa trên tương quan ngụy tạo có thể đạt điểm tốt trên dữ liệu huấn luyện nhưng lại thất bại ngay khi gặp môi trường nơi tương quan đó không còn đúng.

Cách phát hiện tương quan ngụy tạo

Tin xấu là bạn không thể loại bỏ hoàn toàn tương quan ngụy tạo, nhưng bạn có thể xây dựng thói quen giúp phát hiện phần lớn trường hợp.

Dưới đây là vài mẹo thực tế:

• Điều tra biến gây nhiễu: Trước khi tin vào một tương quan, hãy hỏi còn yếu tố nào có thể chi phối cả hai biến. Nhiệt độ và tính mùa vụ là những nghi phạm phổ biến.
• Vận dụng hiểu biết chuyên môn: Nếu một mối quan hệ không hợp lý theo hiểu biết của bạn về chủ đề, đừng để con số lấn át trực giác đó.
• Trực quan hóa dữ liệu: Biểu đồ phân tán hoặc chuỗi thời gian thường bộc lộ xu hướng chung hoặc ngoại lệ rõ ràng mà hệ số tương quan che giấu.
• Chạy các kiểm định thống kê bổ sung: Tương quan từng phần hoặc kiểm tra xem mối quan hệ có giữ vững qua các nhóm con khác nhau hay không có thể xác nhận hoặc bác bỏ một tương quan.
• Thiết kế thí nghiệm khi có thể: Thử nghiệm ngẫu nhiên có đối chứng loại bỏ biến gây nhiễu vì bạn kiểm soát nhóm nào nhận can thiệp nào.

Tóm lại, hệ số tương quan chỉ cho bạn biết hai thứ cùng biến động. Nó có ý nghĩa hay không vẫn là quyết định của bạn.

Tương quan ngụy tạo so với các khái niệm thống kê khác

Một vài thuật ngữ thường được dùng thay cho tương quan ngụy tạo, gây ra nhiều nhầm lẫn. Phần này sẽ cho thấy các khái niệm thống kê đó là gì và khác nhau ra sao.

Tương quan ngụy tạo so với gây nhiễu

Gây nhiễu là một nguyên nhân cụ thể của tương quan ngụy tạo. Nó không đồng nghĩa với tương quan ngụy tạo.

Gây nhiễu xảy ra khi một biến thứ ba ảnh hưởng đến cả hai biến bạn đang đo, tạo ra một mối quan hệ trông có vẻ trực tiếp nhưng thực chất không phải. Nhiệt độ có thể gây nhiễu vì nó chi phối cả doanh số kem lẫn số ca đuối nước.

Tương quan ngụy tạo là phạm trù rộng hơn. Nó bao gồm gây nhiễu, nhưng cũng bao gồm sự tình cờ, thiên lệch lấy mẫu và các xu hướng chung theo thời gian, vốn không hề có biến thứ ba ẩn. Ví dụ Nicolas Cage hoàn toàn không phải gây nhiễu, vì không có biến nào kết nối số phim với số ca tử vong ở hồ bơi. Đó chỉ là sự trùng hợp. Nhưng vẫn là ngụy tạo.

Vì vậy, mọi mối quan hệ bị gây nhiễu đều là ngụy tạo. Không phải mọi mối quan hệ ngụy tạo đều do gây nhiễu.

Tương quan ngụy tạo so với quan hệ nhân quả

Tương quan ngụy tạo và quan hệ nhân quả có thể cho ra cùng một biểu đồ phân tán. Khác biệt nằm ở cơ chế bên dưới, và khác biệt đó quyết định bạn có thể làm gì với dữ liệu.

Bảng dưới đây tóm tắt sự khác nhau:

Tương quan ngụy tạo không bao giờ hàm ý quan hệ nhân quả, dù hệ số tương quan có mạnh đến đâu. Chứng minh quan hệ nhân quả đòi hỏi thí nghiệm có kiểm soát hoặc các phương pháp suy luận nhân quả vượt ra ngoài một phép kiểm định thống kê đơn lẻ.

Cách giảm rủi ro tương quan ngụy tạo

Tự thân khả năng phát hiện tương quan ngụy tạo sau khi sự việc đã rồi là hữu ích. Nhưng tốt hơn nhiều nếu bạn xây dựng quy trình giúp tránh nó ngay từ đầu.

Trong quy trình này, bạn nên làm:

• Thu thập dữ liệu tốt hơn: Nhiều tương quan ngụy tạo bắt đầu từ mẫu không đại diện cho đối tượng bạn nghiên cứu. Trước khi phân tích, hãy kiểm tra việc thu thập dữ liệu có bao phủ đúng quần thể và điều kiện phù hợp hay không.
• Dùng thí nghiệm ngẫu nhiên khi có thể: Ngẫu nhiên hóa là cách phòng thủ tốt nhất trước gây nhiễu, vì nó phân bổ đều các biến ẩn giữa các nhóm. Nếu có thể chạy A/B test thay vì chỉ dựa vào dữ liệu quan sát, hãy làm vậy.
• Xác thực trên tập dữ liệu mới: Một tương quan chỉ xuất hiện ở một tập dữ liệu là dấu hiệu có vấn đề. Hãy kiểm tra xem mối quan hệ có giữ vững với dữ liệu từ thời kỳ khác, do người khác thu thập, quần thể khác, hoặc nguồn khác trước khi tin tưởng nó.
• Thực hiện phân tích nhân quả: Các kỹ thuật như kiểm soát biến gây nhiễu hoặc đồ thị nhân quả giúp bạn vượt khỏi “hai thứ này cùng biến động” để kiểm tra xem một biến có thực sự ảnh hưởng đến biến kia hay không.
• Bao gồm chuyên môn lĩnh vực: Người am hiểu chủ đề thường phát hiện mối quan hệ ngụy tạo mà phép kiểm định thống kê bỏ lỡ. Nếu một tương quan mâu thuẫn với tri thức chuyên môn, hãy hoài nghi trước khi xây dựng trên đó.

Thật lòng mà nói, không bước nào trong số này đảm bảo bạn sẽ bắt được mọi tương quan ngụy tạo, nhưng kết hợp lại, chúng giảm khả năng đưa ra kết luận hoặc xây dựng mô hình thiếu tin cậy.

Kết luận

Một hệ số tương quan cao có thể trông như một câu trả lời, nhưng với những người làm dữ liệu nhiều kinh nghiệm, đó thực ra là một câu hỏi.

Con số chỉ cho biết hai thứ cùng biến động. Nó không cho biết vì sao, và coi đó là bằng chứng cho quan hệ nhân quả chính là cách dẫn đến giả định sai, đọc sai nghiên cứu, quyết định kinh doanh lệch hướng, và mô hình thất bại ngay khi gặp dữ liệu mới. Những gì đằng sau các con số quan trọng hơn bản thân con số.

Vì vậy, những kết luận vững chắc nhất không bao giờ chỉ đến từ thống kê, mà là từ sự kết hợp giữa thống kê và hiểu biết chuyên môn. Khi dùng cả hai, bạn sẽ có những kết luận đứng vững ngoài tập dữ liệu đã tạo ra chúng.

Nếu bạn thấy khái niệm tương quan và tương quan ngụy tạo khó hiểu, hãy khám phá danh mục các khóa học Xác suất và Thống kê của chúng tôi. Chúng tôi bao quát mọi thứ từ nhập môn thiết kế thí nghiệm đến kiểm định giả thuyết.