P-hacking: Cách (không) thao túng p-value

Nếu bạn từng làm việc với thống kê suy luận, đặc biệt là kiểm định giả thuyết và hồi quy, hẳn bạn đã được giới thiệu về p-value. Và nếu bạn từng làm việc với p-value, rất có thể bạn biết, hoặc ít nhất linh cảm, rằng p-value rất dễ bị tổn thương và có thể bị thao túng — và bạn đã đúng.

Thực tế, kiểu thao túng này còn có hẳn một thuật ngữ riêng: p-hacking. Đôi khi nó cũng được gọi là khai quật dữ liệu (data dredging), rình mò dữ liệu (data snooping), câu dữ liệu (data fishing), và thiên lệch lạm phát (inflation bias). Bài viết này sẽ đi sâu vào chủ đề đó.

P-Value là gì?

Trước hết, hãy nhanh chóng ôn lại p-value là gì. Chữ ‘p’ trong p-value là viết tắt của xác suất (probability). Cụ thể, p-value là xác suất quan sát được kết quả cực đoan như (hoặc hơn) những gì ta thu được, với giả định giả thuyết không đúng. Việc bác bỏ sai giả thuyết không này còn được gọi là Lỗi loại I, hay lỗi dương tính giả. Thông thường, p-value được tính để so sánh với mức ý nghĩa (ký hiệu α), tức xác suất chấp nhận được khi bác bỏ giả thuyết không dù nó đúng. 

Suy ra một cách logic: nếu p-value lớn hơn mức ý nghĩa, ta không bác bỏ giả thuyết không và giữ nguyên nó. Ngược lại, nếu p-value nhỏ hơn hoặc bằng mức ý nghĩa, ta có thể bác bỏ giả thuyết không để ủng hộ giả thuyết đối, và khi đó nói rằng kết quả có ý nghĩa thống kê.

Nếu phần ôn siêu ngắn về p-value này khiến bạn bối rối thì đừng lo! Bạn có thể học khóa Nhập môn Thống kê mang tính lý thuyết của chúng tôi để nhanh chóng nắm được những nền tảng cần thiết.

Giới thiệu về P-Hacking

Việc đạt được kết quả “có ý nghĩa thống kê” nghe rất giống thành công và vì thế rất hấp dẫn. Trong kinh doanh, điều đó có nghĩa là bạn có điều gì đó mới mẻ, thú vị hoặc đáng chú ý để báo cáo. Trong học thuật, bạn đã khám phá ra điều gì đó và có thể công bố trên các tạp chí.

Và bởi đây là chìa khóa mở ra cả một thế giới phấn khích, các chuyên gia dữ liệu và nhà nghiên cứu dễ sa đà vào việc tập trung quá mức vào p-value của nghiên cứu, gần như bỏ qua mọi thứ khác, kể cả mức ý nghĩa. Vì mức ý nghĩa phổ biến nhất trong nhiều thập kỷ là 0,05, nên đã hình thành một “quy ước” dễ dãi rằng nếu bạn đạt p-value dưới 0,05 thì có thể ăn mừng ngay lập tức.

Hệ quả là một số nhà nghiên cứu rơi vào lỗi p-hacking, đôi khi cố ý nhưng thường là vô tình, bằng cách áp dụng các phương pháp khiến p-value giảm xuống dưới ngưỡng ý nghĩa thống kê, trong khi các phép kiểm định đúng đắn lẽ ra cho kết quả ngược lại.

P-Hacking vận hành như thế nào

Dù cố ý hay không, có rất nhiều cách khiến mọi thứ đi chệch hướng, dẫn tới p-hacking. Những phương pháp dẫn đến p-hacking có thể gọi là các “p-hack”, và chúng có thể xảy ra ở bất kỳ giai đoạn nào của thí nghiệm.

Trong chương sách Muôn hình vạn trạng của p-hacking, Dorota Reis và Malte Friese đưa ra một danh sách (không đầy đủ) các p-hack ở nhiều giai đoạn của thí nghiệm, từ thu thập dữ liệu cho đến báo cáo, như đồ thị sau.

Ví dụ về các p-hack. Nguồn: Avoiding Questionable Research Practices in Applied Psychology.

Hãy xem từng mục từ trái sang phải nghĩa là gì:

• Dừng thu thập tùy ý (Optional stopping): Tức là dừng thu thập dữ liệu khi số cá thể đã thu được cho ra p-value có ý nghĩa, thay vì khi đạt kích thước mẫu yêu cầu.
• Thu thập thêm dữ liệu: Đây như là phần mở rộng của thực hành trước. Thu thập thêm dữ liệu đôi khi có thể làm giảm p-value ngay cả khi không có hiệu ứng thực sự bên dưới.
• Biến đổi phân phối: Biến đổi có thể là bước cần thiết trong xử lý dữ liệu, nhưng nếu thử nhiều biến đổi và chọn biến đổi cho p-value có ý nghĩa thì đó là p-hack.
• Loại bỏ ngoại lệ có chọn lọc: Tương tự biến đổi phân phối, xử lý điểm ngoại lệ là bước thiết yếu với nhiều phương pháp phát hiện/loại trừ. Khi “cherry-pick” phương pháp dẫn đến ý nghĩa thống kê, đó là p-hack.
• Thử nhiều phương pháp phân tích: Chạy các loại kiểm định giả thuyết khác nhau và chọn cái cho kết quả có ý nghĩa.
• Mô hình hóa đa dạng (Multiple modelling): Thử nhiều mô hình biến và chọn mô hình cho ý nghĩa thống kê, bỏ qua lý do lý thuyết ban đầu, cũng là p-hack.
• Thay thế hậu nghiệm (Post-hoc replacement): Thay thế hoặc bỏ qua một tập điểm dữ liệu/điều kiện cho ra p-value lớn hơn, hoặc qua nhiều vòng kiểm định hoặc khi báo cáo kết quả.
• Làm tròn p-value: Đây là p-hack lộ liễu nhất: làm tròn p-value khi nó hơi cao hơn mức ý nghĩa; thực ra còn chưa đạt ngưỡng “có ý nghĩa” bị thao túng, chỉ giả vờ như vậy.

Lưu ý rằng đa số p-hack phụ thuộc vào việc chạy thí nghiệm lặp đi lặp lại, mỗi lần lại tinh chỉnh thứ lẽ ra phải là nền tảng định trước của thí nghiệm. 

Nhưng ngay cả không tinh chỉnh, chỉ riêng việc chạy lại cùng thí nghiệm và chỉ báo cáo khi đạt ý nghĩa thống kê cũng có thể là p-hack, vì luôn có khả năng nếu chạy đủ nhiều lần thì một lúc nào đó sẽ ra p-value thấp. Truyện tranh dưới đây từ xkcd minh họa ý này.

Truyện tranh “Significant”. Nguồn: xkcd.

Ví dụ thực tế về P-Hacking

P-hacking là một hiện tượng rất phổ biến. Đầu thập niên 2010, nhiều nghiên cứu rà soát bắt đầu phát hiện một tỷ lệ lớn công trình đăng trên các tạp chí uy tín ở nhiều lĩnh vực có khả năng bị p-hack, đặc biệt trong tâm lý học và y học, nhưng cũng có ở khoa học xã hội và nhân văn.

Chẳng hạn, năm 2015, một nghiên cứu do một học giả tại Đại học Virginia dẫn dắt rà soát 100 nghiên cứu tâm lý đăng trên các tạp chí hàng đầu năm 2008 cho thấy chưa đến một nửa có thể tái lập. Thiếu khả năng tái lập nghĩa là khi chạy lại không cho cùng kết quả, đôi khi do p-hacking.

Một dự án khác xem xét các nghiên cứu về ung thư phát hiện chỉ 50 thí nghiệm trong số 193 có thể tái lập. Sớm hơn, năm 2009, một nghiên cứu ghi nhận số lượng đáng ngờ các thí nghiệm thần kinh học báo cáo tương quan bất thường cao giữa cảm xúc, tính cách, nhận thức xã hội và hoạt động não qua fMRI. Sau khi khảo sát tác giả, hóa ra họ dựa vào chiến lược chọn lọc các tập con dữ liệu và chỉ báo cáo những tập cho kết quả có ý nghĩa — một p-hack tương tự “thay thế hậu nghiệm”.

Các phát hiện này cho thấy p-hacking, cùng với các thực hành nghiên cứu đáng ngờ khác, đang khiến nền tảng nghiên cứu khoa học vốn được tôn trọng bấy lâu trở nên lung lay và đầy lỗ hổng. Khủng hoảng này được gọi là khủng hoảng tái lập, và vẫn đang tiếp diễn giữa nhiều thảo luận và nỗ lực tìm lối thoát.

Vì sao P-Hacking là phi đạo đức

Vậy rốt cuộc, vì sao p-hacking lại là vấn đề?

“P-hacking makes you a wizard”. Nguồn: SMBC Comics.

Câu hỏi nghe có vẻ quá hiển nhiên, nhưng việc phân tích các lý do tại sao p-hacking sai và phi đạo đức cũng giúp ta hiểu rõ hơn “tầm quan trọng” của vấn đề ý nghĩa bị làm giả.

Đơn giản là nó mang tính thao túng

Cốt lõi của p-hacking là thao túng phương pháp luận hoặc thao túng kết quả. Nếu cố ý, điều này chẳng khác nào nói dối vì lợi ích cá nhân (như được đăng bài hay ghi nhận). Nếu vô tình, nó giống như đi sai đường và cuối cùng chỉ tới ảo ảnh của dương tính giả.

Có thể dẫn đến quyết định sai và hậu quả thảm khốc

Thí nghiệm, dù trong khoa học hay kinh doanh, đều có hệ quả. Chúng được thực hiện để ra quyết định hoặc xây dựng tiếp trên kết quả. Nếu kết quả bị ngụy tạo, các quyết định phụ thuộc sẽ thiếu cơ sở, đôi khi dẫn tới hậu quả nghiêm trọng.

Ví dụ, nghiên cứu trong các lĩnh vực nhạy cảm như ung thư học và thần kinh học có thể góp phần phát triển phương pháp điều trị và thuốc men. Sẽ là thảm họa nếu một số nghiên cứu nền tảng bị thao túng.

Trong kinh doanh, quyết định sai có thể đi theo nhiều hướng: tung ra sản phẩm thất bại, lãng phí nguồn lực, sa thải nhầm người, thậm chí phá sản. Một p-hack đơn giản có thể tạo hiệu ứng cánh bướm.

Làm xói mòn niềm tin vào phương pháp khoa học

Khủng hoảng tái lập đã dẫn đến sự hoài nghi rộng rãi về khoa học nói chung, thậm chí bộc lộ trong diễn ngôn chính trị. Tư duy phản biện luôn hữu ích ngay cả khi tiếp nhận kết quả khoa học, nhưng bác bỏ mọi bằng chứng thực nghiệm có thể dẫn đến tuyệt vọng của sự thiếu hiểu biết và các quyết định vô căn cứ.

Trong kinh doanh, ở quy mô nhỏ hơn, p-hacking và các thực hành đáng ngờ tương tự có thể khiến lãnh đạo quay lưng với quyết định dựa trên dữ liệu, trở lại phụ thuộc vào cảm tính — điều trái ngược với những gì khoa học dữ liệu hứa hẹn và thực sự có thể mang lại.

Làm lung lay tính tích lũy của tri thức

Tri thức nhân loại dựa trên tính tích lũy. Mỗi thí nghiệm nhỏ là viên gạch xây nền cho cấu trúc tri thức lớn hơn. Khi ngày càng nhiều “viên gạch” trở nên lung lay bởi các thực hành đáng ngờ như p-hacking, tiềm năng tích lũy đó trở nên bạc mệnh. Ngay cả việc đơn giản như tìm tài liệu trước để xây dựng thí nghiệm mới cũng biến thành nhiệm vụ dò đường qua bãi mìn.

Dấu hiệu cảnh báo và cách phát hiện P-Hacking

Dựa trên những gì biết về p-hacking và các phương thức của nó, ta có thể suy ra một số dấu hiệu cảnh báo giúp phát hiện p-hack. Phần lớn các dấu hiệu này vẫn đòi hỏi trí tò mò, tư duy phản biện và con mắt soi xét. Một số thậm chí phụ thuộc vào kiến thức chuyên môn sâu.

Kết quả quá giật gân

Kết quả thí nghiệm giật gân thường quá “có mùi” để chấp nhận ngay. Hay bị báo chí và mạng xã hội “bắt sóng”, các nghiên cứu tuyên bố kiểu “sô-cô-la giúp giảm cân” đơn giản là chưa sẵn sàng để mặc nhiên tin tưởng. 

Trong kinh doanh, một thử nghiệm hứa hẹn tăng 100% lợi nhuận nhờ thêm một tính năng nhỏ trên website cũng tương tự là giật gân. 

Khi gặp nghiên cứu như vậy, nếu bạn quan tâm, hãy luôn kiểm tra lại phương pháp và kết quả trước khi chấp nhận kết luận.

Thiếu minh bạch trong phương pháp

Cảnh giác với các thí nghiệm không rõ ràng về phương pháp hoặc không công bố một số thành phần phương pháp. Minh bạch về giả thuyết ban đầu, mức ý nghĩa, kích thước mẫu, biến thu thập, loại kiểm định chọn dùng và các bước xử lý dữ liệu là điều cốt yếu cho quy trình khoa học vững chắc. Mơ hồ về bất kỳ thành phần nào trong số này đều là cờ đỏ.

Biến đổi dữ liệu không cần thiết

Nếu xử lý dữ liệu thí nghiệm gồm biến đổi biến số, hãy kiểm tra kỹ lý do, vì cần được nêu rõ. Nếu không nêu hoặc thiếu thuyết phục, đó có thể là chỉ dấu trực tiếp của p-hacking.

Kích thước mẫu nhỏ không được biện minh

Mẫu nhỏ làm giảm lực thống kê, tăng rủi ro âm tính giả. Tuy nhiên, khi kết hợp với báo cáo chọn lọc hoặc p-hacking, các nghiên cứu lực thấp cũng có thể góp phần làm tăng tỷ lệ dương tính giả trong tài liệu công bố.

Ở một số lĩnh vực, mẫu nhỏ là chấp nhận được và phổ biến, như nghiên cứu lâm sàng, môi trường, kỹ thuật và kiểm soát chất lượng. Nhưng nhìn chung, mẫu lớn hơn cho suy luận tốt hơn, do đó ít khả năng dương tính giả và p-value “có ý nghĩa” nhưng không đúng. 

Trong mọi trường hợp, nếu kích thước mẫu nhỏ không được biện minh, điều này có thể cho thấy thiếu lực thống kê, làm tăng rủi ro dương tính giả. Đôi khi, nó cũng có thể gợi ý về việc dừng sớm — thực hành p-hacking nêu trên, nơi việc thu thập dừng lại ngay khi đạt ý nghĩa thay vì đạt cỡ mẫu kế hoạch.

Kích thước hiệu ứng không rõ ràng

Kích thước hiệu ứng đo lường độ mạnh/mức độ quan hệ giữa các biến, cung cấp ngữ cảnh cho ý nghĩa thống kê của kết quả. Nếu một nghiên cứu báo cáo ý nghĩa thống kê nhưng thiếu kích thước hiệu ứng rõ ràng/đáng kể, điều đó gây nghi ngờ. 

P-value có thể cho thấy kết quả khó do ngẫu nhiên, nhưng nếu không có kích thước hiệu ứng, khó xác định ý nghĩa thực tiễn. Trong nghiên cứu bị p-hack, việc mập mờ về kích thước hiệu ứng có thể cho thấy nhà nghiên cứu quá chú trọng đạt ý nghĩa thống kê, bất chấp các cân nhắc khác

Bất nhất giữa giả thuyết nêu ra và kết quả

Khi kết quả của một nghiên cứu chệch đáng kể so với giả thuyết ban đầu, cần phải đặt câu hỏi. Đây có thể là dấu hiệu nhà nghiên cứu đã sửa đổi giả thuyết hoặc phương pháp sau khi có dữ liệu để khớp với kết quả — thực hành được biết là HARKing (Đặt giả thuyết sau khi biết kết quả). 

Ví dụ, nếu một thí nghiệm tuyên bố kiểm định một giả thuyết cụ thể nhưng phân tích cuối cùng lại tập trung vào các biến/kết cục không liên quan, điều này có thể gợi ý p-hacking. Luôn so sánh giả thuyết nêu ra với kết quả cuối để đảm bảo chúng phù hợp.

Kích thước hiệu ứng cao bất thường

Kích thước hiệu ứng quá lớn có thể là cờ đỏ cho p-hacking. Trong nhiều trường hợp, hiệu ứng đời thực thường nhỏ đến trung bình, nhất là trong tâm lý học, y học, hay khoa học xã hội. Giống như đánh giá cỡ mẫu hợp lý, hiểu tính khả tín của kích thước hiệu ứng đòi hỏi chuyên môn sâu.

Nếu một nghiên cứu báo cáo kích thước hiệu ứng lớn bất thường, có thể dữ liệu đã bị chọn lọc hoặc mẫu bị thiên lệch. Nhà nghiên cứu có thể cố ý hoặc vô tình loại bỏ dữ liệu làm giảm kích thước hiệu ứng để khiến phát hiện trông ấn tượng hơn (p-hack “thay thế hậu nghiệm”).

P-value chỉ nhỉnh dưới mức ý nghĩa

Khi p-value báo cáo chỉ ngay dưới ngưỡng ý nghĩa (ví dụ p = 0,049 khi ngưỡng là p < 0,05), điều đó có thể cho thấy nghiên cứu đã p-hack. 

Bởi vì chạy thử lặp lại hoặc tinh chỉnh biến có thể dẫn tới kết quả vừa đủ vượt ngưỡng do ngẫu nhiên. Một mẫu kết quả liên tục lơ lửng ngay dưới ngưỡng gợi ý rằng nhà nghiên cứu đã dừng thu thập ngay khi đạt mục tiêu (dừng sớm) hoặc báo cáo chọn lọc (thay thế hậu nghiệm).

Không thể tái lập

Một trong những chỉ dấu mạnh nhất của p-hacking là khi phát hiện không thể tái lập. Nếu nhà nghiên cứu độc lập không thể tái tạo kết quả với cùng phương pháp, có thể phát hiện ban đầu là do p-hacking hoặc báo cáo chọn lọc. 

Tái lập là nền tảng của liêm chính khoa học, và kết quả không thể tái hiện nhất quán gợi ý phân tích ban đầu có thể sai sót hoặc bị thao túng.

“Cờ xanh” và cách ngăn ngừa P-Hacking

Bằng cách đảo ngược các cờ đỏ ở trên, ta cũng có thể đưa ra các cách ngăn ngừa p-hacking. Những cách này đã nổi lên trong cộng đồng khoa học suốt thập kỷ qua nhằm đối phó khủng hoảng tái lập.

Kiến thức thống kê

Hiểu vững nguyên lý thống kê là điều thiết yếu để ngăn p-hacking. Khi nhà phân tích có đủ kiến thức, họ sẽ tránh được các cái bẫy phổ biến như diễn giải sai p-value hoặc xử lý sai so sánh đa bội.

Chẳng hạn, trong A/B test cho một tính năng website, một nhà phân tích hiểu biết sẽ nhận ra p-value không phải đích đến, vì dù p-value thấp, kích thước hiệu ứng có thể không đủ lớn, do đó không có ý nghĩa thực tiễn. Hiểu sự khác nhau giữa ý nghĩa thống kê và ý nghĩa thực tiễn giúp không quá tập trung vào p-value — điều có thể dẫn đến p-hacking — và giảm khả năng thao túng kết quả để được “đẹp” hơn.

Đăng ký trước (Pre-registration)

Đăng ký trước trong nghiên cứu khoa học là phác thảo kế hoạch nghiên cứu/kiểm định — gồm giả thuyết, phương pháp, kỹ thuật phân tích — trước khi thu thập dữ liệu. Quy trình này ngăn p-hacking bằng cách “khóa” các quyết định về phân tích, khiến khó thay đổi hậu nghiệm để đạt kết quả có ý nghĩa.

Trong kinh doanh, có thể áp dụng tương tự ở cấp đội ngũ dữ liệu. Ví dụ, trước khi chạy thí nghiệm đo tác động của mô hình giá mới, nhóm có thể ghi chép và công bố nội bộ giả thuyết, nêu rõ các biến sẽ kiểm định (ví dụ: doanh thu, tỷ lệ thu hút khách), mức ý nghĩa và kích thước mẫu. Điều này đảm bảo nhóm bám sát kế hoạch gốc và không đổi cách phân tích sau khi thấy kết quả ban đầu, tránh thực hành thay thế hậu nghiệm và “cherry-pick” dữ liệu thuận lợi.

Thực hành khoa học mở

Khoa học mở là việc công khai dữ liệu, phương pháp và phân tích để người khác xem xét và tái lập. Trong kinh doanh, dù không dùng trực tiếp thuật ngữ “khoa học mở”, các thực hành minh bạch tương tự rất quan trọng để đảm bảo tính liêm chính của phân tích.

Ví dụ, một công ty thực hiện phân tích thị trường có thể chia sẻ dữ liệu gốc và các bước phân tích nội bộ với đội ngũ khác, kiểm toán hoặc các bên liên quan, hoặc hệ thống hóa tài liệu để tái lập sau này. Tính minh bạch này làm nản lòng p-hacking vì ai cũng có thể kiểm tra sai lệch hoặc lỗ hổng phương pháp. Trong tổ chức, cởi mở về phương pháp và kết quả thúc đẩy trách nhiệm và giúp đảm bảo kết luận dựa trên dữ liệu vững và có thể tái hiện.

Biện minh các lựa chọn trong xử lý và biến đổi dữ liệu

Các bước xử lý và biến đổi dữ liệu luôn cần được biện minh rõ ràng. Nếu không, việc loại ngoại lệ hoặc biến đổi biến có thể bị dùng để thao túng kết quả và dựng nên câu chuyện sai lệch.

Ví dụ, khi phân tích dữ liệu mua hàng, một nhà phân tích có thể loại trừ một số điểm dữ liệu (ví dụ: ngoại lệ cực đoan) không “ăn khớp” mô hình. Tuy nhiên, nếu không có lý do hợp lệ — như xác định đó là ngoại lệ thực sự chứ không thuộc phân phối thông thường — thì đây có thể là một dạng p-hacking. Để ngăn điều này, mọi bước xử lý (như loại trừ khoảng thời gian nhất định hoặc áp dụng log-transform) phải được nêu minh bạch trong báo cáo phân tích.

Công bố và cân nhắc kích thước hiệu ứng

Vượt lên trên ý nghĩa thống kê, việc báo cáo và diễn giải kích thước hiệu ứng là rất quan trọng. Điều này đảm bảo kết quả có ý nghĩa trong thực tiễn, thay vì chỉ dựa vào ý nghĩa thống kê nhờ cỡ mẫu lớn.

Trong kinh doanh, giả sử một A/B test cho thấy mô tả sản phẩm mới tăng tỷ lệ chuyển đổi 0,5%, và cỡ mẫu đủ lớn khiến kết quả có ý nghĩa thống kê. Nếu thiếu ngữ cảnh, thay đổi này dễ bị hiểu lầm là đáng kể. Tuy nhiên, bằng cách tập trung vào kích thước hiệu ứng và tự hỏi liệu tăng 0,5% có xứng đáng chi phí thay đổi toàn bộ mô tả sản phẩm hay không, công ty có thể tránh quyết định chỉ dựa vào p-value.

Cho phép chạy thử nhiều lần, nhưng kèm phương pháp hiệu chỉnh

Chúng ta đã nói chạy cùng một kiểm định (hoặc kiểm định khác) trên cùng dữ liệu có thể dẫn đến kết quả có ý nghĩa do ngẫu nhiên, nên được coi là p-hack. Nhưng thực ra, chạy lại cùng kiểm định nhiều lần có thể là biện pháp tốt để phòng và cảnh giác p-hacking, nếu — và chỉ nếu — đi kèm phương pháp hiệu chỉnh, tức các kỹ thuật thống kê điều chỉnh cho thực tế rằng đang có nhiều so sánh được thực hiện. Hai phương pháp thường gặp là hiệu chỉnh Bonferroni và thủ tục Benjamini-Hochberg (BH).

Bonferroni điều chỉnh hạ thấp ngưỡng p-value (mức ý nghĩa) bằng cách chia cho số kiểm định thực hiện. Dù hiệu quả trong việc giảm dương tính giả, nó có thể quá thận trọng, làm tăng khả năng âm tính giả. 

Ngược lại, thủ tục BH là một kỹ thuật kiểm soát Tỷ lệ Phát hiện Sai (FDR) nhằm cân bằng khả năng của hai loại lỗi. Nói ngắn gọn, BH xếp hạng tất cả p-value từ nhỏ đến lớn; mỗi p-value được so với một ngưỡng tăng theo hạng. P-value lớn nhất vẫn dưới ngưỡng sẽ được xác định, và tất cả p-value đến điểm đó được coi là có ý nghĩa.

Trong bối cảnh kinh doanh, nếu một công ty thử nhiều phiên bản trang đích, rất dễ bị cám dỗ chạy nhiều A/B test và dừng khi một phiên bản có vẻ vượt trội “có ý nghĩa”. Để tránh điều này, nhà phân tích có thể áp dụng hiệu chỉnh để tính đến việc chạy nhiều kiểm định. Nhờ vậy, họ đảm bảo các phát hiện có ý nghĩa không chỉ là kết quả của việc thử đi thử lại.

Xem xét cả kết quả không có ý nghĩa

Cuối cùng, điều quan trọng là thừa nhận và báo cáo các kết quả không có ý nghĩa thay vì loại bỏ chúng. Cộng đồng khoa học đã kêu gọi cho phép công bố các thí nghiệm với kết quả không có ý nghĩa miễn là tuân thủ phương pháp đã đăng ký trước nghiêm ngặt, bởi “không tìm thấy gì” đôi khi cũng là một phát hiện! Kinh doanh cũng có thể học theo triết lý này.

Ví dụ, nếu một chiến dịch marketing không ảnh hưởng đáng kể đến doanh số, công ty vẫn nên báo cáo và cân nhắc kết quả đó. Nó cung cấp thông tin giá trị và ngăn báo cáo thiên lệch có thể dẫn đến quyết định kinh doanh không chính đáng. Minh bạch về kết quả không có ý nghĩa góp phần vào phân tích trung thực hơn và tránh cám dỗ thao túng dữ liệu để “khoe” thành công.

Kết luận

Trong bài viết này, chúng ta đã khám phá sâu thế giới p-hacking, nơi p-value có thể bị thao túng. Chúng ta đã xem các p-hack khác nhau, cách phát hiện và cách ngăn ngừa.

Như bạn thấy, và như đã đề cập, phần quan trọng để nhận diện p-hacking là có nền tảng thống kê vững. Bạn có thể đạt được điều này qua nhiều khóa học thống kê của chúng tôi, như khóa lý thuyết Nhập môn Thống kê, hoặc các khóa thực hành Nhập môn Thống kê với Google Sheets, Nhập môn Thống kê với Python và Nhập môn Thống kê với R.