Giải thích HARKing: Vì sao đặt giả thuyết sau kết quả có thể làm sai lệch nghiên cứu

Một thử nghiệm lâm sàng kết thúc. Kết quả chính quay về không có ý nghĩa, nhưng một phân nhóm lại đáp ứng với điều trị tốt hơn nhóm đối chứng. Không ai dự đoán hiệu ứng theo phân nhóm đó. Không ai viết nó vào giao thức nghiên cứu.

Rồi bài báo được chỉnh sửa. Phần Mở đầu đóng khung hiệu ứng phân nhóm như giả thuyết nghiên cứu ngay từ đầu. Kết quả chính thất bại mờ dần về hậu cảnh. Tới vòng phản biện, nghiên cứu đọc lên như một thành công gọn ghẽ.

Đó là HARKing: đặt giả thuyết sau khi đã biết kết quả. Norbert Kerr đặt ra thuật ngữ này năm 1998 cho các trường hợp nhà nghiên cứu trình bày giả thuyết hậu nghiệm như thể đã được định trước khi nghiên cứu bắt đầu. Đôi khi giả thuyết ban đầu bị viết lại. Đôi khi bị bỏ hẳn.

Khám phá là bình thường. Vấn đề là trình bày một phát hiện mang tính thăm dò như một phát hiện mang tính xác nhận. Người đọc mất nhãn cảnh báo: bằng chứng sớm, không phải bằng chứng xác quyết.

HARKing trong nghiên cứu là gì?

Định nghĩa gốc của Kerr vẫn là điểm xuất phát rõ ràng nhất: HARKing xảy ra khi nhà nghiên cứu trình bày "một giả thuyết hậu nghiệm... trong báo cáo nghiên cứu như thể đó là một giả thuyết tiền định." Giả thuyết a priori được hình thành trước khi thu thập dữ liệu. Giả thuyết post hoc được hình thành sau khi đã thấy kết quả. Vấn đề là ở nhãn dán, không phải lúc nào cũng là ở chính phân tích.

Kerr cũng mô tả một dạng thứ hai ít được chú ý hơn: bỏ qua các giả thuyết ban đầu đã được kiểm định nhưng cho kết quả âm tính. Cả hai dạng đều che mờ những gì thực sự đã xảy ra. Theo thời gian, các lý thuyết có thể bắt đầu trông chính xác hơn thực tế.

Các loại HARKing

Nhà nghiên cứu có thể chia HARKing thành vài loại.

• CHARKing (Constructing HARKing) là hình dung gần nhất với điều đa số nghĩ tới. Một nhà nghiên cứu tìm được kết quả bất ngờ có ý nghĩa thống kê, xây dựng một giả thuyết mới để giải thích, và trình bày giả thuyết đó như điểm xuất phát của nghiên cứu. Lý thuyết được dựng để khớp với dữ liệu.
• SHARKing (Secretly HARKing) hoạt động khác. Thay vì dựng giả thuyết mới, nhà nghiên cứu loại bỏ bằng chứng cho thấy một dự đoán ban đầu đã được đưa ra và thất bại. Bài báo dường như chỉ chứa kết quả dương tính. Những dự đoán thất bại biến mất.
• THARKing (Transparent HARKing) là ngoại lệ. Hollenbeck và Wright dùng thuật ngữ này năm 2017 cho các giả thuyết hậu nghiệm được gắn nhãn rõ ràng là thăm dò. Khi đó, người đọc có thể đánh giá kết quả đúng bản chất. Sẽ bàn thêm ngay sau đây.

Vì sao nhà nghiên cứu thực hiện HARKing

Thiên lệch công bố là một động lực. Các tạp chí thường ưu ái kết quả dương tính, có ý nghĩa thống kê hơn là phát hiện vô hiệu. Khi chức danh, tài trợ và vị thế khoa bộ phận phụ thuộc vào số lượng công bố và uy tín tạp chí, trình bày dữ liệu theo hướng có lợi có thể bắt đầu trông như một lựa chọn hợp lý.

Áp lực không phải lúc nào cũng bắt đầu từ nhà nghiên cứu. HARKing thụ động xảy ra khi biên tập viên hoặc phản biện yêu cầu tác giả đóng khung lại nghiên cứu xoay quanh một phát hiện bất ngờ, hoặc loại bỏ các giả thuyết không thành. Điều đó đặt nhà nghiên cứu trước lựa chọn khó khăn.

Cũng có con đường vô thức. Thiên lệch hồi tưởng có thể khiến nhà nghiên cứu tin rằng họ đã kỳ vọng một kết quả mà thực ra họ không kỳ vọng. Trí nhớ phai nhạt, và câu chuyện hậu nghiệm lấp đầy khoảng trống. Một số trường hợp không phải cố ý đánh lừa.

Bằng chứng khảo sát từ tâm lý học cho thấy phần nào quy mô. John, Loewenstein và Prelec phát hiện khoảng 27% nhà tâm lý học nói rằng họ từng khẳng định đã dự đoán một phát hiện bất ngờ ngay từ đầu. Tổng hợp nhiều khảo sát ước tính một số hình thức HARKing khoảng 43%. Đây là số liệu tự báo cáo, nên có thể còn thấp.

HARKing so với nghiên cứu thăm dò và xác nhận

Đây là chỗ bài viết dễ nghe có vẻ gay gắt hơn mức cần thiết. Khám phá không phải vấn đề. Vấn đề là liệu bài báo có coi khám phá như một phép kiểm định đã được lên kế hoạch hay không.

Phân tích thăm dò

Phân tích thăm dò là những gì diễn ra khi bạn xem dữ liệu mà chưa có tuyên bố chắc chắn từ trước về điều mình kỳ vọng sẽ tìm thấy. Bạn xem xét phân phối, phát hiện mẫu hình, so sánh biến và nắm cảm nhận về bộ dữ liệu. Mục tiêu là tạo ra giả thuyết, không phải kiểm định chúng.

Tôi thấy sự phân biệt này hữu ích vì nó đặt sự phê bình đúng chỗ. Nhiều tiến bộ khoa học bắt đầu từ việc ai đó nhận ra điều bất ngờ và quyết định đáng để xem lại.

Phân tích xác nhận

Phân tích xác nhận là giai đoạn kiểm định. Bạn bắt đầu với một dự đoán cụ thể được hình thành trước khi xem dữ liệu, chạy phép kiểm định thống kê đã lên kế hoạch, và kiểm tra liệu dữ liệu có ủng hộ dự đoán hay không. Giả thuyết đến trước. Dữ liệu đến sau.

Khi một giả thuyết được tạo ra bằng cách nhìn vào bộ dữ liệu rồi lại được kiểm định trên chính bộ dữ liệu đó, phép kiểm định không còn độc lập. Giả thuyết đã bị định hình bởi chính nhiễu có trong mẫu đó.

Đó là lời cảnh báo từ phần mở đầu theo thuật ngữ kỹ thuật hơn: nhãn thay đổi, nhưng phép kiểm định thì không.

Bài kiểm định tốt đặt giả thuyết trước dữ liệu. Ảnh: Tác giả.

Quy tắc thực tế: không thể công bằng khi dùng cùng một bộ dữ liệu vừa tạo ra vừa kiểm định cùng một giả thuyết.

Ví dụ về HARKing

Các ví dụ dưới đây là kịch bản hư cấu, không phải các ca được ghi nhận. Mục đích là nêu mẫu hình, không phải cáo buộc một nghiên cứu cụ thể.

• Thí nghiệm tâm lý học: Một nhóm kiểm định liệu chánh niệm cải thiện hiệu năng nhận thức. Hiệu ứng chính không có ý nghĩa, nhưng người tham gia trên 50 tuổi cho thấy hiệu ứng tích cực mạnh. Trong bài báo cuối, phát hiện theo nhóm tuổi trở thành giả thuyết gốc, còn hiệu ứng chính bằng không thành chú thích bên lề.
• Phân tích marketing: Một công ty kiểm định liệu chương trình khách hàng thân thiết tăng tần suất mua. Hiệu ứng tổng thể ở mức biên, nhưng thành viên mới gần đây tăng rõ rệt. Báo cáo cuối trình bày nhóm đó như trọng tâm đã lên kế hoạch, mà không nói rằng phát hiện được tìm thấy sau đó.
• Thử nghiệm lâm sàng: Một nghiên cứu y khoa kiểm định thuốc mới trên một kết quả chính đã định trước. Thuốc không vượt trội so với đối chứng, nhưng một chỉ dấu sinh học thứ cấp cải thiện. Nghiên cứu được sửa để đóng khung chỉ dấu sinh học như giả thuyết chính. Như tôi sẽ trình bày sau, đây là lý do sổ đăng ký thử nghiệm yêu cầu nhà nghiên cứu ghi nhận kết quả chính trước khi bắt đầu thu thập dữ liệu.

Vì sao HARKing có thể làm sai lệch phát hiện nghiên cứu

Kết quả trực tiếp nhất là tỷ lệ dương tính giả bị thổi phồng. Khi một giả thuyết được hình thành bằng cách nhìn vào chính dữ liệu dùng để kiểm định nó, phép kiểm định thống kê không còn đang kiểm tra một dự đoán độc lập. Nó đang kiểm tra mức độ một giả thuyết được xây để khớp dữ liệu khớp dữ liệu ra sao. Kết quả đó có thể không lặp lại vì nó khớp nhiễu, không phải tín hiệu.

Kerr liệt kê mười hai chi phí tiềm ẩn trong bài gốc. Vài điểm nổi bật. Kết quả HARKing được đưa vào lý thuyết như thể đã được xác nhận. Kết quả âm bị nén. Công trình công bố bắt đầu trông sạch sẽ hơn quá trình nghiên cứu thực tế.

Dorothy Bishop mô tả HARKing là một trong "bốn kỵ sĩ của tận thế tái lập kết quả", bên cạnh thiên lệch công bố, công suất thống kê thấp và p-hacking. Không điều nào trong số này đơn lẻ giải thích trạng thái của nghiên cứu được công bố. Cùng nhau, chúng giúp lý giải vì sao một số phát hiện kém đáng tin hơn p-value gợi ý.

HARKing liên quan thế nào đến khủng hoảng tái lập?

Khủng hoảng tái lập đề cập tới việc nhiều kết quả được công bố không thể được nhóm độc lập tái tạo. Trong Dự án Khả Tái Lập: Tâm lý học năm 2015, 97% nghiên cứu gốc có kết quả có ý nghĩa thống kê, nhưng chỉ 36% nghiên cứu lặp lại đạt được.

Khoảng cách đó là nơi HARKing có thể quan trọng. Một nghiên cứu xoay quanh giả thuyết hậu nghiệm có thể khớp nhiễu của một mẫu. Ở mẫu mới, hiệu ứng có thể thu nhỏ hoặc biến mất.

HARKing là yếu tố góp phần, không phải nguyên nhân. Nó đi cùng p-hacking, thiên lệch công bố, công suất thấp và cỡ mẫu nhỏ. Mark Rubin lập luận rằng bằng chứng cho HARKing như động lực chính yếu yếu hơn thường được khẳng định. Quan điểm đó còn tranh luận, nên tôi giữ tuyên bố khiêm tốn: HARKing là cơ chế hợp lý, không phải nguyên nhân đơn lẻ đã được chứng minh.

Dù thế nào, các thực hành che mờ tính chất thăm dò của kết quả làm tài liệu kém đáng tin hơn.

HARKing so với P-Hacking

Hai thực hành này thường được nhắc cùng nhau trong thảo luận về liêm chính nghiên cứu. Chúng không giống nhau.

P-hacking thao túng phân tích. Nó có nghĩa là thay đổi lựa chọn thu thập dữ liệu hoặc phân tích cho tới khi xuất hiện kết quả có ý nghĩa thống kê: dừng lại khi p dưới 0,05, thử nhiều phân tích, loại ngoại lệ, hoặc kiểm định nhiều phân nhóm mà không hiệu chỉnh. Giả thuyết giữ nguyên; phân tích bị bẻ cong.

HARKing thì thao túng giả thuyết. Phân tích có thể vẫn chuẩn mực. Điều thay đổi là tuyên bố của bài báo về những gì đã được dự đoán. Thử nghiệm lâm sàng ở phần mở đầu là ví dụ điển hình: phát hiện về chỉ dấu sinh học là thật, nhưng câu chuyện xung quanh thì không.

Ẩn dụ Xạ thủ Texas giúp vạch ranh giới.

HARKing dời mục tiêu; p-hacking che lần trượt. Ảnh: Tác giả.

Như đã trình bày, cả hai đều có thể làm tăng tỷ lệ dương tính giả. Cả hai cũng có thể xảy ra mà không có chủ ý đánh lừa.

Cách Preregistration và Registered Reports giảm HARKing

Hầu hết các biện pháp khắc phục HARKing đều làm rõ thời điểm của giả thuyết. Hai cách tiếp cận chính là đăng ký trước (preregistration) và Registered Reports.

Preregistration

Preregistration nghĩa là ghi lại câu hỏi nghiên cứu, giả thuyết, thiết kế nghiên cứu và kế hoạch phân tích trước khi thu thập bất kỳ dữ liệu nào. Các tài liệu này được gửi tới các sổ đăng ký đóng dấu thời gian như Open Science Framework (OSF), ClinicalTrials.gov, hoặc AsPredicted. Khi đã đăng, chúng chứng minh điều gì đã được dự đoán trước khi biết kết quả.

Nếu kết quả khác kế hoạch, thay đổi đó phải được thừa nhận, không âm thầm xóa đi. Kết quả bất ngờ vẫn có thể báo cáo, nhưng gắn nhãn là thăm dò.

Preregistration không phải là giải pháp hoàn chỉnh. Nhiều nghiên cứu đã đăng ký trước vẫn thay đổi so với kế hoạch gốc, và đăng ký mơ hồ bảo vệ kém hơn. Cũng có một đường vòng gọi là PARKing, đăng ký trước sau khi đã biết kết quả. Preregistration giúp khó che giấu điều đó hơn, chứ không phải bất khả thi.

Registered Reports

Registered Reports đi sớm hơn một bước bằng cách đưa tạp chí tham gia trước khi bắt đầu thu thập dữ liệu.

Trong quy trình tiêu chuẩn, biên tập đánh giá kết quả hoàn chỉnh, nên phát hiện dương tính thường có đường công bố dễ hơn.

Registered Reports chia quy trình thành hai giai đoạn. Ở Giai đoạn 1, tạp chí phản biện câu hỏi nghiên cứu và phương pháp trước khi thu thập dữ liệu. Nếu được chấp thuận, tạp chí cam kết xuất bản kết quả miễn là kế hoạch được phê duyệt được tuân thủ. Giai đoạn 2 kiểm tra kết quả và mức độ tuân thủ kế hoạch.

Phản biện diễn ra trước khi biết kết quả. Ảnh: Tác giả.

Hiệu ứng thể hiện ở tỷ lệ kết quả dương tính. Scheel, Schijen và Lakens tìm thấy kết quả dương tính khoảng 96% trong các bài báo truyền thống, so với khoảng 44% Registered Reports trong cùng lĩnh vực.

Hơn 300 tạp chí hiện cung cấp Registered Reports. Nature thông báo vào tháng 6 năm 2026 rằng họ mở rộng định dạng này trên tất cả các lĩnh vực xuất bản.

Thực hành báo cáo minh bạch

Không phải mọi thiết kế nghiên cứu đều phù hợp với đăng ký trước nghiêm ngặt, và không phải mọi tạp chí đều có Registered Reports. Trong những tình huống đó, báo cáo rõ ràng hơn vẫn có thể giảm rủi ro HARKing. Các thực hành dưới đây là chuẩn mực chứ không phải bắt buộc, nhưng ngày càng phổ biến ở các lĩnh vực nơi vấn đề tái lập hiển hiện nhất.

• Khi báo cáo, gắn nhãn mọi phân tích không được lên kế hoạch từ trước là thăm dò
• Báo cáo tất cả các kết quả đầu ra đã được đo ban đầu, bao gồm những kết quả không cho thấy hiệu ứng
• Bao gồm một mục phát hiện thăm dò được đánh dấu rõ khi các kết quả bất ngờ đáng để báo cáo
• Chia sẻ mã phân tích và dữ liệu để người khác có thể kiểm tra công việc
• Báo cáo rõ ràng mọi sai lệch so với kế hoạch đã đăng ký trước, kèm giải thích

Những chuẩn mực này không thay thế cho đăng ký trước hoặc Registered Reports. Chúng là cùng nguyên tắc cơ bản được áp dụng mà không cần quy trình hình thức: làm cho việc che giấu điều gì được dự đoán và điều gì được phát hiện trở nên khó hơn.

Những vấn đề giống HARKing trong khoa học dữ liệu và học máy

Đến đây, tôi dùng ví dụ nghiên cứu học thuật. Vấn đề cơ bản tương tự xuất hiện trong học máy và khoa học dữ liệu, thường dưới tên gọi khác.

Tương đồng rõ nhất là rò rỉ dữ liệu (data leakage). Trong học máy, rò rỉ xảy ra khi thông tin từ tập kiểm thử ảnh hưởng tới huấn luyện. Các dạng phổ biến gồm chọn hoặc tạo đặc trưng bằng toàn bộ dữ liệu trước khi chia tập huấn luyện - kiểm thử, hoặc tinh chỉnh siêu tham số bằng cách liên tục liếc hiệu năng trên tập kiểm thử. Kết quả là một mô hình trông tốt trên chuẩn đánh giá nhưng thất bại khi dùng thực tế, vì điểm số phần nào được xây trên dữ liệu lẽ ra không được thấy.

Kapoor và Narayanan tại Princeton đã ghi nhận vấn đề này trên hàng trăm nghiên cứu ở các lĩnh vực từ y học đến kinh tế. Tương đồng với HARKing là trực tiếp: thứ được kiểm định đã bị định hình bởi cùng dữ liệu mà sau đó dùng để đo lường nó.

Rò rỉ xảy ra rất lâu trước khi đánh giá mô hình. Ảnh: Tác giả.

Các nhà nghiên cứu ML cũng mô tả một thực hành đôi khi gọi là Grad Student Descent hoặc SotA-hacking. Họ chạy rất nhiều thí nghiệm cho tới khi mô hình vượt chuẩn hiện tại một chút, rồi viết bài như thể cấu hình thắng cuộc xuất phát từ một lập luận thiết kế mạch lạc. Đây là CHARKing áp dụng cho một pipeline học máy.

Chọn thước đo sau khi xem kết quả (post-hoc metric selection) là cùng mẫu hình dưới dạng khác: đánh giá mô hình trên nhiều thước đo, rồi sau khi thấy tất cả kết quả mới quyết định thước đo nào được trình bày là chỉ số chính. Điều trông như một lựa chọn phương pháp đã lên kế hoạch thực ra được đưa ra sau đó.

Một lưu ý: bản thân thuật ngữ HARKing hiếm khi được dùng trong học máy. Các vấn đề tương tự thường được bàn dưới chủ đề tái lập, chơi game benchmark, hoặc phương pháp đánh giá. Sự tương đồng giúp ích, nhưng vẫn chỉ là phép so sánh.

Kết luận

HARKing là vấn đề về gắn nhãn cũng nhiều như vấn đề về nghiên cứu. Một phát hiện hậu nghiệm có thể vững, nhưng trình bày nó như a priori sẽ lấy đi những gì người đọc cần để đánh giá.

Preregistration, Registered Reports và báo cáo rõ ràng đều giúp bằng cách làm hiển thị thời điểm của giả thuyết. Không cách nào là giải pháp trọn vẹn. Preregistration có thể mơ hồ, và Registered Reports vẫn chỉ bao phủ một phần nhỏ nghiên cứu được công bố.

Với nhà nghiên cứu và chuyên gia dữ liệu, quy tắc thực tế đơn giản: viết ra điều bạn dự đoán trước khi xem dữ liệu, báo cáo những gì bạn tìm thấy, và gắn nhãn kết quả thăm dò là thăm dò.

Để tìm hiểu thêm về khía cạnh kiểm định trong quy trình đó, xem khóa học của chúng tôi về Kiểm định giả thuyết trong Python.