Penjelasan HARKing: Mengapa Menyusun Hipotesis Setelah Hasil Diketahui Dapat Menyesatkan Riset

Sebuah uji klinis selesai. Hasil utama kembali nihil, tetapi satu subkelompok merespons pengobatan lebih baik dibandingkan kelompok kontrol. Tidak ada yang memprediksi efek subkelompok itu. Tidak ada yang menuliskannya dalam protokol.

Lalu makalahnya direvisi. Bagian Pendahuluan membingkai efek subkelompok itu seolah-olah memang menjadi hipotesis riset sejak awal. Hasil utama yang gagal memudar ke latar belakang. Saat penelaahan sejawat, studinya terbaca seperti keberhasilan yang rapi.

Inilah HARKing: Hypothesizing After the Results are Known. Norbert Kerr mencetuskan istilah ini pada 1998 untuk kasus ketika peneliti menyajikan hipotesis pasca-kejadian seolah-olah ditetapkan sebelum studi dimulai. Terkadang hipotesis asli ditulis ulang. Terkadang dihilangkan.

Eksplorasi itu wajar. Masalahnya adalah menyajikan temuan eksploratori sebagai temuan konfirmatori. Pembaca kehilangan label peringatan: bukti awal, bukan kepastian.

Apa Itu HARKing dalam Riset?

Definisi asli Kerr masih menjadi titik awal yang paling jelas: HARKing terjadi ketika peneliti menyajikan "hipotesis pasca-kejadian... dalam laporan riset seolah-olah sebenarnya merupakan hipotesis a priori." Hipotesis a priori dibentuk sebelum pengumpulan data. Hipotesis pasca-kejadian dibentuk setelah melihat hasil. Masalahnya ada pada pelabelan, tidak selalu pada analisisnya.

Kerr juga menggambarkan bentuk kedua yang kurang mendapat perhatian: menghilangkan hipotesis asli yang telah diuji dan hasilnya negatif. Keduanya menyembunyikan apa yang sebenarnya terjadi. Lama-kelamaan, teori bisa tampak lebih akurat daripada kenyataannya.

Jenis-Jenis HARKing

Peneliti dapat membagi HARKing menjadi beberapa jenis.

• CHARKing (Constructing HARKing) adalah yang paling mendekati gambaran kebanyakan orang. Seorang peneliti menemukan hasil signifikan yang tidak terduga, membangun hipotesis baru untuk menjelaskannya, dan menyajikan hipotesis itu sebagai titik awal studi. Teori dibangun agar pas dengan data.
• SHARKing (Secretly HARKing) bekerja secara berbeda. Alih-alih membangun hipotesis baru, peneliti menghapus bukti bahwa prediksi asli pernah dibuat dan gagal. Makalah tampak hanya memuat hasil positif. Prediksi yang gagal menghilang.
• THARKing (Transparent HARKing) adalah pengecualian. Hollenbeck dan Wright menggunakan istilah ini pada 2017 untuk hipotesis pasca-kejadian yang diberi label jelas sebagai eksploratori. Pembaca kemudian dapat menilai hasil apa adanya. Lebih lanjut tentang ini sebentar lagi.

Mengapa Peneliti Melakukan HARKing

Bias publikasi adalah salah satu pendorongnya. Jurnal sering kali lebih menyukai hasil positif dan signifikan secara statistik daripada temuan nihil. Ketika jabatan, pendanaan, dan status departemen bergantung pada jumlah publikasi dan prestise jurnal, menyajikan data secara lebih menguntungkan bisa mulai tampak rasional.

Tekanan tidak selalu berasal dari peneliti. HARKing pasif terjadi ketika editor atau reviewer meminta penulis untuk membingkai ulang studi seputar temuan tak terduga, atau menghapus hipotesis yang tidak berhasil. Itu membuat peneliti dihadapkan pada pilihan sulit.

Ada juga jalur bawah sadar. Bias hindsight dapat membuat peneliti percaya bahwa mereka mengharapkan suatu hasil padahal tidak. Ingatan memudar, dan cerita pasca-kejadian mengisi celahnya. Sebagian kasus bukan penipuan yang disengaja.

Bukti survei dari psikologi memberi gambaran skala masalahnya. John, Loewenstein, dan Prelec menemukan sekitar 27% psikolog mengatakan mereka pernah mengklaim memprediksi temuan tak terduga sejak awal. Tinjauan beberapa survei menempatkan beberapa bentuk HARKing sekitar 43%. Angka-angka ini dilaporkan sendiri, jadi mungkin lebih rendah dari kenyataannya.

HARKing vs. Riset Eksploratori dan Konfirmatori

Di sinilah artikel ini mudah terdengar lebih keras daripada semestinya. Eksplorasi bukan masalahnya. Masalahnya adalah apakah makalah memperlakukan eksplorasi seolah-olah itu uji yang direncanakan.

Analisis eksploratori

Analisis eksploratori adalah apa yang terjadi ketika Anda melihat data tanpa klaim awal yang tegas tentang apa yang diharapkan ditemukan. Anda memeriksa distribusi, melihat pola, membandingkan variabel, dan merasakan karakteristik dataset. Tujuannya adalah menghasilkan hipotesis, bukan mengujinya.

Saya menganggap pembedaan ini berguna karena menjaga kritik pada tempatnya. Banyak kemajuan ilmiah dimulai ketika seseorang memperhatikan sesuatu yang tak terduga dan memutuskan itu layak diteliti lagi.

Analisis konfirmatori

Analisis konfirmatori adalah tahap pengujian. Anda memulai dengan prediksi spesifik yang dibentuk sebelum melihat data, menjalankan uji statistik yang direncanakan, dan memeriksa apakah data mendukung prediksi tersebut. Hipotesis datang terlebih dahulu. Data datang kemudian.

Ketika hipotesis dihasilkan dengan melihat suatu dataset lalu diuji pada dataset yang sama, uji tersebut tidak lagi independen. Hipotesis dibentuk oleh kebisingan yang sama yang ada dalam sampel itu.

Itulah peringatan dari pendahuluan dalam istilah yang lebih teknis: labelnya berubah, tetapi uji yang dilakukan tidak.

Uji yang baik menempatkan hipotesis sebelum data. Gambar oleh Penulis.

Aturan praktis: dataset yang sama tidak dapat secara adil menghasilkan lalu menguji hipotesis yang sama.

Contoh HARKing

Contoh di bawah ini adalah skenario rekaan, bukan kasus terdokumentasi. Poinnya adalah polanya, bukan menuduh studi tertentu.

• Eksperimen psikologi: Sebuah tim menguji apakah mindfulness meningkatkan kinerja kognitif. Efek utama tidak signifikan, tetapi peserta berusia di atas 50 tahun menunjukkan efek positif yang kuat. Dalam makalah final, temuan kelompok usia menjadi hipotesis asli, dan efek utama yang nihil menjadi catatan sampingan.
• Analisis pemasaran: Sebuah perusahaan menguji apakah program loyalitas meningkatkan frekuensi pembelian. Efek keseluruhan marginal, tetapi anggota baru-baru ini menunjukkan peningkatan yang jelas. Laporan akhir menyajikan kelompok itu sebagai fokus yang direncanakan, tanpa menyebutkan bahwa itu ditemukan setelahnya.
• Uji klinis: Sebuah studi medis menguji obat baru pada luaran utama yang telah ditetapkan sebelumnya. Obat tidak lebih unggul dari kontrol, tetapi sebuah biomarker sekunder membaik. Studi direvisi untuk membingkai biomarker sebagai hipotesis utama. Seperti akan saya bahas nanti, inilah alasan registri uji meminta peneliti mencatat luaran utama sebelum pengumpulan data dimulai.

Mengapa HARKing Dapat Mendistorsi Temuan Riset

Dampak paling langsung adalah meningkatnya angka positif palsu. Ketika sebuah hipotesis dibentuk dengan melihat data yang sama yang digunakan untuk mengujinya, uji statistik tidak lagi memeriksa prediksi independen. Uji tersebut memeriksa seberapa baik hipotesis yang dibangun agar pas dengan data cocok dengan data. Hasil itu mungkin tidak terulang karena yang dipas-kan adalah kebisingan, bukan sinyal.

Kerr mencantumkan dua belas kemungkinan biaya dalam makalah asli. Beberapa menonjol. Hasil HARKing masuk ke teori seolah-olah sudah terkonfirmasi. Hasil negatif ditekan. Karya yang diterbitkan mulai tampak lebih rapi daripada proses riset yang sebenarnya.

Dorothy Bishop menyebut HARKing sebagai salah satu dari "empat penunggang kiamat reprodusibilitas," bersama bias publikasi, daya statistik rendah, dan p-hacking. Tidak satu pun dari ini sendiri menjelaskan keadaan publikasi riset. Bersama-sama, ini membantu menjelaskan mengapa sebagian temuan kurang andal daripada yang disiratkan p-value-nya.

Bagaimana HARKing Berkaitan dengan Krisis Replikasi

Krisis replikasi mengacu pada temuan bahwa banyak hasil terbitan tidak dapat direproduksi oleh tim independen. Dalam Reproducibility Project: Psychology tahun 2015, 97% studi asli memiliki hasil signifikan secara statistik, tetapi hanya 36% replikasinya yang demikian.

Kesenjangan itulah tempat HARKing bisa berperan. Studi yang dibangun di atas hipotesis pasca-kejadian mungkin sesuai dengan kebisingan dari satu sampel. Pada sampel baru, efeknya bisa menyusut atau hilang.

HARKing adalah faktor yang berkontribusi, bukan penyebabnya. Ia berdampingan dengan p-hacking, bias publikasi, daya statistik rendah, dan sampel kecil. Mark Rubin berpendapat bahwa bukti HARKing sebagai pendorong utama lebih lemah daripada yang sering diklaim. Pandangan itu diperdebatkan, jadi saya akan menahan klaimnya: HARKing adalah mekanisme yang masuk akal, bukan penyebab tunggal yang terbukti.

Bagaimanapun, praktik yang menyembunyikan sifat eksploratori hasil membuat literatur menjadi kurang andal.

HARKing vs. P-Hacking

Kedua praktik ini sering muncul bersama dalam diskusi integritas riset. Keduanya bukan hal yang sama.

P-hacking memanipulasi analisis. Artinya mengubah pengumpulan data atau pilihan analisis sampai muncul hasil signifikan secara statistik: berhenti begitu p turun di bawah 0,05, mencoba beberapa analisis, menghapus outlier, atau menguji banyak subkelompok tanpa koreksi. Hipotesis tetap; analisis yang dibelokkan.

HARKing justru memanipulasi hipotesis. Analisisnya mungkin standar. Yang berubah adalah klaim dalam makalah tentang apa yang diprediksi. Uji klinis pada pendahuluan adalah contoh yang jelas: temuan biomarker itu nyata, tetapi ceritanya tidak.

Metafora Texas Sharpshooter membantu menarik batasnya.

HARKing memindahkan target; p-hacking menyembunyikan tembakan meleset. Gambar oleh Penulis.

Seperti dibahas sebelumnya, keduanya dapat meningkatkan angka positif palsu. Keduanya juga bisa terjadi tanpa niat menipu secara sadar.

Bagaimana Prapendaftaran dan Registered Reports Mengurangi HARKing

Kebanyakan perbaikan untuk HARKing membuat waktu kemunculan hipotesis menjadi terlihat. Dua pendekatan utama adalah prapendaftaran dan Registered Reports.

Prapendaftaran

Prapendaftaran berarti mencatat pertanyaan riset, hipotesis, desain studi, dan rencana analisis sebelum data apa pun dikumpulkan. Dokumen-dokumen ini dikirim ke registri bertanda waktu seperti Open Science Framework (OSF), ClinicalTrials.gov, atau AsPredicted. Setelah dipublikasikan, dokumen-dokumen ini menunjukkan apa yang diprediksi sebelum hasil diketahui.

Jika hasil berbeda dari rencana, perubahan itu harus diakui, bukan diam-diam dihapus. Hasil tak terduga tetap dapat dilaporkan, tetapi diberi label eksploratori.

Prapendaftaran bukan solusi tuntas. Banyak studi yang diprapendaftaran masih berubah dari rencana asli, dan pendaftaran yang samar memberi perlindungan lebih kecil. Ada juga jalan pintas bernama PARKing, yaitu prapendaftaran setelah hasil sudah diketahui. Prapendaftaran membuat itu lebih sulit disembunyikan, bukan mustahil.

Registered Reports

Registered Reports melangkah lebih awal dengan melibatkan jurnal sebelum pengumpulan data dimulai.

Dalam alur standar, editor mengevaluasi hasil yang sudah selesai, sehingga temuan positif sering kali lebih mudah dipublikasikan.

Registered Reports membagi proses menjadi dua tahap. Pada Tahap 1, jurnal menelaah pertanyaan riset dan metodologi sebelum pengumpulan data. Jika diterima, jurnal berjanji menerbitkan hasil selama rencana yang disetujui diikuti. Tahap 2 memeriksa hasil dan kepatuhan pada rencana.

Ulasan terjadi sebelum hasil diketahui. Gambar oleh Penulis.

Dampaknya terlihat pada tingkat hasil positif. Scheel, Schijen, dan Lakens menemukan hasil positif sekitar 96% pada artikel jurnal tradisional, dibandingkan sekitar 44% pada Registered Reports di bidang yang sama.

Lebih dari 300 jurnal kini menawarkan Registered Reports. Nature mengumumkan pada Juni 2026 bahwa mereka memperluas format ini di semua bidang yang mereka terbitkan.

Praktik pelaporan yang transparan

Tidak setiap desain riset cocok untuk prapendaftaran ketat, dan tidak setiap jurnal menawarkan Registered Reports. Dalam situasi tersebut, pelaporan yang lebih jelas tetap dapat mengurangi risiko HARKing. Praktik di bawah ini adalah norma, bukan persyaratan, tetapi semakin lazim di bidang yang masalah replikasinya paling terlihat.

• Beri label eksploratori pada analisis apa pun yang tidak direncanakan sebelumnya saat melaporkannya
• Laporkan semua luaran yang awalnya diukur, termasuk yang tidak menunjukkan efek
• Sertakan bagian temuan eksploratori yang ditandai jelas ketika hasil tak terduga layak dilaporkan
• Bagikan kode analisis dan data agar orang lain dapat memeriksa pekerjaan tersebut
• Laporkan setiap penyimpangan dari rencana prapendaftaran secara eksplisit beserta penjelasannya

Norma-norma ini bukan pengganti prapendaftaran atau Registered Reports. Ini adalah prinsip dasar yang sama diterapkan tanpa proses formal: membuatnya lebih sulit untuk menyembunyikan mana yang diprediksi dan mana yang ditemukan.

Masalah Mirip HARKing dalam Data Science dan Machine Learning

Sejauh ini, saya menggunakan contoh riset akademik. Masalah dasar yang sama muncul dalam pekerjaan machine learning dan data science juga, biasanya dengan nama berbeda.

Paralel yang paling jelas adalah kebocoran data (data leakage). Dalam machine learning, kebocoran terjadi ketika informasi dari test set memengaruhi pelatihan. Bentuk umumnya termasuk memilih atau merekayasa fitur menggunakan seluruh dataset sebelum pemisahan train-test, atau menyetel hyperparameter model dengan berulang kali mengintip kinerja test set. Hasilnya adalah model yang tampak bagus di tolok ukur tetapi gagal dalam penggunaan nyata, karena skornya sebagian dibangun dari data yang seharusnya tidak dilihat.

Kapoor dan Narayanan di Princeton mendokumentasikan masalah ini di ratusan studi di bidang mulai dari kedokteran hingga ekonomi. Paralelnya dengan HARKing langsung: hal yang diuji telah dibentuk oleh data yang sama yang kemudian digunakan untuk mengukurnya.

Kebocoran masuk jauh sebelum evaluasi model. Gambar oleh Penulis.

Peneliti ML juga menggambarkan praktik yang kadang disebut Grad Student Descent atau SotA-hacking. Peneliti menjalankan banyak eksperimen sampai model mengungguli tolok ukur saat ini, lalu menulis makalah seolah-olah konfigurasi pemenang berasal dari argumen desain yang rapi. Ini adalah CHARKing yang diterapkan pada pipeline machine learning.

Pemilihan metrik pasca-kejadian adalah pola yang sama dalam bentuk berbeda: mengevaluasi model pada banyak metrik, lalu memutuskan setelah melihat semua hasil metrik mana yang akan disajikan sebagai ukuran utama. Yang tampak seperti pilihan metode yang direncanakan sebenarnya dibuat setelahnya.

Satu catatan: istilah HARKing sendiri jarang digunakan dalam machine learning. Masalah serupa biasanya dibahas di bawah topik reprodusibilitas, permainan tolok ukur, atau metode evaluasi. Pararel ini membantu, tetapi tetap sebuah analogi.

Kesimpulan

HARKing adalah masalah pelabelan sekaligus masalah riset. Temuan pasca-kejadian bisa saja valid, tetapi menyajikannya sebagai a priori menghapus hal yang dibutuhkan pembaca untuk menilainya.

Prapendaftaran, Registered Reports, dan pelaporan yang jelas membantu dengan membuat waktu kemunculan hipotesis terlihat. Tidak ada yang menjadi solusi tuntas. Prapendaftaran bisa samar, dan Registered Reports tetap mencakup hanya sebagian kecil publikasi riset.

Bagi peneliti dan profesional data, aturan praktisnya sederhana: tuliskan apa yang Anda prediksi sebelum melihat data, laporkan apa yang Anda temukan, dan beri label hasil eksploratori sebagai eksploratori.

Untuk pembahasan lebih lanjut tentang sisi pengujian dari alur kerja tersebut, lihat kursus kami tentang Hypothesis Testing in Python.