HARKing Açıklandı: Sonuçlardan Sonra Hipotez Kurmak Neden Araştırmayı Yanıltabilir

Bir klinik çalışma tamamlanır. Birincil sonucun etkisi yoktur, ancak bir alt grup, kontrol grubuna kıyasla tedaviye daha iyi yanıt verir. Bu alt grup etkisini kimse öngörmemiştir. Protokole de yazılmamıştır.

Sonra makale revize edilir. Giriş bölümü, alt grup etkisini sanki baştan beri araştırma hipoteziymiş gibi çerçeveler. Başarısız birincil sonuç arka planda kaybolur. Hakemlik sürecine gelindiğinde, çalışma dosdoğru bir başarı gibi okunur.

Bu, HARKing’dir: Sonuçlar Bilindikten Sonra Hipotez Kurma. Norbert Kerr, 1998’de araştırmacıların post-hoc hipotezleri çalışmaya başlamadan önce belirlenmiş gibi sundukları durumlar için bu terimi ortaya attı. Bazen orijinal hipotez yeniden yazılır. Bazen de tamamen çıkarılır.

Keşif doğaldır. Sorun, keşif niteliğindeki bir bulgunun doğrulayıcıymış gibi sunulmasıdır. Okuyucular uyarı etiketini kaybeder: bu erken kanıttır, kanıt değil.

Araştırmada HARKing Nedir?

Kerr’in orijinal tanımı hâlâ en net başlangıç noktasıdır: HARKing, bir araştırmacının "post hoc bir hipotezi... araştırma raporunda sanki aslında a priori bir hipotezmiş gibi" sunmasıdır. A priori hipotez, veri toplanmadan önce oluşturulur. Post hoc hipotez ise sonuçları gördükten sonra kurulur. Sorun etiketlemededir; analiz bizzat kendisi her zaman sorunlu değildir.

Kerr, daha az dikkat çeken ikinci bir biçimi de tanımladı: test edilmiş ve olumsuz çıkan orijinal hipotezlerin çıkarılması. Her iki biçim de gerçekte ne olduğunu gizler. Zamanla kuramlar gerçekte olduklarından daha isabetli görünmeye başlayabilir.

HARKing Türleri

Araştırmacılar HARKing’i birkaç türe ayırabilir.

• CHARKing (Constructing HARKing) çoğu kişinin gözünde canlanan duruma en yakındır. Bir araştırmacı beklenmedik, anlamlı bir sonuç bulur; bunu açıklamak için yeni bir hipotez kurar ve bu hipotezi çalışmanın başlangıç noktasıymış gibi sunar. Kuram veriye uydurularak inşa edilir.
• SHARKing (Secretly HARKing) farklı işler. Yeni bir hipotez kurmak yerine araştırmacı, orijinal bir öngörünün yapıldığını ve başarısız olduğunu gösteren kanıtları çıkarır. Makale yalnızca olumlu sonuçlar içeriyor gibi görünür. Başarısız öngörüler ortadan kaybolur.
• THARKing (Transparent HARKing) istisnadır. Hollenbeck ve Wright, bu terimi 2017’de, açıkça keşif olarak etiketlenen post-hoc hipotezler için kullandı. Okuyucular böylece sonucu olduğu gibi değerlendirebilir. Birazdan buna tekrar döneceğim.

Araştırmacılar Neden HARKing Yapar?

Yayın yanlılığı bir etkendir. Dergiler sıklıkla olumlu, istatistiksel olarak anlamlı sonuçları, boş (null) bulgulara tercih etmiştir. Kadro, fon ve bölüm itibarı yayın sayısı ve dergi prestijine bağlıyken, verileri daha olumlu sunmak rasyonel görünebilir.

Baskı her zaman araştırmacılardan başlamaz. Pasif HARKing, editörler veya hakemler yazarlardan çalışmayı beklenmedik bir bulgu etrafında yeniden çerçevelemelerini ya da sonuç vermeyen hipotezleri çıkarmalarını istediğinde ortaya çıkar. Bu da araştırmacıyı zor bir tercih ile baş başa bırakır.

Bir de bilinçdışı bir yol vardır. Geriye dönük yanlılık, araştırmacıların beklemedikleri bir sonucu beklemiş olduklarına inanmalarına yol açabilir. Hafıza soluklaşır ve post-hoc anlatı boşluğu doldurur. Bazı durumlar kasıtlı aldatma değildir.

Psikolojiden anket bulguları ölçek hakkında bazı ipuçları verir. John, Loewenstein ve Prelec, psikologların yaklaşık %27’sinin beklenmedik bir bulguyu baştan öngördüklerini iddia ettiklerini buldu. Birkaç anketin gözden geçirilmesi, HARKing’in bir biçimini yaklaşık %43 olarak koydu. Bunlar öz-bildirimli rakamlardır; bu yüzden düşük olabilirler.

HARKing ve Keşif/Doğrulayıcı Araştırma

Bu, yazının gereğinden sert duyulmasının kolay olduğu bir nokta. Keşif sorun değildir. Sorun, makalenin keşfi planlı bir testmiş gibi ele alıp almadığıdır.

Keşifsel analiz

Keşifsel analiz veriyle, bulmayı beklediğiniz şeye dair sağlam bir ön iddia olmadan çalıştığınızda olan şeydir. Dağılımları inceler, desenleri fark eder, değişkenleri karşılaştırır ve veri setinin nabzını yoklarsınız. Amaç hipotez üretmektir, onları test etmek değil.

Bu ayrımı yararlı buluyorum çünkü eleştiriyi doğru yere koyuyor. Bilimsel ilerlemenin büyük kısmı, birinin beklenmedik bir şey fark edip bunun ikinci bir bakışı hak ettiğine karar vermesiyle başlar.

Doğrulayıcı analiz

Doğrulayıcı analiz test aşamasıdır. Veriyi görmeden önce oluşturulmuş belirli bir öngörüyle başlar, planladığınız istatistiksel testi yürütür ve verinin öngörüyü destekleyip desteklemediğine bakarsınız. Önce hipotez gelir. Sonra veri.

Bir hipotez bir veri setine bakılarak üretildiğinde ve ardından aynı veri setinde test edildiğinde, test artık bağımsız değildir. Hipotez, o örnekteki aynı gürültü tarafından şekillendirilmiştir.

Girişteki uyarının daha teknik ifadesi budur: etiket değişir, ama test değişmez.

İyi testlerde hipotez, veriden önce gelir. Görsel: Yazar.

Pratik kural: aynı veri seti aynı hipotezi âdil biçimde hem üretemez hem de test edemez.

HARKing Örnekleri

Aşağıdaki örnekler uydurma senaryolardır; belgelendirilmiş vakalar değildir. Amaç, belirli bir çalışmayı suçlamak değil, deseni göstermektir.

• Psikoloji deneyi: Bir ekip farkındalığın bilişsel performansı artırıp artırmadığını test eder. Ana etki anlamlı değildir, ancak 50 yaş üstü katılımcılarda güçlü bir pozitif etki görülür. Son makalede yaş grubu bulgusu orijinal hipotez, ana etkinin yokluğu ise bir dipnot hâline getirilir.
• Pazarlama analizi: Bir şirket, bir sadakat programının satın alma sıklığını artırıp artırmadığını test eder. Genel etki marjinaldir, ancak yeni üyelerde belirgin bir artış vardır. Nihai rapor, bu grubu sanki planlı odakmış gibi sunar ve sonradan bulunduğunu söylemez.
• Klinik çalışma: Bir tıp çalışması, önceden belirlenmiş bir birincil sonucu hedefleyerek yeni bir ilacı test eder. İlaç, kontrol grubunu geride bırakmaz, ancak ikincil bir biyobelirteç iyileşir. Çalışma, biyobelirteci birincil hipotez olarak çerçeveleyecek şekilde revize edilir. Birazdan ele alacağım üzere, bu nedenle deneme kayıtları araştırmacılardan, veri toplama başlamadan önce birincil sonuçları kaydetmelerini ister.

HARKing Araştırma Bulgularını Neden Çarpıtabilir?

En doğrudan sonuç, artmış bir yalancı pozitif oranıdır. Bir hipotez, onu test etmek için kullanılan aynı veriye bakılarak kurulduğunda, istatistiksel test bağımsız bir öngörüyü sınamaz. Veriye uydurulmuş bir hipotezin veriye ne kadar iyi uyduğunu sınar. Bu sonuç, sinyale değil gürültüye uyduğu için tekrarlanmayabilir.

Kerr, orijinal makalede on iki olası maliyet sıraladı. Birkaçı öne çıkar: HARKing’le elde edilen sonuçlar doğrulanmış gibi kurama dahil edilir. Olumsuz sonuçlar bastırılır. Yayınlanan çalışmalar, araştırma sürecinin gerçekte olduğundan daha pürüzsüz görünmeye başlar.

Dorothy Bishop, HARKing’i, yayın yanlılığı, düşük istatistiksel güç ve p-hacking ile birlikte "tekrarlanabilirlik kıyametinin dört atlısından" biri olarak tanımladı. Bunların hiçbiri tek başına yayınlanan araştırmaların durumunu açıklamaz. Birlikte, bazı bulguların p-değerlerinin ima ettiğinden neden daha az güvenilir olduğunu açıklar.

HARKing ve Tekrarlanabilirlik Krizi

Tekrarlanabilirlik krizi, yayımlanmış birçok sonucun bağımsız ekiplerce yeniden üretilemediği bulgusunu ifade eder. 2015 Reproducibility Project: Psychology’de, orijinal çalışmaların %97’si istatistiksel olarak anlamlıyken, tekrar çalışmalarının yalnızca %36’sı anlamlıydı.

Bu farkta HARKing etkili olabilir. Post-hoc bir hipotez etrafında kurgulanan bir çalışma, tek bir örneklemin gürültüsüne uyabilir. Yeni bir örneklemde etki küçülebilir ya da kaybolabilir.

HARKing katkı yapan bir etkendir, neden değil. p-hacking, yayın yanlılığı, düşük istatistiksel güç ve küçük örneklemlerle yan yana durur. Mark Rubin, HARKing’in başlıca itici güç olduğuna dair kanıtın sıklıkla iddia edilenden daha zayıf olduğunu öne sürdü. Bu görüş tartışmalıdır; bu nedenle iddiayı mütevazı tutardım: HARKing makul bir mekanizmadır, kanıtlanmış tek neden değil.

Her hâlükârda, sonuçların keşif niteliğini gizleyen uygulamalar literatürü daha az güvenilir kılar.

HARKing ve P-Hacking

Bu iki uygulama, araştırma bütünlüğü tartışmalarında sık sık birlikte anılır. Aynı şey değildirler.

P-hacking analizi manipüle eder. p 0,05’in altına düştüğünde durmak, birkaç analizi denemek, aykırı değerleri çıkarmak veya düzeltme yapmadan birçok alt grubu test etmek gibi, istatistiksel olarak anlamlı bir sonuç çıkana kadar veri toplama ya da analiz tercihlerinin değiştirilmesi anlamına gelir. Hipotez sabit kalır; analiz esner.

HARKing ise hipotezi manipüle eder. Analiz standart olabilir. Değişen, makalenin neyin öngörüldüğünü iddia ettiğidir. Girişteki klinik çalışma temiz bir örnektir: biyobelirteç bulgusu gerçekti, ama çevresindeki hikâye değildi.

Texas Nişancısı benzetmesi sınırı çizmeye yardımcı olur.

HARKing hedefleri taşır; p-hacking ıskaları gizler. Görsel: Yazar.

Daha önce ele alındığı gibi, ikisi de yalancı pozitif oranlarını şişirebilir. Ayrıca ikisi de kasıtlı aldatma niyeti olmadan gerçekleşebilir.

Ön Kayıt ve Registered Reports HARKing’i Nasıl Azaltır?

HARKing’e yönelik çoğu çözüm, hipotezin zamanlamasını görünür kılar. İki ana yaklaşım ön kayıt ve Registered Reports’tur.

Ön kayıt

Ön kayıt, araştırma sorunuzu, hipotezlerinizi, çalışma tasarımınızı ve planlanan analizi herhangi bir veri toplanmadan önce kaydetmek anlamına gelir. Bu belgeler zaman damgalı kayıt sistemlerine gönderilir; örneğin Open Science Framework (OSF), ClinicalTrials.gov veya AsPredicted. Yayınlandıktan sonra, sonuçlar bilinmeden önce nelerin öngörüldüğünü gösterirler.

Sonuçlar plandan farklıysa, bu değişiklik sessizce silinemez; kabul edilmelidir. Beklenmedik sonuçlar hâlâ raporlanabilir, ancak keşif olarak etiketlenmelidir.

Ön kayıt tam bir çözüm değildir. Birçok ön kayıtlı çalışma yine de orijinal plandan sapar ve muğlak kayıtlar daha az koruma sağlar. PARKing denilen bir dolanma yolu da vardır: sonuçlar bilindikten sonra ön kayıt yapmak. Ön kayıt bunu gizlemeyi zorlaştırır, imkânsız kılmaz.

Registered Reports

Registered Reports, veri toplama başlamadan önce dergiyi sürece dâhil ederek bir adım daha ileri gider.

Standart iş akışında editörler tamamlanmış sonucu değerlendirir; bu nedenle olumlu bulguların yayın yolculuğu genellikle daha kolaydır.

Registered Reports süreci iki aşamaya böler. Aşama 1’de, dergi veri toplama öncesinde araştırma sorusunu ve yöntemleri inceler. Kabul edilirse, onaylanan plana uyulduğu sürece sonuçları yayımlama sözü verir. Aşama 2, sonuçları ve plana uyumu kontrol eder.

Değerlendirme, sonuçlar bilinmeden önce gerçekleşir. Görsel: Yazar.

Etkisi, olumlu sonuç oranında görülür. Scheel, Schijen ve Lakens, geleneksel dergi makalelerinde olumlu sonuçların yaklaşık %96, aynı alanlardaki Registered Reports’ta ise yaklaşık %44 olduğunu buldu.

Artık 300’den fazla dergi Registered Reports sunuyor. Nature, Haziran 2026’da formatı yayımladığı tüm alanlara genişlettiğini duyurdu.

Şeffaf raporlama uygulamaları

Her araştırma tasarımı sıkı ön kayda uygun değildir ve her dergi Registered Reports sunmaz. Bu durumlarda dahi daha açık raporlama HARKing riskini azaltabilir. Aşağıdaki uygulamalar zorunluluktan çok normdur; ancak tekrarlanabilirlik sorunlarının en görünür olduğu alanlarda giderek daha yaygınlaşmaktadır.

• Raporlarken önceden planlanmamış her analizi keşif olarak etiketleyin
• Başlangıçta ölçülen tüm sonuçları, etki göstermeyenler dâhil, raporlayın
• Beklenmedik sonuçlar raporlanmaya değerse, açıkça işaretlenmiş bir keşif bulguları bölümü ekleyin
• Analiz kodunu ve verileri paylaşın ki başkaları çalışmayı kontrol edebilsin
• Ön kayıtlı bir plandan her sapmayı açıkça ve bir açıklamayla raporlayın

Bu normlar, ön kayıt veya Registered Reports’un yerine geçmez. Aynı temel ilkenin resmî süreç olmadan uygulanışıdır: Neyin öngörüldüğünü ve neyin keşfedildiğini gizlemeyi zorlaştırmak.

Veri Bilimi ve Makine Öğrenmesinde HARKing’e Benzer Sorunlar

Şimdiye kadar akademik araştırma örnekleri kullandım. Aynı temel sorun, genellikle farklı adlar altında makine öğrenmesi ve veri bilimi çalışmalarında da görülür.

En net benzerlik, veri sızıntısıdır. Makine öğrenmesinde sızıntı, test setinden gelen bilginin eğitimi etkilemesidir. Yaygın biçimler arasında, eğitim-test ayrımından önce tüm veri seti kullanılarak özellik seçimi ya da türetilmesi, veya model hiperparametrelerinin test seti performansına tekrar tekrar bakarak ayarlanması yer alır. Sonuç, ölçekte iyi görünen fakat gerçek kullanımda başarısız olan bir modeldir; çünkü puanı kısmen görmemesi gereken veriye dayanır.

Princeton’dan Kapoor ve Narayanan, bu sorunu tıptan iktisada kadar uzanan alanlardaki yüzlerce çalışmada belgelendirdi. HARKing ile paralellik doğrudandır: Test edilen şey, ardından ölçüldüğü aynı veri tarafından şekillendirilmiştir.

Sızıntı, model değerlendirmesinden çok önce girer. Görsel: Yazar.

ML araştırmacıları, bazen Grad Student Descent veya SotA-hacking denilen bir uygulamadan da söz eder. Araştırmacılar, model mevcut kıstasın az da olsa önüne geçene kadar birçok deneyi yürütür; sonra makaleyi, kazanan kurulum sanki tertemiz bir tasarım argümanından çıkmış gibi yazarlar. Bu, bir makine öğrenmesi hattına uygulanmış CHARKing’dir.

Post-hoc metrik seçimi, aynı kalıbın başka bir biçimidir: Bir modeli birçok metrikte değerlendirip tüm sonuçları gördükten sonra hangisini birincil ölçüt olarak sunacağınıza karar vermek. Planlanmış bir yöntem seçimi gibi görünen şey, sonradan yapılmış bir tercihtir.

Bir uyarı: HARKing teriminin kendisi makine öğrenmesinde nadiren kullanılır. Benzer sorunlar genellikle tekrarlanabilirlik, kıstas oyunları veya değerlendirme yöntemleri başlıkları altında tartışılır. Paralellik faydalıdır, ama yine de bir benzetmedir.

Sonuç

HARKing, bir araştırma sorunu kadar bir etiketleme sorunudur. Post-hoc bir bulgu sağlam olabilir, ancak onu a priori gibi sunmak, okuyucunun değerlendirme yapması için gerekeni ortadan kaldırır.

Ön kayıt, Registered Reports ve açık raporlama, hipotezin zamanlamasını görünür kılarak yardımcı olur. Hiçbiri tam çözüm değildir. Ön kayıt muğlak olabilir ve Registered Reports hâlâ yayımlanan araştırmaların yalnızca bir bölümünü kapsar.

Araştırmacılar ve veri profesyonelleri için pratik kural basittir: Veriye bakmadan önce neyi öngördüğünüzü yazın, bulduğunuzu raporlayın ve keşif bulgularını keşif olarak etiketleyin.

Bu iş akışının test tarafı hakkında daha fazlası için Python’da Hipotez Testi kursumuza bakın.