HARKing wyjaśniony: dlaczego hipotezowanie po wynikach może wprowadzać badania w błąd

Kończy się badanie kliniczne. Główny punkt końcowy wypada negatywnie, ale jedna podgrupa reaguje na leczenie lepiej niż grupa kontrolna. Nikt nie przewidział takiego efektu podgrupy. Nie ujęto go w protokole.

Potem artykuł zostaje przeredagowany. Wprowadzenie przedstawia efekt podgrupy jako hipotezę badawczą od samego początku. Nieudany główny punkt końcowy schodzi na dalszy plan. Na etapie recenzji praca czyta się jak czysty sukces.

To jest HARKing: Hypothesizing After the Results are Known, czyli formułowanie hipotez po poznaniu wyników. Norbert Kerr ukuł ten termin w 1998 roku dla sytuacji, w których badacze przedstawiają hipotezy post hoc tak, jakby zostały wyznaczone przed rozpoczęciem badania. Czasem pierwotną hipotezę się przerabia. Czasem się ją pomija.

Eksploracja jest czymś normalnym. Problemem jest przedstawianie wyniku eksploracyjnego jako potwierdzającego. Czytelnicy tracą etykietę ostrzegawczą: to wstępne przesłanki, nie dowód.

Czym jest HARKing w badaniach?

Pierwotna definicja Kerra to wciąż najlepszy punkt wyjścia: HARKing występuje, gdy badacz przedstawia "hipotezę post hoc... w swoim raporcie badawczym tak, jakby była hipotezą a priori". Hipotezę a priori formułuje się przed zebraniem danych. Hipotezę post hoc formułuje się po zobaczeniu wyników. Problem dotyczy etykiety, nie zawsze samej analizy.

Kerr opisał też drugi, rzadziej omawiany wariant: pomijanie pierwotnych hipotez, które przetestowano i które dały wynik negatywny. Obie formy ukrywają to, co faktycznie zaszło. Z czasem teorie mogą zacząć wyglądać na trafniejsze, niż są w rzeczywistości.

Rodzaje HARKingu

Badacze wyróżniają kilka typów HARKingu.

• CHARKing (Constructing HARKing) to najbliższy temu, co zwykle sobie wyobrażamy. Badacz znajduje nieoczekiwany istotny wynik, buduje nową hipotezę, by go wyjaśnić, i przedstawia ją jako punkt wyjścia badania. Teoria zostaje dopasowana do danych.
• SHARKing (Secretly HARKing) działa inaczej. Zamiast tworzyć nową hipotezę, badacz usuwa ślady, że pierwotna prognoza została postawiona i nie potwierdziła się. W artykule widnieją jedynie pozytywne wyniki. Nietrafione przewidywania znikają.
• THARKing (Transparent HARKing) to wyjątek. Hollenbeck i Wright użyli tego terminu w 2017 roku dla hipotez post hoc, które są wyraźnie oznaczone jako eksploracyjne. Czytelnicy mogą wtedy ocenić wynik takim, jakim jest. Więcej za chwilę.

Dlaczego badacze uciekają się do HARKingu

Jednym z motorów jest stronniczość publikacyjna. Czasopisma często faworyzowały wyniki pozytywne, statystycznie istotne, kosztem wyników zerowych. Gdy dorobek, finansowanie i pozycja katedry zależą od liczby publikacji i renomy czasopism, korzystniejsze przedstawienie danych może zacząć wyglądać racjonalnie.

Presja nie zawsze pochodzi od samych badaczy. Pasywny HARKing zachodzi, gdy redaktorzy lub recenzenci proszą autorów o przeformułowanie badania wokół nieoczekiwanego wyniku albo o usunięcie hipotez, które się nie potwierdziły. Badacz staje wtedy przed trudnym wyborem.

Jest też nieświadoma ścieżka. Efekt pewności wstecznej może sprawić, że badacze uwierzą, iż spodziewali się wyniku, którego się nie spodziewali. Pamięć blednie, a opowieść post hoc wypełnia lukę. Niektóre przypadki nie są zamierzonym wprowadzaniem w błąd.

Dowody ankietowe z psychologii dają pewne pojęcie o skali. John, Loewenstein i Prelec ustalili, że około 27% psychologów przyznało, iż twierdziło, że przewidywało nieoczekiwane odkrycie od początku. Przegląd kilku badań ankietowych oszacował jakąś formę HARKingu na około 43%. To dane samoopisowe, więc mogą być zaniżone.

HARKing a badania eksploracyjne i konfirmacyjne

Tutaj artykuł łatwo może zabrzmieć ostrzej, niż powinien. Eksploracja nie jest problemem. Problemem jest to, czy artykuł traktuje eksplorację tak, jakby była zaplanowanym testem.

Analiza eksploracyjna

Analiza eksploracyjna to to, co dzieje się, gdy przyglądasz się danym bez mocnego wcześniejszego założenia, czego się spodziewasz. Badacz przegląda rozkłady, wychwytuje wzorce, porównuje zmienne i „wyczuwa” zbiór danych. Celem jest generowanie hipotez, a nie ich testowanie.

To rozróżnienie jest pożyteczne, bo kieruje krytykę we właściwe miejsce. Wiele postępów naukowych zaczyna się od tego, że ktoś zauważa coś nieoczekiwanego i uznaje, że warto się temu przyjrzeć.

Analiza konfirmacyjna

Analiza konfirmacyjna to etap testowania. Zaczynasz od konkretnego przewidywania sformułowanego przed zobaczeniem danych, wykonujesz zaplanowany test statystyczny i sprawdzasz, czy dane wspierają przewidywanie. Najpierw była hipoteza. Dane przyszły później.

Gdy hipoteza powstaje w wyniku oglądania zbioru danych, a potem jest testowana na tym samym zbiorze, test nie jest już niezależny. Hipotezę ukształtował ten sam szum, który jest obecny w tej próbie.

To techniczne rozwinięcie ostrzeżenia z wstępu: zmienia się etykieta, ale test nie.

Dobre testy stawiają hipotezę przed danymi. Ilustracja: autor.

Zasada praktyczna: ten sam zbiór danych nie może rzetelnie najpierw wygenerować, a potem przetestować tej samej hipotezy.

Przykłady HARKingu

Poniższe przykłady to scenariusze zmyślone, nie udokumentowane przypadki. Chodzi o wzorzec, a nie o wskazywanie konkretnych badań.

• Eksperyment psychologiczny: Zespół testuje, czy uważność poprawia funkcje poznawcze. Główny efekt nie jest istotny, ale uczestnicy powyżej 50. roku życia wykazują silny efekt pozytywny. W finalnym artykule wynik zależny od wieku staje się hipotezą pierwotną, a zerowy efekt główny — przypisem.
• Analiza marketingowa: Firma testuje, czy program lojalnościowy zwiększa częstotliwość zakupów. Efekt ogólny jest marginalny, ale u nowych członków wyraźnie rośnie. Raport końcowy przedstawia tę grupę jako planowane ognisko analizy, bez wzmianki, że odkryto ją post factum.
• Badanie kliniczne: Badanie medyczne testuje nowy lek na wcześniej określonym głównym punkcie końcowym. Lek nie przewyższa kontroli, ale poprawia się biomarker drugorzędny. Artykuł zostaje przeredagowany tak, by przedstawić biomarker jako hipotezę główną. Jak omówię później, to powód, dla którego rejestry badań proszą o zapisanie głównych punktów końcowych przed rozpoczęciem zbierania danych.

Dlaczego HARKing może zniekształcać wyniki badań

Najbardziej bezpośrednim skutkiem jest zawyżony odsetek fałszywych trafień. Gdy hipoteza zostaje sformułowana na podstawie tych samych danych, na których się ją testuje, test statystyczny nie sprawdza niezależnego przewidywania. Sprawdza, jak dobrze hipoteza zbudowana pod dane pasuje do danych. Wynik może się nie powtórzyć, bo dopasowuje szum, a nie sygnał.

Kerr wymienił w oryginalnym artykule dwanaście możliwych kosztów. Kilka się wybija. Wyniki z HARKingiem trafiają do teorii jak potwierdzone. Wyniki negatywne są tłumione. Opublikowane prace zaczynają wyglądać na „czystsze”, niż był faktyczny proces badawczy.

Dorothy Bishop określiła HARKing jako jednego z „czterech jeźdźców apokalipsy replikowalności”, obok stronniczości publikacyjnej, niskiej mocy statystycznej i p-hackingu. Żaden z nich w pojedynkę nie wyjaśnia stanu publikowanej nauki. Razem pomagają wyjaśnić, czemu część wyników jest mniej wiarygodna, niż sugerują ich wartości p.

Jak HARKing ma się do kryzysu replikacyjności

Kryzys replikacyjności oznacza, że wiele opublikowanych wyników nie daje się odtworzyć przez niezależne zespoły. W Reproducibility Project: Psychology z 2015 roku 97% oryginalnych badań miało istotne statystycznie wyniki, ale tylko 36% replikacji — już tak.

Ta luka to miejsce, gdzie HARKing może mieć znaczenie. Badanie oparte na hipotezie post hoc może pasować do szumu jednej próby. W nowej próbie efekt może się skurczyć lub zniknąć.

HARKing jest czynnikiem współwystępującym, nie przyczyną samą w sobie. Stoi obok p-hackingu, stronniczości publikacyjnej, niskiej mocy statystycznej i małych prób. Mark Rubin argumentował, że dowody, iż HARKing jest głównym sprawcą, są słabsze, niż się często twierdzi. Ten pogląd jest dyskutowany, więc trzymajmy się skromnej tezy: HARKing to wiarygodny mechanizm, nie udowodniona pojedyncza przyczyna.

Tak czy inaczej praktyki, które ukrywają eksploracyjny charakter wyników, obniżają wiarygodność literatury.

HARKing a p-hacking

Te dwie praktyki często pojawiają się razem w rozmowach o rzetelności badań. Nie są tym samym.

P-hacking manipuluje analizą. Oznacza zmienianie sposobu zbierania danych lub decyzji analitycznych do momentu pojawienia się istotności statystycznej: przerwanie zbierania, gdy p spada poniżej 0,05, próbowanie wielu analiz, usuwanie wartości odstających lub testowanie licznych podgrup bez korekty. Hipoteza pozostaje stała; nagina się analiza.

HARKing manipuluje zamiast tego hipotezą. Analiza może być standardowa. Zmienia się to, co artykuł twierdzi, że było przewidziane. Kliniczny przykład z wstępu jest czysty: biomarker naprawdę wyszedł, ale opowieść wokół niego — już nie.

Metafora teksańskiego strzelca pomaga narysować granicę.

HARKing przesuwa cele; p-hacking ukrywa pudła. Ilustracja: autor.

Jak wspomniano wcześniej, obie praktyki mogą zawyżać odsetek fałszywych trafień. Obie też mogą wystąpić bez świadomej chęci wprowadzenia w błąd.

Jak prerejestracja i Registered Reports ograniczają HARKing

Większość rozwiązań dla HARKingu uwidacznia moment sformułowania hipotezy. Dwa główne podejścia to prerejestracja i Registered Reports.

Prerejestracja

Prerejestracja oznacza zapisanie pytania badawczego, hipotez, planu badania i planu analizy przed zebraniem jakichkolwiek danych. Dokumenty trafiają do rejestrów z oznaczeniem czasu, takich jak Open Science Framework (OSF), ClinicalTrials.gov czy AsPredicted. Po opublikowaniu pokazują, co przewidziano, zanim znano wyniki.

Jeśli wyniki różnią się od planu, trzeba to przyznać — nie można po cichu wymazać. Nieoczekiwane wyniki nadal można raportować, ale jako eksploracyjne.

Prerejestracja nie jest pełnym remedium. Wiele prerejestrowanych badań i tak odbiega od pierwotnego planu, a mgliste rejestracje chronią słabiej. Istnieje też obejście zwane PARKing, czyli prerejestracja po poznaniu wyników. Prerejestracja utrudnia to ukryć, ale nie uniemożliwia.

Registered Reports

Registered Reports idą krok wcześniej, angażując czasopismo przed rozpoczęciem zbierania danych.

W standardowym trybie redaktorzy oceniają ukończony wynik, więc pozytywne ustalenia często mają łatwiejszą drogę do publikacji.

Registered Reports dzielą proces na dwa etapy. W Etapie 1 czasopismo recenzuje pytanie badawcze i metody przed zebraniem danych. Po akceptacji czasopismo zobowiązuje się opublikować wyniki, o ile zatwierdzony plan zostanie zrealizowany. Etap 2 sprawdza wyniki i zgodność z planem.

Recenzja odbywa się, zanim znane są wyniki. Ilustracja: autor.

Efekt widać w odsetku wyników pozytywnych. Scheel, Schijen i Lakens znaleźli ok. 96% wyników pozytywnych w tradycyjnych artykułach, w porównaniu z ok. 44% w Registered Reports w tych samych dziedzinach.

Ponad 300 czasopism oferuje dziś Registered Reports. Nature ogłosiło w czerwcu 2026 roku rozszerzenie formatu na wszystkie publikowane dziedziny.

Praktyki przejrzystego raportowania

Nie każdy projekt badawczy nadaje się do ścisłej prerejestracji i nie każde czasopismo oferuje Registered Reports. W takich sytuacjach jaśniejsze raportowanie nadal może zmniejszyć ryzyko HARKingu. Poniższe praktyki to raczej normy niż wymogi, ale stają się coraz powszechniejsze w dziedzinach, gdzie problemy z replikacją były najbardziej widoczne.

• Oznaczaj jako eksploracyjne każdą analizę, której nie zaplanowano z wyprzedzeniem
• Raportuj wszystkie pierwotnie mierzone wyniki, także te bez efektu
• Dodaj wyraźnie oznaczoną sekcję wyników eksploracyjnych, gdy nieoczekiwane efekty są warte raportowania
• Udostępniaj kod analizy i dane, by inni mogli je sprawdzić
• Wyraźnie raportuj każde odstępstwo od prerejestrowanego planu, z wyjaśnieniem

Te normy nie zastępują prerejestracji ani Registered Reports. To ta sama podstawowa zasada stosowana bez formalnej procedury: utrudnić ukrywanie tego, co przewidziano, a co odkryto.

Problemy podobne do HARKingu w data science i uczeniu maszynowym

Dotąd używałem przykładów z badań akademickich. Ten sam podstawowy problem pojawia się też w uczeniu maszynowym i pracy data science — zwykle pod innymi nazwami.

Najczytelniejszą analogią jest wyciek danych (data leakage). W uczeniu maszynowym zachodzi, gdy informacja z zestawu testowego wpływa na trening. Powszechne formy to wybór lub inżynieria cech z użyciem całego zbioru przed podziałem na train-test albo strojenie hiperparametrów przez wielokrotne podglądanie wyników na teście. Efektem jest model, który dobrze wypada w benchmarku, a zawodzi w praktyce, bo jego wynik częściowo opierał się na danych, których nie powinien „widzieć”.

Kapoor i Narayanan z Princeton udokumentowali ten problem w setkach badań — od medycyny po ekonomię. Pararela do HARKingu jest bezpośrednia: testowana rzecz została ukształtowana przez te same dane, względem których się ją potem mierzy.

Wyciek wchodzi do gry długo przed ewaluacją modelu. Ilustracja: autor.

Badacze ML opisują też praktykę zwaną czasem Grad Student Descent lub SotA-hacking. Badacze uruchamiają wiele eksperymentów, aż model minimalnie przebije aktualny benchmark, a potem piszą artykuł tak, jakby zwycięska konfiguracja wynikała z czystej argumentacji projektowej. To CHARKing zastosowany do pipeline’u ML.

Dobór metryki post hoc to ten sam wzorzec w innej formie: ocenić model na wielu metrykach, a następnie po obejrzeniu wszystkich wyników zdecydować, którą zaprezentować jako główną. To, co wygląda na zaplanowany wybór metod, zostało dokonane po fakcie.

Jedno zastrzeżenie: sam termin HARKing rzadko bywa używany w uczeniu maszynowym. Podobne problemy omawia się zwykle w kategoriach replikowalności, „gry” pod benchmarki lub metod ewaluacji. Analogia jest pomocna, ale to wciąż analogia.

Wnioski

HARKing to problem etykietowania równie mocno, co problem badawczy. Odkrycie post hoc może być solidne, ale przedstawienie go jako a priori odbiera czytelnikom to, czego potrzebują, by je ocenić.

Prerejestracja, Registered Reports i przejrzyste raportowanie pomagają, bo ujawniają moment sformułowania hipotezy. Żadne z nich nie jest pełnym rozwiązaniem. Prerejestracja może być nieprecyzyjna, a Registered Reports nadal obejmują tylko część publikowanych badań.

Dla badaczy i profesjonalistów danych zasada praktyczna jest prosta: zapisz, co przewidujesz, zanim spojrzysz na dane, raportuj to, co znalazłeś, a wyniki eksploracyjne oznaczaj jako eksploracyjne.

Więcej o stronie testowania tego procesu znajdziesz w naszym kursie Hypothesis Testing in Python.