HARKing erklärt: Warum Hypothesenbildung nach Ergebnissichtung Forschung in die Irre führen kann

Eine klinische Studie endet. Das primäre Outcome ist null, aber eine Subgruppe spricht besser auf die Behandlung an als die Kontrollgruppe. Niemand hatte diesen Subgruppeneffekt vorhergesagt. Er stand in keinem Protokoll.

Dann wird das Paper überarbeitet. Die Einleitung stellt den Subgruppeneffekt so dar, als sei er von Anfang an die Forschungshypothese gewesen. Das gescheiterte primäre Outcome rückt in den Hintergrund. Spätestens im Peer Review liest sich die Studie wie ein sauberer Erfolg.

Das ist HARKing: Hypothesizing After the Results are Known. Norbert Kerr prägte den Begriff 1998 für Fälle, in denen Forschende nachträgliche Hypothesen so darstellen, als seien sie vor Studienbeginn festgelegt worden. Manchmal wird die Ursprungshypothese umgeschrieben. Manchmal lässt man sie weg.

Exploration ist normal. Das Problem entsteht, wenn ein exploratives Ergebnis als bestätigendes verkauft wird. Leserinnen und Leser verlieren das Warnschild: frühe Evidenz, kein Beweis.

Was bedeutet HARKing in der Forschung?

Kerrs ursprüngliche Definition ist weiterhin der klarste Startpunkt: HARKing liegt vor, wenn in einem Forschungsbericht „eine post hoc Hypothese ... so präsentiert wird, als wäre sie in Wahrheit eine a priori Hypothese“. Eine a priori Hypothese wird vor der Datenerhebung formuliert. Eine post hoc Hypothese entsteht nach Sichtung der Ergebnisse. Das Problem ist das Etikett, nicht immer die Analyse an sich.

Kerr beschrieb auch eine zweite Form, die weniger Beachtung findet: das Weglassen ursprünglicher Hypothesen, die getestet wurden und negativ ausfielen. Beide Formen verschleiern, was tatsächlich passiert ist. Mit der Zeit können Theorien dadurch treffsicherer wirken, als sie sind.

Arten von HARKing

Forschende unterscheiden mehrere Typen von HARKing.

• CHARKing (Constructing HARKing) entspricht am ehesten dem gängigen Bild. Eine Forscherin findet ein unerwartetes signifikantes Ergebnis, baut eine neue Hypothese darum und präsentiert diese als Ausgangspunkt der Studie. Die Theorie wird an die Daten angepasst.
• SHARKing (Secretly HARKing) läuft anders. Statt eine neue Hypothese zu bauen, entfernt die Forscherin Belege dafür, dass es eine ursprüngliche Vorhersage gab, die scheiterte. Das Paper enthält scheinbar nur positive Ergebnisse. Fehlgeschlagene Vorhersagen verschwinden.
• THARKing (Transparent HARKing) ist die Ausnahme. Hollenbeck und Wright prägten den Begriff 2017 für post hoc Hypothesen, die klar als explorativ gekennzeichnet sind. So können Leserinnen und Leser das Ergebnis als das einordnen, was es ist. Gleich mehr dazu.

Warum Forschende HARKing betreiben

Publikationsbias ist ein Treiber. Fachzeitschriften bevorzugten lange Zeit positive, statistisch signifikante Ergebnisse gegenüber Nullbefunden. Wenn Entfristung, Fördermittel und Institutsreputation von Publikationszahl und Journalrenommee abhängen, kann es rational erscheinen, Daten günstiger darzustellen.

Der Druck geht nicht immer von den Forschenden aus. Passives HARKing passiert, wenn Editorinnen oder Reviewer Autorinnen bitten, eine Studie um ein unerwartetes Ergebnis herum neu zu rahmen oder Hypothesen zu streichen, die sich nicht bestätigt haben. Das stellt Forschende vor eine schwierige Wahl.

Es gibt auch einen unbewussten Weg. Der Rückschaufehler kann dazu führen, dass Forschende glauben, ein Ergebnis erwartet zu haben, das sie nicht erwartet hatten. Erinnerungen verblassen, und die nachträgliche Geschichte füllt die Lücke. Manche Fälle sind keine absichtliche Täuschung.

Umfragen aus der Psychologie geben ein Gefühl für das Ausmaß. John, Loewenstein und Prelec fanden, dass rund 27% der Psychologinnen angaben, ein unerwartetes Ergebnis als von Anfang an vorhergesagt dargestellt zu haben. Eine Übersicht mehrerer Umfragen verortete irgendeine Form von HARKing bei etwa 43%. Da es Selbstauskünfte sind, könnten diese Zahlen zu niedrig sein.

HARKing vs. explorative und bestätigende Forschung

Hier klingt der Artikel schnell schärfer, als er sollte. Exploration ist nicht das Problem. Entscheidend ist, ob das Paper Exploration so behandelt, als wäre es ein geplanter Test.

Explorative Analyse

Explorative Analyse ist das, was passiert, wenn du Daten betrachtest, ohne eine feste Vorannahme darüber, was du finden wirst. Du prüfst Verteilungen, entdeckst Muster, vergleichst Variablen und bekommst ein Gefühl für den Datensatz. Ziel ist es, Hypothesen zu generieren, nicht sie zu testen.

Diese Unterscheidung ist hilfreich, weil sie die Kritik an die richtige Stelle lenkt. Viel wissenschaftlicher Fortschritt beginnt damit, dass jemand etwas Unerwartetes bemerkt und findet: Das lohnt einen zweiten Blick.

Bestätigende Analyse

Die bestätigende Analyse ist die Testphase. Du startest mit einer spezifischen Vorhersage, die vor der Datensichtung formuliert wurde, führst den geplanten statistischen Test durch und prüfst, ob die Daten die Vorhersage stützen. Die Hypothese kam zuerst. Die Daten kamen danach.

Wenn eine Hypothese durch Blick in einen Datensatz entsteht und dann am selben Datensatz getestet wird, ist der Test nicht mehr unabhängig. Die Hypothese wurde von demselben Rauschen in dieser Stichprobe geformt.

Das ist die Warnung aus der Einleitung in technischer formuliert: Das Etikett ändert sich, der Test nicht.

Gute Tests stellen die Hypothese vor die Daten. Bild: Autor.

Die Faustregel: Ein und derselbe Datensatz kann eine Hypothese nicht fairerweise zuerst generieren und dann testen.

Beispiele für HARKing

Die folgenden Beispiele sind fiktive Szenarien, keine dokumentierten Fälle. Es geht um das Muster, nicht um den Vorwurf gegenüber einer bestimmten Studie.

• Das Psychologie-Experiment: Ein Team testet, ob Achtsamkeit die kognitive Leistung verbessert. Der Haupteffekt ist nicht signifikant, aber Teilnehmende über 50 zeigen einen starken positiven Effekt. Im finalen Paper wird der Altersgruppen-Befund zur Ursprungshypothese und der Null-Haupteffekt zur Randnotiz.
• Die Marketing-Analyse: Ein Unternehmen prüft, ob ein Treueprogramm die Kaufhäufigkeit erhöht. Der Gesamteffekt ist grenzwertig, aber Neumitglieder zeigen eine klare Steigerung. Der Abschlussbericht präsentiert diese Gruppe als geplanten Fokus, ohne zu sagen, dass sie nachträglich gefunden wurde.
• Die klinische Studie: Eine medizinische Studie testet ein neues Medikament an einem vordefinierten primären Outcome. Das Medikament ist der Kontrolle nicht überlegen, aber ein sekundärer Biomarker verbessert sich. Die Studie wird so überarbeitet, dass der Biomarker als primäre Hypothese gerahmt wird. Wie ich später noch erläutere, ist das ein Grund, warum Studienregister verlangen, primäre Outcomes vor Beginn der Datenerhebung zu hinterlegen.

Warum HARKing Forschungsergebnisse verzerren kann

Die direkteste Folge ist eine aufgeblähte Falsch-Positiv-Rate. Wenn eine Hypothese erst beim Blick auf dieselben Daten entsteht, mit denen sie getestet wird, prüft der statistische Test keine unabhängige Vorhersage. Er prüft, wie gut eine an die Daten angepasste Hypothese zu diesen Daten passt. Das Ergebnis wiederholt sich womöglich nicht, weil es eher das Rauschen als das Signal trifft.

Kerr listete im Originalpaper zwölf mögliche Kosten auf. Einige stechen heraus. HARKed-Ergebnisse fließen als bestätigt in Theorien ein. Negative Ergebnisse werden unterdrückt. Veröffentlichte Arbeiten wirken sauberer, als der Forschungsprozess tatsächlich war.

Dorothy Bishop bezeichnete HARKing als einen der „vier apokalyptischen Reiter der Reproduzierbarkeitskrise“, neben Publikationsbias, niedriger Teststärke und p-Hacking. Keiner dieser Faktoren allein erklärt den Zustand der veröffentlichten Forschung. Zusammen helfen sie zu verstehen, warum manche Befunde weniger verlässlich sind, als ihre p-Werte suggerieren.

Wie HARKing mit der Replikationskrise zusammenhängt

Die Replikationskrise bezeichnet die Feststellung, dass viele veröffentlichte Ergebnisse von unabhängigen Teams nicht reproduziert werden können. Im Reproducibility Project: Psychology von 2015 waren 97% der Originalstudien statistisch signifikant, aber nur 36% der Replikationen.

In dieser Lücke kann HARKing eine Rolle spielen. Eine Studie, die um eine post hoc Hypothese herum gebaut ist, passt sich womöglich dem Rauschen einer Stichprobe an. In einer neuen Stichprobe schrumpft der Effekt oder verschwindet.

HARKing ist ein beitragender Faktor, nicht die Ursache. Es steht neben p-Hacking, Publikationsbias, geringer Teststärke und kleinen Stichproben. Mark Rubin argumentierte, die Evidenz dafür, dass HARKing der Haupttreiber sei, sei schwächer als oft behauptet. Diese Sicht ist umstritten, deshalb halte ich die Aussage lieber bescheiden: HARKing ist ein plausibler Mechanismus, kein erwiesener Einzelfaktor.

So oder so machen Praktiken, die die explorative Natur von Ergebnissen verschleiern, die Literatur weniger verlässlich.

HARKing vs. P-Hacking

Diese beiden Praktiken tauchen in Diskussionen zur Forschungsintegrität oft gemeinsam auf. Sie sind nicht dasselbe.

P-Hacking manipuliert die Analyse. Gemeint ist, Datenerhebung oder Analyseentscheidungen so lange zu verändern, bis ein statistisch signifikantes Ergebnis erscheint: aufhören, sobald p unter 0,05 fällt, mehrere Analysen ausprobieren, Ausreißer entfernen oder viele Subgruppen ohne Korrektur testen. Die Hypothese bleibt fix, die Analyse biegt sich.

HARKing manipuliert stattdessen die Hypothese. Die Analyse kann ganz standardmäßig sein. Was sich ändert, ist die Behauptung des Papers, was vorhergesagt wurde. Die klinische Studie aus der Einleitung ist ein klares Beispiel: Der Biomarker-Befund war real, aber die Geschichte darum nicht.

Die Texas-Sharpshooter-Metapher hilft bei der Abgrenzung.

HARKing verschiebt Ziele; p-Hacking versteckt Fehlschüsse. Bild: Autor.

Wie oben beschrieben, können beide die Falsch-Positiv-Rate erhöhen. Beides kann auch ohne Täuschungsabsicht passieren.

Wie Preregistration und Registered Reports HARKing reduzieren

Die meisten Gegenmittel gegen HARKing machen den Zeitpunkt der Hypothese sichtbar. Zwei Hauptansätze sind Preregistration und Registered Reports.

Preregistration

Preregistration bedeutet, Forschungsfrage, Hypothesen, Studiendesign und geplante Analyse zu dokumentieren, bevor Daten erhoben werden. Diese Dokumente gehen in zeitgestempelte Register wie das Open Science Framework (OSF), ClinicalTrials.gov oder AsPredicted. Einmal eingestellt, zeigen sie, was vor Kenntnis der Ergebnisse vorhergesagt wurde.

Wenn Ergebnisse vom Plan abweichen, muss diese Änderung offengelegt und nicht stillschweigend getilgt werden. Unerwartete Ergebnisse können weiterhin berichtet, aber als explorativ gekennzeichnet werden.

Preregistration ist kein Allheilmittel. Viele preregistrierte Studien weichen dennoch vom ursprünglichen Plan ab, und vage Registrierungen bieten weniger Schutz. Es gibt auch einen Trick namens PARKing: Preregistration, nachdem die Ergebnisse bereits bekannt sind. Preregistration macht das schwerer zu verbergen, aber nicht unmöglich.

Registered Reports

Registered Reports gehen noch einen Schritt früher an, indem sie das Journal vor Beginn der Datenerhebung einbinden.

Im Standardablauf bewerten Editorinnen das fertige Ergebnis, weshalb positive Befunde oft leichter veröffentlicht werden.

Registered Reports teilen den Prozess in zwei Phasen. In Phase 1 prüft das Journal Forschungsfrage und Methoden vor der Datenerhebung. Bei Annahme sagt das Journal zu, die Ergebnisse zu veröffentlichen, sofern der genehmigte Plan befolgt wird. Phase 2 prüft die Ergebnisse und die Planbefolgung.

Begutachtung erfolgt, bevor Ergebnisse bekannt sind. Bild: Autor.

Der Effekt zeigt sich in der Quote positiver Ergebnisse. Scheel, Schijen und Lakens fanden in traditionellen Journalartikeln rund 96% positive Ergebnisse, verglichen mit etwa 44% bei Registered Reports in denselben Feldern.

Über 300 Journale bieten inzwischen Registered Reports an. Nature kündigte im Juni 2026 an, das Format auf alle veröffentlichten Fachgebiete auszuweiten.

Transparente Berichtspraktiken

Nicht jedes Studiendesign eignet sich für strikte Preregistration, und nicht jedes Journal bietet Registered Reports. In solchen Fällen kann klareres Reporting das HARKing-Risiko dennoch senken. Die folgenden Praktiken sind eher Normen als Pflichten, setzen sich aber in Feldern mit sichtbaren Replikationsproblemen zunehmend durch.

• Jede Analyse, die nicht vorab geplant war, beim Berichten als explorativ kennzeichnen
• Alle ursprünglich gemessenen Outcomes berichten, auch solche ohne Effekt
• Einen klar markierten Abschnitt für explorative Befunde einfügen, wenn Unerwartetes berichtenswert ist
• Analysecode und Daten teilen, damit andere die Arbeit prüfen können
• Jede Abweichung von einem preregistrierten Plan explizit und mit Begründung berichten

Diese Normen ersetzen Preregistration oder Registered Reports nicht. Es ist dasselbe Grundprinzip ohne formalen Prozess: Es schwieriger machen zu verbergen, was vorhergesagt wurde und was entdeckt wurde.

HARKing-ähnliche Probleme in Data Science und Machine Learning

Bisher habe ich Beispiele aus der akademischen Forschung genutzt. Dasselbe Grundproblem taucht auch in Machine-Learning- und Data-Science-Projekten auf – meist unter anderen Namen.

Die klarste Parallele ist Data Leakage. Im Machine Learning tritt Leakage auf, wenn Informationen aus dem Testset das Training beeinflussen. Häufige Formen sind Feature-Auswahl oder -Engineering am gesamten Datensatz vor dem Train-Test-Split oder das Tuning von Hyperparametern durch wiederholtes Spicken auf die Testset-Performance. Das Resultat ist ein Modell, das auf dem Benchmark gut aussieht, im Einsatz aber versagt, weil sein Score teils auf Daten beruht, die es nicht hätte sehen dürfen.

Kapoor und Narayanan von der Princeton University dokumentierten dieses Problem in Hunderten Studien von Medizin bis Ökonomie. Die Parallele zu HARKing ist direkt: Das zu Testende wurde von denselben Daten geformt, an denen es gemessen wird.

Leakage entsteht lange vor der Modellevaluierung. Bild: Autor.

ML-Forschende beschreiben auch eine Praxis, die teils Grad Student Descent oder SotA-Hacking genannt wird. Man führt viele Experimente durch, bis das Modell den aktuellen Benchmark knapp übertrifft, und schreibt das Paper dann so, als sei das Gewinner-Setup aus einer sauberen Design-Argumentation entstanden. Das ist CHARKing auf eine ML-Pipeline übertragen.

Die nachträgliche Metrik-Auswahl folgt demselben Muster: Ein Modell wird auf mehrere Metriken evaluiert, und erst nach Sichtung aller Ergebnisse entscheidet man, welche als primäre Kennzahl präsentiert wird. Eine vermeintlich geplante Methodikentscheidung wurde nachträglich getroffen.

Ein Vorbehalt: Der Begriff HARKing selbst wird im Machine Learning selten verwendet. Ähnliche Probleme werden meist unter Reproduzierbarkeit, Benchmark-Gaming oder Evaluationsmethoden diskutiert. Die Parallele hilft, bleibt aber eine Analogie.

Fazit

HARKing ist so sehr ein Etikettierungsproblem wie ein Forschungsproblem. Ein post hoc Befund kann stichhaltig sein, aber ihn als a priori zu präsentieren, nimmt Leserinnen und Lesern die Grundlage für die Einordnung.

Preregistration, Registered Reports und klares Reporting helfen, weil sie den Zeitpunkt der Hypothese sichtbar machen. Nichts davon ist eine Komplettlösung. Preregistrierungen können vage sein, und Registered Reports decken weiterhin nur einen Teil der Veröffentlichungen ab.

Für Forschende und Data-Profis lautet die einfache Praxisregel: Schreib auf, was du vor der Datensichtung vorhergesagt hast, berichte, was du gefunden hast, und kennzeichne explorative Ergebnisse als explorativ.

Mehr zum Testteil dieses Workflows findest du in unserem Kurs Hypothesis Testing in Python.