HARKing expliqué : pourquoi formuler des hypothèses après les résultats peut induire la recherche en erreur

Un essai clinique s’achève. Le critère principal est nul, mais un sous-groupe réagit mieux au traitement que le groupe témoin. Personne n’avait prédit cet effet de sous-groupe. Il n’apparaissait nulle part dans le protocole.

Puis l’article est révisé. L’introduction présente l’effet de sous-groupe comme l’hypothèse de recherche depuis le départ. L’échec sur le critère principal passe au second plan. Au moment de l’évaluation par les pairs, l’étude ressemble à une belle réussite.

C’est cela, le HARKing : Hypothesizing After the Results are Known, formuler des hypothèses après coup. Norbert Kerr a forgé ce terme en 1998 pour désigner les cas où des chercheurs présentent des hypothèses post hoc comme si elles avaient été fixées avant le début de l’étude. Parfois, l’hypothèse initiale est réécrite. Parfois, elle est simplement passée sous silence.

L’exploration est normale. Le problème, c’est de présenter une découverte exploratoire comme une confirmation. Les lecteurs perdent l’étiquette d’avertissement : indice préliminaire, pas une preuve.

Qu’est-ce que le HARKing en recherche ?

La définition originelle de Kerr reste le meilleur point de départ : il y a HARKing lorsqu’un chercheur présente « une hypothèse post hoc… dans son article de recherche comme s’il s’agissait en fait d’une hypothèse a priori ». Une hypothèse a priori est formulée avant la collecte des données. Une hypothèse post hoc est formulée après avoir vu les résultats. Le problème tient à l’étiquette, pas forcément à l’analyse elle‑même.

Kerr a également décrit une deuxième forme, moins souvent évoquée : omettre les hypothèses initiales qui ont été testées et se sont révélées négatives. Dans les deux cas, on masque ce qui s’est réellement passé. À la longue, les théories paraissent plus justes qu’elles ne le sont.

Types de HARKing

On peut distinguer plusieurs formes de HARKing.

• CHARKing (Constructing HARKing) est la forme la plus proche de ce que l’on imagine. Un chercheur trouve un résultat significatif inattendu, construit une nouvelle hypothèse pour l’expliquer, puis la présente comme le point de départ de l’étude. La théorie est ajustée aux données.
• SHARKing (Secretly HARKing) fonctionne différemment. Plutôt que de formuler une nouvelle hypothèse, le chercheur retire les éléments montrant qu’une prédiction initiale a été faite et a échoué. L’article ne présente plus que des résultats positifs. Les prédictions manquées disparaissent.
• THARKing (Transparent HARKing) fait exception. Hollenbeck et Wright ont utilisé ce terme en 2017 pour des hypothèses post hoc clairement étiquetées comme exploratoires. Les lecteurs peuvent alors juger le résultat pour ce qu’il est. Nous y revenons dans un instant.

Pourquoi les chercheurs pratiquent le HARKing

Le biais de publication est un moteur. Les revues ont souvent privilégié les résultats positifs et statistiquement significatifs par rapport aux résultats nuls. Lorsque la titularisation, les financements et le prestige dépendent du volume de publications et du rang des revues, présenter des données sous un jour plus favorable peut sembler rationnel.

La pression ne vient pas toujours des chercheurs. Le HARKing passif survient lorsque des éditeurs ou des évaluateurs demandent aux auteurs de recentrer l’étude sur une découverte inattendue, ou de retirer des hypothèses non confirmées. Le chercheur se retrouve alors face à un choix difficile.

Il existe aussi une voie inconsciente. Le biais rétrospectif peut amener des chercheurs à croire qu’ils attendaient un résultat qu’ils n’avaient pas prévu. La mémoire flanche, et le récit post hoc comble le vide. Certains cas ne relèvent pas d’une tromperie délibérée.

Des enquêtes en psychologie donnent un ordre de grandeur. John, Loewenstein et Prelec ont constaté qu’environ 27 % des psychologues reconnaissaient avoir prétendu avoir prédit une découverte inattendue dès le départ. Une synthèse de plusieurs enquêtes situe une forme de HARKing autour de 43 %. Comme il s’agit de déclarations auto‑rapportées, ces chiffres sont peut‑être sous‑estimés.

HARKing vs. recherche exploratoire et confirmatoire

C’est ici que le propos peut facilement paraître trop sévère. L’exploration n’est pas le problème. Le problème, c’est de faire passer l’exploratoire pour un test planifié.

Analyse exploratoire

L’analyse exploratoire est ce qui se passe lorsque vous examinez des données sans a priori solide sur ce que vous comptez trouver. Vous inspectez des distributions, repérez des motifs, comparez des variables et vous vous familiarisez avec l’ensemble de données. L’objectif est de générer des hypothèses, pas de les tester.

Cette distinction est utile car elle cible la critique au bon endroit. Une grande partie des avancées scientifiques commence quand quelqu’un remarque quelque chose d’inattendu et décide d’y regarder de plus près.

Analyse confirmatoire

L’analyse confirmatoire correspond à l’étape de test. Vous partez d’une prédiction précise formulée avant de voir les données, vous exécutez le test statistique prévu et vous vérifiez si les données soutiennent la prédiction. L’hypothèse vient d’abord. Les données arrivent ensuite.

Quand une hypothèse est générée en explorant un jeu de données puis testée sur ce même jeu, le test n’est plus indépendant. L’hypothèse a été façonnée par le même bruit présent dans cet échantillon.

C’est l’avertissement de l’introduction en termes plus techniques : l’étiquette change, mais pas le test.

Un bon test place l’hypothèse avant les données. Image par l’auteur.

Règle pratique : un même jeu de données ne peut pas à la fois générer et tester équitablement une même hypothèse.

Exemples de HARKing

Les exemples ci‑dessous sont des scénarios fictifs, pas des cas documentés. L’objectif est d’illustrer un schéma, pas de mettre en cause une étude particulière.

• L’expérience de psychologie : une équipe teste si la pleine conscience améliore les performances cognitives. L’effet principal n’est pas significatif, mais les participants de plus de 50 ans montrent un fort effet positif. Dans l’article final, le résultat par tranche d’âge devient l’hypothèse initiale et l’effet principal nul est relégué en note.
• L’analyse marketing : une entreprise teste si un programme de fidélité augmente la fréquence d’achat. L’effet global est marginal, mais les membres récents affichent une hausse nette. Le rapport final présente ce groupe comme la cible planifiée, sans préciser que ce résultat a été trouvé après coup.
• L’essai clinique : une étude médicale teste un nouveau médicament sur un critère principal préspécifié. Le médicament ne fait pas mieux que le témoin, mais un biomarqueur secondaire s’améliore. L’étude est révisée pour présenter le biomarqueur comme l’hypothèse principale. Comme je l’expliquerai plus loin, c’est pourquoi les registres d’essais exigent d’enregistrer les critères principaux avant le début de la collecte des données.

Pourquoi le HARKing peut fausser les résultats

La conséquence la plus directe est un taux de faux positifs gonflé. Lorsqu’une hypothèse est formulée à partir des mêmes données qui servent à la tester, le test statistique ne vérifie plus une prédiction indépendante. Il vérifie à quel point une hypothèse construite pour coller aux données colle effectivement aux données. Ce résultat peut ne pas se reproduire, car il s’ajuste au bruit plutôt qu’au signal.

Kerr a recensé douze coûts potentiels dans l’article original. Quelques‑uns ressortent nettement. Les résultats issus de HARKing sont intégrés aux théories comme s’ils étaient confirmés. Les résultats négatifs sont supprimés. Les publications paraissent plus propres que le processus de recherche réel.

Dorothy Bishop a décrit le HARKing comme l’un des « quatre cavaliers de l’apocalypse de la reproductibilité », aux côtés du biais de publication, de la faible puissance statistique et du p‑hacking. Aucun de ces facteurs ne suffit à expliquer l’état de la littérature. Ensemble, ils éclairent pourquoi certaines conclusions sont moins fiables que ne le suggèrent leurs p‑values.

Lien entre HARKing et crise de la réplication

La crise de la réplication désigne le constat que de nombreux résultats publiés ne peuvent pas être reproduits par des équipes indépendantes. Dans le Reproducibility Project: Psychology (2015), 97 % des études originales étaient statistiquement significatives, mais seulement 36 % des réplications l’étaient.

C’est là que le HARKing peut jouer. Une étude centrée sur une hypothèse post hoc peut épouser le bruit d’un échantillon. Sur un nouvel échantillon, l’effet peut se réduire ou disparaître.

Le HARKing est un facteur parmi d’autres, pas la cause. Il côtoie le p‑hacking, le biais de publication, la faible puissance statistique et les petits échantillons. Mark Rubin a soutenu que les preuves faisant du HARKing le moteur principal sont plus faibles qu’on ne l’affirme souvent. Ce point est débattu, donc restons prudents : le HARKing est un mécanisme plausible, pas une cause unique prouvée.

Dans tous les cas, des pratiques qui masquent le caractère exploratoire des résultats rendent la littérature moins fiable.

HARKing vs. p‑hacking

Ces deux pratiques sont souvent associées dans les discussions sur l’intégrité scientifique. Elles ne sont pas identiques.

Le p‑hacking manipule l’analyse. Il consiste à modifier la collecte ou les choix d’analyse jusqu’à obtenir un résultat statistiquement significatif : s’arrêter dès que p passe sous 0,05, essayer plusieurs analyses, exclure des valeurs aberrantes, ou tester de nombreux sous‑groupes sans correction. L’hypothèse reste fixe ; l’analyse plie.

Le HARKing, lui, manipule l’hypothèse. L’analyse peut être standard. Ce qui change, c’est ce que l’article affirme avoir été prédit. L’essai clinique de l’introduction en est un exemple net : la découverte sur le biomarqueur était réelle, mais pas le récit autour.

La métaphore du tireur texan aide à tracer la frontière.

Le HARKing déplace les cibles ; le p‑hacking cache les ratés. Image par l’auteur.

Comme vu plus haut, les deux peuvent gonfler les faux positifs. Et tous deux peuvent survenir sans intention délibérée de tromper.

Comment la préinscription et les Registered Reports réduisent le HARKing

La plupart des correctifs au HARKing rendent visible le moment où l’hypothèse a été formulée. Les deux approches principales sont la préinscription et les Registered Reports.

Préinscription

La préinscription consiste à enregistrer votre question de recherche, vos hypothèses, votre plan d’étude et votre analyse prévue avant toute collecte de données. Ces documents sont déposés sur des registres horodatés comme l’Open Science Framework (OSF), ClinicalTrials.gov ou AsPredicted. Une fois publiés, ils montrent ce qui a été prédit avant de connaître les résultats.

Si les résultats diffèrent du plan, ce changement doit être reconnu, pas effacé discrètement. Les résultats inattendus peuvent toujours être rapportés, mais étiquetés comme exploratoires.

La préinscription n’est pas une solution miracle. Beaucoup d’études préinscrites s’écartent encore du plan initial, et des enregistrements vagues offrent moins de protection. Il existe aussi une parade appelée PARKing, consistant à préinscrire après avoir connu les résultats. La préinscription rend cela plus difficile à cacher, pas impossible.

Registered Reports

Les Registered Reports vont plus loin en impliquant la revue avant le début de la collecte des données.

Dans le circuit classique, les éditeurs évaluent le résultat final, ce qui donne souvent un avantage aux résultats positifs pour la publication.

Les Registered Reports scindent le processus en deux étapes. En étape 1, la revue évalue la question de recherche et la méthode avant la collecte. Si accepté, le journal s’engage à publier les résultats tant que le plan approuvé est suivi. L’étape 2 examine les résultats et la conformité au plan.

L’évaluation a lieu avant de connaître les résultats. Image par l’auteur.

L’effet se voit sur la part de résultats positifs. Scheel, Schijen et Lakens ont trouvé environ 96 % de résultats positifs dans des articles traditionnels, contre environ 44 % dans des Registered Reports des mêmes domaines.

Plus de 300 revues proposent désormais des Registered Reports. Nature a annoncé en juin 2026 l’extension de ce format à l’ensemble des disciplines qu’elle publie.

Pratiques de reporting transparentes

Tous les designs expérimentaux ne se prêtent pas à une préinscription stricte, et toutes les revues n’offrent pas de Registered Reports. Dans ces cas, un reporting plus clair peut tout de même réduire le risque de HARKing. Les pratiques ci‑dessous relèvent de normes plutôt que d’obligations, mais elles deviennent de plus en plus courantes dans les domaines les plus touchés par les problèmes de réplication.

• Étiquetez comme exploratoire toute analyse qui n’était pas planifiée à l’avance
• Rapportez tous les critères mesurés initialement, y compris ceux sans effet
• Incluez une section clairement identifiée pour les résultats exploratoires lorsque des découvertes inattendues méritent d’être rapportées
• Partagez le code d’analyse et les données pour permettre la vérification par d’autres
• Signalez explicitement toute déviation par rapport à un plan préinscrit, en l’expliquant

Ces normes ne remplacent pas la préinscription ni les Registered Reports. Elles appliquent le même principe de base sans le formalisme : rendre plus difficile de cacher ce qui a été prédit et ce qui a été découvert.

Problèmes analogues en data science et en apprentissage automatique

Jusqu’ici, nous avons pris des exemples académiques. Le même problème de fond se retrouve en apprentissage automatique et en data science, souvent sous d’autres appellations.

Le parallèle le plus net est la fuite d’information (data leakage). En apprentissage automatique, il y a fuite lorsque des informations du jeu de test influencent l’entraînement. Exemples courants : sélectionner ou créer des variables sur l’ensemble complet avant la séparation train‑test, ou régler les hyperparamètres en consultant à répétition la performance sur le test. Le modèle paraît excellent sur le benchmark mais échoue en production, car son score reposait en partie sur des données qu’il n’aurait pas dû voir.

Kapoor et Narayanan (Princeton) ont documenté ce problème dans des centaines d’études allant de la médecine à l’économie. Le parallèle avec le HARKing est direct : l’objet testé a été façonné par les mêmes données qui servent ensuite à le mesurer.

La fuite se produit bien avant l’évaluation du modèle. Image par l’auteur.

Les chercheurs en ML évoquent aussi des pratiques appelées parfois Grad Student Descent ou SotA‑hacking. On lance de nombreuses expériences jusqu’à dépasser légèrement l’état de l’art, puis on rédige comme si la configuration gagnante découlait d’un raisonnement méthodique. C’est du CHARKing appliqué à un pipeline de machine learning.

La sélection de métrique après coup suit le même schéma : évaluer un modèle sur plusieurs métriques, puis décider après avoir vu tous les résultats laquelle présenter comme mesure principale. Ce qui ressemble à un choix méthodologique planifié a été fait a posteriori.

Précision toutefois : le terme HARKing est rarement utilisé en apprentissage automatique. Des problèmes similaires sont plutôt discutés sous les angles de la reproductibilité, du « gaming » des benchmarks ou des méthodes d’évaluation. Le parallèle est utile, mais reste une analogie.

Conclusion

Le HARKing est autant un problème d’étiquetage qu’un problème de recherche. Une découverte post hoc peut être solide, mais la présenter comme a priori retire aux lecteurs ce dont ils ont besoin pour l’évaluer.

La préinscription, les Registered Reports et un reporting clair aident en rendant visible le moment où l’hypothèse a été formulée. Aucune de ces approches n’est parfaite. Les préinscriptions peuvent être vagues, et les Registered Reports ne couvrent encore qu’une fraction des publications.

Pour les chercheurs et les professionnels des données, la règle pratique est simple : notez ce que vous prévoyez avant de regarder les données, rapportez ce que vous avez trouvé et étiquetez l’exploratoire comme tel.

Pour approfondir le versant test de ce flux de travail, découvrez notre cours Hypothesis Testing in Python.