HARKing spiegato: perché formulare ipotesi dopo i risultati può fuorviare la ricerca

Uno studio clinico si conclude. L’esito primario risulta nullo, ma un sottogruppo risponde meglio al trattamento rispetto al gruppo di controllo. Nessuno aveva previsto quell’effetto di sottogruppo. Nessuno lo aveva scritto nel protocollo.

Poi l’articolo viene rivisto. L’Introduzione inquadra l’effetto di sottogruppo come se fosse sempre stata l’ipotesi di ricerca. L’esito primario non raggiunto passa in secondo piano. Al momento della peer review, lo studio sembra un successo lineare.

Questo è HARKing: Hypothesizing After the Results are Known, ovvero formulare ipotesi dopo aver visto i risultati. Norbert Kerr ha coniato il termine nel 1998 per i casi in cui i ricercatori presentano ipotesi post hoc come se fossero state definite prima dell’inizio dello studio. A volte l’ipotesi originaria viene riscritta. A volte viene omessa.

L’esplorazione è normale. Il problema è presentare un risultato esplorativo come se fosse confermativo. I lettori perdono l’etichetta di avvertimento: evidenza iniziale, non prova.

Che cos’è l’HARKing nella ricerca?

La definizione originale di Kerr resta il punto di partenza più chiaro: l’HARKing si verifica quando un ricercatore presenta "un’ipotesi post hoc... nel proprio rapporto di ricerca come se fosse, in realtà, un’ipotesi a priori". Un’ipotesi a priori è formulata prima della raccolta dei dati. Un’ipotesi post hoc viene formulata dopo aver visto i risultati. Il problema è l’etichetta, non sempre l’analisi in sé.

Kerr ha descritto anche una seconda forma, meno discussa: omettere le ipotesi originarie che sono state testate e hanno dato esito negativo. Entrambe le forme nascondono ciò che è realmente accaduto. Col tempo, le teorie possono iniziare a sembrare più accurate di quanto siano.

Tipi di HARKing

I ricercatori possono distinguere alcune tipologie di HARKing.

• CHARKing (Constructing HARKing) è la forma più vicina a ciò che molti immaginano. Un ricercatore trova un risultato significativo inatteso, costruisce una nuova ipotesi per spiegarlo e presenta quell’ipotesi come punto di partenza dello studio. La teoria viene costruita per adattarsi ai dati.
• SHARKing (Secretly HARKing) funziona in modo diverso. Invece di costruire una nuova ipotesi, il ricercatore elimina le prove che un’ipotesi originaria era stata formulata ed era fallita. L’articolo sembra contenere solo risultati positivi. Le previsioni mancate scompaiono.
• THARKing (Transparent HARKing) è l’eccezione. Hollenbeck e Wright hanno usato questo termine nel 2017 per indicare le ipotesi post hoc chiaramente etichettate come esplorative. I lettori possono così giudicare il risultato per ciò che è. Tra poco ne parliamo meglio.

Perché i ricercatori ricorrono all’HARKing

Uno dei motori è il bias di pubblicazione. Le riviste hanno spesso favorito risultati positivi e statisticamente significativi rispetto a risultati nulli. Quando carriera, finanziamenti e reputazione di dipartimento dipendono dal numero di pubblicazioni e dal prestigio delle riviste, presentare i dati in modo più favorevole può sembrare razionale.

La pressione non parte sempre dai ricercatori. L’HARKing passivo avviene quando editor o revisori chiedono agli autori di riformulare uno studio attorno a un risultato inatteso o di rimuovere ipotesi che non hanno retto. Questo mette il ricercatore di fronte a una scelta difficile.

Esiste anche un percorso inconscio. Il bias del senno di poi può portare i ricercatori a credere di aver previsto un risultato che in realtà non si aspettavano. La memoria svanisce e la narrazione post hoc riempie il vuoto. Non tutti i casi sono inganni deliberati.

Le indagini in psicologia offrono un’idea dell’ampiezza del fenomeno. John, Loewenstein e Prelec hanno rilevato che circa il 27% degli psicologi ha dichiarato di aver affermato di aver previsto fin dall’inizio un risultato inatteso. Una rassegna di più sondaggi ha stimato qualche forma di HARKing attorno al 43%. Si tratta di dati auto-riferiti, quindi potrebbero essere sottostimati.

HARKing vs. ricerca esplorativa e confermativa

Qui è facile che l’articolo suoni più severo del dovuto. L’esplorazione non è il problema. Il problema è se l’articolo tratta l’esplorazione come se fosse un test pianificato.

Analisi esplorativa

L’analisi esplorativa è ciò che accade quando osservi i dati senza un’affermazione preliminare precisa su cosa ti aspetti di trovare. Esamini distribuzioni, individui pattern, confronti variabili e prendi confidenza con il dataset. L’obiettivo è generare ipotesi, non testarle.

Trovo utile questa distinzione perché mantiene la critica nel posto giusto. Molti progressi scientifici iniziano quando qualcuno nota qualcosa di inatteso e decide che merita un secondo sguardo.

Analisi confermativa

L’analisi confermativa è la fase di test. Parti da una previsione specifica formulata prima di vedere i dati, esegui il test statistico pianificato e verifichi se i dati supportano la previsione. L’ipotesi viene prima. I dati vengono dopo.

Quando un’ipotesi è generata guardando un dataset e poi testata sullo stesso dataset, il test non è più indipendente. L’ipotesi è stata plasmata dallo stesso rumore presente in quel campione.

È l’avvertimento dell’introduzione in termini più tecnici: cambia l’etichetta, non il test.

I buoni test mettono l’ipotesi prima dei dati. Immagine dell’autore.

La regola pratica: lo stesso dataset non può generare e poi testare equamente la stessa ipotesi.

Esempi di HARKing

Gli esempi seguenti sono scenari inventati, non casi documentati. Il punto è il pattern, non accusare uno studio in particolare.

• L’esperimento di psicologia: un team testa se la mindfulness migliora la performance cognitiva. L’effetto principale non è significativo, ma i partecipanti over 50 mostrano un forte effetto positivo. Nell’articolo finale, il risultato per fascia d’età diventa l’ipotesi originaria e l’effetto principale nullo finisce in nota.
• L’analisi di marketing: un’azienda testa se un programma fedeltà aumenta la frequenza di acquisto. L’effetto complessivo è marginale, ma i membri recenti mostrano un aumento netto. Il rapporto finale presenta quel gruppo come focus pianificato, senza dire che è stato individuato a posteriori.
• Lo studio clinico: uno studio medico testa un nuovo farmaco su un esito primario pre-specificato. Il farmaco non supera il controllo, ma un biomarcatore secondario migliora. Lo studio viene rivisto per presentare il biomarcatore come ipotesi primaria. Come dirò più avanti, è per questo che i registri dei trial chiedono di registrare gli esiti primari prima dell’inizio della raccolta dati.

Perché l’HARKing può distorcere i risultati della ricerca

L’effetto più diretto è un tasso di falsi positivi gonfiato. Quando un’ipotesi viene formulata osservando gli stessi dati usati per testarla, il test statistico non verifica una previsione indipendente. Verifica quanto bene un’ipotesi costruita per adattarsi ai dati si adatti ai dati. Quel risultato potrebbe non ripetersi perché sta adattando il rumore, non il segnale.

Kerr elencava dodici possibili costi nell’articolo originale. Alcuni spiccano. I risultati ottenuti con HARKing entrano nella teoria come se fossero confermati. I risultati negativi vengono soppressi. Il lavoro pubblicato inizia a sembrare più pulito di quanto sia stato in realtà il processo di ricerca.

Dorothy Bishop ha descritto l’HARKing come uno dei "quattro cavalieri dell’apocalisse della riproducibilità", insieme a bias di pubblicazione, bassa potenza statistica e p-hacking. Nessuno di questi, da solo, spiega lo stato della letteratura. Insieme, aiutano a capire perché alcuni risultati sono meno affidabili di quanto suggeriscano i loro p-value.

Come l’HARKing si collega alla crisi di replicazione

La crisi di replicazione si riferisce alla constatazione che molti risultati pubblicati non possono essere riprodotti da team indipendenti. Nel Reproducibility Project: Psychology del 2015, il 97% degli studi originali aveva risultati statisticamente significativi, ma solo il 36% delle repliche li aveva.

È in quel divario che l’HARKing può contare. Uno studio costruito su un’ipotesi post hoc può adattarsi al rumore di un campione. In un nuovo campione, l’effetto può ridursi o scomparire.

L’HARKing è un fattore che contribuisce, non la causa. Sta accanto a p-hacking, bias di pubblicazione, bassa potenza statistica e campioni piccoli. Mark Rubin ha sostenuto che le prove dell’HARKing come motore principale sono più deboli di quanto spesso si dica. Questa opinione è dibattuta, quindi terrei il punto con modestia: l’HARKing è un meccanismo plausibile, non una causa unica comprovata.

In ogni caso, pratiche che nascondono la natura esplorativa dei risultati rendono la letteratura meno affidabile.

HARKing vs. p-hacking

Queste due pratiche compaiono spesso insieme nelle discussioni sull’integrità della ricerca. Non sono la stessa cosa.

Il p-hacking manipola l’analisi. Significa cambiare la raccolta dati o le scelte analitiche finché non appare un risultato statisticamente significativo: fermarsi appena p scende sotto 0,05, provare più analisi, eliminare outlier o testare molti sottogruppi senza correzione. L’ipotesi resta fissa; l’analisi si piega.

L’HARKing invece manipola l’ipotesi. L’analisi può essere standard. Ciò che cambia è ciò che l’articolo afferma fosse previsto. Il trial clinico dell’introduzione è un esempio limpido: il risultato sul biomarcatore era reale, ma la storia intorno no.

La metafora del tiratore scelto texano aiuta a tracciare il confine.

L’HARKing sposta i bersagli; il p-hacking nasconde i tiri mancati. Immagine dell’autore.

Come visto prima, entrambi possono gonfiare i falsi positivi. E possono verificarsi anche senza intento consapevole di ingannare.

Come preregistrazione e Registered Reports riducono l’HARKing

La maggior parte dei rimedi all’HARKing rende visibile il momento in cui nasce l’ipotesi. I due approcci principali sono la preregistrazione e i Registered Reports.

Preregistrazione

La preregistrazione significa registrare la domanda di ricerca, le ipotesi, il disegno dello studio e l’analisi pianificata prima di raccogliere qualsiasi dato. Questi documenti vanno su registri con marca temporale come Open Science Framework (OSF), ClinicalTrials.gov o AsPredicted. Una volta pubblicati, mostrano cosa è stato previsto prima che i risultati fossero noti.

Se i risultati differiscono dal piano, quel cambiamento va riconosciuto, non cancellato in silenzio. I risultati inattesi possono comunque essere riportati, ma etichettati come esplorativi.

La preregistrazione non è una soluzione completa. Molti studi preregistrati cambiano comunque rispetto al piano originale e preregistrazioni vaghe offrono meno protezione. Esiste anche un escamotage chiamato PARKing, preregistrare dopo aver già conosciuto i risultati. La preregistrazione rende più difficile nasconderlo, non impossibile.

Registered Reports

I Registered Reports fanno un passo in più coinvolgendo la rivista prima che inizi la raccolta dei dati.

Nel flusso standard, gli editor valutano il risultato completo, quindi i risultati positivi spesso hanno una strada più facile verso la pubblicazione.

I Registered Reports dividono il processo in due fasi. Nella Fase 1, la rivista valuta domanda di ricerca e metodi prima della raccolta dati. Se accettata, la rivista promette di pubblicare i risultati purché si segua il piano approvato. La Fase 2 verifica i risultati e l’aderenza al piano.

La revisione avviene prima che i risultati siano noti. Immagine dell’autore.

L’effetto si vede nel tasso di risultati positivi. Scheel, Schijen e Lakens hanno trovato risultati positivi in circa il 96% degli articoli tradizionali, contro circa il 44% dei Registered Reports negli stessi campi.

Oltre 300 riviste ora offrono i Registered Reports. Nature ha annunciato nel giugno 2026 di estendere il formato a tutti i campi che pubblica.

Pratiche di reporting trasparente

Non tutti i disegni di ricerca si prestano a una preregistrazione rigorosa e non tutte le riviste offrono i Registered Reports. In queste situazioni, un reporting più chiaro può comunque ridurre il rischio di HARKing. Le pratiche seguenti sono norme, non requisiti, ma stanno diventando sempre più comuni nei campi in cui i problemi di replicazione sono stati più visibili.

• Etichetta come esplorativa qualsiasi analisi non pianificata in anticipo quando la riporti
• Riporta tutti gli esiti misurati originariamente, inclusi quelli che non hanno mostrato effetti
• Includi una sezione chiaramente contrassegnata per i risultati esplorativi quando i risultati inattesi meritano di essere riportati
• Condividi codice di analisi e dati affinché altri possano verificare il lavoro
• Riporta esplicitamente qualsiasi deviazione da un piano preregistrato e spiega il perché

Queste norme non sostituiscono preregistrazione o Registered Reports. Applicano lo stesso principio di base senza il processo formale: rendere più difficile nascondere cosa era previsto e cosa è stato scoperto.

Problemi simili all’HARKing in data science e machine learning

Finora ho usato esempi di ricerca accademica. Lo stesso problema di base compare anche nel machine learning e nel lavoro di data science, di solito con nomi diversi.

Il parallelo più chiaro è la leakage dei dati. Nel machine learning, la leakage si verifica quando informazioni dal test set influenzano l’addestramento. Forme comuni includono la selezione o l’ingegnerizzazione di feature usando l’intero dataset prima dello split train-test, o il tuning degli iperparametri guardando ripetutamente alle performance sul test set. Il risultato è un modello che sembra buono sul benchmark ma fallisce nell’uso reale, perché il suo punteggio è stato in parte costruito su dati che non avrebbe dovuto vedere.

Kapoor e Narayanan a Princeton hanno documentato questo problema in centinaia di studi in campi che vanno dalla medicina all’economia. Il parallelo con l’HARKing è diretto: ciò che viene testato è stato plasmato dagli stessi dati con cui poi viene misurato.

La leakage entra ben prima della valutazione del modello. Immagine dell’autore.

I ricercatori ML descrivono anche una pratica chiamata talvolta Grad Student Descent o SotA-hacking. Si eseguono molti esperimenti finché il modello supera di poco il benchmark corrente, poi si scrive l’articolo come se la configurazione vincente derivasse da un progetto teorico lineare. È CHARKing applicato a una pipeline di machine learning.

La selezione post hoc delle metriche è lo stesso schema in un’altra forma: si valuta un modello su più metriche e si decide, dopo aver visto tutti i risultati, quale presentare come misura primaria. Ciò che sembra una scelta di metodo pianificata è stata fatta a posteriori.

Una precisazione: il termine HARKing è usato raramente nel machine learning. Problemi simili sono discussi più spesso come riproducibilità, gaming dei benchmark o metodi di valutazione. Il parallelo aiuta, ma resta un’analogia.

Conclusione

L’HARKing è un problema di etichettatura tanto quanto di ricerca. Un risultato post hoc può anche essere valido, ma presentarlo come a priori toglie ai lettori ciò di cui hanno bisogno per valutarlo.

Preregistrazione, Registered Reports e reporting chiaro aiutano tutti rendendo visibile il momento in cui nasce l’ipotesi. Nessuno è una soluzione completa. La preregistrazione può essere vaga e i Registered Reports coprono ancora solo una frazione della ricerca pubblicata.

Per ricercatori e professionisti dei dati, la regola pratica è semplice: scrivi ciò che hai previsto prima di guardare i dati, riporta ciò che hai trovato ed etichetta come esplorativi i risultati esplorativi.

Per approfondire la parte di test di quel flusso di lavoro, vedi il nostro corso su Hypothesis Testing in Python.