HARKing explicado: por qué formular hipótesis después de los resultados puede inducir a error

Termina un ensayo clínico. El resultado principal sale nulo, pero un subgrupo responde mejor al tratamiento que el grupo de control. Nadie había previsto ese efecto por subgrupos. Nadie lo incluyó en el protocolo.

Luego se revisa el artículo. La Introducción presenta el efecto del subgrupo como si hubiera sido la hipótesis de investigación desde el principio. El fracaso en el resultado primario pasa a un segundo plano. Para cuando llega la revisión por pares, el estudio suena como un éxito impecable.

Esto es HARKing: Hypothesizing After the Results are Known (formular hipótesis después de conocer los resultados). Norbert Kerr acuñó el término en 1998 para los casos en los que se presentan hipótesis post hoc como si se hubieran fijado antes de empezar el estudio. A veces se reescribe la hipótesis original. A veces se omite.

Explorar es normal. El problema es presentar un hallazgo exploratorio como si fuera confirmatorio. El lector pierde la etiqueta de aviso: evidencia preliminar, no prueba.

¿Qué es el HARKing en investigación?

La definición original de Kerr sigue siendo el mejor punto de partida: el HARKing ocurre cuando un investigador presenta "una hipótesis post hoc... en su informe de investigación como si fuera, de hecho, una hipótesis a priori". Una hipótesis a priori se formula antes de recopilar datos. Una hipótesis post hoc se formula después de ver los resultados. El problema es la etiqueta, no siempre el análisis en sí.

Kerr también describió una segunda forma, menos comentada: omitir hipótesis originales que se pusieron a prueba y resultaron negativas. Ambas ocultan lo que realmente ocurrió. Con el tiempo, las teorías pueden parecer más acertadas de lo que son.

Tipos de HARKing

El HARKing puede dividirse en varios tipos.

• CHARKing (Constructing HARKing) es lo que la mayoría imagina. Un investigador encuentra un resultado significativo inesperado, construye una nueva hipótesis para explicarlo y la presenta como punto de partida del estudio. La teoría se ajusta a los datos.
• SHARKing (Secretly HARKing) funciona distinto. En lugar de crear una nueva hipótesis, el investigador elimina pruebas de que se hizo una predicción original que falló. El artículo parece contener solo resultados positivos. Las predicciones fallidas desaparecen.
• THARKing (Transparent HARKing) es la excepción. Hollenbeck y Wright usaron este término en 2017 para las hipótesis post hoc claramente etiquetadas como exploratorias. Así, los lectores juzgan el resultado por lo que es. Volveremos a ello enseguida.

Por qué los investigadores recurren al HARKing

El sesgo de publicación es un motor. Las revistas han favorecido a menudo resultados positivos y estadísticamente significativos frente a hallazgos nulos. Cuando la estabilidad laboral, la financiación y el prestigio del departamento dependen del número de publicaciones y del estatus de la revista, presentar los datos de forma más favorable puede parecer una decisión racional.

La presión no siempre empieza en los investigadores. El HARKing pasivo ocurre cuando editores o revisores piden a los autores que reencuadren un estudio en torno a un hallazgo inesperado o que eliminen hipótesis que no salieron adelante. Eso deja al investigador ante una decisión complicada.

También hay una vía inconsciente. El sesgo retrospectivo puede llevar a creer que se esperaba un resultado que en realidad no se esperaba. La memoria se difumina y el relato post hoc llena el hueco. No todos los casos son engaño deliberado.

Encuestas en psicología dan una idea de la magnitud. John, Loewenstein y Prelec hallaron que aproximadamente el 27% de los psicólogos admitieron haber afirmado que una sorpresa era una predicción desde el inicio. Una revisión de varias encuestas situó alguna forma de HARKing en torno al 43%. Al ser autodeclaradas, estas cifras pueden quedarse cortas.

HARKing frente a investigación exploratoria y confirmatoria

Aquí es fácil sonar más duros de la cuenta. La exploración no es el problema. El problema es si el artículo trata la exploración como si fuera una prueba planificada.

Análisis exploratorio

El análisis exploratorio es lo que sucede cuando examinas datos sin una expectativa firme sobre lo que vas a encontrar. Analizas distribuciones, detectas patrones, comparas variables y te haces una idea del conjunto de datos. El objetivo es generar hipótesis, no ponerlas a prueba.

Esta distinción me resulta útil porque sitúa la crítica en su sitio. Mucho del progreso científico empieza cuando alguien repara en algo inesperado y decide que merece otra mirada.

Análisis confirmatorio

El análisis confirmatorio es la fase de contraste. Empiezas con una predicción específica, formulada antes de ver los datos, ejecutas la prueba estadística planificada y compruebas si los datos apoyan la predicción. La hipótesis vino primero. Los datos, después.

Cuando una hipótesis se genera mirando un conjunto de datos y luego se contrasta con ese mismo conjunto, la prueba deja de ser independiente. La hipótesis se moldeó con el mismo ruido presente en esa muestra.

Ese es el aviso de la introducción en términos más técnicos: cambia la etiqueta, no la prueba.

Las buenas pruebas ponen la hipótesis antes que los datos. Imagen del autor.

La regla práctica: el mismo conjunto de datos no puede generar y luego poner a prueba de forma justa la misma hipótesis.

Ejemplos de HARKing

Los ejemplos siguientes son escenarios inventados, no casos documentados. El objetivo es mostrar el patrón, no señalar un estudio concreto.

• El experimento de psicología: Un equipo prueba si el mindfulness mejora el rendimiento cognitivo. El efecto principal no es significativo, pero los mayores de 50 muestran un efecto positivo claro. En el artículo final, el hallazgo por grupos de edad pasa a ser la hipótesis original y el efecto principal nulo queda como nota al margen.
• El análisis de marketing: Una empresa prueba si un programa de fidelización aumenta la frecuencia de compra. El efecto global es marginal, pero los miembros recientes muestran un aumento claro. El informe final presenta ese grupo como el foco planificado, sin decir que fue un hallazgo a posteriori.
• El ensayo clínico: Un estudio médico evalúa un fármaco nuevo con un resultado primario preespecificado. El fármaco no supera al control, pero mejora un biomarcador secundario. Se revisa el estudio para presentar el biomarcador como la hipótesis primaria. Como comentaré más adelante, por eso los registros de ensayos piden anotar los resultados primarios antes de empezar a recopilar datos.

Por qué el HARKing puede distorsionar los hallazgos

El efecto más directo es inflar la tasa de falsos positivos. Cuando una hipótesis se formula mirando los mismos datos con los que se prueba, la prueba estadística no está verificando una predicción independiente. Está comprobando hasta qué punto una hipótesis construida para encajar en los datos encaja en esos datos. Ese resultado puede no repetirse porque ajusta al ruido, no a la señal.

Kerr enumeró doce posibles costes en el artículo original. Algunos destacan: los resultados con HARKing se incorporan a la teoría como si estuvieran confirmados; los resultados negativos se suprimen; lo publicado empieza a parecer más limpio que el propio proceso de investigación.

Dorothy Bishop describió el HARKing como uno de los "cuatro jinetes del apocalipsis de la reproducibilidad", junto con el sesgo de publicación, la baja potencia estadística y el p-hacking. Ninguno por sí solo explica el estado de la literatura. En conjunto, ayudan a entender por qué algunos hallazgos son menos fiables de lo que sus p-valores sugieren.

Cómo se relaciona el HARKing con la crisis de replicación

La crisis de replicación se refiere a que muchos resultados publicados no pueden ser reproducidos por equipos independientes. En el Reproducibility Project: Psychology (2015), el 97% de los estudios originales tenía resultados significativos, pero solo el 36% de las réplicas lo logró.

Ahí es donde el HARKing importa. Un estudio construido sobre una hipótesis post hoc puede encajar con el ruido de una muestra. En otra muestra, el efecto puede reducirse o desaparecer.

El HARKing es un factor que contribuye, no la causa. Va de la mano con el p-hacking, el sesgo de publicación, la baja potencia estadística y las muestras pequeñas. Mark Rubin ha argumentado que la evidencia de que el HARKing sea el principal motor es más débil de lo que se afirma. Esa visión se debate, así que conviene ser modestos: el HARKing es un mecanismo plausible, no una causa única demostrada.

En cualquier caso, las prácticas que ocultan la naturaleza exploratoria de los resultados hacen la literatura menos fiable.

HARKing frente a p-hacking

Ambas prácticas suelen aparecer juntas en debates sobre integridad científica. No son lo mismo.

El p-hacking manipula el análisis. Implica cambiar decisiones de recogida o análisis de datos hasta que aparece un resultado significativo: parar cuando p baja de 0,05, probar varios análisis, eliminar atípicos o contrastar muchos subgrupos sin corrección. La hipótesis permanece fija; el análisis se dobla.

El HARKing manipula la hipótesis. El análisis puede ser estándar. Lo que cambia es lo que el artículo afirma que se había predicho. El ensayo clínico de la introducción es un ejemplo claro: el hallazgo del biomarcador es real, pero el relato que lo rodea no.

La metáfora del tirador certero de Texas ayuda a trazar el límite.

El HARKing mueve la diana; el p-hacking oculta los fallos. Imagen del autor.

Como ya vimos, ambos pueden inflar la tasa de falsos positivos. Y ambos pueden ocurrir sin intención consciente de engañar.

Cómo la preregistración y los Registered Reports reducen el HARKing

La mayoría de soluciones al HARKing hacen visible el momento en que se formula la hipótesis. Los dos enfoques principales son la preregistración y los Registered Reports.

Preregistración

La preregistración consiste en registrar tu pregunta de investigación, hipótesis, diseño del estudio y análisis planificado antes de recopilar ningún dato. Estos documentos se envían a registros con sello temporal como Open Science Framework (OSF), ClinicalTrials.gov o AsPredicted. Una vez publicados, muestran qué se predijo antes de conocer los resultados.

Si los resultados difieren del plan, ese cambio debe reconocerse, no borrarse sin más. Los resultados inesperados pueden y deben informarse, pero como exploratorios.

La preregistración no lo arregla todo. Muchos estudios preregistrados cambian respecto al plan original, y los registros vagos protegen poco. También existe una triquiñuela llamada PARKing, preregistrar después de conocer los resultados. La preregistración dificulta ocultarlo, pero no lo imposibilita.

Registered Reports

Los Registered Reports van un paso antes, implicando a la revista antes de que empiece la recogida de datos.

En el flujo habitual, los editores evalúan el resultado final, así que los hallazgos positivos suelen tener más fácil la publicación.

Los Registered Reports dividen el proceso en dos fases. En la Fase 1, la revista revisa la pregunta y los métodos antes de recopilar datos. Si se acepta, la revista se compromete a publicar los resultados siempre que se siga el plan aprobado. La Fase 2 revisa los resultados y el cumplimiento del plan.

La revisión ocurre antes de conocer los resultados. Imagen del autor.

El efecto se ve en la tasa de resultados positivos. Scheel, Schijen y Lakens hallaron resultados positivos en ~96% de los artículos tradicionales, frente a ~44% de los Registered Reports en los mismos campos.

Más de 300 revistas ya ofrecen Registered Reports. Nature anunció en junio de 2026 que extendía el formato a todas las áreas que publica.

Prácticas de reporte transparente

No todos los diseños encajan con una preregistración estricta, y no todas las revistas ofrecen Registered Reports. En esos casos, un reporte más claro también reduce el riesgo de HARKing. Las prácticas siguientes son normas recomendadas, no requisitos, pero cada vez son más comunes en los campos con más problemas de replicación.

• Etiqueta como exploratorio cualquier análisis no planificado de antemano
• Informa de todos los resultados que se midieron originalmente, incluidos los que no mostraron efecto
• Incluye una sección claramente marcada de hallazgos exploratorios cuando los resultados inesperados merezcan mención
• Comparte el código de análisis y los datos para que otros puedan comprobar el trabajo
• Informa explícitamente de cualquier desviación respecto a un plan preregistrado y explica el motivo

Estas normas no sustituyen a la preregistración ni a los Registered Reports. Aplican el mismo principio sin el proceso formal: dificultar que se oculte qué se predijo y qué se descubrió.

Problemas similares al HARKing en data science y machine learning

Hasta ahora he usado ejemplos académicos. El mismo problema aparece en machine learning y data science, con otros nombres.

El paralelo más claro es la fuga de datos (data leakage). En machine learning, hay fuga cuando información del conjunto de prueba influye en el entrenamiento. Casos comunes: seleccionar o crear variables con el dataset completo antes de separar entrenamiento y prueba, o ajustar hiperparámetros mirando repetidamente el rendimiento en test. El resultado es un modelo que luce bien en el benchmark pero falla en producción, porque su puntuación se basó en datos que no debía ver.

Kapoor y Narayanan, en Princeton, documentaron este problema en cientos de estudios en campos que van de la medicina a la economía. El paralelismo con el HARKing es directo: lo que se pone a prueba se ha moldeado con los mismos datos con los que luego se evalúa.

La fuga entra mucho antes de la evaluación del modelo. Imagen del autor.

En ML también se habla de prácticas como Grad Student Descent o SotA-hacking. Se hacen muchos experimentos hasta superar por poco el benchmark actual y luego se escribe el artículo como si la configuración ganadora se hubiera derivado de un diseño impecable. Es CHARKing aplicado a un pipeline de machine learning.

La selección post hoc de métricas sigue el mismo patrón: evaluar un modelo con múltiples métricas y decidir después cuál presentar como principal. Lo que parece una elección metodológica planificada se tomó a posteriori.

Un matiz: el término HARKing apenas se usa en machine learning. Problemas similares se discuten como reproducibilidad, juego con benchmarks o métodos de evaluación. El paralelismo ayuda, pero es solo una analogía.

Conclusión

El HARKing es tanto un problema de etiquetado como de investigación. Un hallazgo post hoc puede ser válido, pero presentarlo como a priori le quita al lector lo necesario para juzgarlo.

La preregistración, los Registered Reports y un reporte claro ayudan al hacer visible el momento de la hipótesis. Ninguno es una solución total. La preregistración puede ser vaga y los Registered Reports cubren solo una parte de lo que se publica.

Para investigadores y profesionales de datos, la regla práctica es simple: anota lo que predices antes de mirar los datos, informa de lo que encuentras y etiqueta como exploratorio lo que sea exploratorio.

Para profundizar en la parte de las pruebas, echa un vistazo a nuestro curso de Hypothesis Testing in Python.