HARKing explicado: por que formular hipóteses após os resultados pode enganar a pesquisa

Um ensaio clínico termina. O desfecho primário dá nulo, mas um subgrupo responde melhor ao tratamento do que o grupo controle. Ninguém tinha previsto esse efeito de subgrupo. Isso não estava no protocolo.

Depois, o artigo é revisado. A Introdução passa a tratar o efeito do subgrupo como a hipótese de pesquisa desde o início. O desfecho primário fracassado some do foco. Na revisão por pares, o estudo parece um sucesso redondo.

Isso é HARKing: Hypothesizing After the Results are Known (formular hipóteses após conhecer os resultados). Norbert Kerr cunhou o termo em 1998 para casos em que pesquisadores apresentam hipóteses pós-hoc como se tivessem sido definidas antes do início do estudo. Às vezes a hipótese original é reescrita. Às vezes, é omitida.

Explorar é normal. O problema é apresentar um achado exploratório como se fosse confirmatório. O leitor perde o rótulo de alerta: evidência inicial, não prova.

O que é HARKing em pesquisa?

A definição original de Kerr ainda é o melhor ponto de partida: HARKing ocorre quando um pesquisador apresenta "uma hipótese pós-hoc... em seu relatório de pesquisa como se fosse, de fato, uma hipótese a priori". Uma hipótese a priori é formulada antes da coleta de dados. Uma hipótese pós-hoc é criada depois de ver os resultados. O problema é o rótulo, nem sempre a análise em si.

Kerr também descreveu uma segunda forma, menos comentada: deixar de fora hipóteses originais que foram testadas e deram negativas. Ambas escondem o que de fato aconteceu. Com o tempo, as teorias podem parecer mais precisas do que realmente são.

Tipos de HARKing

Pesquisadores costumam dividir HARKing em alguns tipos.

• CHARKing (Constructing HARKing) é o que mais se aproxima do que a maioria imagina. Um pesquisador encontra um resultado significativo inesperado, constrói uma nova hipótese para explicá-lo e a apresenta como ponto de partida do estudo. A teoria é moldada para se ajustar aos dados.
• SHARKing (Secretly HARKing) funciona de outra forma. Em vez de criar uma nova hipótese, o pesquisador remove evidências de que uma previsão original foi feita e falhou. O artigo parece conter apenas resultados positivos. Previsões fracassadas desaparecem.
• THARKing (Transparent HARKing) é a exceção. Hollenbeck e Wright usaram esse termo em 2017 para hipóteses pós-hoc claramente rotuladas como exploratórias. Assim, os leitores podem julgar o resultado pelo que ele é. Falo mais sobre isso a seguir.

Por que pesquisadores recorrem ao HARKing

Viés de publicação é um dos motores. Periódicos muitas vezes favoreceram resultados positivos e estatisticamente significativos em detrimento de achados nulos. Quando a progressão na carreira, o financiamento e o prestígio do departamento dependem de número de publicações e do renome dos periódicos, apresentar dados de forma mais favorável pode parecer racional.

A pressão nem sempre parte dos pesquisadores. O HARKing passivo acontece quando editores ou revisores pedem aos autores para reestruturar o estudo em torno de um achado inesperado, ou remover hipóteses que não se confirmaram. Isso coloca o pesquisador diante de uma decisão difícil.

Há também um caminho inconsciente. O viés retrospectivo pode levar pesquisadores a acreditar que esperavam um resultado que, na verdade, não esperavam. A memória falha, e a história pós-hoc preenche a lacuna. Alguns casos não são enganos deliberados.

Pesquisas por survey na psicologia dão uma noção da escala. John, Loewenstein e Prelec descobriram que cerca de 27% dos psicólogos disseram ter afirmado prever um achado inesperado desde o início. Uma revisão de vários levantamentos estimou alguma forma de HARKing em cerca de 43%. São números auto-relatados, então podem estar subestimados.

HARKing vs. pesquisa exploratória e confirmatória

É aqui que o texto pode soar mais duro do que deveria. Explorar não é o problema. O problema é quando o artigo trata exploração como se fosse um teste planejado.

Análise exploratória

Análise exploratória é o que acontece quando você olha para os dados sem uma previsão firme do que espera encontrar. Você examina distribuições, identifica padrões, compara variáveis e entende o conjunto de dados. O objetivo é gerar hipóteses, não testá-las.

Acho essa distinção útil porque mantém a crítica no lugar certo. Muito do avanço científico começa quando alguém nota algo inesperado e decide olhar de novo.

Análise confirmatória

Análise confirmatória é a etapa de teste. Você começa com uma previsão específica formulada antes de ver os dados, executa o teste estatístico planejado e verifica se os dados sustentam a previsão. A hipótese veio primeiro. Os dados vieram depois.

Quando uma hipótese é gerada a partir de um conjunto de dados e depois testada no mesmo conjunto, o teste deixa de ser independente. A hipótese foi moldada pelo mesmo ruído presente naquela amostra.

Esse é o alerta da introdução em termos mais técnicos: muda o rótulo, mas não o teste.

Bons testes colocam a hipótese antes dos dados. Imagem do autor.

A regra prática: o mesmo conjunto de dados não pode, de forma justa, gerar e depois testar a mesma hipótese.

Exemplos de HARKing

Os exemplos abaixo são cenários fictícios, não casos documentados. O objetivo é mostrar o padrão, não acusar um estudo específico.

• O experimento de psicologia: uma equipe testa se mindfulness melhora o desempenho cognitivo. O efeito principal não é significativo, mas participantes acima de 50 mostram um efeito positivo forte. No artigo final, o achado por faixa etária vira a hipótese original e o efeito principal nulo vira nota de rodapé.
• A análise de marketing: uma empresa testa se um programa de fidelidade aumenta a frequência de compra. O efeito geral é marginal, mas membros recentes mostram aumento claro. O relatório final apresenta esse grupo como foco planejado, sem dizer que foi descoberto depois.
• O ensaio clínico: um estudo médico testa um novo medicamento em um desfecho primário pré-especificado. O fármaco não supera o controle, mas um biomarcador secundário melhora. O estudo é revisado para enquadrar o biomarcador como hipótese primária. Como vou comentar adiante, é por isso que registros de ensaios pedem que pesquisadores registrem desfechos primários antes do início da coleta.

Por que o HARKing pode distorcer resultados de pesquisa

O efeito mais direto é inflar a taxa de falsos positivos. Quando uma hipótese é formulada olhando para os mesmos dados usados no teste, o teste estatístico não verifica uma previsão independente. Ele verifica quão bem uma hipótese criada para se ajustar aos dados se ajusta aos dados. Esse resultado pode não se repetir porque está ajustando o ruído, não o sinal.

Kerr listou doze possíveis custos no artigo original. Alguns se destacam. Resultados com HARKing viram base teórica como se estivessem confirmados. Resultados negativos são suprimidos. O que é publicado começa a parecer mais limpo do que o processo de pesquisa realmente foi.

Dorothy Bishop descreveu o HARKing como um dos "quatro cavaleiros do apocalipse da reprodutibilidade", ao lado de viés de publicação, baixo poder estatístico e p-hacking. Nenhum deles sozinho explica o estado da pesquisa publicada. Juntos, ajudam a entender por que alguns achados são menos confiáveis do que seus p-values sugerem.

Como o HARKing se relaciona com a crise de replicação

A crise de replicação se refere à constatação de que muitos resultados publicados não são reproduzidos por equipes independentes. No Reproducibility Project: Psychology de 2015, 97% dos estudos originais tinham resultados estatisticamente significativos, mas apenas 36% das replicações tiveram.

É aí que o HARKing pode pesar. Um estudo estruturado em torno de uma hipótese pós-hoc pode se ajustar ao ruído de uma amostra. Em uma nova amostra, o efeito pode diminuir ou sumir.

HARKing é um fator contribuidor, não a causa. Ele anda junto com p-hacking, viés de publicação, baixo poder estatístico e amostras pequenas. Mark Rubin argumenta que as evidências de HARKing como principal motor são mais fracas do que se costuma alegar. Essa visão é debatida, então vale manter a afirmação modesta: HARKing é um mecanismo plausível, não uma causa única comprovada.

De qualquer forma, práticas que escondem a natureza exploratória dos resultados tornam a literatura menos confiável.

HARKing vs. p-hacking

Essas duas práticas costumam aparecer juntas nas discussões sobre integridade científica. Não são a mesma coisa.

P-hacking manipula a análise. Significa mudar escolhas de coleta ou análise até surgir um resultado estatisticamente significativo: parar quando p cai abaixo de 0,05, testar várias análises, remover outliers ou testar muitos subgrupos sem correção. A hipótese fica fixa; a análise se dobra.

HARKing manipula a hipótese. A análise pode ser padrão. O que muda é o que o artigo afirma ter sido previsto. O ensaio clínico da introdução é um exemplo claro: o achado no biomarcador foi real, mas a história em torno dele não.

A metáfora do atirador do Texas ajuda a traçar a fronteira.

HARKing move os alvos; p-hacking esconde os erros. Imagem do autor.

Como já vimos, ambos podem inflar a taxa de falsos positivos. E ambos podem ocorrer sem intenção consciente de enganar.

Como pré-registro e Registered Reports reduzem o HARKing

A maior parte das soluções para HARKing torna visível o momento em que a hipótese foi feita. As duas abordagens principais são o pré-registro e os Registered Reports.

Pré-registro

Pré-registro significa registrar sua pergunta de pesquisa, hipóteses, desenho do estudo e análise planejada antes de coletar qualquer dado. Esses documentos vão para registros com carimbo de data e hora como o Open Science Framework (OSF), o ClinicalTrials.gov ou o AsPredicted. Depois de publicados, eles mostram o que foi previsto antes de se conhecer os resultados.

Se os resultados diferirem do plano, essa mudança precisa ser reconhecida, não apagada silenciosamente. Achados inesperados ainda podem ser relatados, mas rotulados como exploratórios.

Pré-registro não é solução completa. Muitos estudos pré-registrados ainda mudam em relação ao plano original, e registros vagos oferecem menos proteção. Há também um atalho chamado PARKing, pré-registrar depois de já saber os resultados. O pré-registro torna isso mais difícil de esconder, não impossível.

Registered Reports

Registered Reports vão um passo antes, envolvendo o periódico antes do início da coleta de dados.

No fluxo tradicional, editores avaliam o resultado concluído, então achados positivos costumam ter caminho mais fácil para publicação.

Registered Reports dividem o processo em duas etapas. Na Etapa 1, o periódico revisa a pergunta de pesquisa e os métodos antes da coleta. Se aprovado, o periódico promete publicar os resultados desde que o plano aprovado seja seguido. A Etapa 2 verifica os resultados e a aderência ao plano.

A revisão ocorre antes de se conhecer os resultados. Imagem do autor.

O efeito aparece na taxa de resultados positivos. Scheel, Schijen e Lakens encontraram resultados positivos em cerca de 96% dos artigos tradicionais, contra aproximadamente 44% dos Registered Reports nas mesmas áreas.

Mais de 300 periódicos já oferecem Registered Reports. A Nature anunciou em junho de 2026 que estenderia o formato a todas as áreas que publica.

Práticas de relato transparentes

Nem todo desenho de pesquisa se adapta a um pré-registro rígido, e nem todo periódico oferece Registered Reports. Nessas situações, um relato mais claro ainda pode reduzir o risco de HARKing. As práticas abaixo são normas, não exigências, mas estão cada vez mais comuns em áreas onde os problemas de replicação foram mais visíveis.

• Rotule como exploratória toda análise que não foi planejada de antemão ao relatá-la
• Relate todos os desfechos originalmente medidos, inclusive os que não mostraram efeito
• Inclua uma seção claramente marcada de achados exploratórios quando resultados inesperados merecem ser relatados
• Compartilhe o código de análise e os dados para que outros possam verificar o trabalho
• Relate explicitamente qualquer desvio de um plano pré-registrado e explique o motivo

Essas normas não substituem pré-registro nem Registered Reports. É o mesmo princípio aplicado sem o processo formal: dificultar esconder o que foi previsto e o que foi descoberto.

Problemas parecidos com HARKing em data science e machine learning

Até aqui, usei exemplos acadêmicos. O mesmo problema básico aparece em machine learning e em trabalhos de ciência de dados também, geralmente com outros nomes.

O paralelo mais claro é o vazamento de dados (data leakage). Em machine learning, há vazamento quando informações do conjunto de teste influenciam o treinamento. Formas comuns incluem selecionar ou criar features usando o conjunto completo antes do split de treino-teste, ou ajustar hiperparâmetros olhando repetidamente o desempenho no teste. O resultado é um modelo que vai bem no benchmark, mas falha no uso real, porque sua pontuação foi, em parte, construída com dados que não deveria ter visto.

Kapoor e Narayanan, em Princeton, documentaram esse problema em centenas de estudos em áreas de medicina a economia. O paralelo com HARKing é direto: o que está sendo testado foi moldado pelos mesmos dados contra os quais está sendo medido.

O vazamento entra muito antes da avaliação do modelo. Imagem do autor.

Pesquisadores de ML também descrevem uma prática às vezes chamada de Grad Student Descent ou SotA-hacking. Roda-se um grande número de experimentos até o modelo superar o benchmark atual por pouco e depois o artigo é escrito como se a configuração vencedora tivesse vindo de um raciocínio de design impecável. Isso é CHARKing aplicado ao pipeline de machine learning.

Seleção de métrica pós-hoc é o mesmo padrão em outra forma: avaliar um modelo em várias métricas e, depois de ver todos os resultados, decidir qual apresentar como medida principal. O que parece uma escolha de método planejada foi feito depois.

Uma ressalva: o termo HARKing raramente é usado em machine learning. Problemas semelhantes costumam ser discutidos sob reprodutibilidade, manipulação de benchmarks ou métodos de avaliação. O paralelo ajuda, mas ainda é uma analogia.

Conclusão

HARKing é tanto um problema de rotulagem quanto de pesquisa. Um achado pós-hoc pode ser sólido, mas apresentá-lo como a priori remove do leitor o que ele precisa para julgá-lo.

Pré-registro, Registered Reports e um relato claro ajudam ao tornar visível o momento da hipótese. Nenhum é solução completa. Pré-registros podem ser vagos, e Registered Reports ainda cobrem uma fração do que se publica.

Para pesquisadores e profissionais de dados, a regra prática é simples: anote o que você previu antes de olhar os dados, relate o que encontrou e rotule resultados exploratórios como exploratórios.

Para aprofundar a parte de testes desse fluxo, veja nosso curso de Hypothesis Testing in Python.