HARKing 全解析：为何在结果之后设定假设会误导研究

一项临床试验结束了。主要结局为零结果，但某个亚组对治疗的反应优于对照组。没有人预测过这一亚组效应。方案中也没有写。

随后论文被修改。引言将亚组效应框定为始终存在的研究假设。失败的主要结局被淡化。到了同行评审阶段，这项研究读起来像一次干净的成功。

这就是 HARKing：在结果已知后再提出假设（Hypothesizing After the Results are Known）。Norbert Kerr 于 1998 年提出该术语，指研究者将事后提出的假设当作研究开始前就已设定的假设来呈现。有时会重写原始假设。有时则直接省略。

探索是正常的。问题在于把探索性发现呈现为验证性发现。读者因此失去了“早期证据、非定论”的警示标签。

研究中的 HARKing 是什么？

Kerr 的原始定义仍是最清晰的出发点：当研究者在研究报告中将“事后假设……当作事实上是先验假设”来呈现时，就发生了 HARKing。先验假设是在收集数据之前形成的。事后假设是在看到结果之后形成的。问题在于标签，而不总是分析本身。

Kerr 还描述了另一种较少受到关注的形式：省略已测试且为阴性的原始假设。两种形式都掩盖了实际发生的情况。久而久之，理论会显得比实际更准确。

HARKing 的类型

研究者可将 HARKing 分为几类。

• CHARKing（构建式 HARKing）最接近大多数人的想象。研究者发现一个意外的显著结果，围绕它构建一个新假设，并将该假设作为研究的出发点呈现。理论被构建为贴合数据。
• SHARKing（秘密式 HARKing）的做法不同。研究者不构建新假设，而是移除证据，抹去原始预测曾被提出且失败的事实。论文看起来只包含正向结果。失败的预测消失了。
• THARKing（透明式 HARKing）是例外。Hollenbeck 和 Wright 在 2017 年使用该术语指清楚标注为探索性的事后假设。读者据此按本来面目来评估结果。下文将详述。

研究者为何会进行 HARKing

发表偏倚是一个驱动因素。期刊往往偏好正向、统计显著的结果，而非零结果。当任期、经费与院系地位取决于发表数量与期刊声望时，更有利地呈现数据就会显得理性。

压力并不总始于研究者。被动式 HARKing 发生在编辑或审稿人要求作者围绕意外发现重构研究，或删除未验证的假设时。这让研究者陷入两难。

也存在无意识的路径。事后偏见会让研究者相信自己预期了实际上未曾预期的结果。记忆会淡化，而事后叙事填补了空白。有些情况并非蓄意欺骗。

心理学调查提供了规模感。John、Loewenstein 和 Prelec 发现，大约 27% 的心理学家表示他们曾声称从一开始就预测到了意外发现。对多项调查的综述显示，某种形式的 HARKing 约为 43%。这些是自我报告的数据，可能偏低。

HARKing 与探索性/验证性研究的区别

这正是本文容易显得过于苛刻之处。探索本身不是问题。问题在于论文是否把探索当作计划内的检验来处理。

探索性分析

探索性分析指的是在没有明确先验预期的情况下查看数据时会发生的事情，您会检查分布、发现模式、比较变量，并熟悉数据集。目标是生成假设，而不是检验假设。

我认为这一区分很有用，因为它能把批评指向正确的对象。大量科学进展始于某人注意到一个意外现象并决定值得再看一眼。

验证性分析

验证性分析是检验阶段。您从在看数据之前形成的具体预测出发，运行计划好的统计检验，并检查数据是否支持该预测。先有假设，后有数据。

当一个假设由查看同一数据集生成并又用该数据集来检验时，检验就不再独立。假设已被该样本中的同样噪声所塑形。

这就是前言中的技术版警示：标签变了，但检验没变。

良好的检验先有假设后有数据。图片作者自制。

实践规则：同一数据集不能既用来生成同一假设，又用来检验它。

HARKing 的示例

以下示例为虚构情境，而非有据可查的个案。重点在于模式，而非指控某项具体研究。

• 心理学实验：一个团队测试正念是否提升认知表现。主效应不显著，但 50 岁以上参与者显示出强烈正效应。在最终论文中，年龄组发现成了原始假设，而主效应为零仅成了旁注。
• 市场分析：一家公司测试忠诚度计划是否提高购买频率。整体效应边缘显著，但新近会员显示明显增长。最终报告将该群体作为计划中的重点，却未说明是事后发现。
• 临床试验：一项医学研究按预先指定的主要结局测试一种新药。该药未优于对照，但某个次要生物标志物改善。研究被修改，将该生物标志物框定为主要假设。正如我稍后将讨论的，这也是为何试验注册要求研究者在数据收集开始前记录主要结局。

为何 HARKing 会扭曲研究发现

最直接的结果是假阳性率被抬高。当一个假设是通过查看同一批用于检验它的数据而形成时，统计检验并非在检验一个独立预测，而是在检验一个为贴合数据而建的假设对数据的贴合度。该结果可能无法复现，因为它拟合的是噪声而非信号。

Kerr 在原论文中列出了 12 种可能代价。其中几项尤为突出：HARKing 的结果会像已被验证一样被纳入理论；负向结果被压制；发表作品开始显得比真实研究过程更干净。

Dorothy Bishop 将 HARKing 描述为“可重复性末日四骑士”之一，另三者为发表偏倚、低统计功效与 p-hacking。单独来看，这些都不足以解释已发表研究的状况；合在一起，它们有助于解释为何某些发现的可靠性低于其 p 值所暗示的程度。

HARKing 与重复性危机的关系

重复性危机指许多已发表结果无法被独立团队再现实证的现象。在 2015 年的“心理学可重复性项目”中，原研究中 97% 的结果具有统计显著性，但仅有 36% 的复现实验达成显著。

差距正是 HARKing 可能产生影响之处。围绕事后假设构建的研究可能贴合了某个样本的噪声。在新样本中，该效应可能缩小或消失。

HARKing 是促成因素之一，而非根因。它与 p-hacking、发表偏倚、低统计功效和小样本并列。Mark Rubin 认为，将 HARKing 视为主要驱动的证据比常被声称的更弱。这一观点存在争议，因此我会保持克制的表述：HARKing 是一个合理机制，而非已证实的单一原因。

无论如何，掩盖结果探索性本质的做法都会降低文献的可靠性。

HARKing 与 P-hacking 的区别

这两种做法在科研诚信讨论中常被并提，但并非同一回事。

P-hacking操纵的是分析。它意味着调整数据收集或分析选择，直到出现统计显著的结果：当 p 降到 0.05 以下就停止、尝试多种分析、剔除离群值，或在未作校正的情况下测试许多亚组。假设保持不变；分析被弯曲。

HARKing 则是操纵假设本身。分析可能很常规。变化的是论文声称被预测的内容。引言中的临床试验就是一个干净的例子：生物标志物的发现真实存在，但围绕它的叙事并不真实。

“德州神枪手”隐喻有助于划清边界。

HARKing 移动靶心；p-hacking 隐藏脱靶。图片作者自制。

如前所述，两者都能提高假阳性率，也都可能在无意欺骗的情况下发生。

预注册与注册报告如何减少 HARKing

针对 HARKing 的大多数修正都会让假设的时间点变得可见。两种主要方法是预注册与注册报告（Registered Reports）。

预注册

预注册是指在收集任何数据之前，记录您的研究问题、假设、研究设计与计划分析。这些文档会提交到带时间戳的注册平台，如Open Science Framework (OSF)、ClinicalTrials.gov 或 AsPredicted。一旦发布，它们就显示出哪些是在结果未知时所作的预测。

如果结果与计划不同，就必须承认这一变化，而不能悄然抹去。意外结果仍可报告，但应标注为探索性。

预注册并非万灵药。许多预注册研究仍与原计划发生变化，且模糊的注册提供的保护更少。还有一种变通叫 PARKing，即在已知结果后再进行预注册。预注册让这种操作更难被隐藏，但并非不可能。

注册报告（Registered Reports）

注册报告更进一步，在数据收集开始之前就让期刊参与进来。

在标准流程中，编辑评估的是已完成的结果，因此正向发现往往更易发表。

注册报告将流程分为两个阶段：第一阶段，期刊在数据收集前评审研究问题与方法。一旦接收，期刊承诺只要遵循获批计划，就会发表结果。第二阶段审核结果及对计划的遵循情况。

评审发生在结果已知之前。图片作者自制。

其效果体现在正向结果率上。Scheel、Schijen 和 Lakens 发现，传统期刊文章的正向结果约为 96%，而同领域的注册报告约为 44%。

目前已有 300 多本期刊提供注册报告。Nature 于 2026 年 6 月宣布将在其发表的所有领域推广这一格式。

透明的报告实践

并非所有研究设计都适合严格的预注册，也不是所有期刊都提供注册报告。在这些情况下，更清晰的报告仍能降低 HARKing 风险。以下做法是规范而非硬性要求，但在复制性问题最为突出的领域中日益常见。

• 报告时将所有非预先计划的分析标注为探索性
• 报告所有最初测量的结局指标，包括那些未显示效应的
• 当意外结果值得报告时，单独包含清晰标注的探索性发现部分
• 共享分析代码与数据，便于他人核查
• 对任何偏离预注册计划的情况明确报告并说明原因

这些规范不能替代预注册或注册报告。它们是同一基本原则在缺少正式流程时的应用：让“哪些是预测、哪些是发现”更难被隐藏。

数据科学与机器学习中的类 HARKing 问题

到目前为止，我使用的是学术研究的示例。同样的基本问题也出现在机器学习与数据科学工作中，通常用不同的名称。

最清晰的类比是数据泄漏。在机器学习中，泄漏发生在测试集的信息影响了训练时。常见形式包括在训练-测试划分之前用整个数据集选择或构造特征，或反复窥视测试集表现来调整超参数。结果是一个在基准上看起来不错、但在实际应用中失效的模型，因为其分数部分建立在它本不该看到的数据之上。

普林斯顿的 Kapoor 与 Narayanan 在横跨医学到经济学等数百项研究中记录了这一问题。与 HARKing 的平行关系是直接的：被检验的对象被同一批随后用来评估它的数据所塑形。

泄漏在模型评估之前很久就已进入。图片作者自制。

ML 研究者还描述了一种被称为“研究生下降”或“刷榜黑客”（SotA-hacking）的做法：研究者运行大量实验，直到模型略胜当前基准，然后把论文写成仿佛获胜配置源自一套干净的设计论证。这是将 CHARKing 应用于机器学习流程。

事后选择评估指标是同一模式的另一种形式：用多种指标评估模型，然后在看完所有结果后再决定哪个作为主要度量。看似计划在先的方法选择，实则是事后决定。

需要说明的是：HARKing 这个术语在机器学习中很少使用。类似问题通常在可重复性、刷基准或评估方法的框架下讨论。类比有帮助，但终究是类比。

结论

HARKing 既是标签问题，也是研究问题。事后发现可能站得住脚，但把它呈现为先验会剥夺读者评判所需的信息。

预注册、注册报告与清晰报告都有助于让假设的时间点可见。它们都不是完全的解决方案。预注册可能含糊，其覆盖面也有限；注册报告目前仍只覆盖已发表研究的一小部分。

对研究者与数据从业者而言，实用规则很简单：在看数据之前写下您的预测，如实报告您的发现，并将探索性结果标注为探索性。

关于该工作流程中检验环节的更多内容，请参阅我们的课程 Hypothesis Testing in Python。