HARKingを解説：結果を見てから仮説を立てることが研究を誤導しうる理由

ある臨床試験が終了しました。主要アウトカムは有意差なし。しかし、あるサブグループでは治療群のほうが対照群より良い反応を示しました。そのサブグループ効果は誰も予測しておらず、プロトコルにも書かれていませんでした。

そこで論文が書き直されます。序論では、サブグループ効果が最初からの研究仮説であったかのように位置づけられます。失敗に終わった主要アウトカムは背景に退き、査読に至るころには、研究はあたかもきれいに成功したかのように読めてしまいます。

これがHARKing（Hypothesizing After the Results are Known：結果を知ってから仮説を立てること）です。ノーベルト・カーが1998年に提唱した用語で、事後的に立てた仮説を、研究開始前から定めていたかのように提示する行為を指します。元の仮説を書き換える場合もあれば、そもそも書かない場合もあります。

探索自体は普通のことです。問題は、探索的に得られた知見を、検証的な（事前に計画された）結果として提示してしまうこと。読者は「初期的な証拠であって確証ではない」という警告ラベルを失います。

研究におけるHARKingとは？

カーの元の定義が今でも最も分かりやすい出発点です。HARKingとは、研究者が「事後的な仮説を、まるで事前（a priori）の仮説であったかのように」報告書で提示することを言います。a priori仮説はデータ収集前に立てられます。post hoc仮説は結果を見た後に立てられます。問題は分析そのものではなく、ラベリングにあります。

カーは、あまり注目されない第二の形態も記述しました。すなわち、検証して否定的な結果となった元の仮説を省いてしまうことです。どちらの形態でも、実際に何が起きたかが隠れます。その結果、長い目で見ると理論が実際よりも当たっているように見えかねません。

HARKingの種類

HARKingはいくつかのタイプに分けられます。

• CHARKing（Constructing HARKing）は、多くの人がイメージするHARKingに最も近いものです。研究者が予想外の有意な結果を見つけ、それを説明するための新しい仮説を構築し、その仮説を研究の出発点として提示します。理論がデータに合わせて作られるのです。
• SHARKing（Secretly HARKing）は別のやり方です。新しい仮説を立てる代わりに、元の予測が存在し失敗したという証拠を取り除きます。論文には肯定的な結果だけが載っているように見え、失敗した予測は消えてしまいます。
• THARKing（Transparent HARKing）は例外です。ホレンベックとライトが2017年に提唱した用語で、事後的に立てた仮説を探索的であるとはっきり明示することを指します。そうすれば読者は結果をあるがままに判断できます。この点は後ほど詳しく述べます。

研究者がHARKingに走る理由

一因は出版バイアスです。多くの学術誌は、有意な肯定結果を無効（ヌル）結果よりも好む傾向がありました。任期、研究費、学科の評価が論文数やジャーナルの格に左右されると、データをより好意的に見せることが合理的に思えてくる場合があります。

その圧力は必ずしも研究者発ではありません。受動的HARKingは、編集者や査読者が、予想外の発見を中心に研究を再構成するよう求めたり、うまくいかなかった仮説を削除するよう求めるときに起きます。研究者は難しい選択を迫られます。

無意識の経路もあります。後知恵バイアスにより、研究者は本当は予想していなかった結果を、予想していたと信じ込むことがあります。記憶は薄れ、その穴を事後の物語が埋めます。意図的な欺瞞でない場合もあります。

心理学分野の調査から規模感が見えてきます。John、Loewenstein、Prelecは、心理学者の約27%が、予想外の結果を最初から予測していたと主張したことがあると回答したと報告しました。複数の調査をレビューすると、何らかの形のHARKingは約43%に上ります。いずれも自己申告なので、過小評価の可能性があります。

HARKingと探索的・検証的研究の違い

この話題は、放っておくと必要以上に厳しい響きになりがちです。探索自体が問題ではありません。問題は、論文が探索をあたかも計画された検証であるかのように扱うことです。

探索的分析

探索的分析とは、何を見つけるかに関して確たる事前主張がないままデータを眺めるときに行う作業です。分布を調べ、パターンを見つけ、変数を比較し、データセットの勘所をつかみます。目的は仮説を生み出すことであり、検証することではありません。

この区別は、批判の矛先を正しく保つうえで有用だと思います。多くの科学的進歩は、誰かが予想外の何かに気づき、それが再検討に値すると判断するところから始まります。

検証的分析

検証的分析はテストの段階です。データを見る前に立てた具体的な予測から出発し、計画した統計的検定を実行し、データが予測を支持するか確認します。仮説が先で、データが後です。

ひとつのデータセットを見て生成した仮説を、同じデータセットで検証すると、その検定は独立ではなくなります。仮説は、そのサンプルに含まれるノイズに影響されて形作られているからです。

これが冒頭の警告をやや技術的に言い換えたものです。ラベルは変わっても、検定は変わりません。

良い検定は仮説をデータより先に置きます。画像：著者作成。

実務的なルール：同じデータセットで、同じ仮説を「生成し、そして検証する」ことは公正ではありません。

HARKingの例

以下の例は、特定の事例を示すものではなく、作例です。狙いはパターンの提示であり、特定の研究を非難することではありません。

• 心理学実験：マインドフルネスが認知パフォーマンスを高めるかを検証する。主効果は有意でないが、50歳以上の参加者で強い正の効果が見られた。最終稿では、年齢層の発見が元からの仮説となり、主要効果のヌル結果は脚注扱いになる。
• マーケティング分析：ロイヤルティプログラムが購買頻度を高めるかを検証する。全体効果はぎりぎりだが、最近加入した会員では明確な増加が見られた。最終レポートでは、そのグループが当初からの焦点だったかのように提示され、事後に見つかったことは明かされない。
• 臨床試験：医薬品研究で、事前に特定した主要アウトカムを検証する。薬剤は対照を上回らないが、副次的バイオマーカーは改善した。研究は、バイオマーカーが主要仮説であったかのように書き換えられる。後述のとおり、これが試験登録で主要アウトカムをデータ収集前に記録する理由です。

HARKingが研究結果を歪めうる理由

最も直接的な結果は、偽陽性率の上昇です。仮説がそれを検証するのと同じデータを見てから立てられた場合、統計的検定は独立した予測を確かめてはいません。データに合わせて作られた仮説が、どれだけデータに合うかを見ているに過ぎません。その結果は、信号ではなくノイズに適合しているため、再現しない可能性があります。

カーは元論文で12のコストを挙げました。中でも目立つのは、HARKingされた結果が検証済みのように理論へ組み込まれること、否定的結果が抑制されること、そして公表研究が実際の研究過程よりもきれいに見えてしまうことです。

ドロシー・ビショップはHARKingを「再現性の黙示録の四騎士」の一つと呼び、出版バイアス、統計的検出力の低さ、pハッキングと並べました。これらのどれか一つだけが現在の研究文献の状態を説明するわけではありませんが、組み合わさることで、p値が示唆するほど信頼できない知見がある理由を説明します。

再現性危機とHARKingの関係

再現性危機とは、多くの公表結果が独立チームによって再現できないという発見を指します。2015年のReproducibility Project: Psychologyでは、元研究の97%が統計的に有意でしたが、再現研究で有意だったのは36%にとどまりました。

このギャップでHARKingが影響し得ます。事後仮説を中心に組み立てられた研究は、あるサンプルのノイズに適合しているだけかもしれません。新しいサンプルでは効果が縮小したり、消えたりします。

HARKingは要因の一つであって、唯一の原因ではありません。pハッキング、出版バイアス、低検出力、小標本と並ぶものです。マーク・ルービンは、HARKingが主因だとする証拠はしばしば言われるほど強くないと主張しています。この見解は議論の余地がありますが、控えめに言えば、HARKingはあり得るメカニズムであって、単独原因として証明されたわけではない、というところでしょう。

いずれにせよ、結果の探索的性質を隠す実務は、文献の信頼性を下げます。

HARKingとpハッキングの違い

この2つは研究の健全性の議論で並び立つことが多いですが、同じものではありません。

pハッキングは分析を操作します。pが0.05を下回ったところで収集や分析を止める、複数の分析を試す、外れ値を除外する、多数のサブグループを補正なく検定する、など、統計的有意を得るまで収集・分析の選択を変えることを指します。仮説は固定のまま、分析が曲がります。

HARKingは代わりに仮説を操作します。分析は標準的でもかまいません。変わるのは、論文が「何を予測していたと主張するか」です。冒頭の臨床試験はわかりやすい例です。バイオマーカーの発見自体は本物でも、その周りの物語は本物ではありませんでした。

「テキサスの射撃手」比喩は、この境界を描くのに役立ちます。

HARKingは的を動かし、pハッキングは外れを隠します。画像：著者作成。

先ほど述べたように、どちらも偽陽性率を押し上げ得ます。また、どちらも必ずしも故意の欺瞞なく起こり得ます。

事前登録とRegistered ReportsがHARKingを減らす仕組み

HARKingへの対処の多くは、仮説のタイミングを可視化することにあります。主なアプローチは、事前登録（preregistration）とRegistered Reportsの2つです。

事前登録

事前登録とは、研究課題、仮説、研究デザイン、計画する分析を、データ収集前に記録することです。これらの文書は、Open Science Framework（OSF）、ClinicalTrials.gov、AsPredictedのようなタイムスタンプ付きレジストリに提出されます。投稿されると、結果を知る前に何を予測していたかが明らかになります。

結果が計画と異なる場合は、その変更を認め、黙って消すのではなく明示する必要があります。予想外の結果は報告して構いませんが、探索的であるとラベル付けします。

事前登録は万能薬ではありません。多くの事前登録研究でも、元の計画からの変更が生じますし、曖昧な登録は保護効果が弱いです。結果を知った後に事前登録するPARKingという抜け道もあります。事前登録はそれを隠しにくくするだけで、不可能にするわけではありません。

Registered Reports

Registered Reportsは、データ収集が始まる前にジャーナルを関与させる点で、さらに一歩進みます。

通常の流れでは、編集者は完成した結果を評価するため、肯定的な所見のほうが掲載に有利になりがちです。

Registered Reportsはプロセスを2段階に分けます。ステージ1では、データ収集前に研究課題と方法が査読され、受理されれば、承認された計画に従う限り結果を掲載することをジャーナルが約束します。ステージ2では、結果と計画遵守が確認されます。

結果を知る前に査読が行われます。画像：著者作成。

効果は肯定結果の比率に表れます。Scheel、Schijen、Lakensは、同分野の従来型論文ではおよそ96%が肯定結果であるのに対し、Registered Reportsでは約44%だったと報告しました。

現在、300以上のジャーナルがRegistered Reportsを提供しています。Natureは2026年6月、同誌が扱うすべての分野にこの形式を拡張すると発表しました。

透明性の高い報告慣行

すべての研究デザインが厳密な事前登録に適するわけではなく、すべてのジャーナルがRegistered Reportsを提供しているわけでもありません。そうした状況でも、より明確な報告によってHARKingのリスクを下げられます。以下の慣行は義務ではなく規範ですが、再現性の問題が目立ってきた分野では増えつつあります。

• 事前に計画していなかった分析は、報告時に探索的と明示する
• 当初測定したすべてのアウトカムを、効果が見られなかったものも含めて報告する
• 予想外の結果が報告に値する場合は、探索的所見の節を明確に設ける
• 他者が検証できるよう、分析コードとデータを共有する
• 事前登録計画からの逸脱があれば、理由とともに明示的に報告する

これらの規範は、事前登録やRegistered Reportsの代替ではありません。形式的なプロセスを用いずに、同じ基本原則—何を予測し、何を発見したのかを隠しにくくする—を適用するものです。

データサイエンスと機械学習におけるHARKing類似の問題

ここまでは学術研究の例を用いました。同じ根本問題は、機械学習やデータサイエンスの仕事にも現れますが、呼び名は異なることが多いです。

最も明確な類似はデータリーケージです。機械学習では、テストセットの情報が学習に影響する場合にリーケージが起こります。よくある形は、訓練・テスト分割の前に全データで特徴量選択やエンジニアリングを行うことや、テストセットの性能を何度も覗き見しながらハイパーパラメータを調整することです。その結果、ベンチマーク上では良く見えても実運用で失敗するモデルになります。なぜなら、本来見てはいけないデータに基づいてスコアの一部が作られているからです。

プリンストンのKapoorとNarayananは、医学から経済学に至るまで数百件の研究でこの問題を実証しました。HARKingとの並行は明白です。評価される対象が、評価に用いるのと同じデータで形作られているのです。

評価のはるか前段でリーケージは入り込みます。画像：著者作成。

ML研究者は、Grad Student DescentやSotA-hackingと呼ばれる慣行についても語ります。ベンチマーク現行最良（SotA）をわずかに上回るまで多数の実験を回し、勝った設定が理路整然と導かれたかのように論文を書くやり方です。これは機械学習パイプラインに適用されたCHARKingと言えます。

事後的な評価指標の選択も、形は違えど同じパターンです。複数の指標でモデルを評価し、すべての結果を見た後に、どれを主要指標として提示するかを決めるのです。一見すると計画した方法選択に見えますが、実際は事後決定です。

ただし注意点があります。「HARKing」という語自体は機械学習ではあまり使われません。類似の問題は、再現性、ベンチマークのゲーム化、評価方法の文脈で語られるのが一般的です。類比は有用ですが、あくまで比喩です。

結論

HARKingは研究上の問題であると同時に、ラベリングの問題でもあります。事後的な発見が妥当なものであっても、それを事前仮説として提示すると、読者が判断に必要とする情報が失われます。

事前登録、Registered Reports、明確な報告はいずれも、仮説のタイミングを可視化することで役立ちます。どれも完全な解決策ではありません。事前登録は曖昧になり得ますし、Registered Reportsがカバーするのは依然として公表研究の一部に過ぎません。

研究者やデータの実務家にとっての実務的ルールは単純です。データを見る前に予測を書き留め、見つけたことを報告し、探索的な結果には探索的とラベルを付けてください。

そのワークフローの検定側について詳しくは、Hypothesis Testing in Pythonのコースをご覧ください。