HARKing: почему гипотезы «после результатов» могут вводить в заблуждение

Клиническое испытание завершено. По первичной конечной точке — нулевой результат, но одна подгруппа реагирует на лечение лучше, чем контрольная группа. Никто не предсказывал этот эффект в подгруппе. Никто не включил его в протокол.

Затем статья перерабатывается. Введение подает эффект в подгруппе как исходную исследовательскую гипотезу. Провальная первичная конечная точка отходит на второй план. К моменту рецензирования исследование выглядит как чистый успех.

Это и есть HARKing: Hypothesizing After the Results are Known — формулирование гипотезы после того, как известны результаты. Норберт Керр ввел этот термин в 1998 году для случаев, когда исследователи представляют постфактум-гипотезы так, словно они были заданы до начала исследования. Иногда исходная гипотеза перезаписывается. Иногда — просто опускается.

Исследовательская разведка — это нормально. Проблема — в подаче разведочного результата как подтверждающего. Читатели теряют предупреждающую маркировку: это ранние свидетельства, а не доказательство.

Что такое HARKing в исследованиях?

Исходное определение Керра по-прежнему самое ясное: HARKing возникает, когда исследователь представляет «постфактум-гипотезу... в отчете об исследовании так, как если бы это была априорная гипотеза». Априорная гипотеза формулируется до сбора данных. Постфактум-гипотеза — после ознакомления с результатами. Проблема — в маркировке, а не обязательно в самом анализе.

Керр также описал вторую форму, которой уделяют меньше внимания: умалчивание исходных гипотез, которые были проверены и не подтвердились. Обе формы скрывают, что на самом деле произошло. Со временем теории могут начать выглядеть точнее, чем они есть.

Виды HARKing

Исследователи выделяют несколько типов HARKing.

• CHARKing (Constructing HARKing) — это то, что чаще всего представляют. Исследователь находит неожиданный значимый результат, выдвигает новую гипотезу, чтобы его объяснить, и подает эту гипотезу как исходную для исследования. Теория подгоняется под данные.
• SHARKing (Secretly HARKing) работает иначе. Вместо построения новой гипотезы исследователь убирает свидетельства того, что была сделана исходная не подтвердившаяся предсказательная гипотеза. В статье остаются только положительные результаты. Неудачные предсказания исчезают.
• THARKing (Transparent HARKing) — исключение. Холленбек и Райт ввели этот термин в 2017 году для постфактум-гипотез, которые четко помечены как разведочные. Тогда читатели могут оценить результат по сути. Об этом ниже.

Почему исследователи прибегают к HARKing

Одним из факторов является публикационное смещение. Журналы часто предпочитали положительные, статистически значимые результаты нулевым. Когда от количества публикаций и статуса журнала зависят должности, гранты и престиж кафедры, подача данных в более выгодном свете может казаться рациональной.

Давление исходит не всегда от самих исследователей. Пассивный HARKing возникает, когда редакторы или рецензенты просят авторов переформулировать исследование вокруг неожиданной находки или удалить гипотезы, которые не подтвердились. Это ставит исследователя перед трудным выбором.

Есть и неосознанный путь. Эффект ретроспективной предвзятости может заставить исследователей поверить, что они ожидали результат, которого не ожидали. Память тускнеет, а постфактум-история заполняет пробел. Некоторые случаи — не намеренный обман.

Опросы в психологии дают представление о масштабах. Джон, Лёвенштейн и Прелец обнаружили, что примерно 27% психологов признавались, что заявляли о предсказании неожиданной находки «с самого начала». Обзор нескольких опросов оценил долю какой-либо формы HARKing примерно в 43%. Это самоотчеты, так что цифры могут быть занижены.

HARKing vs. разведочные и подтверждающие исследования

Здесь легко прозвучать резче, чем следует. Разведка — не проблема. Проблема в том, подает ли статья разведку как запланированную проверку.

Разведочный анализ

Разведочный анализ — это то, что происходит, когда вы изучаете данные без твердого предварительного ожидания относительно находок. Вы рассматриваете распределения, замечаете закономерности, сравниваете переменные и «нащупываете» датасет. Цель — выдвигать гипотезы, а не проверять их.

Мне это различение кажется полезным, потому что оно направляет критику в нужную сторону. Многое в науке начинается с того, что кто-то замечает неожиданное и решает присмотреться внимательнее.

Подтверждающий анализ

Подтверждающий анализ — это стадия проверки. Вы начинаете с конкретного предсказания, сформулированного до просмотра данных, проводите запланированный статистический тест и проверяете, поддерживают ли данные предсказание. Сначала была гипотеза. Потом — данные.

Когда гипотеза генерируется при просмотре датасета, а затем проверяется на этом же датасете, тест уже не является независимым. Гипотеза была сформирована под воздействием того же шума в этой выборке.

Это и есть предупреждение из введения в более технических терминах: меняется маркировка, но не тест.

Хорошие тесты ставят гипотезу перед данными. Изображение автора.

Практическое правило: один и тот же датасет не может честно и генерировать, и затем проверять одну и ту же гипотезу.

Примеры HARKing

Примеры ниже — вымышленные сценарии, а не задокументированные случаи. Смысл — в шаблоне, а не в обвинении конкретного исследования.

• Психологический эксперимент: Команда проверяет, улучшает ли осознанность когнитивную работоспособность. Главного эффекта нет, но у участников старше 50 лет наблюдается выраженный положительный эффект. В итоговой статье находка по возрастной группе превращается в исходную гипотезу, а нулевой главный эффект — в примечание на полях.
• Маркетинговый анализ: Компания проверяет, увеличивает ли программа лояльности частоту покупок. Общий эффект на грани, но у недавних участников наблюдается явный рост. В итоговом отчете эта группа подается как изначально запланированный фокус без упоминания, что ее выделили постфактум.
• Клиническое испытание: Медицинское исследование проверяет новое лекарство по заранее заданной первичной конечной точке. Препарат не превосходит контроль, но вторичный биомаркер улучшается. Исследование пересматривают так, чтобы представить биомаркер как первичную гипотезу. Как я отмечу далее, именно поэтому реестры испытаний просят фиксировать первичные конечные точки до начала сбора данных.

Почему HARKing искажает результаты исследований

Самое прямое последствие — завышенная доля ложноположительных. Когда гипотеза формируется по тем же данным, на которых ее проверяют, статистический тест уже не проверяет независимое предсказание. Он проверяет, насколько хорошо гипотеза, подогнанная под данные, подходит к данным. Результат может не воспроизвестись, потому что он отражает шум, а не сигнал.

Керр перечислил двенадцать возможных издержек в исходной статье. Несколько особенно заметны. HARKed-результаты встраиваются в теорию как подтвержденные. Отрицательные результаты подавляются. Опубликованные работы начинают выглядеть «чище», чем был реальный исследовательский процесс.

Дороти Бишоп назвала HARKing одним из «четырех всадников апокалипсиса воспроизводимости» наряду с публикационным смещением, низкой статистической мощностью и p-hacking. По отдельности ни один из этих факторов не объясняет состояние опубликованных исследований. Вместе они помогают понять, почему некоторые находки менее надежны, чем подразумевают их p-значения.

Как HARKing связан с кризисом репликации

Кризис репликации — это констатация того, что многие опубликованные результаты не удается воспроизвести независимым командам. В проекте Reproducibility Project: Psychology 2015 года 97% исходных исследований дали статистически значимые результаты, но только 36% репликаций — тоже.

Именно в этом разрыве HARKing может играть роль. Исследование, построенное вокруг постфактум-гипотезы, может подойти к шуму одной выборки. В новой выборке эффект может уменьшиться или исчезнуть.

HARKing — это один из факторов, а не причина. Он идет рядом с p-hacking, публикационным смещением, низкой статистической мощностью и малыми выборками. Марк Рубин утверждал, что доказательства в пользу HARKing как главного драйвера слабее, чем часто полагают. Эта точка зрения спорна, поэтому формулировку лучше оставить скромной: HARKing — правдоподобный механизм, но не доказанная единственная причина.

В любом случае практики, скрывающие разведочный характер результатов, делают литературу менее надежной.

HARKing vs. p-hacking

Эти две практики часто упоминают вместе в контексте исследовательской добросовестности. Но это не одно и то же.

P-hacking манипулирует анализом. Это изменение сбора данных или аналитических решений до тех пор, пока не появится статистически значимый результат: остановка, как только p опускается ниже 0,05, перебор нескольких анализов, исключение выбросов или проверка множества подгрупп без поправки. Гипотеза остается фиксированной; гнется анализ.

HARKing же манипулирует гипотезой. Анализ может быть стандартным. Меняется то, что статья заявляет как предсказанное. Клиническое испытание из введения — наглядный пример: находка по биомаркеру была реальной, но история вокруг нее — нет.

Метафора «техасского стрелка» помогает провести границу.

HARKing двигает мишени; p-hacking прячет промахи. Изображение автора.

Как уже говорилось, обе практики могут повышать долю ложноположительных. Обе также могут происходить без сознательного намерения ввести в заблуждение.

Как пререгистрация и Registered Reports снижают HARKing

Большинство решений для HARKing делает видимым момент формулирования гипотезы. Два основных подхода — пререгистрация и формат Registered Reports.

Пререгистрация

Пререгистрация означает фиксацию вашего исследовательского вопроса, гипотез, дизайна исследования и планируемого анализа до сбора любых данных. Эти документы размещаются в проставляющих метку времени реестрах, таких как Open Science Framework (OSF), ClinicalTrials.gov или AsPredicted. После публикации они показывают, что было предсказано до того, как стали известны результаты.

Если результаты расходятся с планом, это изменение нужно признать, а не тихо стереть. Неожиданные результаты по-прежнему можно публиковать, но с пометкой «разведочные».

Пререгистрация — не панацея. Многие пререгистрированные исследования все же отходят от исходного плана, а расплывчатые регистрации дают меньше защиты. Существует и обходной маневр под названием PARKing — пререгистрация после того, как результаты уже известны. Пререгистрация усложняет сокрытие этого, но не исключает.

Registered Reports

Registered Reports идут еще раньше, вовлекая журнал до начала сбора данных.

В стандартном процессе редакторы оценивают завершенный результат, поэтому положительным находкам часто проще попасть в печать.

Registered Reports делят процесс на две стадии. На этапе 1 журнал рецензирует исследовательский вопрос и методы до сбора данных. В случае одобрения журнал обещает опубликовать результаты при условии соблюдения утвержденного плана. Этап 2 проверяет результаты и соответствие плану.

Рецензирование происходит до того, как известны результаты. Изображение автора.

Эффект проявляется в доле положительных результатов. Шеел, Схейен и Лакенс обнаружили около 96% положительных результатов в традиционных журнальных статьях против примерно 44% в Registered Reports по тем же областям.

Сейчас более 300 журналов предлагают формат Registered Reports. Nature в июне 2026 года объявил о расширении формата на все публикуемые им области.

Прозрачные практики отчетности

Не каждый дизайн исследования подходит для строгой пререгистрации, и не каждый журнал предлагает Registered Reports. В таких ситуациях более прозрачная отчетность все же может снизить риск HARKing. Приведенные ниже практики — это скорее нормы, чем требования, но они становятся все более распространенными в областях с наиболее заметными проблемами репликации.

• При отчетности помечайте как разведочный любой анализ, который не был запланирован заранее
• Сообщайте обо всех исходах, которые изначально измерялись, включая те, где эффект не обнаружен
• Включайте четко обозначенный раздел разведочных находок, если неожиданные результаты достойны публикации
• Публикуйте код анализа и данные, чтобы другие могли проверить работу
• Явно и с объяснением сообщайте о любом отклонении от пререгистрированного плана

Эти нормы не заменяют пререгистрацию или Registered Reports. Это тот же базовый принцип без формальной процедуры: усложнить сокрытие того, что было предсказано, а что — обнаружено.

Проблемы, похожие на HARKing, в data science и машинном обучении

До сих пор я приводил примеры из академических исследований. Та же базовая проблема встречается и в машинном обучении, и в работе с данными, но обычно под другими названиями.

Самая прямая аналогия — утечка данных (data leakage). В машинном обучении утечка возникает, когда информация из тестовой выборки влияет на обучение. Типичные формы — отбор или создание признаков с использованием всего датасета до разделения на train/test или настройка гиперпараметров с повторными «подглядываниями» на результаты на тесте. Итог — модель, которая выглядит хорошо на бенчмарке, но проваливается в реальном применении, потому что часть ее оценки построена на данных, которые она не должна была видеть.

Капур и Нараянан из Принстона задокументировали эту проблему во множестве исследований — от медицины до экономики. Параллель с HARKing прямая: проверяемый объект сформирован теми же данными, по которым затем оценивается.

Утечка проникает задолго до оценки модели. Изображение автора.

Исследователи в ML также описывают практику, которую иногда называют Grad Student Descent или SotA-hacking. Запускаются множество экспериментов, пока модель немного не обгонит текущий бенчмарк, а затем статья пишется так, будто выигрышная конфигурация вытекает из стройной концепции дизайна. Это CHARKing, примененный к ML-пайплайну.

Постфактум-выбор метрики — тот же шаблон в другой форме: оцениваете модель по нескольким метрикам, а потом, увидев все результаты, решаете, какую подать как основную. То, что выглядит как запланированный методический выбор, сделано постфактум.

Оговорка: сам термин HARKing редко используется в машинном обучении. Похожие проблемы чаще обсуждают в контексте воспроизводимости, «гейминга» бенчмарков или методик оценки. Параллель полезна, но это все же аналогия.

Заключение

HARKing — это проблема маркировки не меньше, чем исследовательская. Постфактум-находка может быть корректной, но подача ее как априорной убирает у читателя то, что нужно для оценки.

Пререгистрация, Registered Reports и четкая отчетность помогают, делая видимым момент формулирования гипотезы. Ни один из подходов не решает проблему полностью. Пререгистрация может быть расплывчатой, а Registered Reports по-прежнему охватывают лишь часть публикаций.

Для исследователей и специалистов по данным практическое правило простое: запишите, что вы предсказываете, до просмотра данных, сообщите, что вы нашли, и помечайте разведочные результаты как разведочные.

Чтобы подробнее разобраться в тестирующей части этого процесса, см. наш курс Hypothesis Testing in Python.