HARKing 해설: 결과를 안 뒤에 세운 가설이 왜 연구를 오도할 수 있는가

HARKing이 연구 결과를 어떻게 왜곡하는지와 그 배경을 설명합니다. 탐색적 대 확증적 연구, p-해킹, 사전등록, Registered Reports, 예시를 다룹니다.

업데이트됨 2026년 7월 14일 · 12분 읽다

임상시험이 끝났습니다. 1차 평가변수는 유의미하지 않았지만, 한 하위집단은 대조군보다 치료에 더 잘 반응했습니다. 그 하위집단 효과를 예측한 사람은 아무도 없었습니다. 프로토콜에도 적혀 있지 않았습니다.

그리고 논문이 수정됩니다. 서론은 처음부터 그 하위집단 효과가 연구 가설이었다고 프레이밍합니다. 실패한 1차 결과는 배경으로 사라집니다. 동료평가에 이르면 연구는 깔끔한 성공처럼 읽힙니다.

이것이 HARKing입니다: 결과를 안 뒤에 가설을 세우는 것(Hypothesizing After the Results are Known). 노르버트 케어가 1998년에, 연구자가 사후(事後) 가설을 마치 연구 시작 전에 세운 가설인 것처럼 제시하는 사례를 가리켜 만든 용어입니다. 때로는 원래 가설을 고쳐 쓰고, 때로는 아예 빠뜨립니다.

탐색은 정상적인 과정입니다. 문제는 탐색적 발견을 확증적 발견처럼 제시하는 데 있습니다. 독자는 경고 라벨, 즉 초기에 나온 증거일 뿐 결정적 증거가 아니라는 표지를 잃게 됩니다.

연구에서 HARKing이란 무엇인가?

케어의 원래 정의가 가장 분명한 출발점입니다. 연구자가 "사후 가설을... 실제로는 선행 가설인 것처럼" 보고서에 제시할 때 HARKing이 발생합니다. 선행(a priori) 가설은 데이터 수집 전에 세운 가설이고, 사후(post hoc) 가설은 결과를 본 뒤에 세운 가설입니다. 문제는 분석 자체가 아니라 라벨에 있습니다.

케어는 또 하나의, 덜 주목받는 형태도 설명했습니다. 원래의 가설을 검증했지만 부정적 결과가 나온 경우 그 가설을 누락하는 것입니다. 두 형태 모두 실제에 무슨 일이 있었는지를 가립니다. 시간이 지나면 이론이 실제보다 더 정확해 보이기 시작할 수 있습니다.

HARKing의 유형

연구자들은 HARKing을 몇 가지 유형으로 나눕니다.

CHARKing (Constructing HARKing)은 대부분의 사람들이 떠올리는 그림과 가장 가깝습니다. 연구자가 예상치 못한 유의미한 결과를 발견하고, 그것을 설명할 새 가설을 세운 뒤 그 가설을 연구의 출발점으로 제시합니다. 이론이 데이터를 맞추기 위해 구성됩니다.
SHARKing (Secretly HARKing)은 방식이 다릅니다. 새 가설을 세우는 대신, 연구자는 원래의 예측이 있었고 실패했다는 증거를 제거합니다. 논문에는 긍정적 결과만 있는 것처럼 보입니다. 실패한 예측은 사라집니다.
THARKing (Transparent HARKing)은 예외입니다. 홀렌벡과 라이트는 2017년에 탐색적임을 분명히 표시한 사후 가설을 이렇게 불렀습니다. 독자는 그 결과를 있는 그대로 판단할 수 있습니다. 곧 자세히 다룹니다.

연구자들이 HARKing을 하는 이유

출판 편향이 한 가지 동인입니다. 학술지는 종종 무효(null) 결과보다 긍정적이고 통계적으로 유의한 결과를 선호해 왔습니다. 승진, 연구비, 학과의 위상이 출판 건수와 저널의 위상에 달려 있을 때, 데이터를 더 유리하게 제시하는 것이 합리적으로 보일 수 있습니다.

압박은 항상 연구자에게서 시작되지 않습니다. 수동적 HARKing은 편집자나 심사자가 저자에게 예상치 못한 발견을 중심으로 연구를 재구성하라고 하거나, 성과가 없던 가설을 제거하라고 요구할 때 일어납니다. 연구자는 어려운 선택지에 놓입니다.

무의식적인 경로도 있습니다. 회고 편향은 연구자가 예상하지 않았던 결과를 마치 예상했던 것처럼 믿게 만들 수 있습니다. 기억은 흐려지고, 사후적 이야기가 그 빈틈을 메웁니다. 모든 사례가 의도적 기만은 아닙니다.

심리학의 설문 증거는 규모에 대한 감을 줍니다. John, Loewenstein, Prelec은 심리학자의 약 27%가 예상치 못한 발견을 처음부터 예측했다고 주장한 적이 있다고 보고했습니다. 여러 설문을 종합한 리뷰에서는 어떤 형태로든 HARKing이 약 43%로 나타났습니다. 자가 보고 수치이므로 과소추정일 수 있습니다.

HARKing과 탐색적/확증적 연구의 구분

이 부분에서 글이 필요 이상으로 가혹하게 들릴 수 있습니다. 문제는 탐색 그 자체가 아닙니다. 문제는 논문이 탐색을 계획된 검증처럼 다루는지 여부입니다.

탐색적 분석

탐색적 분석은 기대하는 바에 대한 확고한 선행 주장 없이 데이터를 살펴볼 때 일어납니다. 분포를 살피고, 패턴을 포착하고, 변수를 비교하며, 데이터셋의 감을 익힙니다. 목표는 가설을 생성하는 것이지, 검증하는 것이 아닙니다.

이 구분이 유용한 이유는 비판을 정확히 겨냥하게 해주기 때문입니다. 많은 과학적 진보는 누군가가 예상치 못한 무언가를 알아차리고 다시 살펴볼 가치가 있다고 결정하면서 시작됩니다.

확증적 분석

확증적 분석은 검증 단계입니다. 데이터를 보기 전에 세운 구체적 예측으로 시작해, 계획한 통계 검정을 수행하고, 데이터가 그 예측을 지지하는지 확인합니다. 가설이 먼저, 데이터가 그 다음입니다.

하나의 데이터셋을 보며 생성한 가설을 같은 데이터셋으로 검증하면, 검정은 더 이상 독립적이지 않습니다. 가설이 그 표본에 존재하는 같은 노이즈에 의해 형성되었기 때문입니다.

이는 도입부의 경고를 좀 더 기술적으로 표현한 것입니다. 라벨만 바뀌었지, 검정은 바뀌지 않습니다.

좋은 검정은 가설이 데이터보다 앞섭니다. 이미지: 작성자.

실무 규칙: 동일한 데이터셋은 같은 가설을 생성하고 곧바로 검증하는 데 공정하게 쓰일 수 없습니다.

HARKing의 예시

아래 예시는 문맥을 위한 가상의 시나리오이며, 실제 사례를 지칭하지 않습니다. 특정 연구를 비난하려는 것이 아니라 패턴을 보여주려는 것입니다.

심리학 실험: 팀이 마음챙김이 인지 수행을 향상시키는지 시험합니다. 주효과는 유의하지 않았지만, 50세 이상 참여자에서 강한 긍정 효과가 나타납니다. 최종 논문에서 연령대 결과가 원래 가설이 되고, 무효인 주효과는 곁다리로 밀립니다.
마케팅 분석: 한 회사가 로열티 프로그램이 구매 빈도를 높이는지 테스트합니다. 전체 효과는 미미하지만, 최근 가입자에서 뚜렷한 증가가 보입니다. 최종 보고서는 그 집단을 원래 계획된 초점으로 제시하며, 사후적으로 발견했다는 점은 밝히지 않습니다.
임상시험: 한 의학 연구가 사전 지정된 1차 평가변수로 신약을 시험합니다. 약물이 대조군보다 우수하지 않았지만, 2차 바이오마커는 개선됩니다. 연구는 바이오마커를 1차 가설로 틀을 바꿔 제시하도록 수정됩니다. 앞에서 언급했듯, 임상시험 등록부가 연구자에게 데이터 수집 전에 1차 평가변수를 기록하도록 요구하는 이유가 여기에 있습니다.

HARKing이 연구 결과를 왜곡하는 이유

가장 직접적인 결과는 허위 양성률 상승입니다. 하나의 가설이 그 가설을 검증하는 데 쓰인 것과 같은 데이터를 보고 형성되면, 통계 검정은 독립적 예측을 점검하는 것이 아닙니다. 데이터를 맞추기 위해 만들어진 가설이 데이터를 얼마나 잘 맞추는지를 보는 것입니다. 그 결과는 신호가 아니라 노이즈에 맞춘 것이기에 재현되지 않을 수 있습니다.

케어는 원 논문에서 12가지 잠재적 비용을 나열했습니다. 몇 가지가 눈에 띕니다. HARKing된 결과는 마치 확증된 것처럼 이론에 편입됩니다. 부정적 결과는 억눌립니다. 출판된 작업은 실제 연구 과정보다 더 깔끔해 보이기 시작합니다.

도로시 비숍은 HARKing을 출판 편향, 낮은 통계적 검정력, p-해킹과 함께 "재현성 종말의 네 기사" 중 하나라고 묘사했습니다. 이들 중 어느 하나만으로 출판 연구의 상태를 설명할 수는 없습니다. 하지만 함께 놓고 보면, 왜 일부 발견이 p-값이 암시하는 만큼 신뢰할 수 없는지 설명하는 데 도움이 됩니다.

HARKing과 재현성 위기의 관계

재현성 위기는 다수의 출판된 결과가 독립적인 팀에 의해 재현되지 않는다는 발견을 가리킵니다. 2015년 Reproducibility Project: Psychology에서는 원 연구의 97%가 통계적으로 유의했지만, 복제 연구에서는 36%만 유의했습니다.

그 격차에서 HARKing이 중요해집니다. 사후 가설을 중심으로 구성된 연구는 한 표본의 노이즈에 맞을 수 있습니다. 새로운 표본에서는 효과가 줄거나 사라질 수 있습니다.

HARKing은 원인이라기보다 기여 요인입니다. p-해킹, 출판 편향, 낮은 통계적 검정력, 작은 표본 크기와 나란히 놓입니다. 마크 루빈은 HARKing이 주된 동력이라는 증거가 종종 주장되는 것보다 약하다고 주장했습니다. 그 견해는 논쟁적이므로, 주장을 절제하는 것이 좋겠습니다. HARKing은 그럴듯한 메커니즘이지 입증된 단일 원인은 아닙니다.

어느 쪽이든, 결과의 탐색적 성격을 숨기는 관행은 문헌의 신뢰성을 떨어뜨립니다.

HARKing과 P-해킹

이 두 관행은 연구 무결성 논의에서 자주 함께 등장하지만, 동일한 것은 아닙니다.

P-해킹은 분석을 조작하는 것입니다. p가 0.05 아래로 떨어지면 그만두기, 여러 분석을 시도하기, 이상치를 제거하기, 보정 없이 많은 하위집단을 테스트하기 등 통계적으로 유의한 결과가 나올 때까지 데이터 수집이나 분석 선택을 바꾸는 것을 뜻합니다. 가설은 고정되어 있고, 분석이 휘어집니다.

HARKing은 대신 가설을 조작합니다. 분석은 표준적일 수 있습니다. 달라지는 것은 논문이 무엇을 예측했다고 주장하느냐입니다. 서두의 임상시험이 명확한 예입니다. 바이오마커 발견은 실제였지만, 그 주변의 이야기는 아니었습니다.

텍사스 명사수 비유는 경계를 그리는 데 도움이 됩니다.

HARKing은 과녁을 옮기고, p-해킹은 빗나감을 숨깁니다. 이미지: 작성자.

앞서 다뤘듯, 둘 다 허위 양성률을 높일 수 있습니다. 둘 다 의도적 기만 없이도 발생할 수 있습니다.

사전등록과 Registered Reports가 HARKing을 줄이는 방법

HARKing의 대부분의 해결책은 가설의 시점을 보이게 만듭니다. 두 가지 주요 접근은 사전등록과 Registered Reports입니다.

사전등록

사전등록은 데이터 수집 전에 연구 질문, 가설, 연구 설계, 계획된 분석을 기록하는 것을 의미합니다. 이러한 문서는 Open Science Framework (OSF), ClinicalTrials.gov, AsPredicted와 같은 타임스탬프 레지스트리에 올라갑니다. 일단 게시되면, 결과를 알기 전에 무엇을 예측했는지 보여줍니다.

결과가 계획과 다르면, 그 변경은 조용히 지워질 수 없고 반드시 인정되어야 합니다. 예상치 못한 결과도 여전히 보고할 수 있지만, 탐색적이라고 라벨링해야 합니다.

사전등록은 완전한 해결책이 아닙니다. 많은 사전등록 연구가 원래 계획에서 여전히 바뀌고, 모호한 등록은 보호 효과가 약합니다. 결과를 이미 알고 난 뒤에 사전등록하는 PARKing이라는 편법도 있습니다. 사전등록은 이를 숨기기 어렵게 만들 뿐, 불가능하게 만들지는 않습니다.

Registered Reports

Registered Reports는 데이터 수집이 시작되기 전에 저널을 참여시켜 한 단계 더 앞서 나갑니다.

표준 파이프라인에서는 편집자가 완성된 결과를 평가하므로, 긍정적 발견이 출판으로 가는 길이 더 쉬운 경우가 많습니다.

Registered Reports는 과정을 두 단계로 나눕니다. 1단계에서 저널은 데이터 수집 전에 연구 질문과 방법을 심사합니다. 승인되면, 승인된 계획을 따르는 한 결과를 출판하겠다고 약속합니다. 2단계에서는 결과와 계획 준수를 확인합니다.

결과를 알기 전에 심사가 이뤄집니다. 이미지: 작성자.

효과는 긍정적 결과 비율에서 드러납니다. Scheel, Schijen, Lakens는 전통적 저널 기사에서 긍정적 결과가 약 96%였던 반면, 같은 분야의 Registered Reports에서는 약 44%였다고 보고했습니다.

현재 300개가 넘는 저널이 Registered Reports를 제공합니다. Nature는 2026년 6월 이 형식을 출판하는 모든 분야로 확대한다고 발표했습니다.

투명한 보고 관행

모든 연구 설계가 엄격한 사전등록에 적합한 것은 아니고, 모든 저널이 Registered Reports를 제공하는 것도 아닙니다. 그런 상황에서도 더 명료한 보고는 HARKing 위험을 줄일 수 있습니다. 아래 관행은 요구사항이라기보다 규범에 가깝지만, 재현성 문제가 가장 두드러진 분야에서 점점 더 보편화되고 있습니다.

사전에 계획하지 않은 모든 분석은 보고 시 탐색적이라고 라벨링하세요
원래 측정한 모든 결과(효과가 없었던 항목 포함)를 보고하세요
예상치 못한 결과가 보고할 가치가 있다면, 탐색적 발견 섹션을 명확히 구분해 포함하세요
분석 코드와 데이터를 공유해 다른 사람들이 검증할 수 있게 하세요
사전등록 계획에서의 모든 일탈을 명시적으로 보고하고 그 이유를 설명하세요

이러한 규범은 사전등록이나 Registered Reports를 대체하지 않습니다. 형식을 갖추지 않고 같은 기본 원칙을 적용하는 것입니다. 무엇을 예측했고 무엇을 발견했는지를 숨기기 어렵게 만드세요.

데이터 사이언스와 머신러닝에서의 HARKing 유사 문제

지금까지는 학술 연구 예시를 사용했습니다. 같은 기본 문제가 머신러닝과 데이터 사이언스 작업에서도 다른 이름으로 나타납니다.

가장 분명한 유사점은 데이터 누수입니다. 머신러닝에서 누수는 테스트 셋의 정보가 학습에 영향을 미칠 때 발생합니다. 흔한 형태로는 학습-테스트 분할 전에 전체 데이터셋을 사용해 특징을 선택하거나 엔지니어링하는 것, 테스트 성능을 반복적으로 엿보며 하이퍼파라미터를 튜닝하는 것이 있습니다. 결과적으로 벤치마크에서는 좋아 보이지만 실제 사용에서는 실패하는 모델이 됩니다. 점수의 일부가 원래 보지 말아야 할 데이터에 기반해 만들어졌기 때문입니다.

프린스턴의 Kapoor와 Narayanan은 의학에서 경제학에 이르기까지 수백 건의 연구에서 이 문제를 문서화했습니다. HARKing과의 평행선은 명확합니다. 측정 대상이 그와 동일한 데이터에 의해 형태가 결정된 뒤, 다시 그 데이터로 측정됩니다.

누수는 모델 평가 훨씬 이전에 스며듭니다. 이미지: 작성자.

ML 연구자들은 Grad Student Descent 또는 SotA-hacking이라고 불리는 관행도 말합니다. 모델이 현재 벤치마크를 근소하게 앞지를 때까지 수많은 실험을 돌리고, 이후 그 승리한 설정이 깔끔한 설계 논증에서 나온 것처럼 논문을 작성하는 겁니다. 이는 ML 파이프라인에 적용된 CHARKing입니다.

사후적 지표 선택도 같은 패턴의 다른 형태입니다. 여러 지표로 모델을 평가한 뒤, 모든 결과를 본 다음 어떤 지표를 주된 척도로 제시할지 결정합니다. 계획된 방법 선택처럼 보이지만 사실은 사후에 결정된 것입니다.

단, HARKing이라는 용어 자체는 머신러닝에서 잘 쓰이지 않습니다. 유사 문제는 대개 재현성, 벤치마크 게임, 평가 방법의 맥락에서 논의됩니다. 평행선은 도움이 되지만 어디까지나 비유입니다.