ข้ามไปยังเนื้อหาหลัก

อธิบาย HARKing: ทำไมการตั้งสมมติฐานหลังทราบผลจึงทำให้การวิจัยไขว้เขว

เรียนรู้ว่า HARKing บิดเบือนข้อค้นพบทางวิจัยได้อย่างไรและเหตุใดจึงเกิดขึ้น ครอบคลุมการวิจัยเชิงสำรวจกับเชิงยืนยัน, p-hacking, การลงทะเบียนล่วงหน้า, Registered Reports และตัวอย่างต่าง ๆ
อัปเดตแล้ว 14 ก.ค. 2569  · 12 นาที อ่าน

การทดลองทางคลินิกเสร็จสิ้น ผลลัพธ์หลักออกมาเป็นศูนย์ แต่มีหนึ่งกลุ่มย่อยตอบสนองต่อการรักษาได้ดีกว่ากลุ่มควบคุม ไม่มีใครคาดการณ์ผลของกลุ่มย่อยนั้นไว้ล่วงหน้า ไม่มีใครเขียนไว้ในโปรโตคอล

จากนั้นงานวิจัยถูกปรับแก้ บทนำกรอบกรอบผลของกลุ่มย่อยให้เป็นสมมติฐานวิจัยตั้งแต่แรก ผลลัพธ์หลักที่ล้มเหลวจางหายไป เมื่อผ่านการทบทวนโดยผู้ทรงคุณวุฒิ งานวิจัยก็อ่านดูเหมือนความสำเร็จที่ไร้รอยต่อ

นี่คือ HARKing: การตั้งสมมติฐานหลังจากทราบผลลัพธ์ Norbert Kerr บัญญัติศัพท์นี้ในปี 1998 สำหรับกรณีที่นักวิจัยนำเสนอสมมติฐานแบบย้อนหลังราวกับว่ากำหนดไว้ก่อนเริ่มการศึกษา บางครั้งสมมติฐานเดิมถูกเขียนใหม่ บางครั้งก็ถูกตัดทิ้ง

การสำรวจค้นหาเป็นเรื่องปกติ ปัญหาอยู่ที่การนำเสนอข้อค้นพบเชิงสำรวจให้เป็นข้อยืนยัน ผู้อ่านจึงเสียป้ายเตือน: เป็นหลักฐานเบื้องต้น ไม่ใช่ข้อพิสูจน์

HARKing ในงานวิจัยคืออะไร?

คำนิยามดั้งเดิมของ Kerr ยังเป็นจุดตั้งต้นที่ชัดเจนที่สุด: HARKing เกิดขึ้นเมื่อผู้วิจัยนำเสนอ "สมมติฐานแบบ post hoc... ในรายงานวิจัยของตนราวกับว่าแท้จริงแล้วเป็นสมมติฐานแบบ a priori" สมมติฐานแบบ a priori ถูกตั้งก่อนการเก็บข้อมูล ส่วนสมมติฐานแบบ post hoc ถูกตั้งหลังจากเห็นผลลัพธ์ ปัญหาอยู่ที่การติดฉลาก ไม่ใช่ที่การวิเคราะห์เสมอไป

Kerr ยังอธิบายรูปแบบที่สองซึ่งได้รับความสนใจน้อยกว่า: การตัดสมมติฐานเดิมที่ทดสอบแล้วให้ผลลบออกไป ทั้งสองแบบซ่อนสิ่งที่เกิดขึ้นจริง เมื่อเวลาผ่านไป ทฤษฎีอาจดูแม่นยำกว่าความเป็นจริง

ประเภทของ HARKing

นักวิจัยสามารถแบ่ง HARKing ออกได้หลายประเภท

  • CHARKing (Constructing HARKing) ใกล้เคียงกับสิ่งที่คนส่วนมากจินตนาการที่สุด ผู้วิจัยพบผลที่มีนัยสำคัญโดยไม่คาดคิด สร้างสมมติฐานใหม่ขึ้นมาอธิบาย แล้วนำเสนอสมนิฐานนั้นเป็นจุดเริ่มต้นของการศึกษา ทฤษฎีถูกสร้างให้พอดีกับข้อมูล
  • SHARKing (Secretly HARKing) ทำงานต่างออกไป แทนที่จะสร้างสมมติฐานใหม่ ผู้วิจัยลบหลักฐานว่ามีการคาดการณ์เดิมและล้มเหลว กระดาษงานดูเหมือนมีแต่ผลบวก การคาดการณ์ที่ล้มเหลวหายไป
  • THARKing (Transparent HARKing) เป็นข้อยกเว้น Hollenbeck และ Wright ใช้คำนี้ในปี 2017 สำหรับสมมติฐานแบบ post-hoc ที่ติดฉลากอย่างชัดเจนว่าเป็นการสำรวจ ผู้อ่านจึงสามารถตัดสินผลลัพธ์ตามความเป็นจริง เดี๋ยวจะกล่าวถึงต่อไป

เหตุใดนักวิจัยจึงทำ HARKing

อคติการตีพิมพ์เป็นตัวขับเคลื่อนหนึ่ง วารสารมักให้ความสำคัญกับผลบวกที่มีนัยสำคัญทางสถิติ มากกว่าผลที่เป็นศูนย์ เมื่อความก้าวหน้าในตำแหน่งงาน ทุนวิจัย และสถานะของภาควิชาขึ้นอยู่กับจำนวนบทความและความมีชื่อเสียงของวารสาร การนำเสนอข้อมูลให้ดูดีขึ้นอาจเริ่มดูสมเหตุสมผล

แรงกดดันไม่ได้มาจากนักวิจัยเสมอไป HARKing แบบรับเกิดขึ้นเมื่อบรรณาธิการหรือผู้ประเมินขอให้ผู้เขียนปรับกรอบการศึกษาตามข้อค้นพบที่ไม่คาดคิด หรือเอาสมมติฐานที่ไม่เป็นไปตามคาดออก นั่นทำให้ผู้วิจัยต้องตัดสินใจยาก

ยังมีเส้นทางที่ไม่รู้ตัว อคติย้อนหลังอาจทำให้นักวิจัยเชื่อว่าตนคาดผลที่จริงไม่ได้คาด ความทรงจำเลือนลาง เรื่องราวแบบ post-hoc จึงเข้ามาเติมเต็ม บางกรณีไม่ใช่การจงใจหลอกลวง

หลักฐานจากแบบสำรวจในจิตวิทยาชี้ให้เห็นขนาดปัญหา John, Loewenstein และ Prelec พบว่าประมาณ 27% ของนักจิตวิทยาระบุว่าเคยอ้างว่าคาดผลที่ไม่คาดคิดตั้งแต่แรก ทบทวนแบบสำรวจหลายฉบับพบว่าบางรูปแบบของ HARKing อยู่ราว 43% ตัวเลขเหล่านี้มาจากการรายงานด้วยตนเอง จึงอาจต่ำกว่าความจริง

HARKing เทียบกับงานวิจัยเชิงสำรวจและเชิงยืนยัน

จุดนี้ทำให้ง่ายที่จะฟังดูรุนแรงเกินจำเป็น การสำรวจไม่ใช่ปัญหา ปัญหาคือกระดาษงานปฏิบัติต่อการสำรวจราวกับว่าเป็นการทดสอบที่วางแผนไว้หรือไม่

การวิเคราะห์เชิงสำรวจ

การวิเคราะห์เชิงสำรวจ เกิดขึ้นเมื่อดูข้อมูลโดยไม่มีข้ออ้างล่วงหน้าที่ชัดเจนว่าจะพบอะไร ตรวจสอบการกระจาย มองหารูปแบบ เปรียบเทียบตัวแปร และทำความคุ้นเคยกับชุดข้อมูล เป้าหมายคือสร้างสมมติฐาน ไม่ใช่ทดสอบสมมติฐาน

ผมมองว่าความแตกต่างนี้มีประโยชน์เพราะช่วยให้คำวิจารณ์ถูกจุด ความก้าวหน้าทางวิทยาศาสตร์จำนวนมากเริ่มจากการที่ใครสักคนสังเกตสิ่งที่ไม่คาดคิดและตัดสินใจว่าสมควรพิจารณาเพิ่มเติม

การวิเคราะห์เชิงยืนยัน

การวิเคราะห์เชิงยืนยันคือขั้นตอนการทดสอบ เริ่มด้วยการคาดการณ์เฉพาะเจาะจงที่กำหนดก่อนเห็นข้อมูล ดำเนินการทดสอบทางสถิติที่วางแผนไว้ และตรวจสอบว่าข้อมูลสนับสนุนการคาดการณ์หรือไม่ สมมติฐานมาก่อน ข้อมูลมาตามมา

เมื่อสมมติฐานถูกสร้างจากการดูชุดข้อมูล แล้วทดสอบกับชุดข้อมูลเดียวกัน การทดสอบก็ไม่เป็นอิสระอีกต่อไป สมมติฐานถูกหล่อหลอมโดยสัญญาณรบกวนเดียวกันที่มีอยู่ในตัวอย่างนั้น

นั่นคือคำเตือนจากบทนำในเชิงเทคนิคมากขึ้น: ป้ายฉลากเปลี่ยน แต่การทดสอบไม่เปลี่ยน

แผนภาพเปรียบเทียบไทม์ไลน์การวิจัยสองแบบ: ขั้นตอนที่ถูกต้องที่สมมติฐานถูกตั้งก่อนการเก็บข้อมูล และขั้นตอนแบบ HARKed ที่สมมติฐานถูกสร้างหลังเห็นผลแล้วติดฉลากใหม่ราวกับมาก่อน

การทดสอบที่ดีวางสมมติฐานก่อนข้อมูล ภาพโดยผู้เขียน

กฎภาคปฏิบัติ: ชุดข้อมูลเดียวกันไม่สามารถสร้างและทดสอบสมมติฐานเดียวกันได้อย่างยุติธรรม

ตัวอย่างของ HARKing

ตัวอย่างด้านล่างเป็นสถานการณ์สมมติ ไม่ใช่กรณีที่บันทึกไว้ จุดสำคัญคือรูปแบบ ไม่ใช่การกล่าวหาเฉพาะงาน

  • การทดลองทางจิตวิทยา: ทีมงานทดสอบว่าสติช่วยพัฒนาสมรรถนะทางปัญญาหรือไม่ ผลหลักไม่มีนัยสำคัญ แต่ผู้เข้าร่วมอายุเกิน 50 ปีมีผลบวกชัดเจน ในงานฉบับสุดท้าย การค้นพบตามกลุ่มอายุกลายเป็นสมมติฐานดั้งเดิม ส่วนผลหลักที่เป็นศูนย์ถูกกล่าวถึงเพียงเล็กน้อย
  • การวิเคราะห์การตลาด: บริษัททดสอบว่าโปรแกรมสมาชิกช่วยเพิ่มความถี่การซื้อหรือไม่ ผลโดยรวมอยู่ชายขอบ แต่สมาชิกใหม่มีการเพิ่มขึ้นชัดเจน รายงานสุดท้ายนำเสนอว่ากลุ่มนั้นเป็นโฟกัสที่วางแผนไว้ โดยไม่บอกว่าพบหลังความจริง
  • การทดลองทางคลินิก: การศึกษาทางการแพทย์ทดสอบยาตัวใหม่กับผลลัพธ์หลักที่กำหนดไว้ล่วงหน้า ย้าไม่เหนือกว่ากลุ่มควบคุม แต่ตัวบ่งชี้ทางชีวภาพรองดีขึ้น งานศึกษาถูกปรับให้กรอบตัวบ่งชี้ทางชีวภาพเป็นสมมติฐานหลัก ดังที่จะกล่าวในภายหลัง นี่คือเหตุผลที่ทะเบียนการทดลองขอให้นักวิจัยบันทึกผลลัพธ์หลักก่อนเริ่มเก็บข้อมูล

เหตุใด HARKing จึงบิดเบือนข้อค้นพบทางวิจัยได้

ผลโดยตรงที่สุดคืออัตราบวกเทียมที่สูงขึ้น เมื่อสมมติฐานถูกตั้งจากการดูข้อมูลชุดเดียวกับที่ใช้ทดสอบ การทดสอบทางสถิติจึงไม่ได้ตรวจสอบการคาดการณ์ที่เป็นอิสระ แต่มันตรวจว่าพื้นที่สมมติฐานที่สร้างให้พอดีกับข้อมูลนั้น พอดีกับข้อมูลเพียงไร ผลลัพธ์นั้นอาจไม่ซ้ำเพราะมันสอดรับกับสัญญาณรบกวน ไม่ใช่สัญญาณจริง

Kerr ระบุค่าใช้จ่ายที่เป็นไปได้สิบสองข้อในงานดั้งเดิม หลายข้อโดดเด่น ผลลัพธ์แบบ HARKed ถูกนำไปต่อยอดเป็นทฤษฎีราวกับได้รับการยืนยัน ผลลบถูกกดทับ งานที่ตีพิมพ์เริ่มดูสะอาดกว่ากระบวนการวิจัยจริง

Dorothy Bishop อธิบาย HARKing ว่าเป็นหนึ่งใน "อัศวินสี่แห่งหายนะแห่งการทำซ้ำได้" ร่วมกับอคติการตีพิมพ์ พลังสถิติต่ำ และ p-hacking อย่างใดอย่างหนึ่งไม่อาจอธิบายสภาพงานวิจัยที่ตีพิมพ์ได้ทั้งหมด แต่รวมกันแล้วช่วยอธิบายว่าทำไมบางผลจึงไม่น่าเชื่อถือเท่าค่า p ของมัน

HARKing เกี่ยวข้องกับวิกฤตการทำซ้ำได้อย่างไร

วิกฤตการทำซ้ำได้หมายถึงข้อค้นพบว่าผลลัพธ์ที่ตีพิมพ์จำนวนมากไม่สามารถทำซ้ำได้โดยทีมอิสระ ในโครงการ Reproducibility Project: Psychology ปี 2015 งานต้นฉบับ 97% มีผลที่มีนัยสำคัญทางสถิติ แต่การทำซ้ำได้เพียง 36%

ช่องว่างนั้นคือจุดที่ HARKing มีผลได้ งานศึกษาที่สร้างรอบสมมติฐานแบบ post-hoc อาจเข้ากับสัญญาณรบกวนของตัวอย่างหนึ่ง ในตัวอย่างใหม่ ผลอาจหดตัวหรือหายไป

HARKing เป็นปัจจัยร่วม ไม่ใช่สาเหตุหลัก มันอยู่เคียงข้าง p-hacking อคติการตีพิมพ์ พลังสถิติต่ำ และตัวอย่างขนาดเล็ก Mark Rubin โต้แย้งว่าหลักฐานที่ว่า HARKing เป็นตัวขับหลักนั้นอ่อนกว่าที่มักอ้าง ข้อนี้ยังเป็นที่ถกเถียง จึงควรรักษาข้ออ้างให้พอเหมาะ: HARKing เป็นกลไกที่เป็นไปได้ ไม่ใช่สาเหตุเดี่ยวที่พิสูจน์แล้ว

ไม่ว่ากรณีใด แนวปฏิบัติที่ซ่อนธรรมชาติแบบสำรวจของผลลัพธ์ทำให้งานวิชาการไม่น่าเชื่อถือลง

HARKing เทียบกับ P-Hacking

สองแนวปฏิบัตินี้มักถูกกล่าวถึงร่วมกันในบริบทความซื่อสัตย์ของงานวิจัย แต่ไม่ใช่เรื่องเดียวกัน

P-hacking คือการปรับแต่งการวิเคราะห์ หมายถึงการเปลี่ยนวิธีเก็บข้อมูลหรือเลือกวิเคราะห์จนกว่าจะได้ผลที่มีนัยสำคัญทางสถิติ: หยุดเมื่อ p ต่ำกว่า 0.05 ลองวิเคราะห์หลายแบบ ตัดค่า outlier หรือทดสอบหลายกลุ่มย่อยโดยไม่ปรับแก้ สมมติฐานคงเดิม; การวิเคราะห์โค้งตาม

HARKing ปรับเปลี่ยนสมมติฐานแทน การวิเคราะห์อาจเป็นมาตรฐาน สิ่งที่เปลี่ยนคือสิ่งที่งานอ้างว่าถูกคาดการณ์ไว้ ตัวอย่างจากบทนำชัดเจน: ข้อค้นพบตัวบ่งชี้ทางชีวภาพเป็นของจริง แต่เรื่องราวรอบ ๆ ไม่ใช่

อุปมา Texas Sharpshooter ช่วยขีดเส้นแบ่ง

ภาพสองช่องใช้เปรียบเทียบ HARKing และ p-hacking ด้วยอุปมา Texas Sharpshooter: ช่องซ้ายแสดงรูปกระสุนกระจัดกระจายและวาดเป้ายิงล้อมกลุ่มที่มีอยู่เพื่อแทน HARKing ช่องขวาแสดงเป้าที่วาดไว้ก่อนและไฮไลต์เฉพาะลูกกระสุนที่ใกล้เป้าเพื่อแทน p-hacking

HARKing ย้ายเป้า; p-hacking ซ่อนการพลาดเป้า ภาพโดยผู้เขียน

อย่างที่กล่าวไป ทั้งสองอย่างสามารถเพิ่มอัตราบวกเทียม และทั้งคู่ก็สามารถเกิดขึ้นได้โดยไม่เจตนาหลอกลวง

วิธีที่การลงทะเบียนล่วงหน้าและ Registered Reports ลด HARKing

ส่วนใหญ่แนวทางแก้ HARKing ทำให้เวลาในการตั้งสมมติฐานปรากฏชัด วิธีหลักสองทางคือการลงทะเบียนล่วงหน้า (Preregistration) และ Registered Reports

การลงทะเบียนล่วงหน้า

การลงทะเบียนล่วงหน้าหมายถึงการบันทึกคำถามวิจัย สมมติฐาน การออกแบบการศึกษา และแผนการวิเคราะห์ก่อนเก็บข้อมูล เอกสารถูกส่งไปยังทะเบียนที่ประทับเวลา เช่น Open Science Framework (OSF), ClinicalTrials.gov หรือ AsPredicted. เมื่อโพสต์แล้ว จะแสดงให้เห็นว่าสิ่งใดถูกคาดการณ์ไว้ก่อนทราบผล

หากผลลัพธ์ต่างจากแผน ความเปลี่ยนแปลงนั้นต้องถูกยอมรับ ไม่ใช่ลบเงียบ ๆ ผลที่ไม่คาดคิดยังรายงานได้ แต่ต้องติดฉลากว่าเป็นการสำรวจ

การลงทะเบียนล่วงหน้าไม่ใช่ยาครอบจักรวาล งานจำนวนมากที่ลงทะเบียนล่วงหน้าก็ยังเปลี่ยนจากแผนเดิม และการลงทะเบียนที่คลุมเครือให้การป้องกันน้อยกว่า ยังมีทางเลี่ยงที่เรียกว่า PARKing คือการลงทะเบียนล่วงหน้าหลังทราบผลแล้ว การลงทะเบียนล่วงหน้าทำให้ซ่อนได้ยากขึ้น ไม่ใช่เป็นไปไม่ได้

Registered Reports

Registered Reports ขยับไปก่อนหน้านั้น โดยให้วารสารเข้ามามีส่วนร่วมก่อนเริ่มเก็บข้อมูล

ในกระบวนการปกติ บรรณาธิการประเมินผลลัพธ์ที่เสร็จสิ้นแล้ว ผลบวกจึงมักตีพิมพ์ได้ง่ายกว่า

Registered Reports แบ่งกระบวนการเป็นสองช่วง ช่วงที่ 1 วารสารทบทวนคำถามวิจัยและวิธีการก่อนเก็บข้อมูล หากรับไว้ วารสารสัญญาตีพิมพ์ผลลัพธ์ตราบใดที่ปฏิบัติตามแผนที่อนุมัติ ช่วงที่ 2 ตรวจผลลัพธ์และการยึดตามแผน

แผนผังขั้นตอนแบบสองช่วงของ Registered Reports แสดงการทบทวนโปรโตคอลในช่วงที่ 1 นำไปสู่การยอมรับตามหลักการ ตามด้วยการเก็บข้อมูล และช่วงที่ 2 การทบทวนผลลัพธ์นำไปสู่การตีพิมพ์ขั้นสุดท้าย

การทบทวนเกิดขึ้นก่อนทราบผลลัพธ์ ภาพโดยผู้เขียน

ผลปรากฏในอัตราผลบวก Scheel, Schijen และ Lakens พบว่าผลบวกอยู่ราว 96% ในบทความแบบดั้งเดิม เทียบกับประมาณ 44% ของ Registered Reports ในสาขาเดียวกัน

ขณะนี้มีวารสารกว่า 300 ฉบับที่รองรับ Registered Reports Nature ประกาศในเดือนมิถุนายน 2026 ว่าขยายรูปแบบนี้ครอบคลุมทุกสาขาที่ตีพิมพ์

แนวปฏิบัติการรายงานแบบโปร่งใส

ไม่ใช่ทุกงานวิจัยจะเหมาะกับการลงทะเบียนล่วงหน้าอย่างเคร่งครัด และไม่ใช่วารสารทุกฉบับจะมี Registered Reports ในกรณีนั้น การรายงานที่ชัดเจนยังช่วยลดความเสี่ยง HARKing ได้ แนวปฏิบัติต่อไปนี้เป็นบรรทัดฐานมากกว่าข้อบังคับ แต่เริ่มแพร่หลายในสาขาที่ปัญหาการทำซ้ำได้เห็นเด่นชัด

  • ติดฉลากว่าการวิเคราะห์ใดที่ไม่ได้วางแผนล่วงหน้าเป็นแบบสำรวจเมื่อรายงาน
  • รายงานผลลัพธ์ทั้งหมดที่วัดไว้ตั้งแต่แรก รวมถึงผลที่ไม่พบอิทธิพล
  • เพิ่มส่วนผลการค้นพบเชิงสำรวจที่ทำเครื่องหมายชัดเจนเมื่อผลไม่คาดคิดควรค่าแก่การรายงาน
  • เผยแพร่โค้ดการวิเคราะห์และข้อมูลเพื่อให้ผู้อื่นตรวจสอบได้
  • รายงานความเบี่ยงเบนใด ๆ จากแผนที่ลงทะเบียนล่วงหน้าอย่างชัดแจ้งพร้อมคำอธิบาย

บรรทัดฐานเหล่านี้ไม่ใช่สิ่งทดแทนการลงทะเบียนล่วงหน้าหรือ Registered Reports แต่เป็นหลักการเดียวกันที่ใช้โดยไม่มีขั้นตอนทางการ: ทำให้ยากขึ้นที่จะซ่อนว่าอะไรถูกคาดการณ์ และอะไรถูกค้นพบ

ปัญหาคล้าย HARKing ในวิทยาการข้อมูลและแมชชีนเลิร์นนิง

จนถึงตอนนี้ ตัวอย่างมาจากงานวิจัยเชิงวิชาการ ปัญหาเดียวกันนี้ปรากฏในงานแมชชีนเลิร์นนิงและวิทยาการข้อมูลเช่นกัน แต่ใช้ชื่อเรียกต่างกัน

คู่ขนานที่ชัดที่สุดคือการรั่วไหลของข้อมูล ในแมชชีนเลิร์นนิง การรั่วไหลเกิดขึ้นเมื่อข้อมูลจากชุดทดสอบมีอิทธิพลต่อการฝึก รูปแบบทั่วไปได้แก่ การคัดเลือกหรือวิศวกรรมคุณลักษณะโดยใช้ทั้งชุดข้อมูลก่อนแยกฝึก-ทดสอบ หรือปรับจูนไฮเปอร์พารามิเตอร์โดยแอบดูผลชุดทดสอบซ้ำ ๆ ผลที่ได้คือโมเดลที่ดูดีบนเกณฑ์วัดแต่ล้มเหลวในการใช้งานจริง เพราะคะแนนส่วนหนึ่งอิงกับข้อมูลที่ไม่ควรเห็น

Kapoor และ Narayanan ที่ Princeton บันทึกปัญหานี้ในงานศึกษาหลายร้อยชิ้น ครอบคลุมตั้งแต่การแพทย์ถึงเศรษฐศาสตร์ ความขนานกับ HARKing ตรงตัว: สิ่งที่ถูกทดสอบถูกหล่อหลอมโดยข้อมูลเดียวกับที่ใช้วัด

การรั่วไหลเกิดขึ้นนานก่อนการประเมินโมเดล ภาพโดยผู้เขียน

นักวิจัย ML ยังอธิบายแนวปฏิบัติที่เรียกกันว่า Grad Student Descent หรือ SotA-hacking นักวิจัยรันการทดลองจำนวนมากจนโมเดลทำคะแนนชนะเกณฑ์มาตรฐาน แล้วเขียนกระดาษราวกับการตั้งค่าที่ชนะมาจากการออกแบบที่สะอาด นี่คือ CHARKing ที่ประยุกต์กับไปป์ไลน์แมชชีนเลิร์นนิง

การเลือกตัวชี้วัดหลังความจริงก็เป็นรูปแบบเดียวกันต่างมุม: ประเมินโมเดลด้วยหลายตัวชี้วัด แล้วค่อยตัดสินใจทีหลังว่าจะนำตัวใดเสนอเป็นมาตรวัดหลัก สิ่งที่ดูเหมือนการเลือกวิธีแบบวางแผนไว้จริง ๆ แล้วตัดสินใจทีหลัง

ข้อควรระวัง: คำว่า HARKing แทบไม่ใช้ในแมชชีนเลิร์นนิง ปัญหาคล้ายกันมักอภิปรายภายใต้หัวข้อ reproducibility การเล่นเกณฑ์มาตรฐาน หรือวิธีประเมิน ผลขนานช่วยให้เข้าใจ แต่ก็ยังเป็นอุปมา

สรุป

HARKing เป็นปัญหาเรื่องการติดฉลากพอ ๆ กับเป็นปัญหางานวิจัย ข้อค้นพบแบบ post-hoc อาจแข็งแรง แต่การนำเสนอว่าเป็นแบบ a priori ทำให้ผู้อ่านขาดสิ่งที่ต้องใช้ตัดสิน

การลงทะเบียนล่วงหน้า Registered Reports และการรายงานที่ชัดเจนช่วยได้โดยทำให้เวลาในการตั้งสมมติฐานมองเห็นได้ ไม่มีวิธีใดแก้ได้หมดจด การลงทะเบียนล่วงหน้าอาจคลุมเครือ และ Registered Reports ยังครอบคลุมเพียงเศษเสี้ยวของงานที่ตีพิมพ์

สำหรับนักวิจัยและมืออาชีพด้านข้อมูล กฎภาคปฏิบัติง่าย ๆ คือ: เขียนสิ่งที่คาดการณ์ไว้ก่อนดูข้อมูล รายงานสิ่งที่พบ และติดฉลากผลเชิงสำรวจว่าเป็นเชิงสำรวจ

สำหรับเนื้อหาด้านการทดสอบสมมติฐานเพิ่มเติม ดูคอร์ส Hypothesis Testing in Python ของเรา

FAQs

HARKing แบบเข้าใจง่ายคืออะไร?

HARKing ย่อมาจาก Hypothesizing After the Results are Known โดยสรุปคือประเด็นที่กล่าวไปข้างต้น: ผู้วิจัยพบผลที่ไม่คาดคิดแล้วเขียนกระดาษราวกับว่าผลนั้นถูกคาดการณ์ไว้ตั้งแต่แรก

HARKing เหมือนการฉ้อโกงหรือไม่?

ไม่จำเป็น บางกรณีมีการบิดเบือนโดยเจตนา แต่หลายกรณีเกิดจากแรงกดดันด้านการตีพิมพ์ อคติย้อนหลัง หรือคำขอจากผู้ประเมิน นักวิจัยมักจัดให้เป็น "แนวปฏิบัติการวิจัยที่น่ากังขา" ซึ่งครอบคลุมตั้งแต่อคติที่ไม่รู้ตัวไปจนถึงการหลอกลวงอย่างเปิดเผย

THARKing คืออะไร และสำคัญอย่างไร?

THARKing คือ Transparent HARKing ตามที่กล่าวไป หมายถึงการตั้งสมมติฐานแบบ post-hoc หลังเห็นข้อมูลและเปิดเผยเช่นนั้นในกระดาษงาน ป้ายฉลากนี่เองที่แยกเบาะแสที่เป็นประโยชน์ออกจากข้ออ้างที่ชวนเข้าใจผิด

การลงทะเบียนล่วงหน้ากำจัด HARKing ได้หมดไหม?

ไม่ ตามที่กล่าวไว้ การลงทะเบียนล่วงหน้าช่วยลดได้ แต่การลงทะเบียนที่คลุมเครือให้การป้องกันน้อย และยังมีทางเลี่ยงที่เรียกว่า PARKing (ลงทะเบียนล่วงหน้าหลังทราบผล) วิธีนี้ได้ผลดีที่สุดเมื่อสมมติฐาน การออกแบบ และแผนการวิเคราะห์ถูกระบุอย่างเป็นรูปธรรมก่อนเริ่มเก็บข้อมูล

HARKing ปรากฏในวิทยาการข้อมูลและแมชชีนเลิร์นนิงอย่างไร?

อย่างที่กล่าวในส่วนแมชชีนเลิร์นนิง ความขนานที่ใกล้เคียงที่สุดคือการเลือกตัวชี้วัดหลังความจริงและการเล่นเกมเกณฑ์มาตรฐาน การรั่วไหลของข้อมูลเป็นญาติสนิทกับ HARKing แม้จะเป็นปัญหาที่แยกต่างหาก

การตั้งสมมติฐานแบบ post-hoc ทั้งหมดเป็นเรื่องไม่ดีหรือไม่?

ไม่ สิ่งที่สำคัญคือความโปร่งใส ไม่ใช่เวลา

THARKing อย่างที่กล่าวไว้ คือการตั้งสมมติฐานแบบ post-hoc โดยคงป้ายฉลากไว้ Hollenbeck และ Wright โต้แย้งในปี 2017 ว่าสิ่งนี้ช่วยทำเครื่องหมายว่าข้อค้นพบใดต้องการการทำซ้ำอย่างอิสระ

หัวข้อ

เรียนรู้กับ DataCamp

Courses

Foundations of Inference in R

4 ชม.
38.8K
Learn how to draw conclusions about a population from a sample of data via a process known as statistical inference.
ดูรายละเอียดRight Arrow
เริ่มหลักสูตร
ดูเพิ่มเติมRight Arrow