เคยเห็นคำว่า "likelihood ratio" ในเอาต์พุตรีเกรสชันหรือในงานวิจัยแล้วไม่เข้าใจว่ามันบอกอะไรหรือไม่?
ไม่ใช่แค่คนเดียวที่งง คำนี้มักพบในการทดสอบสมมติฐาน การเปรียบเทียบแบบจำลอง การจัดหมวดหมู่ และการทดสอบวินิจฉัย โดยแต่ละสาขาก็ใช้ต่างกันเล็กน้อย คำอธิบายส่วนใหญ่ยังเริ่มจากสถิติทดสอบและการแจกแจงไคสแควร์ก่อนที่คุณจะรู้ด้วยซ้ำว่า likelihood คืออะไร สุดท้ายเลยได้ตัวเลขที่คำนวณได้แต่บอกความหมายไม่ได้
โดยสรุป likelihood แสดงว่าค่าพารามิเตอร์หรือแบบจำลองสถิติหนึ่งๆ อธิบายข้อมูลที่สังเกตได้ดีเพียงใด อัตราส่วนความเป็นไปได้คือการนำ likelihood หนึ่งหารด้วยอีก likelihood หนึ่ง เพื่อดูว่าสมมติฐานสองข้อ ข้อใดได้รับการสนับสนุนจากข้อมูลมากกว่า และมากกว่ากันเท่าไร
ในบทความนี้ จะพาไล่ไปทีละขั้นกับแนวคิดหลักและสูตร การทดสอบอัตราส่วนความเป็นไปได้ วิธีตีความผลลัพธ์ และตัวอย่างการใช้งานจริง
ต้องการทบทวนสถิติ? ลองดูแคตตาล็อก คอร์สความน่าจะเป็นและสถิติของเรา แล้วหาเนื้อหาที่เหมาะที่สุด
Likelihood Ratio คืออะไร?
อัตราส่วนความเป็นไปได้ คือ likelihood ของข้อมูลที่สังเกตได้ภายใต้สมมติฐานหนึ่ง หารด้วย likelihood ของข้อมูลเดียวกันภายใต้อีกสมมติฐานหนึ่ง สมมติฐานทั้งสองอาจเป็นค่าพารามิเตอร์สองค่า หรือเป็นแบบจำลองสถิติฉบับเต็มสองแบบ
คำถามที่มันตอบคือ คำอธิบายข้อใดอธิบายข้อมูลได้ดีกว่า ไม่ใช่ว่าข้อมูลนั้นมีโอกาสมากน้อยเพียงใด
ความแตกต่างนี้สำคัญมาก ลำดับการโยนเหรียญ 20 ครั้งใดๆ มีความน่าจะเป็นประมาณหนึ่งในล้านภายใต้เหรียญยุติธรรม ดังนั้น likelihood ที่เล็กเพียงอย่างเดียวจึงไม่ได้บอกอะไรมาก ต้องดูเทียบกับ likelihood อื่นเท่านั้นถึงจะมีความหมาย
สมมติว่าโยนเหรียญ 10 ครั้ง ได้หัว 8 ครั้ง สมมติฐานหนึ่งบอกว่าเหรียญยุติธรรม โอกาสออกหัวคือ 0.5 อีกสมมติฐานบอกว่าเหรียญเอนเอียง โอกาสออกหัวคือ 0.8
ทั้งสองสมมติฐานสามารถให้ผลหัว 8 ครั้งได้ แต่เหรียญเอนเอียงให้ผลนั้นบ่อยกว่ามาก ดังนั้นข้อมูลจึงสนับสนุนสมมติฐานที่สองมากกว่า และอัตราส่วนความเป็นไปได้จะบอกเป็นตัวเลขว่า “มากกว่าเท่าไร” จะคำนวณค่าที่แน่นอนในตัวอย่างภายหลังในบทความนี้
Likelihood และ probability ใช้สูตรเดียวกัน แต่ตอบคนละคำถาม:
Probability: กำหนดค่าพารามิเตอร์ตายตัว แล้วถามว่าผลลัพธ์ต่างๆ มีโอกาสเพียงใด เช่น โอกาสได้หัว 8 จาก 10 ครั้งเมื่อเหรียญยุติธรรม
Likelihood: กำหนดข้อมูลที่สังเกตได้ตายตัว แล้วถามว่าค่าพารามิเตอร์ต่างๆ อธิบายข้อมูลได้ดีเพียงใด เช่น โอกาสออกหัว 0.5 เทียบกับ 0.8 อธิบายผลหัว 8 จาก 10 ครั้งได้ดีเพียงใด
ความน่าจะเป็นของผลลัพธ์ที่เป็นไปได้ทั้งหมดรวมกันได้ 1 แต่ likelihood ของค่าพารามิเตอร์ที่เป็นไปได้ทั้งหมดไม่ได้รวมกันเป็น 1 นั่นจึงเป็นเหตุผลว่า likelihood ไม่ใช่ความน่าจะเป็นที่สมมติฐานหนึ่งจะเป็นจริง และอัตราส่วนความเป็นไปได้ก็เช่นกัน
อัตราส่วนความเป็นไปได้ทำงานอย่างไร?
อัตราส่วนความเป็นไปได้ทุกแบบทำตาม 5 ขั้นตอนเดียวกัน:
สังเกตข้อมูล: รวบรวมตัวอย่างที่ต้องการอธิบาย เช่น หัว 8 จาก 10 ครั้ง
คำนวณ likelihood แรก: หาโอกาสของข้อมูลที่สังเกตได้ภายใต้สมมติฐาน A
คำนวณ likelihood ที่สอง: ทำแบบเดียวกันภายใต้สมมติฐาน B
หาร: ใส่ likelihood หนึ่งไว้ในตัวเศษ อีกอันไว้ในตัวส่วน
ตีความอัตราส่วน: ดูว่าสมมติฐานข้อใดข้อมูลสนับสนุนมากกว่า และมากกว่าเท่าไร
ความหมายของอัตราส่วนขึ้นอยู่กับว่าใส่ likelihood ใดไว้ด้านบน โดยมีสมมติฐาน A อยู่ในตัวเศษ:
อัตราส่วนมากกว่า 1: ข้อมูลมีโอกาสมากกว่าเมื่ออยู่ภายใต้ A ดังนั้น A ได้รับการสนับสนุนมากกว่า
อัตราส่วนต่ำกว่า 1: ข้อมูลมีโอกาสมากกว่าเมื่ออยู่ภายใต้ B ดังนั้น B ได้รับการสนับสนุนมากกว่า
อัตราส่วนเท่ากับ 1: ทั้งสองสมมติฐานอธิบายข้อมูลได้ดีพอๆ กัน ข้อมูลจึงไม่เข้าข้างฝ่ายใด
อัตราส่วนเท่ากับ 4 หมายความว่าข้อมูลที่สังเกตได้มีความเป็นไปได้ภายใต้ A มากกว่า B อยู่สี่เท่า ไม่ได้หมายความว่า A มีโอกาสเป็นจริงมากกว่าสี่เท่า
ถ้าสลับตัวเศษกับตัวส่วน จะได้ส่วนกลับ อัตราส่วน 4 ที่สนับสนุน A จะกลายเป็น 0.25 ซึ่งบอกความหมายเดียวกันในมุมของ B
ธรรมเนียมแตกต่างกันตามสาขา การทดสอบอัตราส่วนความเป็นไปได้มักใส่สมมติฐานศูนย์ไว้ในตัวเศษ จึงทำให้ค่าที่เล็กเป็นหลักฐานคัดค้านสมมติฐานศูนย์ ขณะที่การใช้งานอีกหลายแบบจะใส่สมมติฐานทางเลือกไว้ด้านบน
ดังนั้นก่อนตีความอัตราส่วนความเป็นไปได้ใดๆ ให้ตรวจว่ามีสมมติฐานใดอยู่ในตัวเศษ
สูตรอัตราส่วนความเป็นไปได้
อัตราส่วนความเป็นไปได้พื้นฐานคือการนำ likelihood หนึ่งของข้อมูลไปหารด้วยอีกอันหนึ่ง:
สูตรอัตราส่วนความเป็นไปได้
แต่ละพจน์หมายถึงอะไรบ้าง:
x: ข้อมูลที่สังเกตได้ เช่น หัว 8 จาก 10 ครั้ง
theta_1 และ theta_0: ค่าพารามิเตอร์หรือสมมติฐานสองค่าที่ต้องการเปรียบเทียบ เช่น โอกาสออกหัว 0.8 และ 0.5
L(theta | x): likelihood ของ theta เมื่อกำหนดข้อมูล เท่ากับความน่าจะเป็นของ x เมื่อ theta เป็นพารามิเตอร์จริง หรือเป็นความหนาแน่นสำหรับข้อมูลต่อเนื่อง
เมื่อการสังเกตเป็นอิสระต่อกัน likelihood จะเป็นผลคูณของความน่าจะเป็นหนึ่งค่าสำหรับแต่ละการสังเกต:
Likelihood เมื่อการสังเกตอิสระต่อกัน
และตรงนี้เองที่ปัญหาเริ่มขึ้น แต่ละปัจจัยมีค่าน้อยกว่า 1 ดังนั้นผลคูณจะเล็กลงอย่างรวดเร็วเมื่อขนาดตัวอย่างเพิ่มขึ้น
ความน่าจะเป็นของลำดับการโยน 1,000 ครั้งแบบเจาะจงภายใต้เหรียญยุติธรรมอยู่ราว 9.3 * 10^-302 ซึ่งใกล้กับจำนวนน้อยที่สุดที่เลขทศนิยมแบบ 64 บิตจะเก็บได้ ที่ 2,000 ครั้ง 0.5 ** 2000 ใน Python จะให้ค่า 0.0
ลอการิทึมช่วยแก้ปัญหานี้ได้ ลอกของผลคูณเท่ากับผลรวมของลอก ดังนั้น log-likelihood จะเปลี่ยนผลคูณของตัวเลขจิ๋วให้เป็นผลรวมของตัวเลขที่จัดการได้:
Log likelihood
อัตราส่วนจะกลายเป็นผลต่าง:
อัตราส่วน log likelihood
ผลรวมยังง่ายต่อการหาอนุพันธ์มากกว่าผลคูณ นี่จึงเป็นเหตุผลที่การประมาณแบบ maximum likelihood ก็ใช้ log-likelihood ด้วย
เวอร์ชันลอกอ่านความหมายเหมือนกับอัตราส่วน เพียงแต่เทียบกับค่า 0 แทนที่จะเป็น 1 ค่า 0 หมายถึงการสนับสนุนเท่ากัน ค่าเป็นบวกเข้าข้าง theta_1 และค่าเป็นลบเข้าข้าง theta_0
ตัวอย่างอัตราส่วนความเป็นไปได้
กลับไปที่ตัวอย่างเหรียญก่อนหน้า โยน 10 ครั้ง ได้หัว 8 และก้อย 2
สมมติฐานสองข้อคือ:
จำนวนหัวใน 10 ครั้งมีการแจกแจงแบบไบนอมีอัล ดังนั้น likelihood ของแต่ละสมมติฐานคือ:
ตัวอย่างอัตราส่วนความเป็นไปได้
ภายใต้สมมติฐานเหรียญยุติธรรม:
ตัวอย่างอัตราส่วนความเป็นไปได้
ภายใต้สมมติฐานเหรียญเอนเอียง:
ตัวอย่างอัตราส่วนความเป็นไปได้
อัตราส่วนความเป็นไปได้คือ:
ตัวอย่างอัตราส่วนความเป็นไปได้
สัมประสิทธิ์ไบนอมีอัล 45 ปรากฏในทั้งสอง likelihood จึงตัดทอนกันได้ในอัตราส่วน จะได้ค่า 6.87 เหมือนกันแม้ใช้ความน่าจะเป็นของลำดับการโยนที่ตรงกันทุกประการ
พูดให้เข้าใจง่ายคือ ข้อมูลที่สังเกตได้มีความเป็นไปได้ภายใต้กรณีที่เหรียญออกหัว 80% มากกว่ากรณีเหรียญยุติธรรมประมาณ 6.9 เท่า แค่นั้นเอง
อัตราส่วนนี้ไม่ได้บอกว่าเหรียญมีโอกาสเอนเอียงมากกว่า 6.9 เท่า หากต้องการความน่าจะเป็นที่สมมติฐานใดเป็นจริง ต้องมีความเชื่อก่อนหน้า (prior) สำหรับทั้งสอง ด้วย prior 50/50 อัตราส่วนภายหลัง (posterior odds) จะเป็น 6.87 ต่อ 1 หรือราว 87% สำหรับเหรียญเอนเอียง แต่ค่านั้นขึ้นกับ prior ที่เลือก
การสนับสนุนนี้ยังเป็นแบบสัมพัทธ์ต่อสมมติฐานสองข้อนี้เท่านั้น ค่าตัวอย่างเช่น p = 0.7 ไม่ได้อยู่ในการเปรียบเทียบ ที่นี่ 0.8 ยังบังเอิญเป็นค่าประมาณแบบ maximum likelihood ด้วย เพราะหัวออก 8 จาก 10 ครั้ง จึงไม่มีค่า p อื่นที่ได้รับการสนับสนุนจากข้อมูลนี้มากกว่า
Likelihood Ratio Test คืออะไร?
ตัวอย่างเหรียญเปรียบเทียบค่า p คงที่สองค่า คำถามทางสถิติส่วนใหญ่มักกว้างกว่านั้น เช่น ตัวทำนายเพิ่มเติมสองสามตัวช่วยปรับปรุงแบบจำลองรีเกรสชันหรือไม่
Likelihood ratio test (LRT) ตอบคำถามประเภทนี้ โดยเปรียบเทียบแบบจำลองที่ซ้อนกัน (nested) ซึ่งหมายถึงแบบจำลองเล็กเป็นกรณีพิเศษของแบบจำลองใหญ่:
แบบจำกัด (restricted model): แทนสมมติฐานศูนย์ โดยตรึงบางพารามิเตอร์ไว้ปกติที่ 0
แบบเต็ม (full model): แทนสมมติฐานทางเลือก โดยปล่อยให้พารามิเตอร์เหล่านั้นรับค่าใดก็ได้
การทดสอบมี 5 ขั้นตอน:
ฟิตแบบจำกัด: หาค่าพารามิเตอร์ที่ทำให้ likelihood สูงสุด
ฟิตแบบเต็ม: ทำเช่นเดียวกันโดยรวมพารามิเตอร์เพิ่มเติม
เปรียบเทียบ likelihood สูงสุด: นำมาหารกัน หรือหาผลต่างของ log-likelihood
คำนวณสถิติทดสอบ: แปลงการเปรียบเทียบนั้นเป็นตัวเลขที่มีการแจกแจงอ้างอิงที่รู้จัก
หาค่า p-value: ตรวจว่าค่าสถิติสุดโต่งเพียงใดเมื่อสมมติฐานศูนย์เป็นจริง
แต่ละแบบจำลองจะประเมินที่ค่าประมาณแบบ maximum likelihood ของตัวเอง ไม่ใช่ที่ค่าพารามิเตอร์ที่กำหนดไว้ล่วงหน้า นี่คือความแตกต่างหลักจากตัวอย่างเหรียญ
อัตราส่วนความเป็นไปได้เปรียบเทียบสมมติฐานใดๆ และให้การสนับสนุนเชิงสัมพัทธ์ แต่ไม่มี p-value และไม่มีข้อสรุปเชิงตัดสินใจ ส่วน LRT นำอัตราส่วนของ likelihood สูงสุดจากแบบจำลองที่ซ้อนกัน แปลงเป็นสถิติทดสอบ และใช้การแจกแจงของมันเพื่อพิจารณาว่าจะปฏิเสธสมมติฐานศูนย์หรือไม่ ทุก LRT ใช้อัตราส่วนความเป็นไปได้ แต่ไม่ใช่อัตราส่วนความเป็นไปได้ทุกอันจะเป็นส่วนหนึ่งของ LRT — อัตราส่วนความเป็นไปในการวินิจฉัยในบทความนี้เป็นตัวอย่างหนึ่ง
สถิติทดสอบของ Likelihood Ratio Test
LRT เริ่มจากอัตราส่วนของ likelihood สูงสุด โดยมีแบบจำกัดอยู่ด้านบน:
สถิติทดสอบอัตราส่วนความเป็นไปได้
ที่นี่ theta_hat_0 คือค่าประมาณแบบ maximum likelihood ภายใต้แบบจำกัด และ theta_hat คือค่าประมาณภายใต้แบบเต็ม แบบเต็มมีแบบจำกัดเป็นส่วนหนึ่ง จึงฟิตได้อย่างน้อยเท่ากันเสมอ นั่นหมายความว่า lambda อยู่ระหว่าง 0 ถึง 1
สถิติทดสอบคือ:
สถิติทดสอบอัตราส่วนความเป็นไปได้
การใช้ลอกก็ด้วยเหตุผลเดิม เปลี่ยนอัตราส่วนของตัวเลขจิ๋วให้เป็นผลต่างของ log-likelihood ซึ่งทุกซอฟต์แวร์สถิติมีรายงานให้
ค่า -2 มีสองหน้าที่ เนื่องจาก lambda <= 1 ทำให้ ln(lambda) เป็น 0 หรือติดลบ จึงใส่เครื่องหมายลบเพื่อให้เป็นจำนวนบวกที่เพิ่มขึ้นเมื่อแบบเต็มฟิตดีขึ้น ตัวคูณ 2 ปรับสเกลสถิติให้ตามการแจกแจงไคสแควร์ สำหรับ generalized linear models ค่า D เท่ากับผลต่างของ deviance ระหว่างสองแบบจำลอง ซึ่งจึงมักรายงานในรูปนั้น
ทฤษฎีบทของ Wilks ทำให้การทดสอบใช้งานได้ กล่าวคือ เมื่อสมมติฐานศูนย์เป็นจริงและเงื่อนไขปกติทั่วไปเป็นจริง D จะมีการแจกแจงใกล้เคียงไคสแควร์เมื่อขนาดตัวอย่างโตขึ้น พูดง่ายๆ แบบจำลองต้องซ้อนกัน และค่าพารามิเตอร์ภายใต้สมมติฐานศูนย์ต้องไม่อยู่ที่ขอบของพิสัยพารามิเตอร์ ส่วนข้อจำกัดจะกล่าวถึงภายหลังในบทความ
องศาเสรีภาพ โดยทั่วไปเท่ากับผลต่างของจำนวนพารามิเตอร์อิสระระหว่างสองแบบจำลอง หากแบบเต็มเพิ่มตัวทำนายสองตัว ให้เปรียบเทียบ D กับการแจกแจงไคสแควร์ที่มีองศาเสรีภาพ 2
ดังนั้นการแจกแจงอ้างอิงเดียวกันนี้ใช้ได้กับโลจิสติกรีเกรสชัน พัวซองรีเกรสชัน และแบบจำลองอื่นๆ ส่วนใหญ่ที่ฟิตด้วย maximum likelihood
วิธีตีความ Likelihood Ratio Test
สมมติว่าต้องการทำนายว่าลูกค้าจะยกเลิกการสมัครสมาชิกหรือไม่ ชุดข้อมูลมีลูกค้า 1,000 ราย และราว 32% เลิกใช้บริการ
ฟิตแบบจำลองโลจิสติกรีเกรสชันสองแบบ:
แต่ละส่วนของการทดสอบในตัวอย่างนี้มีดังนี้:
สมมติฐานศูนย์ : สัมประสิทธิ์ของ monthly_charges และ support_tickets ทั้งคู่เท่ากับ 0 ดังนั้นตัวทำนายเพิ่มเติมไม่ช่วยให้ฟิตดีขึ้น
สมมติฐานทางเลือก : อย่างน้อยหนึ่งในสองสัมประสิทธิ์นั้นไม่เท่ากับ 0
สถิติทดสอบ : D = 2 * (-515.99 - (-556.88)) = 81.78
องศาเสรีภาพ: แบบเต็มมีพารามิเตอร์มากกว่า 2 ตัว ดังนั้นการทดสอบใช้ 2 องศาเสรีภาพ
ค่า p-value: ความน่าจะเป็นที่จะได้สถิติมากเท่านี้หรือมากกว่านี้ภายใต้การแจกแจงไคสแควร์ที่มี 2 องศาเสรีภาพ ซึ่งประมาณ 1.7 * 10^-18
ค่า p-value นี้ต่ำกว่าค่าขีดมาตรฐานทั่วไปอย่างมาก เช่น 0.05 จึงปฏิเสธสมมติฐานศูนย์ และสรุปได้ว่าข้อมูลให้หลักฐานชัดเจนว่าตัวทำนายเพิ่มเติมช่วยให้ฟิตดีขึ้น
แต่การปฏิเสธสมมติฐานศูนย์ไม่ได้แปลว่าแบบเต็มคือทางเลือกที่ดีกว่าสำหรับการใช้งานของคุณเสมอไป
เมื่อขนาดตัวอย่างใหญ่ แม้การปรับปรุงการฟิตเพียงเล็กน้อยก็ให้ค่า p-value เล็กมาก การทดสอบนี้ไม่ได้บอกว่าขนาดอิทธิพลใหญ่แค่ไหน หรือแบบจำลองทำนายข้อมูลใหม่ได้ดีเพียงใด ตรวจสอบค่าสัมประสิทธิ์และประสิทธิภาพบนข้อมูลที่กันไว้ก่อนตัดสินใจใช้แบบใหญ่กว่า
และค่า p-value ที่ใหญ่ก็ไม่ได้พิสูจน์ว่าตัวทำนายเพิ่มเติมไร้ประโยชน์ เพียงแปลว่าข้อมูลไม่มีหลักฐานเพียงพอที่จะคัดค้านสมมติฐานศูนย์
LRT บอกได้ว่าพารามิเตอร์เพิ่มเติมช่วยให้ฟิตดีขึ้นหรือไม่ ส่วนการตัดสินว่าการปรับปรุงนั้น “มีนัยสำคัญต่อการใช้งาน” หรือไม่ ยังเป็นหน้าที่ของผู้ใช้
Likelihood Ratio Test สำหรับแบบจำลองรีเกรสชัน
จะเห็น LRT บ่อยที่สุดเมื่อเปรียบเทียบแบบจำลองรีเกรสชัน แนวคิดคงเดิมเสมอ — ฟิตแบบจำกัด ฟิตแบบเต็ม และเปรียบเทียบค่า log-likelihood สูงสุดของทั้งคู่
โลจิสติกรีเกรสชัน
โลจิสติกรีเกรสชันเป็นที่ที่เห็น LRT บ่อยที่สุด
ส่วนตีความด้านบนเปรียบเทียบแบบที่มี tenure_months กับแบบที่มีทั้ง monthly_charges และ support_tickets จะก้าวไปอีกขั้นโดยเปรียบเทียบแบบเต็มกับแบบมีแต่จุดตัด (intercept-only) ที่ทำนายความน่าจะเป็นการเลิกใช้เท่ากันสำหรับลูกค้าทุกคนก็ได้
จากข้อมูลการเลิกใช้เดียวกัน แบบมีแต่จุดตัดมี log-likelihood เท่ากับ -627.62 และแบบเต็มเท่ากับ -515.99 จึงได้ D = 2 * (-515.99 - (-627.62)) = 223.27 ที่ 3 องศาเสรีภาพ หนึ่งต่อหนึ่งตัวทำนาย และค่า p-value ราว 3.9 x 10^-48
การทดสอบนี้ถามว่าตัวทำนายทั้งหมดรวมกันอธิบายการเลิกใช้ดีกว่าการไม่มีตัวทำนายเลยหรือไม่ เป็นเวอร์ชันของโลจิสติกรีเกรสชันที่สอดคล้องกับ F-test โดยรวมในรีเกรสชันเชิงเส้น และ statsmodels รายงานไว้ในสรุปแบบจำลองเป็น LLR p-value
แบบจำลองเชิงเส้นทั่วไป (GLMs)
โลจิสติกรีเกรสชันเป็นหนึ่งในครอบครัวที่ใหญ่กว่าคือ generalized linear models หรือ GLMs ครอบครัวนี้รวมถึงพัวซองรีเกรสชันสำหรับข้อมูลนับ และแกมมารีเกรสชันสำหรับผลลัพธ์ต่อเนื่องบวก เป็นต้น
ทุก GLM รายงานค่า deviance ซึ่งวัดว่าแบบจำลองห่างจากการฟิตที่สมบูรณ์แบบเพียงใด สำหรับ GLM ที่ซ้อนกัน ผลต่างของ deviance เท่ากับสถิติ LRT D จึงมักเรียกการทดสอบนี้ว่า analysis of deviance
องศาเสรีภาพทำงานเหมือนเดิม คือผลต่างของจำนวนพารามิเตอร์ สำหรับแบบจำลองที่ประมาณค่าพารามิเตอร์การกระจาย (dispersion) เช่น แกมมาหรือ Gaussian GLM มักใช้ F-test บนผลต่าง deviance แทนเวอร์ชันไคสแควร์
แบบจำลองอื่นที่อาศัย likelihood
แบบจำลองใดก็ตามที่ฟิตด้วย maximum likelihood ใช้ LRT ได้ ตราบใดที่แบบจำลองซ้อนกัน ตัวอย่างเช่น:
โมเดลผสม (mixed-effects): เปรียบเทียบแบบมีและไม่มีอิทธิพลคงที่ โดยฟิตด้วย maximum likelihood ไม่ใช่ REML
โมเดลอยู่รอด (survival): ทดสอบว่าตัวแปรกำกับช่วยปรับปรุงโมเดล Cox proportional hazards ซึ่งใช้ partial likelihood หรือไม่
อนุกรมเวลา: เปรียบเทียบโมเดล ARIMA ลำดับต่างๆ
พันธุกรรม: ทดสอบการเชื่อมโยงยีน ซึ่งค่า LOD คือ log base-10 ของอัตราส่วนความเป็นไปได้
Likelihood Ratio เทียบกับการทดสอบสถิติที่เกี่ยวข้อง
LRT คล้ายกับการทดสอบ Wald และการทดสอบ score ทั้งสามทดสอบสมมติฐานศูนย์เดียวกัน และมีการแจกแจงไคสแควร์เมื่อขนาดตัวอย่างใหญ่ ความต่างอยู่ที่แบบจำลองที่ฟิตและสิ่งที่วัด
Likelihood ratio test เทียบกับ Wald test
LRT ฟิตทั้งสองแบบและเปรียบเทียบค่า log-likelihood ส่วน Wald ฟิตเฉพาะแบบเต็มและตรวจว่าค่าประมาณห่างจากค่าภายใต้สมมติฐานศูนย์กี่ค่าเบี่ยงเบนมาตรฐาน
สำหรับสัมประสิทธิ์เดี่ยว สถิติ Wald คือค่าประมาณหารด้วยค่าเบี่ยงเบนมาตรฐานของมัน ค่า p-value ในตารางสรุปรีเกรสชันมักมาจากการทดสอบนี้
Wald เร็วกว่าเพราะฟิตแค่แบบเดียว แต่ขึ้นกับการพารามิเตอร์ไรซ์ของแบบจำลอง และในโลจิสติกรีเกรสชันอาจให้ผลไม่ดีเมื่อสัมประสิทธิ์มีค่ามาก เพราะค่าเบี่ยงเบนมาตรฐานโตเร็วกว่าค่าประมาณ LRT ไม่มีปัญหาทั้งสอง จึงปลอดภัยกว่า
Likelihood ratio test เทียบกับ score test
Score test ฟิตเฉพาะแบบจำกัด
มันดูความชันของ log-likelihood ที่ค่าพารามิเตอร์ภายใต้สมมติฐานศูนย์ ถ้าสมมติฐานศูนย์ถูกต้อง ความชันควรใกล้ 0 ความชันสูงหมายถึง likelihood จะเพิ่มขึ้นหากปล่อยให้พารามิเตอร์เหล่านั้นเคลื่อนออกจากค่าศูนย์
สิ่งนี้ทำให้ score test สะดวกเมื่อแบบเต็มแพงหรือฟิตยาก อีกชื่อคือการทดสอบ Lagrange multiplier และมักใช้คัดกรองตัวทำนายก่อนจะเพิ่มเข้าแบบจำลอง
Likelihood ratio test เทียบกับ chi-square test
สถิติ LRT มีการแจกแจงไคสแควร์เมื่อขนาดตัวอย่างใหญ่ แต่นั่นไม่ได้ทำให้ LRT เป็น “การทดสอบไคสแควร์” ในความหมายทั่วไป
“การทดสอบไคสแควร์” เป็นป้ายกว้างๆ สำหรับการทดสอบใดๆ ที่สถิติทดสอบมีการแจกแจงไคสแควร์ ส่วนใหญ่มักหมายถึง การทดสอบไคสแควร์ของเพียร์สันเพื่อความเป็นอิสระ หรือความพอดีในตารางจัดหมวดหมู่
ทั้งสองยังเชื่อมโยงกันอยู่ รุ่นอัตราส่วนความเป็นไปได้ของการทดสอบเพียร์สันเรียกว่า G-test และเปรียบเทียบจำนวนที่สังเกตกับที่คาดโดยใช้ log-likelihood แทนผลต่างกำลังสอง ในตัวอย่างใหญ่ ผลลัพธ์มักใกล้เคียงกัน
ตารางเปรียบเทียบการทดสอบแบบอิงแบบจำลองทั้งสามแบบมีดังนี้:
Wald test Likelihood ratio test Score test แบบจำลองที่ฟิต เฉพาะแบบเต็ม แบบจำกัดและแบบเต็ม เฉพาะแบบจำกัด สิ่งที่วัด ระยะห่างของค่าประมาณจากค่าศูนย์ เป็นหน่วยค่าเบี่ยงเบนมาตรฐาน ช่องว่างระหว่างค่า log-likelihood สูงสุด ความชันของ log-likelihood ที่ค่าศูนย์ มักพบที่ไหน ค่า p ของสัมประสิทธิ์ในสรุปรีเกรสชัน การเปรียบเทียบแบบจำลองที่ซ้อนกันและ analysis of deviance คัดกรองตัวทำนายใหม่ แบบจำลองที่ฟิตยาก จุดอ่อน ขึ้นกับการพารามิเตอร์ไรซ์ ไม่เสถียรเมื่อค่าประมาณใหญ่มาก ต้องฟิตแบบจำลองทั้งสอง ใช้ข้อมูลเฉพาะใกล้ค่าศูนย์ การแจกแจงเมื่อขนาดตัวอย่างใหญ่ ไคสแควร์ ไคสแควร์ ไคสแควร์
อัตราส่วนความเป็นไปเปรียบเทียบกับการทดสอบสถิติอื่น
Likelihood Ratio เทียบกับ Odds Ratio
ทั้งสองคำต่างมีคำว่า “ratio” อยู่ และพบได้บ่อยในโลจิสติกรีเกรสชัน ความเหมือนจบลงเท่านั้น
อัตราส่วนความเป็นไปเปรียบเทียบว่าสมมติฐานสองข้ออธิบายข้อมูลที่สังเกตได้ดีเพียงใด ส่วน odds ratio เปรียบเทียบอัตราส่วนโอกาสของผลลัพธ์ระหว่างสองกลุ่มหรือสองเงื่อนไข
Odds คือความน่าจะเป็นของเหตุการณ์หารด้วยความน่าจะเป็นที่มันไม่เกิดขึ้น ความน่าจะเป็นการเลิกใช้ 25% แปลว่า odds เท่ากับ 0.25 / 0.75 หรือ 1 ต่อ 3
ในแบบจำลองการเลิกใช้ก่อนหน้า สัมประสิทธิ์ของ support_tickets เท่ากับ 0.456 ยกกำลัง e จะได้ odds ratio ราว 1.58 หมายความว่าแต่ละทิกเก็ตสนับสนุนเพิ่มเติมหนึ่งใบจะคูณ odds ของการเลิกใช้ด้วย 1.58
นั่นเป็นข้อความเกี่ยวกับ “ขนาดอิทธิพล” ในข้อมูล ส่วนอัตราส่วนความเป็นไปเป็นข้อความเกี่ยวกับ “หลักฐาน” — แบบจำลองหรือสมมติฐานใดอธิบายข้อมูลชุดเดียวกันได้ดีกว่า และดีกว่าเท่าไร
ดังนั้น odds ratio ตอบว่า “อิทธิพลใหญ่แค่ไหน?” ส่วน likelihood ratio ตอบว่า “ข้อมูลสนับสนุนคำอธิบายใดมากกว่า?”
Likelihood Ratio ในการทดสอบวินิจฉัย
ในทางการแพทย์ “likelihood ratio” มีความหมายที่สอง อธิบายว่าผลทดสอบเปลี่ยนอัตราส่วนโอกาสที่ผู้ป่วยมีภาวะหนึ่งมากน้อยเพียงใด โดยไม่เกี่ยวกับการฟิตแบบจำลองหรือค่า p-value
อัตราส่วนความเป็นไปในการวินิจฉัยมาจากคุณสมบัติสองอย่างของแบบทดสอบ:
Sensitivity: สัดส่วนของผู้ที่มีภาวะซึ่งผลทดสอบเป็นบวก
Specificity: สัดส่วนของผู้ที่ไม่มีภาวะซึ่งผลทดสอบเป็นลบ
สมมติว่าแบบทดสอบหนึ่งมี sensitivity 90% และ specificity 80%
Positive likelihood ratio
อัตราส่วนความเป็นไปด้านบวก หรือ LR+ แสดงว่าผลบวกเกิดขึ้นในผู้ที่มีภาวะบ่อยกว่าผู้ที่ไม่มีภาวะมากเพียงใด:
อัตราส่วนความเป็นไปด้านบวก
สำหรับตัวอย่างนี้คือ 0.9 / 0.2 = 4.5 ผลบวกเกิดในผู้ที่มีภาวะบ่อยกว่า 4.5 เท่า ค่าเกิน 1 ทำให้อัตราส่วนโอกาสของภาวะเพิ่มขึ้น และค่ายิ่งสูง ผลบวกยิ่งให้ข้อมูลมาก
Negative likelihood ratio
อัตราส่วนความเป็นไปด้านลบ หรือ LR- แสดงว่าผลลบเกิดขึ้นในผู้ที่มีภาวะบ่อยเพียงใดเมื่อเทียบกับผู้ที่ไม่มีภาวะ:
อัตราส่วนความเป็นไปด้านลบ
สำหรับตัวอย่างนี้คือ 0.1 / 0.8 = 0.125 ค่าที่ต่ำกว่า 1 ทำให้อัตราส่วนโอกาสของภาวะลดลง และค่ายิ่งใกล้ 0 ผลลบยิ่งให้ข้อมูลมาก
จาก pre-test สู่ post-test odds
อัตราส่วนความเป็นไปในการวินิจฉัยมีประโยชน์เพราะอัปเดตสิ่งที่รู้ก่อนตรวจ:
อัตราส่วนความเป็นไปในการวินิจฉัย
สมมติว่า 10% ของผู้ป่วยประเภทนี้มีภาวะดังกล่าว นั่นคือ pre-test odds เท่ากับ 0.1 / 0.9 หรือประมาณ 0.111
หลังผลบวก odds จะเป็น 0.111 * 4.5 = 0.5 ซึ่งแปลงเป็นความน่าจะเป็นราว 33% หลังผลลบจะเป็น 0.111 * 0.125 = 0.014 หรือราว 1.4%
นี่เป็นส่วนเดียวในบทความที่อัตราส่วนความเป็นไปนำไปสู่ความน่าจะเป็นของสมมติฐานได้ และเป็นไปได้เพราะ pre-test odds ทำหน้าที่เป็น prior
Likelihood Ratio Test ใน Python และ R
ทั้งสองภาษามีทุกอย่างที่ต้องใช้เพื่อรัน LRT ในไม่กี่บรรทัด จะใช้ชุดข้อมูลการเลิกใช้ที่กล่าวถึงก่อนหน้า เพื่อให้ตัวเลขตรงกับส่วนตีความและส่วนรีเกรสชัน
Likelihood ratio test ใน Python
ต้องใช้ numpy, pandas, statsmodels และ scipy เริ่มจากการสร้างชุดข้อมูล:
import numpy as np
import pandas as pd
import statsmodels. formula. api as smf
from scipy import stats
rng = np. random. default_rng( 42 )
n_customers = 1000
churn = pd. DataFrame( {
"tenure_months" : rng. integers( 1 , 73 , n_customers) ,
"monthly_charges" : rng. uniform( 20 , 120 , n_customers) . round ( 2 ) ,
"support_tickets" : rng. poisson( 1.5 , n_customers) ,
} )
log_odds = (
- 0.5
- 0.04 * churn[ "tenure_months" ]
+ 0.01 * churn[ "monthly_charges" ]
+ 0.25 * churn[ "support_tickets" ]
)
churn[ "churned" ] = rng. binomial( 1 , 1 / ( 1 + np. exp( - log_odds) ) )
churn. to_csv( "churn.csv" , index= False ) ขับเคลื่อนโดย
ในชุดข้อมูลนี้ อัตราการเลิกใช้คือ 32.1%
ถัดไป ฟิตแบบจำกัดและแบบเต็มของโลจิสติกรีเกรสชัน คุณสมบัติ .llf เก็บค่า log-likelihood สูงสุดของแต่ละแบบ:
reduced_model = smf. logit( "churned ~ tenure_months" , data= churn) . fit( disp= 0 )
full_model = smf. logit(
"churned ~ tenure_months + monthly_charges + support_tickets" ,
data= churn,
) . fit( disp= 0 )
print ( f"Restricted model log-likelihood: { reduced_model. llf: .2f } " )
print ( f"Full model log-likelihood: { full_model. llf: .2f } " ) ขับเคลื่อนโดย
log likelihood ของแบบจำกัดและแบบเต็ม
statsmodels ไม่มีฟังก์ชัน LRT ทั่วไปสำหรับโลจิสติกรีเกรสชัน จึงคำนวณสถิติจาก log-likelihood ทั้งสอง คุณสมบัติ .df_model ให้จำนวนตัวทำนายในแต่ละแบบ และ stats.chi2.sf() คืนค่า p-value:
lr_stat = 2 * ( full_model. llf - reduced_model. llf)
df_diff = full_model. df_model - reduced_model. df_model
p_value = stats. chi2. sf( lr_stat, df_diff)
print ( f"LR statistic: { lr_stat: .2f } " )
print ( f"Degrees of freedom: { df_diff: .0f } " )
print ( f"P-value: { p_value: .1e } " ) ขับเคลื่อนโดย
สถิติทดสอบ องศาเสรีภาพ และ p-value
ค่า p-value ต่ำกว่า 0.05 มาก จึงปฏิเสธสมมติฐานศูนย์ ข้อมูลให้หลักฐานชัดเจนว่า monthly_charges และ support_tickets ช่วยให้ฟิตดีกว่าแบบที่มีเพียง tenure_months
สำหรับการเปรียบเทียบกับแบบมีแต่จุดตัด ไม่ต้องเขียนโค้ดเพิ่ม statsmodels คำนวณไว้ให้ทุกแบบโลจิสติกรีเกรสชัน:
print ( f"Intercept-only log-likelihood: { full_model. llnull: .2f } " )
print ( f"LR statistic: { full_model. llr: .2f } " )
print ( f"P-value: { full_model. llr_pvalue: .1e } " ) ขับเคลื่อนโดย
การเปรียบเทียบแบบเต็มกับแบบมีแต่จุดตัด
Likelihood ratio test ใน R
R ใช้ตัวสร้างตัวเลขสุ่มต่างจาก NumPy จึงให้โหลดไฟล์ churn.csv จากตัวอย่าง Python เพื่อใช้ข้อมูลเดียวกัน จากนั้นฟิตทั้งสองแบบด้วย glm() และส่งให้ anova():
churn <- read.csv( "churn.csv" )
reduced_model <- glm( churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
churned ~ tenure_months + monthly_charges + support_tickets,
data = churn,
family = binomial
)
logLik( reduced_model)
logLik( full_model)
anova( reduced_model, full_model, test = "Chisq" ) ขับเคลื่อนโดย
log likelihood และ ratio test ใน R
ค่า df ข้างๆ แต่ละ log-likelihood คือจำนวนพารามิเตอร์ที่ประมาณ รวมจุดตัด แบบเต็มมีมากกว่า 2 ตรงกับคอลัมน์ Df ในตาราง anova()
คอลัมน์ Deviance แสดงค่า 81.778 ซึ่งเป็นสถิติ LR เดียวกับใน Python นี่คือ analysis of deviance จากส่วน GLM — การลดลงของ residual deviance จาก 1113.8 เป็น 1032.0 คือสถิติทดสอบ
R พิมพ์ p-value เป็น < 2.2e-16 เพราะเป็นค่าต่ำสุดที่แสดงโดยปริยาย ไม่ใช่ต่างจากผล Python ไม่ว่ากรณีใด บทสรุปเหมือนกัน คือตัวทำนายเพิ่มเติมช่วยให้ฟิตดีขึ้น
หากต้องการฟังก์ชันเฉพาะ lrtest() จากแพ็กเกจ lmtest รันการเปรียบเทียบเดียวกันได้ด้วย lrtest(reduced_model, full_model)
ข้อสมมติและข้อจำกัดของ Likelihood Ratio Test
LRT ทำงานได้ดีในบริบทที่กล่าวมา แต่ผลแบบไคสแควร์ขึ้นกับเงื่อนไขบางอย่าง
แบบจำลองต้องซ้อนกัน (nested)
LRT มาตรฐานเปรียบเทียบเฉพาะแบบจำลองที่ซ้อนกัน โดยแบบจำกัดเป็นกรณีพิเศษของแบบเต็ม
หากต้องการเปรียบเทียบโลจิสติกกับโปรบิต หรือสองแบบจำลองที่มีตัวทำนายต่างกัน ไม่มีแบบใดเป็นกรณีพิเศษของอีกแบบ การแจกแจงไคสแควร์จึงใช้ไม่ได้ ให้ใช้เกณฑ์สารสนเทศอย่าง AIC และ BIC หรือการทดสอบ Vuong สำหรับแบบจำลองที่ไม่ซ้อนกันแทน
ทั้งสองแบบต้องประมาณด้วย maximum likelihood
การทดสอบเปรียบเทียบ likelihood สูงสุด จึงต้องฟิตทั้งสองแบบด้วย maximum likelihood บนข้อมูลชุดเดียวกัน
มีสองเรื่องที่พลาดได้บ่อย โมเดลผสมที่ฟิตด้วย REML ซึ่งเป็นค่าเริ่มต้นในหลายแพ็กเกจ ไม่สามารถเปรียบเทียบด้วย LRT ได้เมื่อแตกต่างกันที่อิทธิพลคงที่ — จึงต้องฟิตด้วย maximum likelihood ก่อน และแบบจำลองที่มีการลงโทษ เช่น lasso หรือ ridge ไม่ได้เพิ่มพูน likelihood โดยตรง จึงใช้การทดสอบมาตรฐานไม่ได้
แบบจำลองยังต้องใช้การสังเกตชุดเดียวกัน หากตัวทำนายหนึ่งมีค่าว่าง แบบเต็มอาจตัดแถวทิ้ง และสองค่า log-likelihood จะเปรียบเทียบกันไม่ได้อีก
ผลไคสแควร์เป็นเชิงอสมมาตร (asymptotic)
ทฤษฎีบทของ Wilks เป็นผลเมื่อขนาดตัวอย่างใหญ่ และต้องอาศัยเงื่อนไขปกติทั่วไป ซึ่งโดยง่ายหมายความว่า likelihood เรียบ ค่าพารามิเตอร์ระบุได้ และค่าพารามิเตอร์จริงอยู่ภายในพิสัยที่อนุญาต ไม่ใช่ที่ขอบ
เมื่อเงื่อนไขเหล่านี้เป็นจริง การแจกแจงไคสแควร์เป็นการประมาณที่ดีสำหรับตัวอย่างใหญ่ แต่ก็ยังเป็น “การประมาณ”
ตัวอย่างเล็ก
เมื่อขนาดตัวอย่างเล็ก สถิติ LRT อาจไม่ตามการแจกแจงไคสแควร์ และค่า p-value อาจเล็กหรือใหญ่เกินจริง
มีทางเลือกอยู่บ้าง การบูตสแตรปแบบพารามิเตอร์จะจำลองชุดข้อมูลใหม่จากแบบจำกัดและสร้างการแจกแจงของสถิติ สำหรับกรณีง่ายๆ เช่น ตารางจัดหมวดหมู่ การทดสอบแบบ exact เลี่ยงการประมาณนี้ได้
พารามิเตอร์อยู่ที่ขอบพิสัย
สมมติฐานศูนย์บางข้อวางพารามิเตอร์ไว้ที่ขอบของพิสัยที่อนุญาต ตัวอย่างพบบ่อยคือทดสอบว่าวาเรียนซ์ของอิทธิพลสุ่มในโมเดลผสมเท่ากับ 0 หรือไม่ เพราะวาเรียนซ์ติดลบไม่ได้
กรณีนี้สถิติไม่ตามการแจกแจงไคสแควร์ปกติ สำหรับองค์ประกอบวาเรียนซ์เดี่ยว จะตามการผสม 50:50 ของไคสแควร์ที่ 0 และ 1 องศาเสรีภาพ ทำให้ค่า p-value มาตรฐานประมาณสองเท่าของที่ควรจะเป็น การทดสอบมาตรฐานจึงอนุรักษนิยมในกรณีนี้ นั่นคือพลาดตรวจพบอิทธิพลจริงบ่อยขึ้น
การทดสอบจำนวนองค์ประกอบในแบบจำลองผสม (mixture) ก็มีปัญหาคล้ายกัน เมื่อเปรียบเทียบแบบหนึ่งองค์ประกอบกับสอง เงื่อนไขปกติล้มเหลว และการประมาณไคสแควร์ใช้ไม่ได้เลย
การระบุแบบจำลองผิด (misspecification)
LRT ถือว่าแบบเต็มถูกต้อง หากทั้งสองแบบจำลองกำหนดการแจกแจงข้อมูลผิด เช่น ใช้พัวซองกับข้อมูลนับที่มีความแปรปรวนมากกว่าค่าเฉลี่ยมากๆ สถิติจะไม่ตามไคสแควร์แม้ในตัวอย่างใหญ่
ตรวจสอบความฟิตของแบบเต็มก่อนเชื่อผลการทดสอบ สำหรับข้อมูลนับที่กระจายเกิน (overdispersed) โมเดลเนกาทีฟไบนอมีอัลหรือ quasi-likelihood F-test มักดีกว่า
ดังนั้นการประมาณแบบไคสแควร์เป็นค่าเริ่มต้น ไม่ใช่การรับประกัน และใช้ได้เฉพาะเมื่อการตั้งค่าตรงตามเงื่อนไขเบื้องหลังทฤษฎีบทของ Wilks
สรุป
อัตราส่วนความเป็นไปเปรียบเทียบว่าสมมติฐานหรือแบบจำลองสองแบบอธิบายข้อมูลที่สังเกตได้ชุดเดียวกันได้ดีเพียงใด นั่นคือแนวคิดทั้งหมด และทุกอย่างที่เหลือในบทความนี้ต่อยอดจากจุดนั้น
Likelihood ratio test ทำให้แนวคิดนั้นเป็นกระบวนการทางการ ฟิตแบบจำลองที่ซ้อนกันสองแบบ เปรียบเทียบค่า log-likelihood สูงสุด และใช้การแจกแจงไคสแควร์เพื่อหา p-value มักเห็นบ่อยสุดในโลจิสติกรีเกรสชันและ GLM อื่นๆ และทั้ง statsmodels และ R รันได้ในไม่กี่บรรทัด
แต่อย่าลืมความหมายของตัวเลข อัตราส่วนความเป็นไปแสดงการสนับสนุนเชิงสัมพัทธ์ของสมมติฐานหนึ่งเหนืออีกสมมติฐาน ไม่ใช่ความน่าจะเป็นที่สมมติฐานใดจะเป็นจริง หากต้องการค่านั้น ต้องมี prior odds เช่นในการทดสอบวินิจฉัย
หากต้องการเรียนรู้ต่อไป ขั้นต่อไปคือองค์ประกอบพื้นฐานของการทดสอบ: ตัว likelihood เอง การประมาณค่าแบบ maximum likelihood และการเปรียบเทียบระหว่างการทดสอบ Wald และ การทดสอบสมมติฐาน อื่นๆ กับ LRT
เคยเห็นคำว่า "likelihood ratio" ในเอาต์พุตรีเกรสชันหรือในงานวิจัยแล้วไม่เข้าใจว่ามันบอกอะไรหรือไม่?
ไม่ใช่แค่คนเดียวที่งง คำนี้มักพบในการทดสอบสมมติฐาน การเปรียบเทียบแบบจำลอง การจัดหมวดหมู่ และการทดสอบวินิจฉัย โดยแต่ละสาขาก็ใช้ต่างกันเล็กน้อย คำอธิบายส่วนใหญ่ยังเริ่มจากสถิติทดสอบและการแจกแจงไคสแควร์ก่อนที่คุณจะรู้ด้วยซ้ำว่า likelihood คืออะไร สุดท้ายเลยได้ตัวเลขที่คำนวณได้แต่บอกความหมายไม่ได้
โดยสรุป likelihood แสดงว่าค่าพารามิเตอร์หรือแบบจำลองสถิติหนึ่งๆ อธิบายข้อมูลที่สังเกตได้ดีเพียงใด อัตราส่วนความเป็นไปได้คือการนำ likelihood หนึ่งหารด้วยอีก likelihood หนึ่ง เพื่อดูว่าสมมติฐานสองข้อ ข้อใดได้รับการสนับสนุนจากข้อมูลมากกว่า และมากกว่ากันเท่าไร
ในบทความนี้ จะพาไล่ไปทีละขั้นกับแนวคิดหลักและสูตร การทดสอบอัตราส่วนความเป็นไปได้ วิธีตีความผลลัพธ์ และตัวอย่างการใช้งานจริง
ต้องการทบทวนสถิติ? ลองดูแคตตาล็อก คอร์สความน่าจะเป็นและสถิติของเรา แล้วหาเนื้อหาที่เหมาะที่สุด
Likelihood Ratio คืออะไร?
อัตราส่วนความเป็นไปได้ คือ likelihood ของข้อมูลที่สังเกตได้ภายใต้สมมติฐานหนึ่ง หารด้วย likelihood ของข้อมูลเดียวกันภายใต้อีกสมมติฐานหนึ่ง สมมติฐานทั้งสองอาจเป็นค่าพารามิเตอร์สองค่า หรือเป็นแบบจำลองสถิติฉบับเต็มสองแบบ
คำถามที่มันตอบคือ คำอธิบายข้อใดอธิบายข้อมูลได้ดีกว่า ไม่ใช่ว่าข้อมูลนั้นมีโอกาสมากน้อยเพียงใด
ความแตกต่างนี้สำคัญมาก ลำดับการโยนเหรียญ 20 ครั้งใดๆ มีความน่าจะเป็นประมาณหนึ่งในล้านภายใต้เหรียญยุติธรรม ดังนั้น likelihood ที่เล็กเพียงอย่างเดียวจึงไม่ได้บอกอะไรมาก ต้องดูเทียบกับ likelihood อื่นเท่านั้นถึงจะมีความหมาย
สมมติว่าโยนเหรียญ 10 ครั้ง ได้หัว 8 ครั้ง สมมติฐานหนึ่งบอกว่าเหรียญยุติธรรม โอกาสออกหัวคือ 0.5 อีกสมมติฐานบอกว่าเหรียญเอนเอียง โอกาสออกหัวคือ 0.8
ทั้งสองสมมติฐานสามารถให้ผลหัว 8 ครั้งได้ แต่เหรียญเอนเอียงให้ผลนั้นบ่อยกว่ามาก ดังนั้นข้อมูลจึงสนับสนุนสมมติฐานที่สองมากกว่า และอัตราส่วนความเป็นไปได้จะบอกเป็นตัวเลขว่า “มากกว่าเท่าไร” จะคำนวณค่าที่แน่นอนในตัวอย่างภายหลังในบทความนี้
Likelihood และ probability ใช้สูตรเดียวกัน แต่ตอบคนละคำถาม:
ความน่าจะเป็นของผลลัพธ์ที่เป็นไปได้ทั้งหมดรวมกันได้ 1 แต่ likelihood ของค่าพารามิเตอร์ที่เป็นไปได้ทั้งหมดไม่ได้รวมกันเป็น 1 นั่นจึงเป็นเหตุผลว่า likelihood ไม่ใช่ความน่าจะเป็นที่สมมติฐานหนึ่งจะเป็นจริง และอัตราส่วนความเป็นไปได้ก็เช่นกัน
อัตราส่วนความเป็นไปได้ทำงานอย่างไร?
อัตราส่วนความเป็นไปได้ทุกแบบทำตาม 5 ขั้นตอนเดียวกัน:
ความหมายของอัตราส่วนขึ้นอยู่กับว่าใส่ likelihood ใดไว้ด้านบน โดยมีสมมติฐาน A อยู่ในตัวเศษ:
อัตราส่วนเท่ากับ 4 หมายความว่าข้อมูลที่สังเกตได้มีความเป็นไปได้ภายใต้ A มากกว่า B อยู่สี่เท่า ไม่ได้หมายความว่า A มีโอกาสเป็นจริงมากกว่าสี่เท่า
ถ้าสลับตัวเศษกับตัวส่วน จะได้ส่วนกลับ อัตราส่วน 4 ที่สนับสนุน A จะกลายเป็น 0.25 ซึ่งบอกความหมายเดียวกันในมุมของ B
ธรรมเนียมแตกต่างกันตามสาขา การทดสอบอัตราส่วนความเป็นไปได้มักใส่สมมติฐานศูนย์ไว้ในตัวเศษ จึงทำให้ค่าที่เล็กเป็นหลักฐานคัดค้านสมมติฐานศูนย์ ขณะที่การใช้งานอีกหลายแบบจะใส่สมมติฐานทางเลือกไว้ด้านบน
ดังนั้นก่อนตีความอัตราส่วนความเป็นไปได้ใดๆ ให้ตรวจว่ามีสมมติฐานใดอยู่ในตัวเศษ
สูตรอัตราส่วนความเป็นไปได้
อัตราส่วนความเป็นไปได้พื้นฐานคือการนำ likelihood หนึ่งของข้อมูลไปหารด้วยอีกอันหนึ่ง:
สูตรอัตราส่วนความเป็นไปได้
แต่ละพจน์หมายถึงอะไรบ้าง:
x: ข้อมูลที่สังเกตได้ เช่น หัว 8 จาก 10 ครั้งtheta_1และtheta_0: ค่าพารามิเตอร์หรือสมมติฐานสองค่าที่ต้องการเปรียบเทียบ เช่น โอกาสออกหัว 0.8 และ 0.5L(theta | x): likelihood ของthetaเมื่อกำหนดข้อมูล เท่ากับความน่าจะเป็นของxเมื่อthetaเป็นพารามิเตอร์จริง หรือเป็นความหนาแน่นสำหรับข้อมูลต่อเนื่องเมื่อการสังเกตเป็นอิสระต่อกัน likelihood จะเป็นผลคูณของความน่าจะเป็นหนึ่งค่าสำหรับแต่ละการสังเกต:
Likelihood เมื่อการสังเกตอิสระต่อกัน
และตรงนี้เองที่ปัญหาเริ่มขึ้น แต่ละปัจจัยมีค่าน้อยกว่า 1 ดังนั้นผลคูณจะเล็กลงอย่างรวดเร็วเมื่อขนาดตัวอย่างเพิ่มขึ้น
ความน่าจะเป็นของลำดับการโยน 1,000 ครั้งแบบเจาะจงภายใต้เหรียญยุติธรรมอยู่ราว 9.3 * 10^-302 ซึ่งใกล้กับจำนวนน้อยที่สุดที่เลขทศนิยมแบบ 64 บิตจะเก็บได้ ที่ 2,000 ครั้ง
0.5 ** 2000ใน Python จะให้ค่า0.0ลอการิทึมช่วยแก้ปัญหานี้ได้ ลอกของผลคูณเท่ากับผลรวมของลอก ดังนั้น log-likelihood จะเปลี่ยนผลคูณของตัวเลขจิ๋วให้เป็นผลรวมของตัวเลขที่จัดการได้:
Log likelihood
อัตราส่วนจะกลายเป็นผลต่าง:
อัตราส่วน log likelihood
ผลรวมยังง่ายต่อการหาอนุพันธ์มากกว่าผลคูณ นี่จึงเป็นเหตุผลที่การประมาณแบบ maximum likelihood ก็ใช้ log-likelihood ด้วย
เวอร์ชันลอกอ่านความหมายเหมือนกับอัตราส่วน เพียงแต่เทียบกับค่า 0 แทนที่จะเป็น 1 ค่า 0 หมายถึงการสนับสนุนเท่ากัน ค่าเป็นบวกเข้าข้าง
theta_1และค่าเป็นลบเข้าข้างtheta_0ตัวอย่างอัตราส่วนความเป็นไปได้
กลับไปที่ตัวอย่างเหรียญก่อนหน้า โยน 10 ครั้ง ได้หัว 8 และก้อย 2
สมมติฐานสองข้อคือ:
สมมติฐาน 0: เหรียญยุติธรรม ดังนั้น
p = 0.5สมมติฐาน 1: เหรียญเอนเอียงไปทางหัว ดังนั้น
p = 0.8จำนวนหัวใน 10 ครั้งมีการแจกแจงแบบไบนอมีอัล ดังนั้น likelihood ของแต่ละสมมติฐานคือ:
ตัวอย่างอัตราส่วนความเป็นไปได้
ภายใต้สมมติฐานเหรียญยุติธรรม:
ตัวอย่างอัตราส่วนความเป็นไปได้
ภายใต้สมมติฐานเหรียญเอนเอียง:
ตัวอย่างอัตราส่วนความเป็นไปได้
อัตราส่วนความเป็นไปได้คือ:
ตัวอย่างอัตราส่วนความเป็นไปได้
สัมประสิทธิ์ไบนอมีอัล 45 ปรากฏในทั้งสอง likelihood จึงตัดทอนกันได้ในอัตราส่วน จะได้ค่า 6.87 เหมือนกันแม้ใช้ความน่าจะเป็นของลำดับการโยนที่ตรงกันทุกประการ
พูดให้เข้าใจง่ายคือ ข้อมูลที่สังเกตได้มีความเป็นไปได้ภายใต้กรณีที่เหรียญออกหัว 80% มากกว่ากรณีเหรียญยุติธรรมประมาณ 6.9 เท่า แค่นั้นเอง
อัตราส่วนนี้ไม่ได้บอกว่าเหรียญมีโอกาสเอนเอียงมากกว่า 6.9 เท่า หากต้องการความน่าจะเป็นที่สมมติฐานใดเป็นจริง ต้องมีความเชื่อก่อนหน้า (prior) สำหรับทั้งสอง ด้วย prior 50/50 อัตราส่วนภายหลัง (posterior odds) จะเป็น 6.87 ต่อ 1 หรือราว 87% สำหรับเหรียญเอนเอียง แต่ค่านั้นขึ้นกับ prior ที่เลือก
การสนับสนุนนี้ยังเป็นแบบสัมพัทธ์ต่อสมมติฐานสองข้อนี้เท่านั้น ค่าตัวอย่างเช่น
p = 0.7ไม่ได้อยู่ในการเปรียบเทียบ ที่นี่ 0.8 ยังบังเอิญเป็นค่าประมาณแบบ maximum likelihood ด้วย เพราะหัวออก 8 จาก 10 ครั้ง จึงไม่มีค่าpอื่นที่ได้รับการสนับสนุนจากข้อมูลนี้มากกว่าLikelihood Ratio Test คืออะไร?
ตัวอย่างเหรียญเปรียบเทียบค่า
pคงที่สองค่า คำถามทางสถิติส่วนใหญ่มักกว้างกว่านั้น เช่น ตัวทำนายเพิ่มเติมสองสามตัวช่วยปรับปรุงแบบจำลองรีเกรสชันหรือไม่Likelihood ratio test (LRT) ตอบคำถามประเภทนี้ โดยเปรียบเทียบแบบจำลองที่ซ้อนกัน (nested) ซึ่งหมายถึงแบบจำลองเล็กเป็นกรณีพิเศษของแบบจำลองใหญ่:
การทดสอบมี 5 ขั้นตอน:
แต่ละแบบจำลองจะประเมินที่ค่าประมาณแบบ maximum likelihood ของตัวเอง ไม่ใช่ที่ค่าพารามิเตอร์ที่กำหนดไว้ล่วงหน้า นี่คือความแตกต่างหลักจากตัวอย่างเหรียญ
อัตราส่วนความเป็นไปได้เปรียบเทียบสมมติฐานใดๆ และให้การสนับสนุนเชิงสัมพัทธ์ แต่ไม่มี p-value และไม่มีข้อสรุปเชิงตัดสินใจ ส่วน LRT นำอัตราส่วนของ likelihood สูงสุดจากแบบจำลองที่ซ้อนกัน แปลงเป็นสถิติทดสอบ และใช้การแจกแจงของมันเพื่อพิจารณาว่าจะปฏิเสธสมมติฐานศูนย์หรือไม่ ทุก LRT ใช้อัตราส่วนความเป็นไปได้ แต่ไม่ใช่อัตราส่วนความเป็นไปได้ทุกอันจะเป็นส่วนหนึ่งของ LRT — อัตราส่วนความเป็นไปในการวินิจฉัยในบทความนี้เป็นตัวอย่างหนึ่ง
สถิติทดสอบของ Likelihood Ratio Test
LRT เริ่มจากอัตราส่วนของ likelihood สูงสุด โดยมีแบบจำกัดอยู่ด้านบน:
สถิติทดสอบอัตราส่วนความเป็นไปได้
ที่นี่
theta_hat_0คือค่าประมาณแบบ maximum likelihood ภายใต้แบบจำกัด และtheta_hatคือค่าประมาณภายใต้แบบเต็ม แบบเต็มมีแบบจำกัดเป็นส่วนหนึ่ง จึงฟิตได้อย่างน้อยเท่ากันเสมอ นั่นหมายความว่าlambdaอยู่ระหว่าง 0 ถึง 1สถิติทดสอบคือ:
สถิติทดสอบอัตราส่วนความเป็นไปได้
การใช้ลอกก็ด้วยเหตุผลเดิม เปลี่ยนอัตราส่วนของตัวเลขจิ๋วให้เป็นผลต่างของ log-likelihood ซึ่งทุกซอฟต์แวร์สถิติมีรายงานให้
ค่า -2 มีสองหน้าที่ เนื่องจาก
lambda <= 1ทำให้ln(lambda)เป็น 0 หรือติดลบ จึงใส่เครื่องหมายลบเพื่อให้เป็นจำนวนบวกที่เพิ่มขึ้นเมื่อแบบเต็มฟิตดีขึ้น ตัวคูณ 2 ปรับสเกลสถิติให้ตามการแจกแจงไคสแควร์ สำหรับ generalized linear models ค่าDเท่ากับผลต่างของ deviance ระหว่างสองแบบจำลอง ซึ่งจึงมักรายงานในรูปนั้นทฤษฎีบทของ Wilks ทำให้การทดสอบใช้งานได้ กล่าวคือ เมื่อสมมติฐานศูนย์เป็นจริงและเงื่อนไขปกติทั่วไปเป็นจริง
Dจะมีการแจกแจงใกล้เคียงไคสแควร์เมื่อขนาดตัวอย่างโตขึ้น พูดง่ายๆ แบบจำลองต้องซ้อนกัน และค่าพารามิเตอร์ภายใต้สมมติฐานศูนย์ต้องไม่อยู่ที่ขอบของพิสัยพารามิเตอร์ ส่วนข้อจำกัดจะกล่าวถึงภายหลังในบทความองศาเสรีภาพ โดยทั่วไปเท่ากับผลต่างของจำนวนพารามิเตอร์อิสระระหว่างสองแบบจำลอง หากแบบเต็มเพิ่มตัวทำนายสองตัว ให้เปรียบเทียบ
Dกับการแจกแจงไคสแควร์ที่มีองศาเสรีภาพ 2ดังนั้นการแจกแจงอ้างอิงเดียวกันนี้ใช้ได้กับโลจิสติกรีเกรสชัน พัวซองรีเกรสชัน และแบบจำลองอื่นๆ ส่วนใหญ่ที่ฟิตด้วย maximum likelihood
วิธีตีความ Likelihood Ratio Test
สมมติว่าต้องการทำนายว่าลูกค้าจะยกเลิกการสมัครสมาชิกหรือไม่ ชุดข้อมูลมีลูกค้า 1,000 ราย และราว 32% เลิกใช้บริการ
ฟิตแบบจำลองโลจิสติกรีเกรสชันสองแบบ:
แบบจำกัด: ทำนายการเลิกใช้จาก
tenure_monthsเพียงตัวเดียว โดยมี log-likelihood เท่ากับ -556.88แบบเต็ม: เพิ่ม
monthly_chargesและsupport_ticketsโดยมี log-likelihood เท่ากับ -515.99แต่ละส่วนของการทดสอบในตัวอย่างนี้มีดังนี้:
สมมติฐานศูนย์: สัมประสิทธิ์ของ
monthly_chargesและsupport_ticketsทั้งคู่เท่ากับ 0 ดังนั้นตัวทำนายเพิ่มเติมไม่ช่วยให้ฟิตดีขึ้นสมมติฐานทางเลือก: อย่างน้อยหนึ่งในสองสัมประสิทธิ์นั้นไม่เท่ากับ 0
สถิติทดสอบ:
D = 2 * (-515.99 - (-556.88)) = 81.78องศาเสรีภาพ: แบบเต็มมีพารามิเตอร์มากกว่า 2 ตัว ดังนั้นการทดสอบใช้ 2 องศาเสรีภาพ
ค่า p-value: ความน่าจะเป็นที่จะได้สถิติมากเท่านี้หรือมากกว่านี้ภายใต้การแจกแจงไคสแควร์ที่มี 2 องศาเสรีภาพ ซึ่งประมาณ
1.7 * 10^-18ค่า p-value นี้ต่ำกว่าค่าขีดมาตรฐานทั่วไปอย่างมาก เช่น 0.05 จึงปฏิเสธสมมติฐานศูนย์ และสรุปได้ว่าข้อมูลให้หลักฐานชัดเจนว่าตัวทำนายเพิ่มเติมช่วยให้ฟิตดีขึ้น
แต่การปฏิเสธสมมติฐานศูนย์ไม่ได้แปลว่าแบบเต็มคือทางเลือกที่ดีกว่าสำหรับการใช้งานของคุณเสมอไป
เมื่อขนาดตัวอย่างใหญ่ แม้การปรับปรุงการฟิตเพียงเล็กน้อยก็ให้ค่า p-value เล็กมาก การทดสอบนี้ไม่ได้บอกว่าขนาดอิทธิพลใหญ่แค่ไหน หรือแบบจำลองทำนายข้อมูลใหม่ได้ดีเพียงใด ตรวจสอบค่าสัมประสิทธิ์และประสิทธิภาพบนข้อมูลที่กันไว้ก่อนตัดสินใจใช้แบบใหญ่กว่า
และค่า p-value ที่ใหญ่ก็ไม่ได้พิสูจน์ว่าตัวทำนายเพิ่มเติมไร้ประโยชน์ เพียงแปลว่าข้อมูลไม่มีหลักฐานเพียงพอที่จะคัดค้านสมมติฐานศูนย์
LRT บอกได้ว่าพารามิเตอร์เพิ่มเติมช่วยให้ฟิตดีขึ้นหรือไม่ ส่วนการตัดสินว่าการปรับปรุงนั้น “มีนัยสำคัญต่อการใช้งาน” หรือไม่ ยังเป็นหน้าที่ของผู้ใช้
Likelihood Ratio Test สำหรับแบบจำลองรีเกรสชัน
จะเห็น LRT บ่อยที่สุดเมื่อเปรียบเทียบแบบจำลองรีเกรสชัน แนวคิดคงเดิมเสมอ — ฟิตแบบจำกัด ฟิตแบบเต็ม และเปรียบเทียบค่า log-likelihood สูงสุดของทั้งคู่
โลจิสติกรีเกรสชัน
โลจิสติกรีเกรสชันเป็นที่ที่เห็น LRT บ่อยที่สุด
ส่วนตีความด้านบนเปรียบเทียบแบบที่มี
tenure_monthsกับแบบที่มีทั้งmonthly_chargesและsupport_ticketsจะก้าวไปอีกขั้นโดยเปรียบเทียบแบบเต็มกับแบบมีแต่จุดตัด (intercept-only) ที่ทำนายความน่าจะเป็นการเลิกใช้เท่ากันสำหรับลูกค้าทุกคนก็ได้จากข้อมูลการเลิกใช้เดียวกัน แบบมีแต่จุดตัดมี log-likelihood เท่ากับ -627.62 และแบบเต็มเท่ากับ -515.99 จึงได้
D = 2 * (-515.99 - (-627.62)) = 223.27ที่ 3 องศาเสรีภาพ หนึ่งต่อหนึ่งตัวทำนาย และค่า p-value ราว 3.9 x 10^-48การทดสอบนี้ถามว่าตัวทำนายทั้งหมดรวมกันอธิบายการเลิกใช้ดีกว่าการไม่มีตัวทำนายเลยหรือไม่ เป็นเวอร์ชันของโลจิสติกรีเกรสชันที่สอดคล้องกับ F-test โดยรวมในรีเกรสชันเชิงเส้น และ statsmodels รายงานไว้ในสรุปแบบจำลองเป็น
LLR p-valueแบบจำลองเชิงเส้นทั่วไป (GLMs)
โลจิสติกรีเกรสชันเป็นหนึ่งในครอบครัวที่ใหญ่กว่าคือ generalized linear models หรือ GLMs ครอบครัวนี้รวมถึงพัวซองรีเกรสชันสำหรับข้อมูลนับ และแกมมารีเกรสชันสำหรับผลลัพธ์ต่อเนื่องบวก เป็นต้น
ทุก GLM รายงานค่า deviance ซึ่งวัดว่าแบบจำลองห่างจากการฟิตที่สมบูรณ์แบบเพียงใด สำหรับ GLM ที่ซ้อนกัน ผลต่างของ deviance เท่ากับสถิติ LRT
Dจึงมักเรียกการทดสอบนี้ว่า analysis of devianceองศาเสรีภาพทำงานเหมือนเดิม คือผลต่างของจำนวนพารามิเตอร์ สำหรับแบบจำลองที่ประมาณค่าพารามิเตอร์การกระจาย (dispersion) เช่น แกมมาหรือ Gaussian GLM มักใช้ F-test บนผลต่าง deviance แทนเวอร์ชันไคสแควร์
แบบจำลองอื่นที่อาศัย likelihood
แบบจำลองใดก็ตามที่ฟิตด้วย maximum likelihood ใช้ LRT ได้ ตราบใดที่แบบจำลองซ้อนกัน ตัวอย่างเช่น:
Likelihood Ratio เทียบกับการทดสอบสถิติที่เกี่ยวข้อง
LRT คล้ายกับการทดสอบ Wald และการทดสอบ score ทั้งสามทดสอบสมมติฐานศูนย์เดียวกัน และมีการแจกแจงไคสแควร์เมื่อขนาดตัวอย่างใหญ่ ความต่างอยู่ที่แบบจำลองที่ฟิตและสิ่งที่วัด
Likelihood ratio test เทียบกับ Wald test
LRT ฟิตทั้งสองแบบและเปรียบเทียบค่า log-likelihood ส่วน Wald ฟิตเฉพาะแบบเต็มและตรวจว่าค่าประมาณห่างจากค่าภายใต้สมมติฐานศูนย์กี่ค่าเบี่ยงเบนมาตรฐาน
สำหรับสัมประสิทธิ์เดี่ยว สถิติ Wald คือค่าประมาณหารด้วยค่าเบี่ยงเบนมาตรฐานของมัน ค่า p-value ในตารางสรุปรีเกรสชันมักมาจากการทดสอบนี้
Wald เร็วกว่าเพราะฟิตแค่แบบเดียว แต่ขึ้นกับการพารามิเตอร์ไรซ์ของแบบจำลอง และในโลจิสติกรีเกรสชันอาจให้ผลไม่ดีเมื่อสัมประสิทธิ์มีค่ามาก เพราะค่าเบี่ยงเบนมาตรฐานโตเร็วกว่าค่าประมาณ LRT ไม่มีปัญหาทั้งสอง จึงปลอดภัยกว่า
Likelihood ratio test เทียบกับ score test
Score test ฟิตเฉพาะแบบจำกัด
มันดูความชันของ log-likelihood ที่ค่าพารามิเตอร์ภายใต้สมมติฐานศูนย์ ถ้าสมมติฐานศูนย์ถูกต้อง ความชันควรใกล้ 0 ความชันสูงหมายถึง likelihood จะเพิ่มขึ้นหากปล่อยให้พารามิเตอร์เหล่านั้นเคลื่อนออกจากค่าศูนย์
สิ่งนี้ทำให้ score test สะดวกเมื่อแบบเต็มแพงหรือฟิตยาก อีกชื่อคือการทดสอบ Lagrange multiplier และมักใช้คัดกรองตัวทำนายก่อนจะเพิ่มเข้าแบบจำลอง
Likelihood ratio test เทียบกับ chi-square test
สถิติ LRT มีการแจกแจงไคสแควร์เมื่อขนาดตัวอย่างใหญ่ แต่นั่นไม่ได้ทำให้ LRT เป็น “การทดสอบไคสแควร์” ในความหมายทั่วไป
“การทดสอบไคสแควร์” เป็นป้ายกว้างๆ สำหรับการทดสอบใดๆ ที่สถิติทดสอบมีการแจกแจงไคสแควร์ ส่วนใหญ่มักหมายถึง การทดสอบไคสแควร์ของเพียร์สันเพื่อความเป็นอิสระ หรือความพอดีในตารางจัดหมวดหมู่
ทั้งสองยังเชื่อมโยงกันอยู่ รุ่นอัตราส่วนความเป็นไปได้ของการทดสอบเพียร์สันเรียกว่า G-test และเปรียบเทียบจำนวนที่สังเกตกับที่คาดโดยใช้ log-likelihood แทนผลต่างกำลังสอง ในตัวอย่างใหญ่ ผลลัพธ์มักใกล้เคียงกัน
ตารางเปรียบเทียบการทดสอบแบบอิงแบบจำลองทั้งสามแบบมีดังนี้:
อัตราส่วนความเป็นไปเปรียบเทียบกับการทดสอบสถิติอื่น
Likelihood Ratio เทียบกับ Odds Ratio
ทั้งสองคำต่างมีคำว่า “ratio” อยู่ และพบได้บ่อยในโลจิสติกรีเกรสชัน ความเหมือนจบลงเท่านั้น
อัตราส่วนความเป็นไปเปรียบเทียบว่าสมมติฐานสองข้ออธิบายข้อมูลที่สังเกตได้ดีเพียงใด ส่วน odds ratio เปรียบเทียบอัตราส่วนโอกาสของผลลัพธ์ระหว่างสองกลุ่มหรือสองเงื่อนไข
Odds คือความน่าจะเป็นของเหตุการณ์หารด้วยความน่าจะเป็นที่มันไม่เกิดขึ้น ความน่าจะเป็นการเลิกใช้ 25% แปลว่า odds เท่ากับ 0.25 / 0.75 หรือ 1 ต่อ 3
ในแบบจำลองการเลิกใช้ก่อนหน้า สัมประสิทธิ์ของ
support_ticketsเท่ากับ 0.456 ยกกำลัง e จะได้ odds ratio ราว 1.58 หมายความว่าแต่ละทิกเก็ตสนับสนุนเพิ่มเติมหนึ่งใบจะคูณ odds ของการเลิกใช้ด้วย 1.58นั่นเป็นข้อความเกี่ยวกับ “ขนาดอิทธิพล” ในข้อมูล ส่วนอัตราส่วนความเป็นไปเป็นข้อความเกี่ยวกับ “หลักฐาน” — แบบจำลองหรือสมมติฐานใดอธิบายข้อมูลชุดเดียวกันได้ดีกว่า และดีกว่าเท่าไร
ดังนั้น odds ratio ตอบว่า “อิทธิพลใหญ่แค่ไหน?” ส่วน likelihood ratio ตอบว่า “ข้อมูลสนับสนุนคำอธิบายใดมากกว่า?”
Likelihood Ratio ในการทดสอบวินิจฉัย
ในทางการแพทย์ “likelihood ratio” มีความหมายที่สอง อธิบายว่าผลทดสอบเปลี่ยนอัตราส่วนโอกาสที่ผู้ป่วยมีภาวะหนึ่งมากน้อยเพียงใด โดยไม่เกี่ยวกับการฟิตแบบจำลองหรือค่า p-value
อัตราส่วนความเป็นไปในการวินิจฉัยมาจากคุณสมบัติสองอย่างของแบบทดสอบ:
สมมติว่าแบบทดสอบหนึ่งมี sensitivity 90% และ specificity 80%
Positive likelihood ratio
อัตราส่วนความเป็นไปด้านบวก หรือ LR+ แสดงว่าผลบวกเกิดขึ้นในผู้ที่มีภาวะบ่อยกว่าผู้ที่ไม่มีภาวะมากเพียงใด:
อัตราส่วนความเป็นไปด้านบวก
สำหรับตัวอย่างนี้คือ 0.9 / 0.2 = 4.5 ผลบวกเกิดในผู้ที่มีภาวะบ่อยกว่า 4.5 เท่า ค่าเกิน 1 ทำให้อัตราส่วนโอกาสของภาวะเพิ่มขึ้น และค่ายิ่งสูง ผลบวกยิ่งให้ข้อมูลมาก
Negative likelihood ratio
อัตราส่วนความเป็นไปด้านลบ หรือ LR- แสดงว่าผลลบเกิดขึ้นในผู้ที่มีภาวะบ่อยเพียงใดเมื่อเทียบกับผู้ที่ไม่มีภาวะ:
อัตราส่วนความเป็นไปด้านลบ
สำหรับตัวอย่างนี้คือ 0.1 / 0.8 = 0.125 ค่าที่ต่ำกว่า 1 ทำให้อัตราส่วนโอกาสของภาวะลดลง และค่ายิ่งใกล้ 0 ผลลบยิ่งให้ข้อมูลมาก
จาก pre-test สู่ post-test odds
อัตราส่วนความเป็นไปในการวินิจฉัยมีประโยชน์เพราะอัปเดตสิ่งที่รู้ก่อนตรวจ:
อัตราส่วนความเป็นไปในการวินิจฉัย
สมมติว่า 10% ของผู้ป่วยประเภทนี้มีภาวะดังกล่าว นั่นคือ pre-test odds เท่ากับ 0.1 / 0.9 หรือประมาณ 0.111
หลังผลบวก odds จะเป็น 0.111 * 4.5 = 0.5 ซึ่งแปลงเป็นความน่าจะเป็นราว 33% หลังผลลบจะเป็น 0.111 * 0.125 = 0.014 หรือราว 1.4%
นี่เป็นส่วนเดียวในบทความที่อัตราส่วนความเป็นไปนำไปสู่ความน่าจะเป็นของสมมติฐานได้ และเป็นไปได้เพราะ pre-test odds ทำหน้าที่เป็น prior
Likelihood Ratio Test ใน Python และ R
ทั้งสองภาษามีทุกอย่างที่ต้องใช้เพื่อรัน LRT ในไม่กี่บรรทัด จะใช้ชุดข้อมูลการเลิกใช้ที่กล่าวถึงก่อนหน้า เพื่อให้ตัวเลขตรงกับส่วนตีความและส่วนรีเกรสชัน
Likelihood ratio test ใน Python
ต้องใช้
numpy,pandas,statsmodelsและscipyเริ่มจากการสร้างชุดข้อมูล:ในชุดข้อมูลนี้ อัตราการเลิกใช้คือ 32.1%
ถัดไป ฟิตแบบจำกัดและแบบเต็มของโลจิสติกรีเกรสชัน คุณสมบัติ
.llfเก็บค่า log-likelihood สูงสุดของแต่ละแบบ:log likelihood ของแบบจำกัดและแบบเต็ม
statsmodels ไม่มีฟังก์ชัน LRT ทั่วไปสำหรับโลจิสติกรีเกรสชัน จึงคำนวณสถิติจาก log-likelihood ทั้งสอง คุณสมบัติ
.df_modelให้จำนวนตัวทำนายในแต่ละแบบ และstats.chi2.sf()คืนค่า p-value:สถิติทดสอบ องศาเสรีภาพ และ p-value
ค่า p-value ต่ำกว่า 0.05 มาก จึงปฏิเสธสมมติฐานศูนย์ ข้อมูลให้หลักฐานชัดเจนว่า
monthly_chargesและsupport_ticketsช่วยให้ฟิตดีกว่าแบบที่มีเพียงtenure_monthsสำหรับการเปรียบเทียบกับแบบมีแต่จุดตัด ไม่ต้องเขียนโค้ดเพิ่ม statsmodels คำนวณไว้ให้ทุกแบบโลจิสติกรีเกรสชัน:
การเปรียบเทียบแบบเต็มกับแบบมีแต่จุดตัด
Likelihood ratio test ใน R
R ใช้ตัวสร้างตัวเลขสุ่มต่างจาก NumPy จึงให้โหลดไฟล์
churn.csvจากตัวอย่าง Python เพื่อใช้ข้อมูลเดียวกัน จากนั้นฟิตทั้งสองแบบด้วยglm()และส่งให้anova():log likelihood และ ratio test ใน R
ค่า
dfข้างๆ แต่ละ log-likelihood คือจำนวนพารามิเตอร์ที่ประมาณ รวมจุดตัด แบบเต็มมีมากกว่า 2 ตรงกับคอลัมน์Dfในตารางanova()คอลัมน์
Devianceแสดงค่า 81.778 ซึ่งเป็นสถิติ LR เดียวกับใน Python นี่คือ analysis of deviance จากส่วน GLM — การลดลงของ residual deviance จาก 1113.8 เป็น 1032.0 คือสถิติทดสอบR พิมพ์ p-value เป็น
< 2.2e-16เพราะเป็นค่าต่ำสุดที่แสดงโดยปริยาย ไม่ใช่ต่างจากผล Python ไม่ว่ากรณีใด บทสรุปเหมือนกัน คือตัวทำนายเพิ่มเติมช่วยให้ฟิตดีขึ้นหากต้องการฟังก์ชันเฉพาะ
lrtest()จากแพ็กเกจlmtestรันการเปรียบเทียบเดียวกันได้ด้วยlrtest(reduced_model, full_model)ข้อสมมติและข้อจำกัดของ Likelihood Ratio Test
LRT ทำงานได้ดีในบริบทที่กล่าวมา แต่ผลแบบไคสแควร์ขึ้นกับเงื่อนไขบางอย่าง
แบบจำลองต้องซ้อนกัน (nested)
LRT มาตรฐานเปรียบเทียบเฉพาะแบบจำลองที่ซ้อนกัน โดยแบบจำกัดเป็นกรณีพิเศษของแบบเต็ม
หากต้องการเปรียบเทียบโลจิสติกกับโปรบิต หรือสองแบบจำลองที่มีตัวทำนายต่างกัน ไม่มีแบบใดเป็นกรณีพิเศษของอีกแบบ การแจกแจงไคสแควร์จึงใช้ไม่ได้ ให้ใช้เกณฑ์สารสนเทศอย่าง AIC และ BIC หรือการทดสอบ Vuong สำหรับแบบจำลองที่ไม่ซ้อนกันแทน
ทั้งสองแบบต้องประมาณด้วย maximum likelihood
การทดสอบเปรียบเทียบ likelihood สูงสุด จึงต้องฟิตทั้งสองแบบด้วย maximum likelihood บนข้อมูลชุดเดียวกัน
มีสองเรื่องที่พลาดได้บ่อย โมเดลผสมที่ฟิตด้วย REML ซึ่งเป็นค่าเริ่มต้นในหลายแพ็กเกจ ไม่สามารถเปรียบเทียบด้วย LRT ได้เมื่อแตกต่างกันที่อิทธิพลคงที่ — จึงต้องฟิตด้วย maximum likelihood ก่อน และแบบจำลองที่มีการลงโทษ เช่น lasso หรือ ridge ไม่ได้เพิ่มพูน likelihood โดยตรง จึงใช้การทดสอบมาตรฐานไม่ได้
แบบจำลองยังต้องใช้การสังเกตชุดเดียวกัน หากตัวทำนายหนึ่งมีค่าว่าง แบบเต็มอาจตัดแถวทิ้ง และสองค่า log-likelihood จะเปรียบเทียบกันไม่ได้อีก
ผลไคสแควร์เป็นเชิงอสมมาตร (asymptotic)
ทฤษฎีบทของ Wilks เป็นผลเมื่อขนาดตัวอย่างใหญ่ และต้องอาศัยเงื่อนไขปกติทั่วไป ซึ่งโดยง่ายหมายความว่า likelihood เรียบ ค่าพารามิเตอร์ระบุได้ และค่าพารามิเตอร์จริงอยู่ภายในพิสัยที่อนุญาต ไม่ใช่ที่ขอบ
เมื่อเงื่อนไขเหล่านี้เป็นจริง การแจกแจงไคสแควร์เป็นการประมาณที่ดีสำหรับตัวอย่างใหญ่ แต่ก็ยังเป็น “การประมาณ”
ตัวอย่างเล็ก
เมื่อขนาดตัวอย่างเล็ก สถิติ LRT อาจไม่ตามการแจกแจงไคสแควร์ และค่า p-value อาจเล็กหรือใหญ่เกินจริง
มีทางเลือกอยู่บ้าง การบูตสแตรปแบบพารามิเตอร์จะจำลองชุดข้อมูลใหม่จากแบบจำกัดและสร้างการแจกแจงของสถิติ สำหรับกรณีง่ายๆ เช่น ตารางจัดหมวดหมู่ การทดสอบแบบ exact เลี่ยงการประมาณนี้ได้
พารามิเตอร์อยู่ที่ขอบพิสัย
สมมติฐานศูนย์บางข้อวางพารามิเตอร์ไว้ที่ขอบของพิสัยที่อนุญาต ตัวอย่างพบบ่อยคือทดสอบว่าวาเรียนซ์ของอิทธิพลสุ่มในโมเดลผสมเท่ากับ 0 หรือไม่ เพราะวาเรียนซ์ติดลบไม่ได้
กรณีนี้สถิติไม่ตามการแจกแจงไคสแควร์ปกติ สำหรับองค์ประกอบวาเรียนซ์เดี่ยว จะตามการผสม 50:50 ของไคสแควร์ที่ 0 และ 1 องศาเสรีภาพ ทำให้ค่า p-value มาตรฐานประมาณสองเท่าของที่ควรจะเป็น การทดสอบมาตรฐานจึงอนุรักษนิยมในกรณีนี้ นั่นคือพลาดตรวจพบอิทธิพลจริงบ่อยขึ้น
การทดสอบจำนวนองค์ประกอบในแบบจำลองผสม (mixture) ก็มีปัญหาคล้ายกัน เมื่อเปรียบเทียบแบบหนึ่งองค์ประกอบกับสอง เงื่อนไขปกติล้มเหลว และการประมาณไคสแควร์ใช้ไม่ได้เลย
การระบุแบบจำลองผิด (misspecification)
LRT ถือว่าแบบเต็มถูกต้อง หากทั้งสองแบบจำลองกำหนดการแจกแจงข้อมูลผิด เช่น ใช้พัวซองกับข้อมูลนับที่มีความแปรปรวนมากกว่าค่าเฉลี่ยมากๆ สถิติจะไม่ตามไคสแควร์แม้ในตัวอย่างใหญ่
ตรวจสอบความฟิตของแบบเต็มก่อนเชื่อผลการทดสอบ สำหรับข้อมูลนับที่กระจายเกิน (overdispersed) โมเดลเนกาทีฟไบนอมีอัลหรือ quasi-likelihood F-test มักดีกว่า
ดังนั้นการประมาณแบบไคสแควร์เป็นค่าเริ่มต้น ไม่ใช่การรับประกัน และใช้ได้เฉพาะเมื่อการตั้งค่าตรงตามเงื่อนไขเบื้องหลังทฤษฎีบทของ Wilks
สรุป
อัตราส่วนความเป็นไปเปรียบเทียบว่าสมมติฐานหรือแบบจำลองสองแบบอธิบายข้อมูลที่สังเกตได้ชุดเดียวกันได้ดีเพียงใด นั่นคือแนวคิดทั้งหมด และทุกอย่างที่เหลือในบทความนี้ต่อยอดจากจุดนั้น
Likelihood ratio test ทำให้แนวคิดนั้นเป็นกระบวนการทางการ ฟิตแบบจำลองที่ซ้อนกันสองแบบ เปรียบเทียบค่า log-likelihood สูงสุด และใช้การแจกแจงไคสแควร์เพื่อหา p-value มักเห็นบ่อยสุดในโลจิสติกรีเกรสชันและ GLM อื่นๆ และทั้ง statsmodels และ R รันได้ในไม่กี่บรรทัด
แต่อย่าลืมความหมายของตัวเลข อัตราส่วนความเป็นไปแสดงการสนับสนุนเชิงสัมพัทธ์ของสมมติฐานหนึ่งเหนืออีกสมมติฐาน ไม่ใช่ความน่าจะเป็นที่สมมติฐานใดจะเป็นจริง หากต้องการค่านั้น ต้องมี prior odds เช่นในการทดสอบวินิจฉัย
หากต้องการเรียนรู้ต่อไป ขั้นต่อไปคือองค์ประกอบพื้นฐานของการทดสอบ: ตัว likelihood เอง การประมาณค่าแบบ maximum likelihood และการเปรียบเทียบระหว่างการทดสอบ Wald และ การทดสอบสมมติฐาน อื่นๆ กับ LRT