Likelihood Ratio: सांख्यिकीय साक्ष्य का एक महत्वपूर्ण मापक
Likelihood ratio यह तुलना करता है कि दो परिकल्पनाएँ या मॉडल एक ही डेटा को कितना अच्छी तरह समझाते हैं। यह लेख सूत्र, सिक्का-उछाल का एक हल किया उदाहरण, Python और R में nested रिग्रेशन मॉडलों के लिए likelihood ratio परीक्षण, और डायग्नोस्टिक likelihood ratios को कवर करता है।
क्या आपने रिग्रेशन आउटपुट या किसी अध्ययन में "likelihood ratio" शब्द देखा है और समझ नहीं पाए कि यह आपको क्या बताता है?
आप अकेले नहीं हैं। यह शब्द परिकल्पना परीक्षण, मॉडल तुलना, वर्गीकरण, और डायग्नोस्टिक परीक्षण में अक्सर दिखता है, और हर क्षेत्र इसे थोड़ा अलग ढंग से इस्तेमाल करता है। अधिकांश व्याख्याएँ भी इस बात पर आने से पहले कि likelihood क्या है, एक टेस्ट सांख्यिक और chi-square वितरण से शुरू हो जाती हैं। नतीजतन, आपके पास एक संख्या तो होती है जिसे आप गणना कर सकते हैं, पर समझा नहीं सकते।
संक्षेप में, likelihood यह दिखाता है कि कोई पैरामीटर मान या सांख्यिकीय मॉडल आपके देखे गए डेटा को कितना अच्छी तरह समझाता है। Likelihood ratio एक likelihood को दूसरे से भाग देता है, ताकि आप देख सकें कि दो परिकल्पनाओं में से किसे डेटा से अधिक समर्थन मिलता है, और कितना।
इस लेख में, मैं आपको मूल विचार और सूत्र, likelihood ratio परीक्षण व इसकी व्याख्या, और वास्तविक उपयोग में likelihood ratios कहाँ दिखते हैं—सब पर ले चलूँगा।
Likelihood ratio एक परिकल्पना के अंतर्गत देखे गए डेटा की likelihood को दूसरी परिकल्पना के अंतर्गत उसी डेटा की likelihood से भाग देने पर मिलता है। ये दो परिकल्पनाएँ दो पैरामीटर मान भी हो सकती हैं या दो पूर्ण सांख्यिकीय मॉडल भी।
यह जिस प्रश्न का उत्तर देता है, वह है कि कौन-सी व्याख्या डेटा को बेहतर ढंग से समझाती है—न कि डेटा संभव है या नहीं।
यह एक महत्वपूर्ण फर्क है। 20 सिक्का उछालों के किसी भी खास अनुक्रम की प्रायिकता एक निष्पक्ष सिक्के के तहत लगभग दस लाख में एक होती है, इसलिए अकेले छोटा likelihood ज्यादा नहीं बताता। इसका अर्थ तभी है जब आप इसे दूसरे likelihood के साथ रखें।
मान लीजिए आप 10 बार सिक्का उछालते हैं और 8 बार हेड आता है। एक परिकल्पना कहती है कि सिक्का निष्पक्ष है, हेड की प्रायिकता 0.5 है। दूसरी कहती है कि यह पक्षपाती है, हेड की प्रायिकता 0.8 है।
दोनों परिकल्पनाएँ 8 हेड दे सकती हैं, पर पक्षपाती सिक्का वह परिणाम कहीं अधिक बार देता है। इसलिए डेटा दूसरी परिकल्पना को अधिक समर्थन देता है, और likelihood ratio यह बताता है कि कितने गुना अधिक। मैं इस लेख में आगे उदाहरण भाग में सटीक मान निकालूँगा।
Likelihood और probability एक ही सूत्र का उपयोग करते हैं, पर अलग प्रश्नों का उत्तर देते हैं:
Probability: पैरामीटर को स्थिर रखकर अलग-अलग परिणामों की प्रायिकता पूछती है—जैसे एक निष्पक्ष सिक्के से 10 उछालों में 8 हेड आने की संभावना
Likelihood: देखे गए डेटा को स्थिर रखकर अलग-अलग पैरामीटर मानों की उपयुक्तता पूछती है—जैसे 10 उछालों में 8 हेड को 0.5 बनाम 0.8 हेड-प्रायिकता कितना अच्छी तरह समझाती है
सभी संभावित परिणामों पर प्रायिकताएँ जोड़कर 1 बनती हैं, लेकिन सभी संभावित पैरामीटर मानों पर likelihoods का योग 1 नहीं होता। इसलिए likelihood किसी परिकल्पना के सत्य होने की प्रायिकता नहीं है, और न ही likelihood ratio।
Likelihood Ratio कैसे काम करता है?
हर likelihood ratio पाँच समान चरणों का पालन करता है:
डेटा देखें: वह नमूना इकठ्ठा करें जिसे आप समझाना चाहते हैं, जैसे 10 उछालों में 8 हेड
पहली likelihood की गणना करें: परिकल्पना A के तहत देखे हुए डेटा की प्रायिकता निकालें
दूसरी likelihood की गणना करें: यही काम परिकल्पना B के तहत करें
भाग दें: एक likelihood को अंश में और दूसरी को हर में रखें
अनुपात की व्याख्या करें: देखें कि डेटा किस परिकल्पना का अधिक समर्थन करते हैं, और कितना
अनुपात का अर्थ इस पर निर्भर करता है कि ऊपर कौन-सा likelihood है। यदि अंश में परिकल्पना A है:
अनुपात 1 से ऊपर: डेटा A के तहत अधिक संभाव्य हैं, इसलिए A को अधिक समर्थन मिलता है
अनुपात 1 से नीचे: डेटा B के तहत अधिक संभाव्य हैं, इसलिए B को अधिक समर्थन मिलता है
अनुपात 1 के बराबर: दोनों परिकल्पनाएँ डेटा को समान रूप से समझाती हैं, और डेटा किसी एक के पक्ष में नहीं हैं
4 का अनुपात मतलब यह नहीं कि A चार गुना सच होने की संभावना रखता है—बल्कि यह कि देखे गए डेटा A के तहत B की तुलना में चार गुना अधिक संभाव्य हैं।
यदि आप अंश और हर बदल दें, तो व्युत्क्रम मिलेगा। A के पक्ष में 4 का अनुपात B की ओर से 0.25 बन जाता है—अर्थ वही रहता है।
विभिन्न क्षेत्रों में परंपराएँ अलग हैं। Likelihood ratio परीक्षण में अक्सर शून्य परिकल्पना अंश में रखी जाती है, ताकि छोटे मान उसके विरुद्ध साक्ष्य माने जाएँ, जबकि अन्य कई अनुप्रयोगों में वैकल्पिक परिकल्पना ऊपर रखी जाती है।
इसलिए किसी भी likelihood ratio की व्याख्या करने से पहले देखें कि अंश में कौन-सी परिकल्पना है।
Likelihood Ratio सूत्र
मूल likelihood ratio डेटा की एक likelihood को दूसरी से भाग देता है:
Likelihood ratio सूत्र
यहाँ हर पद का अर्थ:
x: देखे गए डेटा, जैसे 10 उछालों में 8 हेड
theta_1 और theta_0: वे दो पैरामीटर मान या परिकल्पनाएँ जिन्हें आप तुलना करना चाहते हैं, जैसे हेड की प्रायिकता 0.8 और 0.5
L(theta | x): डेटा के दिए होने पर theta की likelihood, जो तब x की प्रायिकता के बराबर होती है जब theta सत्य पैरामीटर हो, या सतत डेटा के लिए उसका घनत्व
स्वतंत्र प्रेक्षणों के साथ, likelihood प्रत्येक प्रेक्षण की एक-एक प्रायिकता के गुणनफल के रूप में होती है:
स्वतंत्र प्रेक्षणों के साथ likelihood
और समस्याएँ यहीं से शुरू होती हैं। हर गुणनखंड 1 से कम होता है, इसलिए नमूना बढ़ने पर गुणनफल तेजी से घटता है।
एक निष्पक्ष सिक्के के तहत 1,000 उछालों के किसी विशिष्ट अनुक्रम की प्रायिकता लगभग 9.3 * 10^-302 है, जो 64-बिट फ्लोट में संग्रहीत होने वाली सबसे छोटी संख्याओं के करीब है। 2,000 उछालों पर, Python में 0.5 ** 20000.0 लौटाता है।
लॉगारिद्म इसका उपाय हैं। गुणनफल का लॉग, लॉग्स के योग के बराबर होता है, इसलिए log-likelihood बेहद छोटी संख्याओं के गुणनफल को प्रबंधनीय संख्याओं के योग में बदल देता है:
Log likelihood
अनुपात अंतर में बदल जाता है:
Log likelihood ratio
योगों का अवकलन गुणनफलों की अपेक्षा सरल होता है, यही कारण है कि अधिकतम likelihood आकलन में भी log-likelihood उपयोगी है।
लॉग संस्करण की पढ़ाई अनुपात जैसी ही है—बस 1 की जगह 0 के आसपास। 0 का मान समान समर्थन दर्शाता है, धनात्मक मान theta_1 के पक्ष में, और ऋणात्मक मान theta_0 के पक्ष में।
Likelihood Ratio उदाहरण
वापस उसी सिक्के पर चलते हैं। आप इसे 10 बार उछालते हैं और 8 हेड व 2 टेल्स पाते हैं।
दो परिकल्पनाएँ हैं:
परिकल्पना 0: सिक्का निष्पक्ष है, इसलिए p = 0.5
परिकल्पना 1: सिक्का हेड की ओर पक्षपाती है, इसलिए p = 0.8
10 उछालों में हेड्स की संख्या बायनोमियल वितरण का पालन करती है, इसलिए प्रत्येक परिकल्पना की likelihood है:
Likelihood ratio उदाहरण
निष्पक्ष सिक्के की परिकल्पना के तहत:
Likelihood ratio उदाहरण
पक्षपाती सिक्के की परिकल्पना के तहत:
Likelihood ratio उदाहरण
Likelihood ratio है:
Likelihood ratio उदाहरण
बायनोमियल गुणांक 45 दोनों likelihoods में आता है, इसलिए वह अनुपात में कट जाता है। आपको उछालों के सटीक अनुक्रम की प्रायिकता से भी यही 6.87 मिलेगा।
सरल भाषा में, देखे गए डेटा इस स्थिति में—जब सिक्का 80% बार हेड आता है—निष्पक्ष होने की तुलना में लगभग 6.9 गुना अधिक संभाव्य हैं। बस इतना ही।
यह अनुपात यह नहीं कहता कि सिक्का 6.9 गुना अधिक पक्षपाती होने की संभावना रखता है। किसी परिकल्पना के सत्य होने की प्रायिकता पाने के लिए आपको दोनों के पूर्व-प्रायिकताएँ चाहिए। 50/50 पूर्व-अनुपात के साथ, पश्च-अनुपात 6.87 से 1 होगा, या पक्षपाती सिक्के के लिए लगभग 87%—पर वह संख्या आपके चुने पूर्व पर निर्भर है।
समर्थन केवल इन दो परिकल्पनाओं के सापेक्ष है। जैसे p = 0.7 तुलना का हिस्सा नहीं था। यहाँ 0.8 संयोगवश अधिकतम likelihood अनुमान भी है, क्योंकि 10 में से 8 उछाल हेड आए—इस डेटा से p का कोई और मान अधिक समर्थन नहीं पाता।
Likelihood Ratio Test क्या है?
सिक्का उदाहरण में हमने p के दो स्थिर मानों की तुलना की। सांख्यिकी में अधिकांश प्रश्न व्यापक होते हैं—जैसे क्या कुछ अतिरिक्त प्रेडिक्टर्स रिग्रेशन मॉडल को बेहतर बनाते हैं।
Likelihood ratio परीक्षण ऐसे ही प्रश्नों का उत्तर देता है। यह दो nested मॉडलों की तुलना करता है, यानी छोटा मॉडल बड़े का विशेष मामला होता है:
Restricted मॉडल: शून्य परिकल्पना का प्रतिनिधित्व, कुछ पैरामीटर स्थिर, आमतौर पर 0 पर
Full मॉडल: वैकल्पिक परिकल्पना का प्रतिनिधित्व, वे पैरामीटर किसी भी मान को लेने के लिए स्वतंत्र
परीक्षण के पाँच चरण होते हैं:
Restricted मॉडल फिट करें: उसकी likelihood को अधिकतम करने वाले पैरामीटर मान खोजें
Full मॉडल फिट करें: अतिरिक्त पैरामीटरों सहित यही करें
अधिकतम likelihoods की तुलना करें: उनका अनुपात लें, या उनके log-likelihoods का अंतर
टेस्ट सांख्यिक निकालें: उस तुलना को किसी ज्ञात वितरण वाले संख्या में बदलें
p-value पाएँ: देखें कि शून्य परिकल्पना सत्य होने पर यह सांख्यिक कितना चरम है
हर मॉडल का आकलन उसके अधिकतम likelihood अनुमान पर होता है, न कि किसी पूर्व-चुने पैरामीटर मान पर। यही सिक्का उदाहरण से मुख्य भिन्नता है।
Likelihood ratio किसी भी दो परिकल्पनाओं की तुलना कर सापेक्ष समर्थन देता है, पर p-value या निर्णय नहीं देता। LRT nested मॉडलों के अधिकतम likelihoods का अनुपात लेता है, उसे टेस्ट सांख्यिक में बदलता है, और उसके वितरण से तय करता है कि शून्य परिकल्पना को अस्वीकार करना है या नहीं। हर LRT likelihood ratio का उपयोग करता है, पर हर likelihood ratio LRT का हिस्सा नहीं—इस लेख में बाद के डायग्नोस्टिक likelihood ratios इसका एक उदाहरण हैं।
Likelihood Ratio Test सांख्यिक
LRT अधिकतम likelihoods के अनुपात से शुरू होता है, जिसमें restricted मॉडल ऊपर होता है:
Likelihood ratio टेस्ट सांख्यिक
यहाँ theta_hat_0 restricted मॉडल के तहत अधिकतम likelihood अनुमान है, और theta_hat full मॉडल के तहत। Full मॉडल में restricted शामिल है, इसलिए उसका फिट कम से कम उतना अच्छा होगा ही। इसका अर्थ lambda 0 और 1 के बीच होता है।
टेस्ट सांख्यिक है:
Likelihood ratio टेस्ट सांख्यिक
लॉगारिद्म वही वजह से हैं—छोटी संख्याओं के अनुपात को log-likelihoods के अंतर में बदलना, जिसे हर सांख्यिकीय पैकेज रिपोर्ट करता है।
-2 की दो भूमिकाएँ हैं। चूँकि lambda <= 1, ln(lambda) 0 या ऋणात्मक होता है, इसलिए माइनस चिह्न इसे धनात्मक बनाता है जो full मॉडल के बेहतर फिट के साथ बढ़ता है। 2 का गुणांक सांख्यिक को इस तरह स्केल करता है कि वह chi-square वितरण का अनुसरण करे। Generalized linear models के लिए, D दो मॉडलों के deviance के अंतर के बराबर होता है—इसीलिए इसे अक्सर deviance अंतर के रूप में रिपोर्ट किया जाता है।
Wilks का प्रमेय परीक्षण को वैध बनाता है। यह कहता है कि जब शून्य परिकल्पना सत्य है और सामान्य नियमितता शर्तें लागू हैं, तो नमूना आकार बढ़ने पर D लगभग chi-square वितरण का अनुसरण करता है। सरल शब्दों में, मॉडल nested होने चाहिए और शून्य पैरामीटर मान अनुमत सीमा के किनारे पर नहीं होने चाहिए। इस लेख के आगे सीमाएँ अनुभाग में बताया गया है कि शर्तें टूटने पर क्या होता है।
Degrees of freedom सामान्यतः दोनों मॉडलों के मुक्त पैरामीटरों की संख्या के अंतर के बराबर होते हैं। यदि full मॉडल दो प्रेडिक्टर्स जोड़ता है, तो आप D की तुलना 2 degrees of freedom वाले chi-square से करते हैं।
इस प्रकार वही संदर्भ वितरण लॉजिस्टिक रिग्रेशन, पॉइसन रिग्रेशन और अधिकतम likelihood से फिट अधिकांश अन्य मॉडलों के लिए काम करता है।
Likelihood Ratio Test की व्याख्या कैसे करें
मान लीजिए आप यह पूर्वानुमान लगाना चाहते हैं कि कोई ग्राहक सब्सक्रिप्शन रद्द करता है या नहीं। डाटासेट में 1,000 ग्राहक हैं और लगभग 32% ने चर्न किया।
आप दो लॉजिस्टिक रिग्रेशन मॉडल फिट करते हैं:
Restricted मॉडल: tenure_months से ही churn की भविष्यवाणी करता है, log-likelihood -556.88
Full मॉडल: monthly_charges और support_tickets जोड़ता है, log-likelihood -515.99
इस उदाहरण में परीक्षण का हर भाग ऐसे लागू होता है:
शून्य परिकल्पना: monthly_charges और support_tickets के गुणांक दोनों 0 हैं—अतिरिक्त प्रेडिक्टर्स फिट में सुधार नहीं करते
वैकल्पिक परिकल्पना: इन दो में से कम से कम एक गुणांक 0 नहीं है
Degrees of freedom: Full मॉडल में दो और पैरामीटर हैं, इसलिए परीक्षण 2 degrees of freedom का उपयोग करता है
P-value: 2 degrees of freedom वाले chi-square में इतना या इससे बड़ा सांख्यिक देखने की प्रायिकता, जो लगभग 1.7 * 10^-18 है
यह p-value किसी भी सामान्य सीमा, जैसे 0.05, से बहुत नीचे है। आप शून्य परिकल्पना को अस्वीकार करते हैं और निष्कर्ष निकालते हैं कि डेटा मजबूत साक्ष्य देते हैं कि अतिरिक्त प्रेडिक्टर्स फिट में सुधार करते हैं।
लेकिन शून्य को अस्वीकार करना यह सिद्ध नहीं करता कि full मॉडल आपके उपयोग के लिए बेहतर विकल्प है।
बड़े नमूनों में, फिट में बहुत छोटे सुधार भी छोटे p-values देते हैं। परीक्षण आपको प्रभावों के आकार या नए डेटा पर मॉडल की भविष्यवाणी क्षमता नहीं बताता। बड़ा मॉडल रखने से पहले गुणांकों और होल्ड-आउट डेटा पर प्रदर्शन की जाँच करें।
और बड़ा p-value यह सिद्ध नहीं करता कि अतिरिक्त प्रेडिक्टर्स बेकार हैं—यह केवल बताता है कि डेटा शून्य परिकल्पना के विरुद्ध पर्याप्त साक्ष्य नहीं देते।
LRT आपको बताता है कि क्या अतिरिक्त पैरामीटर फिट में सुधार करते हैं—और यह तय करना कि वह सुधार मायने रखता है या नहीं, अब भी आपका काम है।
रिग्रेशन मॉडलों के लिए Likelihood Ratio Tests
आप LRT को अक्सर रिग्रेशन मॉडलों की तुलना करते समय देखेंगे। विचार हमेशा समान रहता है—restricted मॉडल फिट करें, full मॉडल फिट करें, और उनके अधिकतम log-likelihoods की तुलना करें।
लॉजिस्टिक रिग्रेशन
लॉजिस्टिक रिग्रेशन LRT देखने की सबसे आम जगह है।
व्याख्या अनुभाग में tenure_months वाले मॉडल की तुलना उस मॉडल से की गई थी जिसमें monthly_charges और support_tickets भी हैं। आप एक कदम आगे बढ़कर full मॉडल की तुलना केवल इंटरसेप्ट वाले मॉडल से कर सकते हैं, जो हर ग्राहक के लिए समान churn प्रायिकता की भविष्यवाणी करता है।
उसी churn डेटा पर, इंटरसेप्ट-ओनली मॉडल का log-likelihood -627.62 है, और full मॉडल का -515.99। इससे D = 2 * (-515.99 - (-627.62)) = 223.27 मिलता है, 3 degrees of freedom के साथ—हर प्रेडिक्टर के लिए एक—और p-value लगभग 3.9 x 10^-48।
यह परीक्षण पूछता है कि क्या प्रेडिक्टर्स, समग्र रूप से, बिना किसी प्रेडिक्टर के मुकाबले churn को बेहतर समझाते हैं। यह रैखिक रिग्रेशन में समग्र F-परीक्षण का लॉजिस्टिक संस्करण है, और statsmodels इसे मॉडल सारांश में LLR p-value के रूप में रिपोर्ट करता है।
Generalized linear models
लॉजिस्टिक रिग्रेशन generalized linear models (GLMs) नामक बड़े परिवार का एक सदस्य है। इस परिवार में काउंट्स के लिए पॉइसन रिग्रेशन और धनात्मक सतत आउटकम के लिए गामा रिग्रेशन आदि शामिल हैं।
हर GLM एक deviance रिपोर्ट करता है, जो मॉडल के परफेक्ट फिट से दूरी मापता है। दो nested GLMs के लिए, उनके deviance का अंतर LRT सांख्यिक D के बराबर होता है—इसीलिए परीक्षण को अक्सर analysis of deviance कहा जाता है।
Degrees of freedom पहले की तरह ही काम करते हैं—पैरामीटरों की संख्या के अंतर के रूप में। Dispersion पैरामीटर का अनुमान लगाने वाले मॉडलों, जैसे गामा या गॉसियन GLMs, के लिए, chi-square के बजाय deviance अंतर पर F-परीक्षण का उपयोग प्रायः किया जाता है।
अन्य likelihood-आधारित मॉडल
कोई भी मॉडल जो अधिकतम likelihood से फिट होता है, nested होने पर LRT का उपयोग कर सकता है। उदाहरण:
Mixed-effects मॉडल: किसी fixed effect के साथ/बिना मॉडलों की तुलना करें, REML के बजाय maximum likelihood से फिट करके
Survival मॉडल: जाँचें कि कोई covariate Cox proportional hazards मॉडल (partial likelihood) में सुधार करता है या नहीं
Time series मॉडल: अलग-अलग क्रम के ARIMA मॉडलों की तुलना
Genetics: जीनों के बीच लिंकज का परीक्षण, जहाँ LOD स्कोर base-10 log likelihood ratios होते हैं
Likelihood Ratio बनाम संबंधित सांख्यिकीय परीक्षण
LRT, Wald परीक्षण और score परीक्षण के समान है। तीनों एक ही शून्य परिकल्पना का परीक्षण करते हैं और बड़े नमूनों में chi-square वितरण का अनुसरण करते हैं। फर्क इस बात में है कि आप कौन-से मॉडल फिट करते हैं और क्या नापते हैं।
Likelihood ratio test बनाम Wald test
LRT दोनों मॉडल फिट करके उनके log-likelihoods की तुलना करता है। Wald परीक्षण केवल full मॉडल फिट करके हर अनुमान की उसके शून्य मान से दूरी (standard errors में) जाँचता है।
एकल गुणांक के लिए, Wald सांख्यिक अनुमान को उसके standard error से भाग देकर मिलता है। रिग्रेशन सारांश तालिका में p-values सामान्यतः इसी परीक्षण से आते हैं।
Wald परीक्षण तेज है, क्योंकि केवल एक मॉडल फिट करना होता है। पर यह मॉडल के पैरामीट्राइज़ेशन पर निर्भर करता है, और लॉजिस्टिक रिग्रेशन में बहुत बड़े गुणांकों पर खराब बर्ताव कर सकता है, क्योंकि standard error अनुमान से तेज़ी से बढ़ता है। LRT में ये समस्याएँ नहीं हैं—इसलिए यह अधिक सुरक्षित विकल्प है।
Likelihood ratio test बनाम score test
Score परीक्षण केवल restricted मॉडल फिट करता है।
यह शून्य पैरामीटर मानों पर log-likelihood की ढाल देखता है। यदि शून्य परिकल्पना सही है, तो ढाल 0 के करीब होनी चाहिए। तीखी ढाल का मतलब है कि यदि उन पैरामीटरों को शून्य से हटने दें तो likelihood बढ़ेगी।
यह score परीक्षण को तब उपयोगी बनाता है जब full मॉडल महँगा या कठिन फिट हो। इसे Lagrange multiplier परीक्षण भी कहते हैं, और इसे अक्सर नए प्रेडिक्टर्स की स्क्रीनिंग के लिए उपयोग किया जाता है।
Likelihood ratio test बनाम chi-square test
LRT सांख्यिक बड़े नमूनों में chi-square वितरण का अनुसरण करता है, पर इससे LRT सामान्य अर्थ में "chi-square test" नहीं हो जाता।
"Chi-square test" एक व्यापक लेबल है किसी भी ऐसे परीक्षण के लिए जिसका सांख्यिक chi-square वितरण का अनुसरण करता है। अधिकतर समय, लोग इसका प्रयोग Pearson के chi-square परीक्षण के लिए करते हैं—कंटिन्जेंसी टेबल में स्वतंत्रता या goodness of fit के लिए।
दोनों जुड़े हुए हैं। Pearson के परीक्षण का likelihood ratio संस्करण G-test कहलाता है, और यह प्रेक्षित व अपेक्षित काउंट्स की तुलना वर्गांतरों के बजाय log-likelihoods से करता है। बड़े नमूनों में दोनों समान परिणाम देते हैं।
यहाँ तीन मॉडल-आधारित परीक्षणों की तुलना है:
Wald test
Likelihood ratio test
Score test
आप कौन-से मॉडल फिट करते हैं
सिर्फ full
restricted और full
सिर्फ restricted
यह क्या मापता है
अनुमान की शून्य मान से दूरी, standard errors में
अधिकतम log-likelihoods के बीच का अंतर
शून्य मानों पर log-likelihood की ढाल
यह कहाँ दिखता है
रिग्रेशन सारांशों में गुणांकों के p-values
nested मॉडल तुलना और analysis of deviance
नए प्रेडिक्टर्स की स्क्रीनिंग, कठिन-से-फिट मॉडल
कमज़ोर कड़ी
पैरामीट्राइज़ेशन पर निर्भर, बहुत बड़े अनुमानों पर अविश्वसनीय
दोनों मॉडल फिट करने पड़ते हैं
केवल शून्य मानों के पास की जानकारी का उपयोग
बड़े-नमूने का वितरण
Chi-square
Chi-square
Chi-square
अन्य सांख्यिकीय परीक्षणों की तुलना में likelihood ratio
Likelihood Ratio बनाम Odds Ratio
दोनों शब्दों में "ratio" आता है और दोनों लॉजिस्टिक रिग्रेशन में आम हैं—समानता यहीं तक है।
Likelihood ratio दो परिकल्पनाओं की डेटा-व्याख्या क्षमता की तुलना करता है। Odds ratio किसी परिणाम की odds की तुलना दो समूहों या स्थितियों में करता है।
Odds किसी घटना की प्रायिकता को उसके न होने की प्रायिकता से भाग देने पर मिलती है। 25% churn प्रायिकता का अर्थ है 0.25 / 0.75, यानी 1 से 3 की odds।
पहले वाले churn मॉडल में, support_tickets का गुणांक 0.456 है। इसका घातांक लगभग 1.58 का odds ratio देता है, यानी हर अतिरिक्त सपोर्ट टिकट churn की odds को 1.58 गुना कर देता है।
यह डेटा में एक प्रभाव के बारे में कथन है। Likelihood ratio साक्ष्य के बारे में कथन है—एक परिकल्पना या मॉडल, उसी डेटा को दूसरी की तुलना में कितना बेहतर समझाता है।
तो odds ratio उत्तर देता है "प्रभाव कितना बड़ा है?", और likelihood ratio उत्तर देता है "डेटा किस व्याख्या का अधिक समर्थन करते हैं?"
डायग्नोस्टिक परीक्षणों में Likelihood Ratios
चिकित्सा में, "likelihood ratio" का दूसरा अर्थ है। यह बताता है कि किसी परीक्षण के परिणाम से किसी मरीज़ में स्थिति होने की odds कितनी बदलती है—और इसमें न मॉडल फिटिंग शामिल है, न p-values।
डायग्नोस्टिक likelihood ratios किसी परीक्षण की दो विशेषताओं से आते हैं:
Sensitivity: स्थिति वाले लोगों में से सकारात्मक आने वालों का हिस्सा
Specificity: स्थिति न होने वाले लोगों में से नकारात्मक आने वालों का हिस्सा
मान लीजिए किसी परीक्षण की sensitivity 90% और specificity 80% है।
Positive likelihood ratio
Positive likelihood ratio, या LR+, यह दिखाता है कि स्थिति वाले लोगों में पॉजिटिव परिणाम बिना स्थिति वालों की तुलना में कितनी गुना अधिक संभाव्य है:
Positive likelihood ratio
इस उदाहरण में, यह 0.9 / 0.2 = 4.5 है। पॉजिटिव परिणाम स्थिति वाले व्यक्ति में 4.5 गुना अधिक संभाव्य है। 1 से ऊपर के मान स्थिति की odds बढ़ाते हैं—और जितना अधिक मान, उतनी अधिक जानकारी पॉजिटिव परिणाम देता है।
Negative likelihood ratio
Negative likelihood ratio, या LR-, यह दिखाता है कि स्थिति वाले लोगों में नेगेटिव परिणाम, बिना स्थिति वालों की तुलना में कितना संभाव्य है:
Negative likelihood ratio
इस उदाहरण में, यह 0.1 / 0.8 = 0.125 है। 1 से कम मान स्थिति की odds घटाते हैं—और जितना 0 के करीब, उतनी अधिक जानकारी नेगेटिव परिणाम देता है।
Pre-test से post-test odds तक
डायग्नोस्टिक likelihood ratios उपयोगी हैं क्योंकि वे परीक्षण से पहले की आपकी जानकारी को अपडेट करते हैं:
डायग्नोस्टिक likelihood ratio
मान लें ऐसे मरीज़ों में 10% को यह स्थिति है। यह pre-test odds 0.1 / 0.9, यानी लगभग 0.111 है।
पॉजिटिव परिणाम के बाद odds 0.111 * 4.5 = 0.5 हो जाते हैं—जो लगभग 33% प्रायिकता है। नेगेटिव परिणाम के बाद वे 0.111 * 0.125 = 0.014 हो जाते हैं—लगभग 1.4%।
यह इस लेख का एकमात्र स्थान है जहाँ likelihood ratio किसी परिकल्पना की प्रायिकता तक ले जाता है—और यह केवल इसलिए संभव है क्योंकि pre-test odds पूर्व-प्रायिकता उपलब्ध कराते हैं।
Python और R में Likelihood Ratio Tests
दोनों भाषाओं में LRT चलाने के लिए सब कुछ है—कुछ ही पंक्तियों में। मैं पहले बताए churn डाटासेट का उपयोग करूँगा ताकि संख्याएँ व्याख्या और रिग्रेशन अनुभागों से मेल खाएँ।
Python में likelihood ratio test
आपको numpy, pandas, statsmodels, और scipy की ज़रूरत होगी। डाटासेट जेनरेट करने से शुरू करें:
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from scipy import stats
# Generate a synthetic customer churn dataset
rng = np.random.default_rng(42)
n_customers =1000
churn = pd.DataFrame({"tenure_months": rng.integers(1,73, n_customers),"monthly_charges": rng.uniform(20,120, n_customers).round(2),"support_tickets": rng.poisson(1.5, n_customers),})# Churn gets less likely with tenure and more likely with charges and tickets
log_odds =(-0.5-0.04* churn["tenure_months"]+0.01* churn["monthly_charges"]+0.25* churn["support_tickets"])
churn["churned"]= rng.binomial(1,1/(1+ np.exp(-log_odds)))# Save the data so you can load the same dataset in R
churn.to_csv("churn.csv", index=False)संचालित द्वारा
इस डाटासेट में churn अनुपात 32.1% है।
अगला, restricted और full लॉजिस्टिक रिग्रेशन मॉडल फिट करें। .llf एट्रिब्यूट में प्रत्येक का अधिकतम log-likelihood होता है:
# Fit the restricted and full models
reduced_model = smf.logit("churned ~ tenure_months", data=churn).fit(disp=0)
full_model = smf.logit("churned ~ tenure_months + monthly_charges + support_tickets",
data=churn,).fit(disp=0)# Get the maximized log-likelihoodsprint(f"Restricted model log-likelihood: {reduced_model.llf:.2f}")print(f"Full model log-likelihood: {full_model.llf:.2f}")संचालित द्वारा
Restricted और full मॉडल के log-likelihood
statsmodels में लॉजिस्टिक रिग्रेशन के लिए कोई सामान्य LRT फ़ंक्शन नहीं है, इसलिए आप यह सांख्यिक दो log-likelihoods से निकालते हैं। .df_model एट्रिब्यूट प्रत्येक मॉडल में प्रेडिक्टर्स की संख्या देता है, और stats.chi2.sf() p-value लौटाता है:
lr_stat =2*(full_model.llf - reduced_model.llf)
df_diff = full_model.df_model - reduced_model.df_model
p_value = stats.chi2.sf(lr_stat, df_diff)print(f"LR statistic: {lr_stat:.2f}")print(f"Degrees of freedom: {df_diff:.0f}")print(f"P-value: {p_value:.1e}")संचालित द्वारा
टेस्ट सांख्यिक, degrees of freedom, और p-value
p-value 0.05 से काफी कम है, इसलिए आप शून्य परिकल्पना को अस्वीकार करते हैं। डेटा मजबूत साक्ष्य देते हैं कि monthly_charges और support_tickets, केवल tenure_months वाले मॉडल की तुलना में, फिट में सुधार करते हैं।
इंटरसेप्ट-ओनली मॉडल के विरुद्ध तुलना के लिए आपको कोई अतिरिक्त कोड नहीं चाहिए—statsmodels हर लॉजिस्टिक रिग्रेशन मॉडल के लिए इसे गणना करता है:
print(f"Intercept-only log-likelihood: {full_model.llnull:.2f}")print(f"LR statistic: {full_model.llr:.2f}")print(f"P-value: {full_model.llr_pvalue:.1e}")संचालित द्वारा
Full मॉडल की इंटरसेप्ट-ओनली मॉडल से तुलना
R में likelihood ratio test
R, NumPy वाला ही रैंडम नंबर जनरेटर उपयोग नहीं करता, इसलिए समान डेटा पर काम करने के लिए Python उदाहरण से churn.csv लोड करें। फिर glm() से दोनों मॉडल फिट करें और anova() को पास करें:
# Load the churn dataset saved from Python
churn <- read.csv("churn.csv")# Fit the restricted and full models
reduced_model <- glm(churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
churned ~ tenure_months + monthly_charges + support_tickets,
data = churn,
family = binomial
)# Check the maximized log-likelihoods
logLik(reduced_model)
logLik(full_model)# Run the likelihood ratio test
anova(reduced_model, full_model, test ="Chisq")संचालित द्वारा
R में log-likelihoods और ratio परीक्षण
df मान, जो हर log-likelihood के पास दिखते हैं, अनुमानित पैरामीटरों (इंटरसेप्ट सहित) की संख्या हैं। Full मॉडल में दो अधिक हैं—जो anova() तालिका के Df कॉलम से मेल खाते हैं।
Deviance कॉलम 81.778 दिखाता है—वही LR सांख्यिक जो आपको Python में मिला। यह GLM अनुभाग में बताई analysis of deviance का ही उदाहरण है—residual deviance का 1113.8 से 1032.0 तक गिरना ही टेस्ट सांख्यिक है।
R p-value को < 2.2e-16 के रूप में इसलिए प्रिंट करता है क्योंकि यह डिफ़ॉल्ट रूप से दिखाया जाने वाला सबसे छोटा मान है—Python परिणाम से भिन्न होने के कारण नहीं। किसी भी तरह निष्कर्ष वही है—अतिरिक्त प्रेडिक्टर्स फिट में सुधार करते हैं।
यदि आप समर्पित फ़ंक्शन पसंद करते हैं, तो lmtest पैकेज का lrtest() वही तुलना lrtest(reduced_model, full_model) से चलाता है।
Likelihood Ratio Tests की मान्यताएँ और सीमाएँ
LRT अब तक कवर सेटिंग्स में अच्छा काम करता है, पर इसका chi-square परिणाम कुछ शर्तों पर निर्भर करता है।
मॉडल nested होने चाहिए
मानक LRT केवल nested मॉडलों की तुलना करता है, जहाँ restricted मॉडल full का विशेष मामला होता है।
यदि आप लॉजिस्टिक रिग्रेशन की तुलना प्रोबिट मॉडल से करना चाहते हैं, या दो मॉडलों में प्रेडिक्टर्स अलग हैं, तो कोई भी दूसरे का विशेष मामला नहीं है। वहाँ chi-square वितरण लागू नहीं होता। इसके बजाय AIC और BIC जैसे सूचना मानदंड, या non-nested मॉडलों के लिए Vuong परीक्षण का उपयोग करें।
दोनों मॉडल maximum likelihood estimates पर हों
परीक्षण अधिकतम likelihoods की तुलना करता है, इसलिए दोनों मॉडलों को एक ही डेटा पर maximum likelihood से फिट होना चाहिए।
यहाँ दो आम गड़बड़ियाँ हो सकती हैं। REML से फिट mixed-effects मॉडल—जो कई पैकेजों में डिफ़ॉल्ट है—जब fixed effects में फ़र्क हो तो LRT से तुलना योग्य नहीं होते—पहले उन्हें maximum likelihood से फिर से फिट करें। और lasso या ridge रिग्रेशन जैसे दंडित मॉडल स्वयं likelihood को अधिकतम नहीं करते—इसलिए उन पर सामान्य परीक्षण लागू नहीं होता।
मॉडलों को वही प्रेक्षण भी चाहिए। यदि किसी प्रेडिक्टर में missing मान हैं, तो full मॉडल पंक्तियाँ गिरा सकता है—और दोनों log-likelihoods तुलना योग्य नहीं रहते।
Chi-square परिणाम आसिम्प्टोटिक है
Wilks का प्रमेय बड़े नमूने का परिणाम है। यह नियमितता शर्तों के तहत लागू होता है—सरल शब्दों में, likelihood स्मूथ हो, पैरामीटर पहचाने जा सकें, और सत्य पैरामीटर मान अनुमत सीमा के भीतर हों, किनारे पर नहीं।
जब ये शर्तें सत्य हों, तो बड़े नमूनों में chi-square वितरण अच्छा अनुप्रयोग है—पर फिर भी यह एक अनुप्रयोग ही है।
छोटे नमूने
छोटे नमूनों में LRT सांख्यिक chi-square वितरण का पालन न करे—p-values बहुत छोटे या बहुत बड़े हो सकते हैं।
आपके पास कुछ विकल्प हैं। पैरामीट्रिक बूटस्ट्रैप restricted मॉडल से नए डाटासेट सिम्युलेट करके सांख्यिक का वितरण बनाता है। सरल मामलों, जैसे कंटिन्जेंसी टेबल्स, में exact परीक्षण अनुमान से बचते हैं।
सीमा पर पैरामीटर
कुछ शून्य परिकल्पनाएँ पैरामीटर को उसकी अनुमत सीमा के किनारे पर रखती हैं। सबसे आम उदाहरण mixed मॉडल में किसी random-effect variance का 0 होना है—क्योंकि variance नकारात्मक नहीं हो सकता।
ऐसे में सांख्यिक सामान्य chi-square का अनुसरण नहीं करता। एकल variance घटक के लिए यह 0 और 1 degrees of freedom वाले chi-square के 50:50 मिश्रण का अनुसरण करता है—इसलिए मानक p-value वास्तविक से लगभग दोगुनी होती है। मानक परीक्षण यहाँ रूढ़िवादी है—यानी वास्तविक प्रभावों को अधिक बार चूकता है।
मिश्रण मॉडल में घटकों की संख्या का परीक्षण भी इसी तरह की समस्या देता है। एक बनाम दो घटकों की तुलना में नियमितता शर्तें विफल होती हैं, और chi-square अनुप्रयोग बिल्कुल नहीं चलता।
मॉडल मिसस्पेसिफिकेशन
LRT मानता है कि full मॉडल सही है। यदि दोनों मॉडल डेटा के वितरण को गलत लेते हैं—जैसे बहुत अधिक वैरिएंस वाले काउंट्स के लिए पॉइसन मॉडल—तो सांख्यिक बड़े नमूनों में भी chi-square का अनुसरण नहीं करेगा।
टेस्ट पर भरोसा करने से पहले अपने full मॉडल का फिट जाँचें। Overdispersed काउंट्स के लिए, नेगेटिव बायनोमियल मॉडल या quasi-likelihood F-परीक्षण प्रायः बेहतर होता है।
तो chi-square अनुप्रयोग डिफ़ॉल्ट है, गारंटी नहीं—और यह तभी लागू होता है जब सेटअप Wilks के प्रमेय की शर्तों से मेल खाता हो।
निष्कर्ष
Likelihood ratio यह तुलना करता है कि दो परिकल्पनाएँ या मॉडल एक ही देखे गए डेटा को कितना अच्छी तरह समझाते हैं। यही पूरी अवधारणा है—और इस लेख की बाकी सारी बातें उसी पर आधारित हैं।
Likelihood ratio परीक्षण उस विचार को औपचारिक प्रक्रिया बनाता है। यह दो nested मॉडल फिट करता है, उनके अधिकतम log-likelihoods की तुलना करता है, और chi-square वितरण से p-value निकालता है। आप इसे अक्सर लॉजिस्टिक रिग्रेशन और अन्य GLMs में देखेंगे—और statsmodels व R दोनों इसे कुछ पंक्तियों में चलाते हैं।
पर याद रखें कि संख्या का अर्थ क्या है। Likelihood ratio किसी एक परिकल्पना के दूसरे पर सापेक्ष समर्थन को दर्शाता है—न कि किसी के सत्य होने की प्रायिकता। वह पाने के लिए आपको पूर्व odds चाहिए—जैसे डायग्नोस्टिक परीक्षण में।
यदि आप और आगे बढ़ना चाहते हैं, तो अगला कदम है परीक्षण के निर्माण-खण्ड: स्वयं likelihood, maximum likelihood estimation, और कैसे Wald परीक्षण व अन्य hypothesis tests LRT से तुलना करते हैं।
क्रोएशिया में स्थित सीनियर डेटा साइंटिस्ट। 700 से अधिक प्रकाशित लेखों के साथ टॉप टेक राइटर, जिनसे 10M+ व्यूज़ प्राप्त हुए। Machine Learning Automation with TPOT के पुस्तक लेखक।
FAQs
सरल शब्दों में likelihood ratio क्या है?⌄
Likelihood ratio एक परिकल्पना के तहत देखे गए डेटा की likelihood को दूसरी परिकल्पना के तहत उसी डेटा की likelihood से भाग देने पर मिलता है। 1 से ऊपर का मान दर्शाता है कि डेटा अंश में रखी परिकल्पना का अधिक समर्थन करते हैं; 1 से नीचे का मान दर्शाता है कि वे हर वाली परिकल्पना का अधिक समर्थन करते हैं। यह दो व्याख्याओं के बीच सापेक्ष साक्ष्य दिखाता है, न कि किसी एक के सत्य होने की प्रायिकता।
Likelihood और probability में क्या अंतर है?⌄
Probability पैरामीटर को स्थिर रखकर अलग-अलग परिणामों की प्रायिकता पूछती है। Likelihood देखे गए डेटा को स्थिर रखकर पूछती है कि अलग-अलग पैरामीटर मान उन्हें कितना अच्छी तरह समझाते हैं। दोनों एक ही सूत्र का उपयोग करते हैं, लेकिन सभी संभावित पैरामीटर मानों पर likelihoods का योग 1 नहीं होता—इसलिए likelihood किसी परिकल्पना की प्रायिकता नहीं है।
मुझे likelihood ratio test कब उपयोग करना चाहिए?⌄
जब आप जानना चाहें कि कोई अधिक जटिल मॉडल, सरल मॉडल की तुलना में डेटा को बेहतर फिट करता है या नहीं—और सरल मॉडल, जटिल का विशेष मामला हो—तब उपयोग करें। सबसे आम उदाहरण है यह जाँचना कि क्या अतिरिक्त प्रेडिक्टर्स लॉजिस्टिक रिग्रेशन या किसी अन्य GLM में सुधार करते हैं। मॉडलों को एक ही प्रेक्षणों पर maximum likelihood से फिट होना चाहिए।
Likelihood ratio test सांख्यिक को -2 से क्यों गुणा किया जाता है?⌄
Restricted से full अधिकतम likelihood के अनुपात का मान 0 और 1 के बीच होता है, इसलिए उसका लॉग 0 या ऋणात्मक होता है। माइनस चिह्न इसे धनात्मक संख्या बनाता है जो full मॉडल के बेहतर फिट के साथ बढ़ती है। 2 का गुणांक सांख्यिक को इस तरह स्केल करता है कि वह बड़े नमूनों में लगभग chi-square वितरण का अनुसरण करे—यही Wilks का प्रमेय दिखाता है।
क्या मैं non-nested मॉडलों की तुलना के लिए likelihood ratio test उपयोग कर सकता/सकती हूँ?⌄
मानक संस्करण नहीं। जब कोई मॉडल दूसरे का विशेष मामला नहीं होता—जैसे लॉजिस्टिक बनाम प्रोबिट मॉडल—तो सांख्यिक chi-square वितरण का अनुसरण नहीं करता, और p-value वैध नहीं होती। इसके बजाय AIC और BIC जैसे सूचना मानदंड, या non-nested तुलना के लिए बने Vuong परीक्षण का उपयोग करें।
क्या आपने रिग्रेशन आउटपुट या किसी अध्ययन में "likelihood ratio" शब्द देखा है और समझ नहीं पाए कि यह आपको क्या बताता है?
आप अकेले नहीं हैं। यह शब्द परिकल्पना परीक्षण, मॉडल तुलना, वर्गीकरण, और डायग्नोस्टिक परीक्षण में अक्सर दिखता है, और हर क्षेत्र इसे थोड़ा अलग ढंग से इस्तेमाल करता है। अधिकांश व्याख्याएँ भी इस बात पर आने से पहले कि likelihood क्या है, एक टेस्ट सांख्यिक और chi-square वितरण से शुरू हो जाती हैं। नतीजतन, आपके पास एक संख्या तो होती है जिसे आप गणना कर सकते हैं, पर समझा नहीं सकते।
संक्षेप में, likelihood यह दिखाता है कि कोई पैरामीटर मान या सांख्यिकीय मॉडल आपके देखे गए डेटा को कितना अच्छी तरह समझाता है। Likelihood ratio एक likelihood को दूसरे से भाग देता है, ताकि आप देख सकें कि दो परिकल्पनाओं में से किसे डेटा से अधिक समर्थन मिलता है, और कितना।
इस लेख में, मैं आपको मूल विचार और सूत्र, likelihood ratio परीक्षण व इसकी व्याख्या, और वास्तविक उपयोग में likelihood ratios कहाँ दिखते हैं—सब पर ले चलूँगा।
सांख्यिकी की झलक चाहिए? हमारे Probability and Statistics कोर्स ब्राउज़ करें और अपने लिए उपयुक्त कोर्स पाएँ।
Likelihood Ratio क्या है?
Likelihood ratio एक परिकल्पना के अंतर्गत देखे गए डेटा की likelihood को दूसरी परिकल्पना के अंतर्गत उसी डेटा की likelihood से भाग देने पर मिलता है। ये दो परिकल्पनाएँ दो पैरामीटर मान भी हो सकती हैं या दो पूर्ण सांख्यिकीय मॉडल भी।
यह जिस प्रश्न का उत्तर देता है, वह है कि कौन-सी व्याख्या डेटा को बेहतर ढंग से समझाती है—न कि डेटा संभव है या नहीं।
यह एक महत्वपूर्ण फर्क है। 20 सिक्का उछालों के किसी भी खास अनुक्रम की प्रायिकता एक निष्पक्ष सिक्के के तहत लगभग दस लाख में एक होती है, इसलिए अकेले छोटा likelihood ज्यादा नहीं बताता। इसका अर्थ तभी है जब आप इसे दूसरे likelihood के साथ रखें।
मान लीजिए आप 10 बार सिक्का उछालते हैं और 8 बार हेड आता है। एक परिकल्पना कहती है कि सिक्का निष्पक्ष है, हेड की प्रायिकता 0.5 है। दूसरी कहती है कि यह पक्षपाती है, हेड की प्रायिकता 0.8 है।
दोनों परिकल्पनाएँ 8 हेड दे सकती हैं, पर पक्षपाती सिक्का वह परिणाम कहीं अधिक बार देता है। इसलिए डेटा दूसरी परिकल्पना को अधिक समर्थन देता है, और likelihood ratio यह बताता है कि कितने गुना अधिक। मैं इस लेख में आगे उदाहरण भाग में सटीक मान निकालूँगा।
Likelihood और probability एक ही सूत्र का उपयोग करते हैं, पर अलग प्रश्नों का उत्तर देते हैं:
सभी संभावित परिणामों पर प्रायिकताएँ जोड़कर 1 बनती हैं, लेकिन सभी संभावित पैरामीटर मानों पर likelihoods का योग 1 नहीं होता। इसलिए likelihood किसी परिकल्पना के सत्य होने की प्रायिकता नहीं है, और न ही likelihood ratio।
Likelihood Ratio कैसे काम करता है?
हर likelihood ratio पाँच समान चरणों का पालन करता है:
अनुपात का अर्थ इस पर निर्भर करता है कि ऊपर कौन-सा likelihood है। यदि अंश में परिकल्पना A है:
4 का अनुपात मतलब यह नहीं कि A चार गुना सच होने की संभावना रखता है—बल्कि यह कि देखे गए डेटा A के तहत B की तुलना में चार गुना अधिक संभाव्य हैं।
यदि आप अंश और हर बदल दें, तो व्युत्क्रम मिलेगा। A के पक्ष में 4 का अनुपात B की ओर से 0.25 बन जाता है—अर्थ वही रहता है।
विभिन्न क्षेत्रों में परंपराएँ अलग हैं। Likelihood ratio परीक्षण में अक्सर शून्य परिकल्पना अंश में रखी जाती है, ताकि छोटे मान उसके विरुद्ध साक्ष्य माने जाएँ, जबकि अन्य कई अनुप्रयोगों में वैकल्पिक परिकल्पना ऊपर रखी जाती है।
इसलिए किसी भी likelihood ratio की व्याख्या करने से पहले देखें कि अंश में कौन-सी परिकल्पना है।
Likelihood Ratio सूत्र
मूल likelihood ratio डेटा की एक likelihood को दूसरी से भाग देता है:
Likelihood ratio सूत्र
यहाँ हर पद का अर्थ:
x: देखे गए डेटा, जैसे 10 उछालों में 8 हेडtheta_1औरtheta_0: वे दो पैरामीटर मान या परिकल्पनाएँ जिन्हें आप तुलना करना चाहते हैं, जैसे हेड की प्रायिकता 0.8 और 0.5L(theta | x): डेटा के दिए होने परthetaकी likelihood, जो तबxकी प्रायिकता के बराबर होती है जबthetaसत्य पैरामीटर हो, या सतत डेटा के लिए उसका घनत्वस्वतंत्र प्रेक्षणों के साथ, likelihood प्रत्येक प्रेक्षण की एक-एक प्रायिकता के गुणनफल के रूप में होती है:
स्वतंत्र प्रेक्षणों के साथ likelihood
और समस्याएँ यहीं से शुरू होती हैं। हर गुणनखंड 1 से कम होता है, इसलिए नमूना बढ़ने पर गुणनफल तेजी से घटता है।
एक निष्पक्ष सिक्के के तहत 1,000 उछालों के किसी विशिष्ट अनुक्रम की प्रायिकता लगभग 9.3 * 10^-302 है, जो 64-बिट फ्लोट में संग्रहीत होने वाली सबसे छोटी संख्याओं के करीब है। 2,000 उछालों पर, Python में
0.5 ** 20000.0लौटाता है।लॉगारिद्म इसका उपाय हैं। गुणनफल का लॉग, लॉग्स के योग के बराबर होता है, इसलिए log-likelihood बेहद छोटी संख्याओं के गुणनफल को प्रबंधनीय संख्याओं के योग में बदल देता है:
Log likelihood
अनुपात अंतर में बदल जाता है:
Log likelihood ratio
योगों का अवकलन गुणनफलों की अपेक्षा सरल होता है, यही कारण है कि अधिकतम likelihood आकलन में भी log-likelihood उपयोगी है।
लॉग संस्करण की पढ़ाई अनुपात जैसी ही है—बस 1 की जगह 0 के आसपास। 0 का मान समान समर्थन दर्शाता है, धनात्मक मान
theta_1के पक्ष में, और ऋणात्मक मानtheta_0के पक्ष में।Likelihood Ratio उदाहरण
वापस उसी सिक्के पर चलते हैं। आप इसे 10 बार उछालते हैं और 8 हेड व 2 टेल्स पाते हैं।
दो परिकल्पनाएँ हैं:
परिकल्पना 0: सिक्का निष्पक्ष है, इसलिए
p = 0.5परिकल्पना 1: सिक्का हेड की ओर पक्षपाती है, इसलिए
p = 0.810 उछालों में हेड्स की संख्या बायनोमियल वितरण का पालन करती है, इसलिए प्रत्येक परिकल्पना की likelihood है:
Likelihood ratio उदाहरण
निष्पक्ष सिक्के की परिकल्पना के तहत:
Likelihood ratio उदाहरण
पक्षपाती सिक्के की परिकल्पना के तहत:
Likelihood ratio उदाहरण
Likelihood ratio है:
Likelihood ratio उदाहरण
बायनोमियल गुणांक 45 दोनों likelihoods में आता है, इसलिए वह अनुपात में कट जाता है। आपको उछालों के सटीक अनुक्रम की प्रायिकता से भी यही 6.87 मिलेगा।
सरल भाषा में, देखे गए डेटा इस स्थिति में—जब सिक्का 80% बार हेड आता है—निष्पक्ष होने की तुलना में लगभग 6.9 गुना अधिक संभाव्य हैं। बस इतना ही।
यह अनुपात यह नहीं कहता कि सिक्का 6.9 गुना अधिक पक्षपाती होने की संभावना रखता है। किसी परिकल्पना के सत्य होने की प्रायिकता पाने के लिए आपको दोनों के पूर्व-प्रायिकताएँ चाहिए। 50/50 पूर्व-अनुपात के साथ, पश्च-अनुपात 6.87 से 1 होगा, या पक्षपाती सिक्के के लिए लगभग 87%—पर वह संख्या आपके चुने पूर्व पर निर्भर है।
समर्थन केवल इन दो परिकल्पनाओं के सापेक्ष है। जैसे
p = 0.7तुलना का हिस्सा नहीं था। यहाँ 0.8 संयोगवश अधिकतम likelihood अनुमान भी है, क्योंकि 10 में से 8 उछाल हेड आए—इस डेटा सेpका कोई और मान अधिक समर्थन नहीं पाता।Likelihood Ratio Test क्या है?
सिक्का उदाहरण में हमने
pके दो स्थिर मानों की तुलना की। सांख्यिकी में अधिकांश प्रश्न व्यापक होते हैं—जैसे क्या कुछ अतिरिक्त प्रेडिक्टर्स रिग्रेशन मॉडल को बेहतर बनाते हैं।Likelihood ratio परीक्षण ऐसे ही प्रश्नों का उत्तर देता है। यह दो nested मॉडलों की तुलना करता है, यानी छोटा मॉडल बड़े का विशेष मामला होता है:
परीक्षण के पाँच चरण होते हैं:
हर मॉडल का आकलन उसके अधिकतम likelihood अनुमान पर होता है, न कि किसी पूर्व-चुने पैरामीटर मान पर। यही सिक्का उदाहरण से मुख्य भिन्नता है।
Likelihood ratio किसी भी दो परिकल्पनाओं की तुलना कर सापेक्ष समर्थन देता है, पर p-value या निर्णय नहीं देता। LRT nested मॉडलों के अधिकतम likelihoods का अनुपात लेता है, उसे टेस्ट सांख्यिक में बदलता है, और उसके वितरण से तय करता है कि शून्य परिकल्पना को अस्वीकार करना है या नहीं। हर LRT likelihood ratio का उपयोग करता है, पर हर likelihood ratio LRT का हिस्सा नहीं—इस लेख में बाद के डायग्नोस्टिक likelihood ratios इसका एक उदाहरण हैं।
Likelihood Ratio Test सांख्यिक
LRT अधिकतम likelihoods के अनुपात से शुरू होता है, जिसमें restricted मॉडल ऊपर होता है:
Likelihood ratio टेस्ट सांख्यिक
यहाँ
theta_hat_0restricted मॉडल के तहत अधिकतम likelihood अनुमान है, औरtheta_hatfull मॉडल के तहत। Full मॉडल में restricted शामिल है, इसलिए उसका फिट कम से कम उतना अच्छा होगा ही। इसका अर्थlambda0 और 1 के बीच होता है।टेस्ट सांख्यिक है:
Likelihood ratio टेस्ट सांख्यिक
लॉगारिद्म वही वजह से हैं—छोटी संख्याओं के अनुपात को log-likelihoods के अंतर में बदलना, जिसे हर सांख्यिकीय पैकेज रिपोर्ट करता है।
-2 की दो भूमिकाएँ हैं। चूँकि
lambda <= 1,ln(lambda)0 या ऋणात्मक होता है, इसलिए माइनस चिह्न इसे धनात्मक बनाता है जो full मॉडल के बेहतर फिट के साथ बढ़ता है। 2 का गुणांक सांख्यिक को इस तरह स्केल करता है कि वह chi-square वितरण का अनुसरण करे। Generalized linear models के लिए,Dदो मॉडलों के deviance के अंतर के बराबर होता है—इसीलिए इसे अक्सर deviance अंतर के रूप में रिपोर्ट किया जाता है।Wilks का प्रमेय परीक्षण को वैध बनाता है। यह कहता है कि जब शून्य परिकल्पना सत्य है और सामान्य नियमितता शर्तें लागू हैं, तो नमूना आकार बढ़ने पर
Dलगभग chi-square वितरण का अनुसरण करता है। सरल शब्दों में, मॉडल nested होने चाहिए और शून्य पैरामीटर मान अनुमत सीमा के किनारे पर नहीं होने चाहिए। इस लेख के आगे सीमाएँ अनुभाग में बताया गया है कि शर्तें टूटने पर क्या होता है।Degrees of freedom सामान्यतः दोनों मॉडलों के मुक्त पैरामीटरों की संख्या के अंतर के बराबर होते हैं। यदि full मॉडल दो प्रेडिक्टर्स जोड़ता है, तो आप
Dकी तुलना 2 degrees of freedom वाले chi-square से करते हैं।इस प्रकार वही संदर्भ वितरण लॉजिस्टिक रिग्रेशन, पॉइसन रिग्रेशन और अधिकतम likelihood से फिट अधिकांश अन्य मॉडलों के लिए काम करता है।
Likelihood Ratio Test की व्याख्या कैसे करें
मान लीजिए आप यह पूर्वानुमान लगाना चाहते हैं कि कोई ग्राहक सब्सक्रिप्शन रद्द करता है या नहीं। डाटासेट में 1,000 ग्राहक हैं और लगभग 32% ने चर्न किया।
आप दो लॉजिस्टिक रिग्रेशन मॉडल फिट करते हैं:
Restricted मॉडल:
tenure_monthsसे ही churn की भविष्यवाणी करता है, log-likelihood -556.88Full मॉडल:
monthly_chargesऔरsupport_ticketsजोड़ता है, log-likelihood -515.99इस उदाहरण में परीक्षण का हर भाग ऐसे लागू होता है:
शून्य परिकल्पना:
monthly_chargesऔरsupport_ticketsके गुणांक दोनों 0 हैं—अतिरिक्त प्रेडिक्टर्स फिट में सुधार नहीं करतेवैकल्पिक परिकल्पना: इन दो में से कम से कम एक गुणांक 0 नहीं है
टेस्ट सांख्यिक:
D = 2 * (-515.99 - (-556.88)) = 81.78Degrees of freedom: Full मॉडल में दो और पैरामीटर हैं, इसलिए परीक्षण 2 degrees of freedom का उपयोग करता है
P-value: 2 degrees of freedom वाले chi-square में इतना या इससे बड़ा सांख्यिक देखने की प्रायिकता, जो लगभग
1.7 * 10^-18हैयह p-value किसी भी सामान्य सीमा, जैसे 0.05, से बहुत नीचे है। आप शून्य परिकल्पना को अस्वीकार करते हैं और निष्कर्ष निकालते हैं कि डेटा मजबूत साक्ष्य देते हैं कि अतिरिक्त प्रेडिक्टर्स फिट में सुधार करते हैं।
लेकिन शून्य को अस्वीकार करना यह सिद्ध नहीं करता कि full मॉडल आपके उपयोग के लिए बेहतर विकल्प है।
बड़े नमूनों में, फिट में बहुत छोटे सुधार भी छोटे p-values देते हैं। परीक्षण आपको प्रभावों के आकार या नए डेटा पर मॉडल की भविष्यवाणी क्षमता नहीं बताता। बड़ा मॉडल रखने से पहले गुणांकों और होल्ड-आउट डेटा पर प्रदर्शन की जाँच करें।
और बड़ा p-value यह सिद्ध नहीं करता कि अतिरिक्त प्रेडिक्टर्स बेकार हैं—यह केवल बताता है कि डेटा शून्य परिकल्पना के विरुद्ध पर्याप्त साक्ष्य नहीं देते।
LRT आपको बताता है कि क्या अतिरिक्त पैरामीटर फिट में सुधार करते हैं—और यह तय करना कि वह सुधार मायने रखता है या नहीं, अब भी आपका काम है।
रिग्रेशन मॉडलों के लिए Likelihood Ratio Tests
आप LRT को अक्सर रिग्रेशन मॉडलों की तुलना करते समय देखेंगे। विचार हमेशा समान रहता है—restricted मॉडल फिट करें, full मॉडल फिट करें, और उनके अधिकतम log-likelihoods की तुलना करें।
लॉजिस्टिक रिग्रेशन
लॉजिस्टिक रिग्रेशन LRT देखने की सबसे आम जगह है।
व्याख्या अनुभाग में
tenure_monthsवाले मॉडल की तुलना उस मॉडल से की गई थी जिसमेंmonthly_chargesऔरsupport_ticketsभी हैं। आप एक कदम आगे बढ़कर full मॉडल की तुलना केवल इंटरसेप्ट वाले मॉडल से कर सकते हैं, जो हर ग्राहक के लिए समान churn प्रायिकता की भविष्यवाणी करता है।उसी churn डेटा पर, इंटरसेप्ट-ओनली मॉडल का log-likelihood -627.62 है, और full मॉडल का -515.99। इससे
D = 2 * (-515.99 - (-627.62)) = 223.27मिलता है, 3 degrees of freedom के साथ—हर प्रेडिक्टर के लिए एक—और p-value लगभग 3.9 x 10^-48।यह परीक्षण पूछता है कि क्या प्रेडिक्टर्स, समग्र रूप से, बिना किसी प्रेडिक्टर के मुकाबले churn को बेहतर समझाते हैं। यह रैखिक रिग्रेशन में समग्र F-परीक्षण का लॉजिस्टिक संस्करण है, और statsmodels इसे मॉडल सारांश में
LLR p-valueके रूप में रिपोर्ट करता है।Generalized linear models
लॉजिस्टिक रिग्रेशन generalized linear models (GLMs) नामक बड़े परिवार का एक सदस्य है। इस परिवार में काउंट्स के लिए पॉइसन रिग्रेशन और धनात्मक सतत आउटकम के लिए गामा रिग्रेशन आदि शामिल हैं।
हर GLM एक deviance रिपोर्ट करता है, जो मॉडल के परफेक्ट फिट से दूरी मापता है। दो nested GLMs के लिए, उनके deviance का अंतर LRT सांख्यिक
Dके बराबर होता है—इसीलिए परीक्षण को अक्सर analysis of deviance कहा जाता है।Degrees of freedom पहले की तरह ही काम करते हैं—पैरामीटरों की संख्या के अंतर के रूप में। Dispersion पैरामीटर का अनुमान लगाने वाले मॉडलों, जैसे गामा या गॉसियन GLMs, के लिए, chi-square के बजाय deviance अंतर पर F-परीक्षण का उपयोग प्रायः किया जाता है।
अन्य likelihood-आधारित मॉडल
कोई भी मॉडल जो अधिकतम likelihood से फिट होता है, nested होने पर LRT का उपयोग कर सकता है। उदाहरण:
Likelihood Ratio बनाम संबंधित सांख्यिकीय परीक्षण
LRT, Wald परीक्षण और score परीक्षण के समान है। तीनों एक ही शून्य परिकल्पना का परीक्षण करते हैं और बड़े नमूनों में chi-square वितरण का अनुसरण करते हैं। फर्क इस बात में है कि आप कौन-से मॉडल फिट करते हैं और क्या नापते हैं।
Likelihood ratio test बनाम Wald test
LRT दोनों मॉडल फिट करके उनके log-likelihoods की तुलना करता है। Wald परीक्षण केवल full मॉडल फिट करके हर अनुमान की उसके शून्य मान से दूरी (standard errors में) जाँचता है।
एकल गुणांक के लिए, Wald सांख्यिक अनुमान को उसके standard error से भाग देकर मिलता है। रिग्रेशन सारांश तालिका में p-values सामान्यतः इसी परीक्षण से आते हैं।
Wald परीक्षण तेज है, क्योंकि केवल एक मॉडल फिट करना होता है। पर यह मॉडल के पैरामीट्राइज़ेशन पर निर्भर करता है, और लॉजिस्टिक रिग्रेशन में बहुत बड़े गुणांकों पर खराब बर्ताव कर सकता है, क्योंकि standard error अनुमान से तेज़ी से बढ़ता है। LRT में ये समस्याएँ नहीं हैं—इसलिए यह अधिक सुरक्षित विकल्प है।
Likelihood ratio test बनाम score test
Score परीक्षण केवल restricted मॉडल फिट करता है।
यह शून्य पैरामीटर मानों पर log-likelihood की ढाल देखता है। यदि शून्य परिकल्पना सही है, तो ढाल 0 के करीब होनी चाहिए। तीखी ढाल का मतलब है कि यदि उन पैरामीटरों को शून्य से हटने दें तो likelihood बढ़ेगी।
यह score परीक्षण को तब उपयोगी बनाता है जब full मॉडल महँगा या कठिन फिट हो। इसे Lagrange multiplier परीक्षण भी कहते हैं, और इसे अक्सर नए प्रेडिक्टर्स की स्क्रीनिंग के लिए उपयोग किया जाता है।
Likelihood ratio test बनाम chi-square test
LRT सांख्यिक बड़े नमूनों में chi-square वितरण का अनुसरण करता है, पर इससे LRT सामान्य अर्थ में "chi-square test" नहीं हो जाता।
"Chi-square test" एक व्यापक लेबल है किसी भी ऐसे परीक्षण के लिए जिसका सांख्यिक chi-square वितरण का अनुसरण करता है। अधिकतर समय, लोग इसका प्रयोग Pearson के chi-square परीक्षण के लिए करते हैं—कंटिन्जेंसी टेबल में स्वतंत्रता या goodness of fit के लिए।
दोनों जुड़े हुए हैं। Pearson के परीक्षण का likelihood ratio संस्करण G-test कहलाता है, और यह प्रेक्षित व अपेक्षित काउंट्स की तुलना वर्गांतरों के बजाय log-likelihoods से करता है। बड़े नमूनों में दोनों समान परिणाम देते हैं।
यहाँ तीन मॉडल-आधारित परीक्षणों की तुलना है:
अन्य सांख्यिकीय परीक्षणों की तुलना में likelihood ratio
Likelihood Ratio बनाम Odds Ratio
दोनों शब्दों में "ratio" आता है और दोनों लॉजिस्टिक रिग्रेशन में आम हैं—समानता यहीं तक है।
Likelihood ratio दो परिकल्पनाओं की डेटा-व्याख्या क्षमता की तुलना करता है। Odds ratio किसी परिणाम की odds की तुलना दो समूहों या स्थितियों में करता है।
Odds किसी घटना की प्रायिकता को उसके न होने की प्रायिकता से भाग देने पर मिलती है। 25% churn प्रायिकता का अर्थ है 0.25 / 0.75, यानी 1 से 3 की odds।
पहले वाले churn मॉडल में,
support_ticketsका गुणांक 0.456 है। इसका घातांक लगभग 1.58 का odds ratio देता है, यानी हर अतिरिक्त सपोर्ट टिकट churn की odds को 1.58 गुना कर देता है।यह डेटा में एक प्रभाव के बारे में कथन है। Likelihood ratio साक्ष्य के बारे में कथन है—एक परिकल्पना या मॉडल, उसी डेटा को दूसरी की तुलना में कितना बेहतर समझाता है।
तो odds ratio उत्तर देता है "प्रभाव कितना बड़ा है?", और likelihood ratio उत्तर देता है "डेटा किस व्याख्या का अधिक समर्थन करते हैं?"
डायग्नोस्टिक परीक्षणों में Likelihood Ratios
चिकित्सा में, "likelihood ratio" का दूसरा अर्थ है। यह बताता है कि किसी परीक्षण के परिणाम से किसी मरीज़ में स्थिति होने की odds कितनी बदलती है—और इसमें न मॉडल फिटिंग शामिल है, न p-values।
डायग्नोस्टिक likelihood ratios किसी परीक्षण की दो विशेषताओं से आते हैं:
मान लीजिए किसी परीक्षण की sensitivity 90% और specificity 80% है।
Positive likelihood ratio
Positive likelihood ratio, या LR+, यह दिखाता है कि स्थिति वाले लोगों में पॉजिटिव परिणाम बिना स्थिति वालों की तुलना में कितनी गुना अधिक संभाव्य है:
Positive likelihood ratio
इस उदाहरण में, यह 0.9 / 0.2 = 4.5 है। पॉजिटिव परिणाम स्थिति वाले व्यक्ति में 4.5 गुना अधिक संभाव्य है। 1 से ऊपर के मान स्थिति की odds बढ़ाते हैं—और जितना अधिक मान, उतनी अधिक जानकारी पॉजिटिव परिणाम देता है।
Negative likelihood ratio
Negative likelihood ratio, या LR-, यह दिखाता है कि स्थिति वाले लोगों में नेगेटिव परिणाम, बिना स्थिति वालों की तुलना में कितना संभाव्य है:
Negative likelihood ratio
इस उदाहरण में, यह 0.1 / 0.8 = 0.125 है। 1 से कम मान स्थिति की odds घटाते हैं—और जितना 0 के करीब, उतनी अधिक जानकारी नेगेटिव परिणाम देता है।
Pre-test से post-test odds तक
डायग्नोस्टिक likelihood ratios उपयोगी हैं क्योंकि वे परीक्षण से पहले की आपकी जानकारी को अपडेट करते हैं:
डायग्नोस्टिक likelihood ratio
मान लें ऐसे मरीज़ों में 10% को यह स्थिति है। यह pre-test odds 0.1 / 0.9, यानी लगभग 0.111 है।
पॉजिटिव परिणाम के बाद odds 0.111 * 4.5 = 0.5 हो जाते हैं—जो लगभग 33% प्रायिकता है। नेगेटिव परिणाम के बाद वे 0.111 * 0.125 = 0.014 हो जाते हैं—लगभग 1.4%।
यह इस लेख का एकमात्र स्थान है जहाँ likelihood ratio किसी परिकल्पना की प्रायिकता तक ले जाता है—और यह केवल इसलिए संभव है क्योंकि pre-test odds पूर्व-प्रायिकता उपलब्ध कराते हैं।
Python और R में Likelihood Ratio Tests
दोनों भाषाओं में LRT चलाने के लिए सब कुछ है—कुछ ही पंक्तियों में। मैं पहले बताए churn डाटासेट का उपयोग करूँगा ताकि संख्याएँ व्याख्या और रिग्रेशन अनुभागों से मेल खाएँ।
Python में likelihood ratio test
आपको
numpy,pandas,statsmodels, औरscipyकी ज़रूरत होगी। डाटासेट जेनरेट करने से शुरू करें:इस डाटासेट में churn अनुपात 32.1% है।
अगला, restricted और full लॉजिस्टिक रिग्रेशन मॉडल फिट करें।
.llfएट्रिब्यूट में प्रत्येक का अधिकतम log-likelihood होता है:Restricted और full मॉडल के log-likelihood
statsmodels में लॉजिस्टिक रिग्रेशन के लिए कोई सामान्य LRT फ़ंक्शन नहीं है, इसलिए आप यह सांख्यिक दो log-likelihoods से निकालते हैं।
.df_modelएट्रिब्यूट प्रत्येक मॉडल में प्रेडिक्टर्स की संख्या देता है, औरstats.chi2.sf()p-value लौटाता है:टेस्ट सांख्यिक, degrees of freedom, और p-value
p-value 0.05 से काफी कम है, इसलिए आप शून्य परिकल्पना को अस्वीकार करते हैं। डेटा मजबूत साक्ष्य देते हैं कि
monthly_chargesऔरsupport_tickets, केवलtenure_monthsवाले मॉडल की तुलना में, फिट में सुधार करते हैं।इंटरसेप्ट-ओनली मॉडल के विरुद्ध तुलना के लिए आपको कोई अतिरिक्त कोड नहीं चाहिए—statsmodels हर लॉजिस्टिक रिग्रेशन मॉडल के लिए इसे गणना करता है:
Full मॉडल की इंटरसेप्ट-ओनली मॉडल से तुलना
R में likelihood ratio test
R, NumPy वाला ही रैंडम नंबर जनरेटर उपयोग नहीं करता, इसलिए समान डेटा पर काम करने के लिए Python उदाहरण से
churn.csvलोड करें। फिरglm()से दोनों मॉडल फिट करें औरanova()को पास करें:R में log-likelihoods और ratio परीक्षण
dfमान, जो हर log-likelihood के पास दिखते हैं, अनुमानित पैरामीटरों (इंटरसेप्ट सहित) की संख्या हैं। Full मॉडल में दो अधिक हैं—जोanova()तालिका केDfकॉलम से मेल खाते हैं।Devianceकॉलम 81.778 दिखाता है—वही LR सांख्यिक जो आपको Python में मिला। यह GLM अनुभाग में बताई analysis of deviance का ही उदाहरण है—residual deviance का 1113.8 से 1032.0 तक गिरना ही टेस्ट सांख्यिक है।R p-value को
< 2.2e-16के रूप में इसलिए प्रिंट करता है क्योंकि यह डिफ़ॉल्ट रूप से दिखाया जाने वाला सबसे छोटा मान है—Python परिणाम से भिन्न होने के कारण नहीं। किसी भी तरह निष्कर्ष वही है—अतिरिक्त प्रेडिक्टर्स फिट में सुधार करते हैं।यदि आप समर्पित फ़ंक्शन पसंद करते हैं, तो
lmtestपैकेज काlrtest()वही तुलनाlrtest(reduced_model, full_model)से चलाता है।Likelihood Ratio Tests की मान्यताएँ और सीमाएँ
LRT अब तक कवर सेटिंग्स में अच्छा काम करता है, पर इसका chi-square परिणाम कुछ शर्तों पर निर्भर करता है।
मॉडल nested होने चाहिए
मानक LRT केवल nested मॉडलों की तुलना करता है, जहाँ restricted मॉडल full का विशेष मामला होता है।
यदि आप लॉजिस्टिक रिग्रेशन की तुलना प्रोबिट मॉडल से करना चाहते हैं, या दो मॉडलों में प्रेडिक्टर्स अलग हैं, तो कोई भी दूसरे का विशेष मामला नहीं है। वहाँ chi-square वितरण लागू नहीं होता। इसके बजाय AIC और BIC जैसे सूचना मानदंड, या non-nested मॉडलों के लिए Vuong परीक्षण का उपयोग करें।
दोनों मॉडल maximum likelihood estimates पर हों
परीक्षण अधिकतम likelihoods की तुलना करता है, इसलिए दोनों मॉडलों को एक ही डेटा पर maximum likelihood से फिट होना चाहिए।
यहाँ दो आम गड़बड़ियाँ हो सकती हैं। REML से फिट mixed-effects मॉडल—जो कई पैकेजों में डिफ़ॉल्ट है—जब fixed effects में फ़र्क हो तो LRT से तुलना योग्य नहीं होते—पहले उन्हें maximum likelihood से फिर से फिट करें। और lasso या ridge रिग्रेशन जैसे दंडित मॉडल स्वयं likelihood को अधिकतम नहीं करते—इसलिए उन पर सामान्य परीक्षण लागू नहीं होता।
मॉडलों को वही प्रेक्षण भी चाहिए। यदि किसी प्रेडिक्टर में missing मान हैं, तो full मॉडल पंक्तियाँ गिरा सकता है—और दोनों log-likelihoods तुलना योग्य नहीं रहते।
Chi-square परिणाम आसिम्प्टोटिक है
Wilks का प्रमेय बड़े नमूने का परिणाम है। यह नियमितता शर्तों के तहत लागू होता है—सरल शब्दों में, likelihood स्मूथ हो, पैरामीटर पहचाने जा सकें, और सत्य पैरामीटर मान अनुमत सीमा के भीतर हों, किनारे पर नहीं।
जब ये शर्तें सत्य हों, तो बड़े नमूनों में chi-square वितरण अच्छा अनुप्रयोग है—पर फिर भी यह एक अनुप्रयोग ही है।
छोटे नमूने
छोटे नमूनों में LRT सांख्यिक chi-square वितरण का पालन न करे—p-values बहुत छोटे या बहुत बड़े हो सकते हैं।
आपके पास कुछ विकल्प हैं। पैरामीट्रिक बूटस्ट्रैप restricted मॉडल से नए डाटासेट सिम्युलेट करके सांख्यिक का वितरण बनाता है। सरल मामलों, जैसे कंटिन्जेंसी टेबल्स, में exact परीक्षण अनुमान से बचते हैं।
सीमा पर पैरामीटर
कुछ शून्य परिकल्पनाएँ पैरामीटर को उसकी अनुमत सीमा के किनारे पर रखती हैं। सबसे आम उदाहरण mixed मॉडल में किसी random-effect variance का 0 होना है—क्योंकि variance नकारात्मक नहीं हो सकता।
ऐसे में सांख्यिक सामान्य chi-square का अनुसरण नहीं करता। एकल variance घटक के लिए यह 0 और 1 degrees of freedom वाले chi-square के 50:50 मिश्रण का अनुसरण करता है—इसलिए मानक p-value वास्तविक से लगभग दोगुनी होती है। मानक परीक्षण यहाँ रूढ़िवादी है—यानी वास्तविक प्रभावों को अधिक बार चूकता है।
मिश्रण मॉडल में घटकों की संख्या का परीक्षण भी इसी तरह की समस्या देता है। एक बनाम दो घटकों की तुलना में नियमितता शर्तें विफल होती हैं, और chi-square अनुप्रयोग बिल्कुल नहीं चलता।
मॉडल मिसस्पेसिफिकेशन
LRT मानता है कि full मॉडल सही है। यदि दोनों मॉडल डेटा के वितरण को गलत लेते हैं—जैसे बहुत अधिक वैरिएंस वाले काउंट्स के लिए पॉइसन मॉडल—तो सांख्यिक बड़े नमूनों में भी chi-square का अनुसरण नहीं करेगा।
टेस्ट पर भरोसा करने से पहले अपने full मॉडल का फिट जाँचें। Overdispersed काउंट्स के लिए, नेगेटिव बायनोमियल मॉडल या quasi-likelihood F-परीक्षण प्रायः बेहतर होता है।
तो chi-square अनुप्रयोग डिफ़ॉल्ट है, गारंटी नहीं—और यह तभी लागू होता है जब सेटअप Wilks के प्रमेय की शर्तों से मेल खाता हो।
निष्कर्ष
Likelihood ratio यह तुलना करता है कि दो परिकल्पनाएँ या मॉडल एक ही देखे गए डेटा को कितना अच्छी तरह समझाते हैं। यही पूरी अवधारणा है—और इस लेख की बाकी सारी बातें उसी पर आधारित हैं।
Likelihood ratio परीक्षण उस विचार को औपचारिक प्रक्रिया बनाता है। यह दो nested मॉडल फिट करता है, उनके अधिकतम log-likelihoods की तुलना करता है, और chi-square वितरण से p-value निकालता है। आप इसे अक्सर लॉजिस्टिक रिग्रेशन और अन्य GLMs में देखेंगे—और statsmodels व R दोनों इसे कुछ पंक्तियों में चलाते हैं।
पर याद रखें कि संख्या का अर्थ क्या है। Likelihood ratio किसी एक परिकल्पना के दूसरे पर सापेक्ष समर्थन को दर्शाता है—न कि किसी के सत्य होने की प्रायिकता। वह पाने के लिए आपको पूर्व odds चाहिए—जैसे डायग्नोस्टिक परीक्षण में।
यदि आप और आगे बढ़ना चाहते हैं, तो अगला कदम है परीक्षण के निर्माण-खण्ड: स्वयं likelihood, maximum likelihood estimation, और कैसे Wald परीक्षण व अन्य hypothesis tests LRT से तुलना करते हैं।