Отношение правдоподобия: важная мера статистических доказательств
Отношение правдоподобия сравнивает, насколько хорошо две гипотезы или модели объясняют одни и те же данные. В статье — формула, разбор примера с подбрасыванием монеты, тест отношения правдоподобия для вложенных регрессионных моделей в Python и R и диагностические отношения правдоподобий.
Видели термин «отношение правдоподобия» в результатах регрессии или исследовании и не поняли, что он означает?
Вы не одиноки. Этот термин часто встречается в проверке гипотез, сравнении моделей, классификации и диагностическом тестировании, и в каждой области его используют немного по-разному. Большинство объяснений также начинают с统计истики критерия и распределения хи-квадрат, ещё до того как вы поймёте, что такое правдоподобие. В итоге получается число, которое можно посчитать, но трудно объяснить.
Если коротко, правдоподобие показывает, насколько хорошо значение параметра или статистическая модель объясняет наблюдённые данные. Отношение правдоподобий делит одно правдоподобие на другое, чтобы увидеть, какая из двух гипотез получает больше поддержки от данных и насколько.
В этой статье разберём основную идею и формулу, тест отношения правдоподобия и его интерпретацию, а также где на практике встречаются отношения правдоподобий.
Отношение правдоподобия — это правдоподобие наблюдённых данных при одной гипотезе, делённое на правдоподобие тех же данных при другой гипотезе. Две гипотезы могут быть двумя значениями параметра или двумя полноценными статистическими моделями.
Оно отвечает на вопрос, какое объяснение лучше учитывает данные, а не насколько сами данные вероятны.
Это важное различие. Любая конкретная последовательность из 20 подбрасываний монеты имеет вероятность около одного на миллион для честной монеты, поэтому малое правдоподобие само по себе мало о чём говорит. Смысл появляется только в сравнении с другим правдоподобием.
Предположим, вы подбросили монету 10 раз и получили 8 орлов. Одна гипотеза утверждает, что монета честная, с вероятностью орла 0,5. Другая — что она смещена, с вероятностью орла 0,8.
Обе гипотезы могут дать 8 орлов, но смещённая монета даёт такой результат гораздо чаще. Значит, данные больше поддерживают вторую гипотезу, а отношение правдоподобий показывает, насколько больше. Точные значения рассчитаем в примере далее в статье.
Правдоподобие и вероятность используют одну и ту же формулу, но отвечают на разные вопросы:
Вероятность: фиксирует параметр и спрашивает, насколько вероятны различные исходы — например, шанс получить 8 орлов из 10 подбрасываний честной монетой
Правдоподобие: фиксирует наблюдённые данные и спрашивает, насколько хорошо разные значения параметра их объясняют — например, насколько хорошо вероятность орла 0,5 по сравнению с 0,8 объясняет 8 орлов в 10 подбрасываниях
Вероятности всех возможных исходов суммируются до 1, а правдоподобия по всем возможным значениям параметра — нет. Поэтому правдоподобие не есть вероятность истинности гипотезы, и отношение правдоподобий — тоже.
Как работает отношение правдоподобия?
Любое отношение правдоподобий следует одним и тем же пяти шагам:
Наблюдайте данные: соберите выборку, которую хотите объяснить, например 8 орлов из 10 подбрасываний
Вычислите первое правдоподобие: узнайте, насколько вероятны наблюдённые данные при гипотезе A
Вычислите второе правдоподобие: сделайте то же самое при гипотезе B
Поделите: поместите одно правдоподобие в числитель, другое — в знаменатель
Интерпретируйте отношение: проверьте, какую гипотезу данные поддерживают сильнее и насколько
Смысл отношения зависит от того, какое правдоподобие стоит в числителе. Если в числителе гипотеза A:
Отношение больше 1: данные более вероятны при A, значит A получает больше поддержки
Отношение меньше 1: данные более вероятны при B, значит B получает больше поддержки
Отношение равно 1: обе гипотезы одинаково хорошо объясняют данные, и данные не отдают предпочтения ни одной
Отношение 4 означает, что наблюдённые данные в четыре раза вероятнее при A, чем при B. Это не означает, что A в четыре раза вероятнее быть истинной.
Если поменять местами числитель и знаменатель, получится обратная величина. Отношение 4 в пользу A превращается в 0,25, что выражает ту же мысль со стороны B.
Условности отличаются по областям. В тесте отношения правдоподобия обычно нулевая гипотеза ставится в числитель, поэтому малые значения считаются свидетельством против неё, тогда как во многих других приложениях сверху ставят альтернативную гипотезу.
Поэтому перед интерпретацией любого отношения правдоподобий проверьте, какая гипотеза стоит в числителе.
Формула отношения правдоподобия
Базовое отношение правдоподобий делит одно правдоподобие данных на другое:
Формула отношения правдоподобия
Что означает каждый термин:
x: наблюдённые данные, например 8 орлов из 10 подбрасываний
theta_1 и theta_0: два значения параметра или гипотезы для сравнения, например вероятности орла 0,8 и 0,5
L(theta | x): правдоподобие theta при данных, равное вероятности x, если theta — истинный параметр, или его плотности для непрерывных данных
При независимых наблюдениях правдоподобие — это произведение вероятностей по каждому наблюдению:
Правдоподобие при независимых наблюдениях
И здесь начинаются проблемы. Каждый множитель меньше 1, поэтому произведение быстро уменьшается по мере роста выборки.
Вероятность конкретной последовательности из 1000 подбрасываний для честной монеты около 9,3 × 10^-302, что близко к наименьшему числу, которое может хранить 64-битный float. При 2000 подбрасываний 0.5 ** 2000 в Python возвращает 0.0.
Логарифмы помогают обойти это. Логарифм произведения равен сумме логарифмов, поэтому лог-правдоподобие превращает произведение крошечных чисел в сумму управляемых величин:
Лог-правдоподобие
Отношение превращается в разность:
Отношение лог-правдоподобий
Суммы также проще дифференцировать, чем произведения, поэтому метод максимального правдоподобия тоже работает с лог-правдоподобиями.
Лог-версия читается так же, как и отношение, только относительно 0, а не 1. Значение 0 означает равную поддержку, положительные значения — в пользу theta_1, отрицательные — в пользу theta_0.
Пример отношения правдоподобия
Вернёмся к монете. Вы подбрасываете её 10 раз и получаете 8 орлов и 2 решки.
Две гипотезы:
Гипотеза 0: монета честная, значит p = 0.5
Гипотеза 1: монета смещена в пользу орла, значит p = 0.8
Число орлов в 10 подбрасываниях подчиняется биномиальному распределению, поэтому правдоподобие каждой гипотезы равно:
Пример отношения правдоподобия
При гипотезе честной монеты:
Пример отношения правдоподобия
При гипотезе смещённой монеты:
Пример отношения правдоподобия
Отношение правдоподобий равно:
Пример отношения правдоподобия
Биномиальный коэффициент 45 встречается в обоих правдоподобиях, поэтому в отношении он сокращается. Те же 6,87 вы получили бы из вероятности конкретной последовательности подбрасываний.
Проще говоря, наблюдённые данные примерно в 6,9 раза вероятнее, если монета даёт орла в 80% случаев, чем если она честная. И всё.
Отношение не говорит, что монета в 6,9 раза вероятнее смещённая. Чтобы получить вероятность истинности гипотез, нужны априорные вероятности обеих. При равных априорных шансах 50/50 апостериорные шансы будут 6,87 к 1, или около 87% в пользу смещённой монеты, но это число зависит от выбранного априора.
Поддержка также относится только к этим двум гипотезам. Значение вроде p = 0.7 в сравнение не входило. Здесь 0,8 также совпадает с оценкой максимального правдоподобия, поскольку 8 из 10 подбрасываний дали орла, так что ни одно другое значение p не получает большей поддержки от этих данных.
Что такое тест отношения правдоподобия?
В примере с монетой сравнивались два фиксированных значения p. Большинство статистических вопросов шире — например, улучшают ли пару дополнительных предикторов регрессионную модель.
Тест отношения правдоподобия отвечает на такие вопросы. Он сравнивает две вложенные модели, то есть меньшая модель является частным случаем большей:
Ограниченная модель: представляет нулевую гипотезу, с некоторыми параметрами, фиксированными обычно на 0
Полная модель: представляет альтернативную гипотезу, где эти параметры свободны принимать любые значения
Тест состоит из пяти шагов:
Оцените ограниченную модель: найдите значения параметров, максимизирующие её правдоподобие
Оцените полную модель: сделайте то же самое с добавленными параметрами
Сравните максимизированные правдоподобия: возьмите их отношение или разность лог-правдоподобий
Вычислите статистику критерия: превратите сравнение в число с известным распределением
Получите p-значение: проверьте, насколько экстремальна статистика, если нулевая гипотеза верна
Каждая модель оценивается в точке оценки максимального правдоподобия, а не при заранее выбранном значении параметра. Это главная разница с примером монеты.
Отношение правдоподобий сравнивает любые две гипотезы и даёт относительную поддержку, но без p-значения и решения. LRT берёт отношение максимизированных правдоподобий вложенных моделей, преобразует его в статистику критерия и использует её распределение для решения, отклонять ли нулевую гипотезу. Каждый LRT использует отношение правдоподобий, но не каждое отношение является частью LRT — диагностические отношения правдоподобий далее в статье — один из примеров.
Статистика критерия в тесте отношения правдоподобия
LRT начинается с отношения максимизированных правдоподобий, где в числителе ограниченная модель:
Статистика критерия теста отношения правдоподобия
Здесь theta_hat_0 — оценка максимального правдоподобия в ограниченной модели, а theta_hat — оценка в полной модели. Полная модель содержит ограниченную, поэтому она всегда подгоняется не хуже. Это означает, что lambda лежит между 0 и 1.
Статистика критерия равна:
Статистика критерия теста отношения правдоподобия
Логарифмы здесь по той же причине, что и раньше. Они превращают отношение крошечных чисел в разность лог-правдоподобий, которую сообщает любой статистический пакет.
Множитель -2 выполняет две задачи. Поскольку lambda <= 1, ln(lambda) равно 0 или отрицательно, поэтому минус делает его положительным числом, которое растёт по мере улучшения подгонки полной модели. Множитель 2 масштабирует статистику так, что она подчиняется распределению хи-квадрат. Для обобщённых линейных моделей D равна разности девиаций между двумя моделями, поэтому часто её так и сообщают.
Теорема Уилкса обеспечивает работу теста. Она утверждает, что при верной нулевой гипотезе и выполнении стандартных условий регулярности D приближённо следует распределению хи-квадрат при росте объёма выборки. Проще говоря, модели должны быть вложенными, а нулевые значения параметров не должны лежать на границе допустимого диапазона. В разделе об ограничениях далее описано, что происходит при нарушении этих условий.
Степени свободы обычно равны разности числа свободных параметров между моделями. Если полная модель добавляет двух предикторов, D сравнивается с распределением хи-квадрат с 2 степенями свободы.
Таким образом, один и тот же опорный закон распределения работает для логистической регрессии, пуассоновской регрессии и большинства других моделей, оцениваемых методом максимального правдоподобия.
Как интерпретировать тест отношения правдоподобия
Допустим, вы хотите предсказать, отменит ли клиент подписку. В наборе данных 1000 клиентов, и около 32% из них ушли.
Вы строите две модели логистической регрессии:
Ограниченная модель: предсказывает отток только по tenure_months, с лог-правдоподобием -556,88
Полная модель: добавляет monthly_charges и support_tickets, с лог-правдоподобием -515,99
Как каждый элемент теста применяется в этом примере:
Нулевая гипотеза: коэффициенты при monthly_charges и support_tickets равны 0, то есть дополнительные предикторы не улучшают подгонку
Альтернативная гипотеза: хотя бы один из этих коэффициентов не равен 0
Степени свободы: полная модель имеет на два параметра больше, значит тест использует 2 степени свободы
P-значение: вероятность столь большого или большего значения статистики при распределении хи-квадрат с 2 степенями свободы — около 1.7 * 10^-18
Это p-значение намного ниже любого типичного порога, например 0,05. Вы отклоняете нулевую гипотезу и заключаете, что данные дают сильные доказательства в пользу того, что дополнительные предикторы улучшают подгонку.
Но отклонение нулевой гипотезы не означает, что полная модель — лучший выбор для вашей задачи.
При больших выборках даже крошечные улучшения подгонки дают малые p-значения. Тест не говорит, насколько велики эффекты или насколько хорошо модель предсказывает новые данные. Проверьте коэффициенты и качество на отложенной выборке, прежде чем сохранять большую модель.
А большое p-значение не доказывает, что дополнительные предикторы бесполезны. Оно лишь означает, что данных недостаточно, чтобы отвергнуть нулевую гипотезу.
LRT говорит, улучшают ли дополнительные параметры подгонку, а оценка того, насколько важно это улучшение, остаётся за вами.
Тесты отношения правдоподобия для регрессионных моделей
Чаще всего вы встретите LRT при сравнении регрессионных моделей. Идея всегда одна — оценить ограниченную модель, оценить полную модель и сравнить их максимизированные лог-правдоподобия.
Логистическая регрессия
Логистическая регрессия — самое распространённое место применения LRT.
В разделе об интерпретации сравнивалась модель с tenure_months с моделью, в которой также есть monthly_charges и support_tickets. Можно пойти дальше и сравнить полную модель с моделью только с константой, которая предсказывает одинаковую вероятность оттока для каждого клиента.
На тех же данных об оттоке лог-правдоподобие модели только с константой равно -627,62, а полной модели — -515,99. Это даёт D = 2 * (-515.99 - (-627.62)) = 223.27 с 3 степенями свободы, по одному на каждый предиктор, и p-значение около 3,9 × 10^-48.
Этот тест спрашивает, объясняют ли предикторы, вместе взятые, отток лучше, чем отсутствие предикторов. Это логистический аналог общего F-теста в линейной регрессии, и statsmodels показывает его в сводке модели как LLR p-value.
Обобщённые линейные модели
Логистическая регрессия — член большого семейства, называемого обобщёнными линейными моделями (GLM). В него также входят пуассоновская регрессия для счётов и гамма-регрессия для положительных непрерывных исходов и др.
Каждый GLM сообщает девиацию, измеряющую, насколько модель далека от идеальной подгонки. Для двух вложенных GLM разность их девиаций равна статистике LRT D, поэтому тест часто называют анализом девиации.
Степени свободы работают так же, как и раньше — это разность числа параметров. Для моделей с оцениваемым параметром дисперсии, как гамма- или гауссовские GLM, часто используют F-тест для разности девиаций вместо хи-квадрат-версии.
Другие модели на основе правдоподобия
Любая модель, оцениваемая методом максимального правдоподобия, может использовать LRT, если модели вложены. Например:
Смешанные модели: сравнивайте модели с и без фиксированного эффекта, оценивая их методом максимального правдоподобия, а не REML
Модели выживаемости: проверяйте, улучшает ли ковариата модель пропорциональных рисков Кокса, основанную на частичном правдоподобии
Временные ряды: сравнивайте модели ARIMA разных порядков
Генетика: проверяйте сцепление генов, где LOD-оценки — это десятичные логарифмы отношений правдоподобий
Отношение правдоподобия и родственные статистические тесты
LRT похож на тест Вальда и скор-тест. Все три проверяют одну и ту же нулевую гипотезу и при больших выборках следуют распределению хи-квадрат. Разница — в том, какие модели вы оцениваете и что измеряете.
Тест отношения правдоподобия vs тест Вальда
LRT оценивает обе модели и сравнивает их лог-правдоподобия. Тест Вальда оценивает только полную модель и проверяет, насколько далеко каждая оценка от своего нулевого значения, в единицах стандартной ошибки.
Для одного коэффициента статистика Вальда — это оценка, делённая на её стандартную ошибку. P-значения в сводной таблице регрессии обычно берутся из этого теста.
Тест Вальда быстр, так как вы оцениваете только одну модель. Но он зависит от параметризации модели, а в логистической регрессии может вести себя плохо при очень больших коэффициентах, поскольку стандартная ошибка растёт быстрее оценки. У LRT этих проблем нет, поэтому он безопаснее.
Тест отношения правдоподобия vs скор-тест
Скор-тест оценивает только ограниченную модель.
Он смотрит на наклон лог-правдоподобия в нулевых значениях параметров. Если нулевая гипотеза верна, наклон должен быть близок к 0. Крутой наклон означает, что правдоподобие увеличится, если позволить параметрам уйти от нуля.
Это делает скор-тест удобным, когда полная модель дорогая или трудно оценивается. Он также известен как тест множителей Лагранжа и часто используется, чтобы отфильтровать кандидаты-предикторы перед их добавлением.
Тест отношения правдоподобия vs хи-квадрат-тест
Статистика LRT следует распределению хи-квадрат при больших выборках, но это не делает LRT «хи-квадрат-тестом» в обычном смысле.
«Хи-квадрат-тест» — широкий ярлык для любого теста, статистика которого следует распределению хи-квадрат. Чаще всего под ним имеют в виду хи-квадрат Пирсона на независимость или согласие в таблицах сопряжённости.
Однако связь есть. Версия теста Пирсона на основе отношения правдоподобий называется G-тестом и сравнивает наблюдаемые и ожидаемые частоты через лог-правдоподобия вместо квадратов разностей. В больших выборках результаты обычно схожи.
Вот как сравниваются три модельных теста:
Тест Вальда
Тест отношения правдоподобия
Скор-тест
Какие модели оцениваете
Только полную
Ограниченную и полную
Только ограниченную
Что измеряет
Дистанцию оценки от нулевого значения в стандартных ошибках
Разрыв между максимизированными лог-правдоподобиями
Наклон лог-правдоподобия в нулевых значениях
Где встретите
P-значения коэффициентов в сводках регрессии
Сравнение вложенных моделей и анализ девиации
Отбор новых предикторов, трудоёмкие для подгонки модели
Слабое место
Зависит от параметризации, ненадёжен при очень больших оценках
Нужно оценить обе модели
Использует лишь информацию возле нулевых значений
Асимптотическое распределение
Хи-квадрат
Хи-квадрат
Хи-квадрат
Отношение правдоподобия по сравнению с другими статистическими тестами
Отношение правдоподобия и отношение шансов
Оба термина содержат слово «отношение» и часто встречаются в логистической регрессии. На этом сходство заканчивается.
Отношение правдоподобия сравнивает, насколько хорошо две гипотезы объясняют наблюдённые данные. Отношение шансов сравнивает шансы исхода между двумя группами или условиями.
Шансы — это вероятность события, делённая на вероятность, что оно не произойдёт. Вероятность оттока 25% означает шансы 0,25 / 0,75, или 1 к 3.
В модели оттока выше коэффициент при support_tickets равен 0,456. Его экспонента даёт отношение шансов около 1,58, что означает: каждый дополнительный тикет умножает шансы оттока на 1,58.
Это утверждение об эффекте в данных. Отношение правдоподобия — это утверждение о доказательствах: насколько лучше одна гипотеза или модель объясняет те же данные по сравнению с другой.
Таким образом, отношение шансов отвечает на вопрос «насколько велик эффект?», а отношение правдоподобия — «какое объяснение данные поддерживают сильнее?»
Отношения правдоподобий в диагностическом тестировании
В медицине у «отношения правдоподобия» есть второе значение. Оно описывает, насколько результат теста меняет шансы на наличие у пациента состояния, и не связано с подгонкой моделей или p-значениями.
Диагностические отношения правдоподобий выводятся из двух характеристик теста:
Чувствительность: доля людей с состоянием, у которых тест положительный
Специфичность: доля людей без состояния, у которых тест отрицательный
Предположим, чувствительность теста 90%, а специфичность 80%.
Положительное отношение правдоподобия
Положительное отношение правдоподобия, или LR+, показывает, насколько чаще положительный результат встречается у людей с состоянием, чем у людей без него:
Положительное отношение правдоподобия
В примере это 0,9 / 0,2 = 4,5. Положительный результат в 4,5 раза вероятнее у человека с состоянием. Значения выше 1 повышают шансы состояния, и чем выше значение, тем больше информации несёт положительный результат.
Отрицательное отношение правдоподобия
Отрицательное отношение правдоподобия, или LR−, показывает, насколько вероятен отрицательный результат среди людей с состоянием по сравнению с людьми без него:
Отрицательное отношение правдоподобия
В примере это 0,1 / 0,8 = 0,125. Значения ниже 1 снижают шансы состояния, и чем ближе значение к 0, тем больше информации несёт отрицательный результат.
От до-тестовых к после-тестовым шансам
Диагностические отношения правдоподобий полезны тем, что обновляют ваши исходные знания до теста:
Диагностическое отношение правдоподобия
Предположим, 10% пациентов с похожими характеристиками имеют это состояние. Это до-тестовые шансы 0,1 / 0,9, или около 0,111.
После положительного результата шансы становятся 0,111 * 4,5 = 0,5, что соответствует вероятности около 33%. После отрицательного — 0,111 * 0,125 = 0,014, или около 1,4%.
Это единственное место в статье, где отношение правдоподобия приводит к вероятности гипотезы, и возможно это только потому, что до-тестовые шансы задают априорные данные.
Тесты отношения правдоподобия в Python и R
Обе языковые среды позволяют выполнить LRT в нескольких строках. Используем набор данных об оттоке, упомянутый ранее, чтобы числа совпадали с разделами об интерпретации и регрессии.
Тест отношения правдоподобия в Python
Понадобятся numpy, pandas, statsmodels и scipy. Начните с генерации набора данных:
import numpy as np
import pandas as pd
import statsmodels.formula.api as smf
from scipy import stats
# Generate a synthetic customer churn dataset
rng = np.random.default_rng(42)
n_customers =1000
churn = pd.DataFrame({"tenure_months": rng.integers(1,73, n_customers),"monthly_charges": rng.uniform(20,120, n_customers).round(2),"support_tickets": rng.poisson(1.5, n_customers),})# Churn gets less likely with tenure and more likely with charges and tickets
log_odds =(-0.5-0.04* churn["tenure_months"]+0.01* churn["monthly_charges"]+0.25* churn["support_tickets"])
churn["churned"]= rng.binomial(1,1/(1+ np.exp(-log_odds)))# Save the data so you can load the same dataset in R
churn.to_csv("churn.csv", index=False)Работает на
В этом наборе данных доля оттока составляет 32,1%.
Далее оцените ограниченную и полную модели логистической регрессии. Атрибут .llf содержит максимизированное лог-правдоподобие каждой из них:
# Fit the restricted and full models
reduced_model = smf.logit("churned ~ tenure_months", data=churn).fit(disp=0)
full_model = smf.logit("churned ~ tenure_months + monthly_charges + support_tickets",
data=churn,).fit(disp=0)# Get the maximized log-likelihoodsprint(f"Restricted model log-likelihood: {reduced_model.llf:.2f}")print(f"Full model log-likelihood: {full_model.llf:.2f}")Работает на
Лог-правдоподобия ограниченной и полной моделей
В statsmodels нет общей функции LRT для логистической регрессии, поэтому статистику вычисляют из двух лог-правдоподобий. Атрибут .df_model даёт число предикторов в каждой модели, а stats.chi2.sf() возвращает p-значение:
lr_stat =2*(full_model.llf - reduced_model.llf)
df_diff = full_model.df_model - reduced_model.df_model
p_value = stats.chi2.sf(lr_stat, df_diff)print(f"LR statistic: {lr_stat:.2f}")print(f"Degrees of freedom: {df_diff:.0f}")print(f"P-value: {p_value:.1e}")Работает на
Статистика критерия, степени свободы и p-значение
P-значение значительно меньше 0,05, поэтому вы отклоняете нулевую гипотезу. Данные дают сильные доказательства, что monthly_charges и support_tickets улучшают подгонку по сравнению с моделью только с tenure_months.
Для сравнения с моделью только с константой дополнительный код не нужен. statsmodels рассчитывает это для каждой модели логистической регрессии:
print(f"Intercept-only log-likelihood: {full_model.llnull:.2f}")print(f"LR statistic: {full_model.llr:.2f}")print(f"P-value: {full_model.llr_pvalue:.1e}")Работает на
Сравнение полной модели с моделью только с константой
Тест отношения правдоподобия в R
R использует другой генератор случайных чисел, чем NumPy, поэтому загрузите файл churn.csv из примера Python, чтобы работать с идентичными данными. Затем оцените обе модели с glm() и передайте их в anova():
# Load the churn dataset saved from Python
churn <- read.csv("churn.csv")# Fit the restricted and full models
reduced_model <- glm(churned ~ tenure_months, data = churn, family = binomial)
full_model <- glm(
churned ~ tenure_months + monthly_charges + support_tickets,
data = churn,
family = binomial
)# Check the maximized log-likelihoods
logLik(reduced_model)
logLik(full_model)# Run the likelihood ratio test
anova(reduced_model, full_model, test ="Chisq")Работает на
Лог-правдоподобия и тест отношения правдоподобия в R
Значения df рядом с каждым лог-правдоподобием — количество оценённых параметров, включая интерсепт. В полной модели их на два больше, что соответствует столбцу Df в таблице anova().
Столбец Deviance показывает 81,778 — ту же статистику LR, что вы получили в Python. Это на деле анализ девиации из раздела о GLM: снижение остаточной девиации с 1113,8 до 1032,0 — это и есть статистика теста.
R печатает p-значение как < 2.2e-16, потому что это минимальное значение, показываемое по умолчанию, а не потому, что оно отличается от результата Python. В любом случае вывод тот же: дополнительные предикторы улучшают подгонку.
Если предпочитаете специализированную функцию, lrtest() из пакета lmtest выполняет то же сравнение через lrtest(reduced_model, full_model).
Предпосылки и ограничения тестов отношения правдоподобия
LRT хорошо работает в описанных сценариях, но его хи-квадрат-результат зависит от ряда условий.
Модели должны быть вложенными
Стандартный LRT сравнивает только вложенные модели, где ограниченная модель — частный случай полной.
Если вы хотите сравнить логистическую регрессию с пробит-моделью или две модели с разными наборами предикторов, ни одна не является частным случаем другой. Распределение хи-квадрат здесь не применимо. Используйте информационные критерии, такие как AIC и BIC, или тест Вуонга для невложенных моделей.
Обе модели должны иметь оценки максимального правдоподобия
Тест сравнивает максимизированные правдоподобия, поэтому обе модели должны быть оценены методом максимального правдоподобия на одних и тех же данных.
Здесь часто встречаются две проблемы. Смешанные модели, оцененные REML (по умолчанию во многих пакетах), нельзя сравнивать LRT при различиях в фиксированных эффектах — сначала переоцените их методом максимального правдоподобия. А штрафные модели, такие как лассо или ридж-регрессия, не максимизируют само правдоподобие, поэтому обычный тест к ним не применим.
Модели также должны использовать одни и те же наблюдения. Если у одного из предикторов есть пропуски, полная модель может отбросить строки, и сравнивать лог-правдоподобия будет некорректно.
Результат по хи-квадрат — асимптотический
Теорема Уилкса — это результат для больших выборок. Она выполняется при условиях регулярности, что в общих чертах значит: правдоподобие гладкое, параметры идентифицируемы, а истинные значения параметров лежат внутри допустимого диапазона, а не на его границе.
Когда эти условия выполняются, распределение хи-квадрат — хорошее приближение для больших выборок. Но это всё равно приближение.
Малые выборки
При малых выборках статистика LRT может не следовать распределению хи-квадрат, и p-значения могут быть заниженными или завышенными.
Есть варианты. Параметрический бутстрэп моделирует новые наборы данных из ограниченной модели и строит распределение статистики. Для простых случаев, как таблицы сопряжённости, точные тесты избегают аппроксимации.
Параметры на границе
Некоторые нулевые гипотезы помещают параметр на границу допустимого диапазона. Самый распространённый пример — проверка равенства нулю дисперсии случайного эффекта в смешанной модели, так как дисперсия не может быть отрицательной.
В этом случае статистика не следует обычному распределению хи-квадрат. Для одной компоненты дисперсии она следует смеси 50:50 хи-квадрат с 0 и 1 степенями свободы, поэтому стандартное p-значение примерно вдвое больше нужного. Стандартный тест здесь консервативен, то есть чаще пропускает реальные эффекты.
Проверка числа компонент в смесевой модели имеет схожую проблему. При сравнении одной и двух компонент условия регулярности нарушаются, и аппроксимация хи-квадрат не работает вовсе.
Неверная спецификация модели
LRT предполагает, что полная модель верна. Если обе модели неверно описывают распределение данных, например пуассоновская модель для счётов с дисперсией сильно больше среднего, статистика не будет следовать распределению хи-квадрат даже при больших выборках.
Проверьте подгонку полной модели, прежде чем доверять тесту. Для передисперсных счётов часто лучше подходит отрицательно биномиальная модель или F-тест на основе квазиправдоподобия.
Итак, аппроксимация хи-квадрат — это значение по умолчанию, а не гарантия, и она применима только при условиях теоремы Уилкса.
Заключение
Отношение правдоподобия сравнивает, насколько хорошо две гипотезы или модели объясняют одни и те же наблюдённые данные. Это вся идея, и всё остальное в статье на ней основано.
Тест отношения правдоподобия превращает эту идею в формальную процедуру. Он оценивает две вложенные модели, сравнивает их максимизированные лог-правдоподобия и использует распределение хи-квадрат, чтобы получить p-значение. Чаще всего вы увидите его в логистической регрессии и других GLM, и как statsmodels, так и R выполняют его в несколько строк кода.
Но помните, что означает число. Отношение правдоподобия показывает относительную поддержку одной гипотезы перед другой, а не вероятность истинности любой из них. Чтобы получить её, нужны априорные шансы, как в диагностическом тестировании.
Что такое отношение правдоподобия простыми словами?⌄
Отношение правдоподобия — это правдоподобие наблюдённых данных при одной гипотезе, делённое на правдоподобие тех же данных при другой. Значение больше 1 означает, что данные сильнее поддерживают гипотезу в числителе, а значение меньше 1 — что они больше поддерживают гипотезу в знаменателе. Оно показывает относительные доказательства между двумя объяснениями, а не вероятность истинности любого из них.
В чём разница между правдоподобием и вероятностью?⌄
Вероятность фиксирует параметр и спрашивает, насколько вероятны разные исходы. Правдоподобие фиксирует наблюдённые данные и спрашивает, насколько хорошо разные значения параметра их объясняют. Обе используют одну формулу, но правдоподобия по всем возможным значениям параметра не суммируются до 1, поэтому правдоподобие — это не вероятность гипотезы.
Когда следует использовать тест отношения правдоподобия?⌄
Используйте его, когда хотите узнать, лучше ли более сложная модель описывает данные по сравнению с более простой, и при этом простая модель является частным случаем сложной. Самый распространённый пример — проверка, улучшают ли дополнительные предикторы логистическую регрессию или другой GLM. Модели должны быть оценены методом максимального правдоподобия на одних и тех же наблюдениях.
Почему статистика теста отношения правдоподобия умножается на -2?⌄
Отношение максимизированных правдоподобий ограниченной к полной модели всегда между 0 и 1, поэтому его логарифм — 0 или отрицателен. Минус делает его положительным числом, которое растёт по мере улучшения подгонки полной модели. Множитель 2 масштабирует статистику так, что она приближённо следует распределению хи-квадрат при больших выборках, что и показывает теорема Уилкса.
Можно ли использовать тест отношения правдоподобия для сравнения невложенных моделей?⌄
Не в стандартной версии. Когда ни одна модель не является частным случаем другой, как логистическая и пробит-модель, статистика не следует распределению хи-квадрат, поэтому p-значение некорректно. Используйте информационные критерии, такие как AIC и BIC, или тест Вуонга, предназначенный для невложенных сравнений.
Видели термин «отношение правдоподобия» в результатах регрессии или исследовании и не поняли, что он означает?
Вы не одиноки. Этот термин часто встречается в проверке гипотез, сравнении моделей, классификации и диагностическом тестировании, и в каждой области его используют немного по-разному. Большинство объяснений также начинают с统计истики критерия и распределения хи-квадрат, ещё до того как вы поймёте, что такое правдоподобие. В итоге получается число, которое можно посчитать, но трудно объяснить.
Если коротко, правдоподобие показывает, насколько хорошо значение параметра или статистическая модель объясняет наблюдённые данные. Отношение правдоподобий делит одно правдоподобие на другое, чтобы увидеть, какая из двух гипотез получает больше поддержки от данных и насколько.
В этой статье разберём основную идею и формулу, тест отношения правдоподобия и его интерпретацию, а также где на практике встречаются отношения правдоподобий.
Нужен повтор статистики? Просмотрите наш каталог курсов по теории вероятностей и статистике и найдите подходящий.
Что такое отношение правдоподобия?
Отношение правдоподобия — это правдоподобие наблюдённых данных при одной гипотезе, делённое на правдоподобие тех же данных при другой гипотезе. Две гипотезы могут быть двумя значениями параметра или двумя полноценными статистическими моделями.
Оно отвечает на вопрос, какое объяснение лучше учитывает данные, а не насколько сами данные вероятны.
Это важное различие. Любая конкретная последовательность из 20 подбрасываний монеты имеет вероятность около одного на миллион для честной монеты, поэтому малое правдоподобие само по себе мало о чём говорит. Смысл появляется только в сравнении с другим правдоподобием.
Предположим, вы подбросили монету 10 раз и получили 8 орлов. Одна гипотеза утверждает, что монета честная, с вероятностью орла 0,5. Другая — что она смещена, с вероятностью орла 0,8.
Обе гипотезы могут дать 8 орлов, но смещённая монета даёт такой результат гораздо чаще. Значит, данные больше поддерживают вторую гипотезу, а отношение правдоподобий показывает, насколько больше. Точные значения рассчитаем в примере далее в статье.
Правдоподобие и вероятность используют одну и ту же формулу, но отвечают на разные вопросы:
Вероятности всех возможных исходов суммируются до 1, а правдоподобия по всем возможным значениям параметра — нет. Поэтому правдоподобие не есть вероятность истинности гипотезы, и отношение правдоподобий — тоже.
Как работает отношение правдоподобия?
Любое отношение правдоподобий следует одним и тем же пяти шагам:
Смысл отношения зависит от того, какое правдоподобие стоит в числителе. Если в числителе гипотеза A:
Отношение 4 означает, что наблюдённые данные в четыре раза вероятнее при A, чем при B. Это не означает, что A в четыре раза вероятнее быть истинной.
Если поменять местами числитель и знаменатель, получится обратная величина. Отношение 4 в пользу A превращается в 0,25, что выражает ту же мысль со стороны B.
Условности отличаются по областям. В тесте отношения правдоподобия обычно нулевая гипотеза ставится в числитель, поэтому малые значения считаются свидетельством против неё, тогда как во многих других приложениях сверху ставят альтернативную гипотезу.
Поэтому перед интерпретацией любого отношения правдоподобий проверьте, какая гипотеза стоит в числителе.
Формула отношения правдоподобия
Базовое отношение правдоподобий делит одно правдоподобие данных на другое:
Формула отношения правдоподобия
Что означает каждый термин:
x: наблюдённые данные, например 8 орлов из 10 подбрасыванийtheta_1иtheta_0: два значения параметра или гипотезы для сравнения, например вероятности орла 0,8 и 0,5L(theta | x): правдоподобиеthetaпри данных, равное вероятностиx, еслиtheta— истинный параметр, или его плотности для непрерывных данныхПри независимых наблюдениях правдоподобие — это произведение вероятностей по каждому наблюдению:
Правдоподобие при независимых наблюдениях
И здесь начинаются проблемы. Каждый множитель меньше 1, поэтому произведение быстро уменьшается по мере роста выборки.
Вероятность конкретной последовательности из 1000 подбрасываний для честной монеты около 9,3 × 10^-302, что близко к наименьшему числу, которое может хранить 64-битный float. При 2000 подбрасываний
0.5 ** 2000в Python возвращает0.0.Логарифмы помогают обойти это. Логарифм произведения равен сумме логарифмов, поэтому лог-правдоподобие превращает произведение крошечных чисел в сумму управляемых величин:
Лог-правдоподобие
Отношение превращается в разность:
Отношение лог-правдоподобий
Суммы также проще дифференцировать, чем произведения, поэтому метод максимального правдоподобия тоже работает с лог-правдоподобиями.
Лог-версия читается так же, как и отношение, только относительно 0, а не 1. Значение 0 означает равную поддержку, положительные значения — в пользу
theta_1, отрицательные — в пользуtheta_0.Пример отношения правдоподобия
Вернёмся к монете. Вы подбрасываете её 10 раз и получаете 8 орлов и 2 решки.
Две гипотезы:
Гипотеза 0: монета честная, значит
p = 0.5Гипотеза 1: монета смещена в пользу орла, значит
p = 0.8Число орлов в 10 подбрасываниях подчиняется биномиальному распределению, поэтому правдоподобие каждой гипотезы равно:
Пример отношения правдоподобия
При гипотезе честной монеты:
Пример отношения правдоподобия
При гипотезе смещённой монеты:
Пример отношения правдоподобия
Отношение правдоподобий равно:
Пример отношения правдоподобия
Биномиальный коэффициент 45 встречается в обоих правдоподобиях, поэтому в отношении он сокращается. Те же 6,87 вы получили бы из вероятности конкретной последовательности подбрасываний.
Проще говоря, наблюдённые данные примерно в 6,9 раза вероятнее, если монета даёт орла в 80% случаев, чем если она честная. И всё.
Отношение не говорит, что монета в 6,9 раза вероятнее смещённая. Чтобы получить вероятность истинности гипотез, нужны априорные вероятности обеих. При равных априорных шансах 50/50 апостериорные шансы будут 6,87 к 1, или около 87% в пользу смещённой монеты, но это число зависит от выбранного априора.
Поддержка также относится только к этим двум гипотезам. Значение вроде
p = 0.7в сравнение не входило. Здесь 0,8 также совпадает с оценкой максимального правдоподобия, поскольку 8 из 10 подбрасываний дали орла, так что ни одно другое значениеpне получает большей поддержки от этих данных.Что такое тест отношения правдоподобия?
В примере с монетой сравнивались два фиксированных значения
p. Большинство статистических вопросов шире — например, улучшают ли пару дополнительных предикторов регрессионную модель.Тест отношения правдоподобия отвечает на такие вопросы. Он сравнивает две вложенные модели, то есть меньшая модель является частным случаем большей:
Тест состоит из пяти шагов:
Каждая модель оценивается в точке оценки максимального правдоподобия, а не при заранее выбранном значении параметра. Это главная разница с примером монеты.
Отношение правдоподобий сравнивает любые две гипотезы и даёт относительную поддержку, но без p-значения и решения. LRT берёт отношение максимизированных правдоподобий вложенных моделей, преобразует его в статистику критерия и использует её распределение для решения, отклонять ли нулевую гипотезу. Каждый LRT использует отношение правдоподобий, но не каждое отношение является частью LRT — диагностические отношения правдоподобий далее в статье — один из примеров.
Статистика критерия в тесте отношения правдоподобия
LRT начинается с отношения максимизированных правдоподобий, где в числителе ограниченная модель:
Статистика критерия теста отношения правдоподобия
Здесь
theta_hat_0— оценка максимального правдоподобия в ограниченной модели, аtheta_hat— оценка в полной модели. Полная модель содержит ограниченную, поэтому она всегда подгоняется не хуже. Это означает, чтоlambdaлежит между 0 и 1.Статистика критерия равна:
Статистика критерия теста отношения правдоподобия
Логарифмы здесь по той же причине, что и раньше. Они превращают отношение крошечных чисел в разность лог-правдоподобий, которую сообщает любой статистический пакет.
Множитель -2 выполняет две задачи. Поскольку
lambda <= 1,ln(lambda)равно 0 или отрицательно, поэтому минус делает его положительным числом, которое растёт по мере улучшения подгонки полной модели. Множитель 2 масштабирует статистику так, что она подчиняется распределению хи-квадрат. Для обобщённых линейных моделейDравна разности девиаций между двумя моделями, поэтому часто её так и сообщают.Теорема Уилкса обеспечивает работу теста. Она утверждает, что при верной нулевой гипотезе и выполнении стандартных условий регулярности
Dприближённо следует распределению хи-квадрат при росте объёма выборки. Проще говоря, модели должны быть вложенными, а нулевые значения параметров не должны лежать на границе допустимого диапазона. В разделе об ограничениях далее описано, что происходит при нарушении этих условий.Степени свободы обычно равны разности числа свободных параметров между моделями. Если полная модель добавляет двух предикторов,
Dсравнивается с распределением хи-квадрат с 2 степенями свободы.Таким образом, один и тот же опорный закон распределения работает для логистической регрессии, пуассоновской регрессии и большинства других моделей, оцениваемых методом максимального правдоподобия.
Как интерпретировать тест отношения правдоподобия
Допустим, вы хотите предсказать, отменит ли клиент подписку. В наборе данных 1000 клиентов, и около 32% из них ушли.
Вы строите две модели логистической регрессии:
Ограниченная модель: предсказывает отток только по
tenure_months, с лог-правдоподобием -556,88Полная модель: добавляет
monthly_chargesиsupport_tickets, с лог-правдоподобием -515,99Как каждый элемент теста применяется в этом примере:
Нулевая гипотеза: коэффициенты при
monthly_chargesиsupport_ticketsравны 0, то есть дополнительные предикторы не улучшают подгонкуАльтернативная гипотеза: хотя бы один из этих коэффициентов не равен 0
Статистика критерия:
D = 2 * (-515.99 - (-556.88)) = 81.78Степени свободы: полная модель имеет на два параметра больше, значит тест использует 2 степени свободы
P-значение: вероятность столь большого или большего значения статистики при распределении хи-квадрат с 2 степенями свободы — около
1.7 * 10^-18Это p-значение намного ниже любого типичного порога, например 0,05. Вы отклоняете нулевую гипотезу и заключаете, что данные дают сильные доказательства в пользу того, что дополнительные предикторы улучшают подгонку.
Но отклонение нулевой гипотезы не означает, что полная модель — лучший выбор для вашей задачи.
При больших выборках даже крошечные улучшения подгонки дают малые p-значения. Тест не говорит, насколько велики эффекты или насколько хорошо модель предсказывает новые данные. Проверьте коэффициенты и качество на отложенной выборке, прежде чем сохранять большую модель.
А большое p-значение не доказывает, что дополнительные предикторы бесполезны. Оно лишь означает, что данных недостаточно, чтобы отвергнуть нулевую гипотезу.
LRT говорит, улучшают ли дополнительные параметры подгонку, а оценка того, насколько важно это улучшение, остаётся за вами.
Тесты отношения правдоподобия для регрессионных моделей
Чаще всего вы встретите LRT при сравнении регрессионных моделей. Идея всегда одна — оценить ограниченную модель, оценить полную модель и сравнить их максимизированные лог-правдоподобия.
Логистическая регрессия
Логистическая регрессия — самое распространённое место применения LRT.
В разделе об интерпретации сравнивалась модель с
tenure_monthsс моделью, в которой также естьmonthly_chargesиsupport_tickets. Можно пойти дальше и сравнить полную модель с моделью только с константой, которая предсказывает одинаковую вероятность оттока для каждого клиента.На тех же данных об оттоке лог-правдоподобие модели только с константой равно -627,62, а полной модели — -515,99. Это даёт
D = 2 * (-515.99 - (-627.62)) = 223.27с 3 степенями свободы, по одному на каждый предиктор, и p-значение около 3,9 × 10^-48.Этот тест спрашивает, объясняют ли предикторы, вместе взятые, отток лучше, чем отсутствие предикторов. Это логистический аналог общего F-теста в линейной регрессии, и statsmodels показывает его в сводке модели как
LLR p-value.Обобщённые линейные модели
Логистическая регрессия — член большого семейства, называемого обобщёнными линейными моделями (GLM). В него также входят пуассоновская регрессия для счётов и гамма-регрессия для положительных непрерывных исходов и др.
Каждый GLM сообщает девиацию, измеряющую, насколько модель далека от идеальной подгонки. Для двух вложенных GLM разность их девиаций равна статистике LRT
D, поэтому тест часто называют анализом девиации.Степени свободы работают так же, как и раньше — это разность числа параметров. Для моделей с оцениваемым параметром дисперсии, как гамма- или гауссовские GLM, часто используют F-тест для разности девиаций вместо хи-квадрат-версии.
Другие модели на основе правдоподобия
Любая модель, оцениваемая методом максимального правдоподобия, может использовать LRT, если модели вложены. Например:
Отношение правдоподобия и родственные статистические тесты
LRT похож на тест Вальда и скор-тест. Все три проверяют одну и ту же нулевую гипотезу и при больших выборках следуют распределению хи-квадрат. Разница — в том, какие модели вы оцениваете и что измеряете.
Тест отношения правдоподобия vs тест Вальда
LRT оценивает обе модели и сравнивает их лог-правдоподобия. Тест Вальда оценивает только полную модель и проверяет, насколько далеко каждая оценка от своего нулевого значения, в единицах стандартной ошибки.
Для одного коэффициента статистика Вальда — это оценка, делённая на её стандартную ошибку. P-значения в сводной таблице регрессии обычно берутся из этого теста.
Тест Вальда быстр, так как вы оцениваете только одну модель. Но он зависит от параметризации модели, а в логистической регрессии может вести себя плохо при очень больших коэффициентах, поскольку стандартная ошибка растёт быстрее оценки. У LRT этих проблем нет, поэтому он безопаснее.
Тест отношения правдоподобия vs скор-тест
Скор-тест оценивает только ограниченную модель.
Он смотрит на наклон лог-правдоподобия в нулевых значениях параметров. Если нулевая гипотеза верна, наклон должен быть близок к 0. Крутой наклон означает, что правдоподобие увеличится, если позволить параметрам уйти от нуля.
Это делает скор-тест удобным, когда полная модель дорогая или трудно оценивается. Он также известен как тест множителей Лагранжа и часто используется, чтобы отфильтровать кандидаты-предикторы перед их добавлением.
Тест отношения правдоподобия vs хи-квадрат-тест
Статистика LRT следует распределению хи-квадрат при больших выборках, но это не делает LRT «хи-квадрат-тестом» в обычном смысле.
«Хи-квадрат-тест» — широкий ярлык для любого теста, статистика которого следует распределению хи-квадрат. Чаще всего под ним имеют в виду хи-квадрат Пирсона на независимость или согласие в таблицах сопряжённости.
Однако связь есть. Версия теста Пирсона на основе отношения правдоподобий называется G-тестом и сравнивает наблюдаемые и ожидаемые частоты через лог-правдоподобия вместо квадратов разностей. В больших выборках результаты обычно схожи.
Вот как сравниваются три модельных теста:
Отношение правдоподобия по сравнению с другими статистическими тестами
Отношение правдоподобия и отношение шансов
Оба термина содержат слово «отношение» и часто встречаются в логистической регрессии. На этом сходство заканчивается.
Отношение правдоподобия сравнивает, насколько хорошо две гипотезы объясняют наблюдённые данные. Отношение шансов сравнивает шансы исхода между двумя группами или условиями.
Шансы — это вероятность события, делённая на вероятность, что оно не произойдёт. Вероятность оттока 25% означает шансы 0,25 / 0,75, или 1 к 3.
В модели оттока выше коэффициент при
support_ticketsравен 0,456. Его экспонента даёт отношение шансов около 1,58, что означает: каждый дополнительный тикет умножает шансы оттока на 1,58.Это утверждение об эффекте в данных. Отношение правдоподобия — это утверждение о доказательствах: насколько лучше одна гипотеза или модель объясняет те же данные по сравнению с другой.
Таким образом, отношение шансов отвечает на вопрос «насколько велик эффект?», а отношение правдоподобия — «какое объяснение данные поддерживают сильнее?»
Отношения правдоподобий в диагностическом тестировании
В медицине у «отношения правдоподобия» есть второе значение. Оно описывает, насколько результат теста меняет шансы на наличие у пациента состояния, и не связано с подгонкой моделей или p-значениями.
Диагностические отношения правдоподобий выводятся из двух характеристик теста:
Предположим, чувствительность теста 90%, а специфичность 80%.
Положительное отношение правдоподобия
Положительное отношение правдоподобия, или LR+, показывает, насколько чаще положительный результат встречается у людей с состоянием, чем у людей без него:
Положительное отношение правдоподобия
В примере это 0,9 / 0,2 = 4,5. Положительный результат в 4,5 раза вероятнее у человека с состоянием. Значения выше 1 повышают шансы состояния, и чем выше значение, тем больше информации несёт положительный результат.
Отрицательное отношение правдоподобия
Отрицательное отношение правдоподобия, или LR−, показывает, насколько вероятен отрицательный результат среди людей с состоянием по сравнению с людьми без него:
Отрицательное отношение правдоподобия
В примере это 0,1 / 0,8 = 0,125. Значения ниже 1 снижают шансы состояния, и чем ближе значение к 0, тем больше информации несёт отрицательный результат.
От до-тестовых к после-тестовым шансам
Диагностические отношения правдоподобий полезны тем, что обновляют ваши исходные знания до теста:
Диагностическое отношение правдоподобия
Предположим, 10% пациентов с похожими характеристиками имеют это состояние. Это до-тестовые шансы 0,1 / 0,9, или около 0,111.
После положительного результата шансы становятся 0,111 * 4,5 = 0,5, что соответствует вероятности около 33%. После отрицательного — 0,111 * 0,125 = 0,014, или около 1,4%.
Это единственное место в статье, где отношение правдоподобия приводит к вероятности гипотезы, и возможно это только потому, что до-тестовые шансы задают априорные данные.
Тесты отношения правдоподобия в Python и R
Обе языковые среды позволяют выполнить LRT в нескольких строках. Используем набор данных об оттоке, упомянутый ранее, чтобы числа совпадали с разделами об интерпретации и регрессии.
Тест отношения правдоподобия в Python
Понадобятся
numpy,pandas,statsmodelsиscipy. Начните с генерации набора данных:В этом наборе данных доля оттока составляет 32,1%.
Далее оцените ограниченную и полную модели логистической регрессии. Атрибут
.llfсодержит максимизированное лог-правдоподобие каждой из них:Лог-правдоподобия ограниченной и полной моделей
В statsmodels нет общей функции LRT для логистической регрессии, поэтому статистику вычисляют из двух лог-правдоподобий. Атрибут
.df_modelдаёт число предикторов в каждой модели, аstats.chi2.sf()возвращает p-значение:Статистика критерия, степени свободы и p-значение
P-значение значительно меньше 0,05, поэтому вы отклоняете нулевую гипотезу. Данные дают сильные доказательства, что
monthly_chargesиsupport_ticketsулучшают подгонку по сравнению с моделью только сtenure_months.Для сравнения с моделью только с константой дополнительный код не нужен. statsmodels рассчитывает это для каждой модели логистической регрессии:
Сравнение полной модели с моделью только с константой
Тест отношения правдоподобия в R
R использует другой генератор случайных чисел, чем NumPy, поэтому загрузите файл
churn.csvиз примера Python, чтобы работать с идентичными данными. Затем оцените обе модели сglm()и передайте их вanova():Лог-правдоподобия и тест отношения правдоподобия в R
Значения
dfрядом с каждым лог-правдоподобием — количество оценённых параметров, включая интерсепт. В полной модели их на два больше, что соответствует столбцуDfв таблицеanova().Столбец
Devianceпоказывает 81,778 — ту же статистику LR, что вы получили в Python. Это на деле анализ девиации из раздела о GLM: снижение остаточной девиации с 1113,8 до 1032,0 — это и есть статистика теста.R печатает p-значение как
< 2.2e-16, потому что это минимальное значение, показываемое по умолчанию, а не потому, что оно отличается от результата Python. В любом случае вывод тот же: дополнительные предикторы улучшают подгонку.Если предпочитаете специализированную функцию,
lrtest()из пакетаlmtestвыполняет то же сравнение черезlrtest(reduced_model, full_model).Предпосылки и ограничения тестов отношения правдоподобия
LRT хорошо работает в описанных сценариях, но его хи-квадрат-результат зависит от ряда условий.
Модели должны быть вложенными
Стандартный LRT сравнивает только вложенные модели, где ограниченная модель — частный случай полной.
Если вы хотите сравнить логистическую регрессию с пробит-моделью или две модели с разными наборами предикторов, ни одна не является частным случаем другой. Распределение хи-квадрат здесь не применимо. Используйте информационные критерии, такие как AIC и BIC, или тест Вуонга для невложенных моделей.
Обе модели должны иметь оценки максимального правдоподобия
Тест сравнивает максимизированные правдоподобия, поэтому обе модели должны быть оценены методом максимального правдоподобия на одних и тех же данных.
Здесь часто встречаются две проблемы. Смешанные модели, оцененные REML (по умолчанию во многих пакетах), нельзя сравнивать LRT при различиях в фиксированных эффектах — сначала переоцените их методом максимального правдоподобия. А штрафные модели, такие как лассо или ридж-регрессия, не максимизируют само правдоподобие, поэтому обычный тест к ним не применим.
Модели также должны использовать одни и те же наблюдения. Если у одного из предикторов есть пропуски, полная модель может отбросить строки, и сравнивать лог-правдоподобия будет некорректно.
Результат по хи-квадрат — асимптотический
Теорема Уилкса — это результат для больших выборок. Она выполняется при условиях регулярности, что в общих чертах значит: правдоподобие гладкое, параметры идентифицируемы, а истинные значения параметров лежат внутри допустимого диапазона, а не на его границе.
Когда эти условия выполняются, распределение хи-квадрат — хорошее приближение для больших выборок. Но это всё равно приближение.
Малые выборки
При малых выборках статистика LRT может не следовать распределению хи-квадрат, и p-значения могут быть заниженными или завышенными.
Есть варианты. Параметрический бутстрэп моделирует новые наборы данных из ограниченной модели и строит распределение статистики. Для простых случаев, как таблицы сопряжённости, точные тесты избегают аппроксимации.
Параметры на границе
Некоторые нулевые гипотезы помещают параметр на границу допустимого диапазона. Самый распространённый пример — проверка равенства нулю дисперсии случайного эффекта в смешанной модели, так как дисперсия не может быть отрицательной.
В этом случае статистика не следует обычному распределению хи-квадрат. Для одной компоненты дисперсии она следует смеси 50:50 хи-квадрат с 0 и 1 степенями свободы, поэтому стандартное p-значение примерно вдвое больше нужного. Стандартный тест здесь консервативен, то есть чаще пропускает реальные эффекты.
Проверка числа компонент в смесевой модели имеет схожую проблему. При сравнении одной и двух компонент условия регулярности нарушаются, и аппроксимация хи-квадрат не работает вовсе.
Неверная спецификация модели
LRT предполагает, что полная модель верна. Если обе модели неверно описывают распределение данных, например пуассоновская модель для счётов с дисперсией сильно больше среднего, статистика не будет следовать распределению хи-квадрат даже при больших выборках.
Проверьте подгонку полной модели, прежде чем доверять тесту. Для передисперсных счётов часто лучше подходит отрицательно биномиальная модель или F-тест на основе квазиправдоподобия.
Итак, аппроксимация хи-квадрат — это значение по умолчанию, а не гарантия, и она применима только при условиях теоремы Уилкса.
Заключение
Отношение правдоподобия сравнивает, насколько хорошо две гипотезы или модели объясняют одни и те же наблюдённые данные. Это вся идея, и всё остальное в статье на ней основано.
Тест отношения правдоподобия превращает эту идею в формальную процедуру. Он оценивает две вложенные модели, сравнивает их максимизированные лог-правдоподобия и использует распределение хи-квадрат, чтобы получить p-значение. Чаще всего вы увидите его в логистической регрессии и других GLM, и как statsmodels, так и R выполняют его в несколько строк кода.
Но помните, что означает число. Отношение правдоподобия показывает относительную поддержку одной гипотезы перед другой, а не вероятность истинности любой из них. Чтобы получить её, нужны априорные шансы, как в диагностическом тестировании.
Если хотите углубиться, следующие шаги — это кирпичики, на которых держится тест: само правдоподобие, оценивание максимального правдоподобия и сравнение теста Вальда и других тестов гипотез с LRT.