Глава 13. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ

13.1. ОДНОШАГОВЫЕ АЛГОРИТМЫ ПРОВЕРКИ ПРОСТОЙ ГИПОТЕЗЫ ПРОТИВ ПРОСТОЙ АЛЬТЕРНАТИВЫ

13.1.1. Постановка задачи и априорные данные.

Наблюдается реализация исследуемого случайного процесса. Результат наблюдения представляется в виде выборки фиксированного размера п. Выдвигается простая гипотеза о том, что функция правдоподобия выборки равна против простой альтернативы, что эта функция равна Гипотеза (и альтернатива) называется простой, если она полностью определяет функцию правдоподобия, и сложной, если она представляет конечное, счетное или континуальное множество гипотез. Примером сложной гипотезы является предположение о том, что выборка характеризуется параметрическим семейством функций правдоподобия, причем — конечное, счетное или континуальное множество.

Задача состоит в том, чтобы по результату наблюдения — выборке — принять или отвергнуть гипотезу Рассмотрим полный комплект априорных данных для этой задачи.

При фиксированном размере выборки пространством наблюдений (выборочным пространством) является -мерное евклидово пространство на котором заданы две функции правдоподобия

Известны, кроме того, априорные вероятности гипотезы и альтернативы которые образуют полную группу событий

Пространство решений Г состоит из двух элементов: — решения принять гипотезу — решения принять альтернативу (отклонить гипотезу ).

Рассматривается класс D дискретно-аналоговых, одношаговых алгоритмов принятия решения. Каждый алгоритм (правило выбора решения) предписывает в этом случае разделение выборочного пространства на две непересекающиеся области Если наблюдаемая выборка попала в область то принимается решение а если в область то решение

В математической статистике область принятия гипотезы Я о называют допустимой, а область отклонения этой гипотезы — критической.

Матрица потерь

состоит из четырех элементов: по главной диагонали расположены платы за правильные решения, а по побочной — платы за ошибки первого рода и второго рода соответственно.

Так как при проверке простой гипотезы против простой альтернативы функции правдоподобия полностью известны, то согласно предложенной в п. 12.6 терминологии синтез алгоритма принятия решения по любому критерию в рассматриваемом случае является синтезом в условиях полной априорной информации.

13.1.2. Условные вероятности ошибок и априорные вероятности решений.

Запишем выражения для условных вероятностей ошибок. Вероятность а ошибки первого рода [см. (12.29)]:

Вероятность правильного решения, состоящего в принятии верной гипотезы о, дополняет указанную вероятность до единицы, т. е.

(13.3 а)

Вероятность ошибки второго рода

Вероятность правильного решения, состоящего в отклонении ложной гипотезы дополняют до единицы, так как

Вероятность а ошибки первого рода (т. е. вероятность отвергнуть правильную гипотезу ) в математической статистике называют уровнем значимости, а вероятность отвергнуть ложную гипотезу — мощностью правила выбора решений.

Априорные вероятности решений

(13.5 а)

определяют частоты появления отдельных решений в длинной последовательности принятия решений. В (13.5 а и б) - априорные вероятности ошибок, а - априорные вероятности правильных решений.

Для заданного размера выборки вероятности ошибок и первого и второго рода невозможно одновременно сделать сколь угодно малыми. Например, чтобы ошибки первого рода появлялись редко, можно уменьшить до очень малого размера критическую Область Но при этом допустимая область будет охватывать почти все выборочное пространство, что приведет к недопустимому увеличению вероятности ошибок второго рода. Поэтому для того, чтобы сформулировать то или иное правило выбора решений, необходимо выработать какие-то разумные подходы. Путь к таким подходам указывают критерии качества, рассмотренные в § 12.3.

13.1.3. Байесовский алгоритм.

Используя указанный весь комплект априорных данных, запишем выражение среднего риска [см. (12.12) при ]

где

- условные риски, соответствующие гипотезе Но и альтернативе

Подставляя (13.7) и (13.8) в (13.6), после простых преобразований получаем

За критерий оптимальности алгоритма принятия решения примем минимальное значение среднего риска (байесовский критерий). Тот или иной алгоритм определяется выбором области . Область является дополнением к области в выборочном пространстве. Зависимость среднего риска от выбора проявляется через величины а и . Подставляя (13.3) и (13.4 а) в (13.9), находим указанную зависимость среднего риска R от выбора области в выборочном пространстве:

(13.10)

где — неотрицательная известная константа и .

Обозначим

(13.11)

Так как для любого подмножества А множества при имеет место неравенство , то интеграл в правой части (13.10) достигает максимума тогда и только тогда, когда в область интегрирования включаются все точки выборочного пространства, для которых подынтегральная функция (13.11) неотрицательна. Отсюда следует, что минимальное значение среднего риска достигается при условии, что в область принятия альтернативы включаются все выборки, для которых функция (13.11) неотрицательная, а в область принятия гипотезы — все выборки, для которых функция (13.11) отрицательна.

Таким образом, получаем байесовский алгоритм проверки простой гипотезы против простой альтернативы Ни который можно записать в виде

(13.12)

или

(13.13)

13.1.4. Достаточная статистика отношения правдоподобия.

Функция

называемая отношением правдоподобия, представляет неотрицательную случайную величину, получаемую функциональным преобразованием которое отображает точки -мерного пространства выборок на действительную полуось.

Байесовский алгоритм (13.13) проверки простой гипотезы против простой альтернативы состоит в сравнении отношения правдоподобия с порогом

причем принимается решение (отклоняется гипотеза ), если и принимается решение (принимается гипотеза если . Таким образом, для вынесения решения достаточно использовать значение одной случайной величины — статистики отношения правдоподобия , а не значения каждого элемента выборки в отдельности. Иными словами, отношение правдоподобия несет всю статистическую информацию о проверяемых гипотезах, которая содержится в выборке заданного размера. Подобная статистика называется достаточной.

Использование достаточной статистики отношения правдоподобия приводит к редукции наблюдаемых данных: отображению выборочного -мерного пространства на действительную положительную полуось. Поверхность в -мерном выборочном пространстве, разделяющая согласно байесовскому правилу пространство на подпространства отображается в точку на оси Байесовское правило теперь состоит в отображении интервала: в точку и интервала в точку (рис. 13.1).

Рис. 13.1. Редукция данных при использовании достаточной статистики

Любое монотонное преобразование достаточной статистики отношения правдоподобие также представляет достаточную статистику. В качестве такого преобразования иногда целесообразно принять Тогда байесовский алгоритм (13.13) проверки простой гипотезы против простой альтернативы запишется в виде

где порог определяется согласно (13.15).

Замена отношения правдоподобия его логарифмом всегда целесообразна при факторизации функций правдоподобия. Например, если элементы выборки независимы, то

(13.17)

В этом случае достаточная статистика представляет сумму независимых случайных величин, которая при выполнении условий центральной предельной теоремы асимптотически нормальна.

Заметим, что на основании (13.17) можно вычислять статистику последовательно в процессе наблюдения согласно рекуррентному соотношению

13.1.5. Байесовский риск.

Минимальный средний риск (байесовский) определяется по формуле (13.9), в которой условные вероятности ошибок вычисляются согласно (13.3) и (13.4) при использовании байесовского алгоритма принятия решения. Редукция данных, т. е. отображение выборочного пространства на действительную полуось отношений правдоподобия, позволяет обойти непреодолимые трудности, связанные с вычислением -кратных интегралов (13.3) и (13.4). Так как при использовании байесовского алгоритма событие эквивалентно событию а событие — событию , то в этом случае вероятности ошибок представляются однократными интегралами

(13.19)

где - плотности вероятности и функции распределения статистики отношения правдоподобия при гипотезе и альтернативе соответственно.

Если используется байесовский алгоритм в виде (13.16), то

(13.20)

где - функция распределения логарифма отношения правдоподобия при гипотезе и альтернативе соответственно.

Байесовский риск [см. (13.9)]

(13.22)

где определяются согласна (13.18), (13.19) [или (13.20) и ]

Рис. 13.2. Зависимость байесовского риска от вероятности гипотезы

13.1.6. Минимаксный алгоритм.

Предположим теперь, что априорные гипотезы и альтернативы неизвестны, и определим оптимальное минимаксное правило выбора решения, которое, как указывалось в п. 12.4.3, представляет специальный случай байесовского правила для наименее благоприятного априорного распределения гипотез. Так как в рассматриваемом случае проверки простой гипотезы против» простой альтернативы события и составляют полную группу, то достаточно определить наименее благоприятное значение вероятности или , которому соответствует максимум байесовского риска — минимаксный риск

(13.23)

На рис. 13.2 изображена типичная зависимость байесовского риска от вероятности гипотезы Запишем уравнение прямой, касательной к этой зависимости в точке

(13.24)

где — условные риски, определяемые согласно (13.7) и (13.8) при использовании байесовского правила, причем при: (точка касания)

В точке максимума функции касательная к кривой байесовского риска параллельна оси абсцисс (см. рис. 13.2) и, следовательно, , т. е. не зависит от переменной . Согласно (13.24) это условие максимума функции выполняется, если значение удовлетворяет уравнению

(13.25)

Минимаксный риск [см. (13.24), (13.25)]

Из (13.26) с учетом (13.7), (13.8), (13.13), (13.18) и (13.19) следует, что минимаксный алгоритм проверки простой гипотезы против простой альтернативы предписывает сравнение отношения правдоподобия с порогом см, который определяется из трансцендентного уравнения относительно неизвестной :

(13.27)

При уравнение (13.27) несколько упрощается

(13.27 а)

13.1.7. Алгоритм максимальной апостериорной вероятности.

Предположим, что матрица потерь (13.2) неизвестна. Тогда можно синтезировать оптимальный алгоритм проверки простой гипотезы Но против простой альтернативы по критерию максимальной апостериорной вероятности (см. п. 12.4.4). По формуле Байеса находим апостериорные вероятности гипотезы и альтернативы если в результате наблюдения получена выборка

(13.28 а)

откуда

(13.29)

Установим следующее правило выбора решения: принимается альтернатива Ни если (решение ), и отвергается эта гипотеза, если (решение ).

Условие равносильно принятию той гипотезы, для которой апостериорная вероятность больше 1/2 (а при равенстве 1/2 принимается альтернатива ).

Используя (13.29), запишем оптимальный алгоритм по критерию максимума апостериорной вероятности в виде

(13.30)

или

Таким образом, в этом случае оптимальный алгоритм проверки простой гипотезы Но сводится к вычислению отношения правдоподобия и сравнению его с величиной . Нетрудно заметить, сравнивая (13.30) с (13.15), что рассматриваемый алгоритм совпадает с байесовским, когда . При этом средний риск [см. (13.22)]

(13.306)

т. е. равен априорной вероятности ошибочного решения (любого рода). Следовательно, алгоритм максимальной апостериорной вероятности минимизирует априорную вероятность ошибок. Иначе говоря, этот алгоритм на протяжении длинной последовательности принятия решений обеспечивает максимальную частоту правильных решений.

13.1.8. Алгоритм максимального правдоподобия.

Если неизвестны и матрица потерь (13.2), и априорные вероятности гипотезы и альтернативы , то можно применить критерий максимального правдоподобия, согласно которому при наблюдении выборки принимается та из гипотез, которой соответствует большее значение функции правдоподобия выборки. Принимается гипотеза Но, если (решение ), и отвергается эта гипотеза, если (решение )

Таким образом, оптимальный алгоритм максимального правдоподобия записывается в виде

(13.31)

или

(13.31 а)

Этот алгоритм предписывает вычисление отношения правдоподобия и сравнение его с единицей (или определение знака логарифма отношения правдоподобия).

Алгоритм максимального правдоподобия совпадает с оптимальным алгоритмом по критерию максимума апостериорной вероятности, когда гипотеза и альтернатива равновероятны, т. е. когда

13.1.9. Алгоритм, оптимальный по критерию Неймана—Пирсона.

Другой подход к оптимизации алгоритма принятия решения при отсутствии априорной информации о потерях и вероятностях гипотез указывает критерий Неймана — Пирсона. Согласно этому критерию оптимальный алгоритм обеспечивает минимально возможную вероятность ошибок второго рода при условии, что вероятность ошибки первого рода не больше заданного значения а (см. п. 12.4.6).

Задача синтеза оптимального алгоритма принятия решения по указанному критерию состоит в определении минимума функционала

(13.32)

в котором вероятность зависит от правила выбора решения, вероятность а фиксирована и с — неопределенный множитель Лагранжа. Сравнивая (13.32) с (13.9), замечаем, что функционал Ф совпадает со средним риском при (плата за ошибку первого рода в с раз больше, чем за ошибку второго рода). Следовательно, минимум функционала достигается при использовании байесовского алгоритма для указанных плат и априорных вероятностей гипотез.

Тогда из (13.13) находим следующий оптимальный по критерию Неймана — Пирсона алгоритм проверки простой гипотезы против простой альтернативы

(13.33)

Порог с находим из граничного условия (заданного значения вероятности ошибки первого рода)

(13.34)

или

(13.34 а)

Конечно, и в рассматриваемом случае вместо статистики отношения правдоподобия можно использовать ее логарифм

(13.35)

и

(13.36)

или

(13.36 а)

Минимальная по критерию Неймана — Пирсона вероятность ошибки второго рода [ср. (13.19) и (13.21)]

(13.37)

или

где с и определяется согласно (13.34) и (13.36) соответственно.

13.1.10. Универсальность достаточной статистики отношения правдоподобия.

При проверке простой гипотезы против простой альтернативы все рассмотренные критерии качества приводят к единообразной процедуре принятия решения: по наблюденной выборке фиксированного размера вычисляется отношение правдоподобия и принимается или отвергается гипотеза в зависимости от того, где находится это отношение ниже или выше некоторого фиксированного порога, устанавливаемого заранее в соответствии с принятым критерием.

Таблица 13.1

Пороги, с которым сравнивается отношение правдоподобия для различных критериев, приведены в табл. 13.1.