12.4. СТАТИСТИЧЕСКИЙ СИНТЕЗ ОПТИМАЛЬНЫХ АЛГОРИТМОВ

12.4.1. Предварительные замечания.

В отличие от эвристического решения, которое может отражать субъективное отношение человека к наблюдению, оптимальный алгоритм принятия решения (оптимальное правило выбора решения) устанавливается до наблюдения по заданному критерию качества. Такой алгоритм может использоваться человеком-оператором, а также автоматом или ЭВМ по заранее определенной программе. Как было показано в § 12.3, задание критерия качества обусловлено априорными данными. Отсутствие необходимых априорных данных вынуждает отказаться от одних критериев оптимальности и принимать другие.

Здесь будут приведены лишь формулировки задач статистического синтеза оптимальных алгоритмов принятия решений по заданным критериям качества, решение которых составит содержание последующих глав. Хотя далее в этой главе рассматривается только класс дискретно-аналоговых, одношаговых алгоритмов, в последующих главах теория статистического синтеза будет охватывать и аналоговые, и цифровые алгоритмы.

12.4.2. Байесовские алгоритмы.

Оптимальный алгоритм принятия решения называется байесовским, если при его использовании достигается минимальное значение (нижняя граница) среднего риска

(12.18)

или

(12.18 а)

Поэтому байесовский алгоритм называют оптимальным по критерию минимума среднего риска. Решение принимаемое согласно этому алгоритму при наблюдении выборки называют байесовским.

Задача статистического синтеза байесовского алгоритма проверки гипотез состоит в определении такого разделения выборочного пространства на непересекающиеся области , которое удовлетворяет условию (2.18) [см, также (12.56) и (12.12)].

Задача статистического синтеза байесовского алгоритма оценивания параметра состоит в определении оценки , которая удовлетворяет условию (12.18) [см. также (12.6) и {12.15)].

Заметим, что из (12.15) и (12.16) следует

(12.19)

где

Функционал

(12.20)

называется апостериорным риском, так как представляет усредненную по апостериорной плотности плату за ошибки при оценивании параметра .

Ввиду того, что для выпуклой положительной функции потерь оценка, минимизирующая апостериорный риск, минимизирует и средний риск R, т. е. является байесовской.

12.4.3. Минимаксные алгоритмы.

Предположим, что в задаче проверки гипотез априорное распределение неизвестно. В этом случае можно определить условных рисков

(12.21)

В этих условиях априорной неопределенности можно использовать критерий минимакса, согласно которому алгоритм принятия решения (правило разделения выборочного пространства на непересекающиеся области) является оптимальным, если при его использовании минимизируется максимальный из условных рисков. Доказано (см., например, [26]), что минимаксный алгоритм совпадает с байесовским для наименее благоприятного априорного распределения гипотез

(12.22)

Для аналогичной ситуации в задаче оценивания параметра когда априорная плотность вероятности неизвестна, можно определить функцию условного риска

(12.23)

В этом случае оптимальность может основываться на минимаксном критерии, согласно которому наилучшей является минимаксная оценка для которой верхняя граница значений функции не превосходит верхних значений этой функции при любых других оценках:

(12.24)

Как и в задаче проверки гипотез, минимаксный алгоритм оценивания совпадает с байесовским для наименее благоприятного априорного распределения оцениваемого параметра.

12.4.4. Алгоритмы максимальной апостериорной вероятности и максимальной апостериорной плотности вероятности.

Предположим, что в задаче проверки гипотез матрица потерь неизвестна. В этом случае по формуле (12.13) можно определить апостериорные вероятности гипотез т. Алгоритм бмап проверки гипотез называется оптимальным по критерию максимальной апостериорной вероятности, если при его использовании принимается решение когда

(12.25)

В аналогичной ситуации в задаче оценивания параметра когда неизвестна функция потерь, можно по формуле (12.16) определить апостериорную плотность вероятности параметра Оценка называется оценкой максимальной апостериорной плотности вероятности оцениваемого параметра, если

12.4.5. Алгоритм максимального правдоподобия.

Если в задаче проверки гипотез неизвестны и априорное распределение гипотез, и матрица потерь, то синтез оптимального алгоритма может основываться лишь на функции правдоподобия. Оптимальный алгоритм проверки гипотез называется алгоритмом максимального правдоподобия, если при его использовании

(12.27)

В аналогичной ситуации в задаче оценивания параметра когда неизвестны априорная плотность и функция потерь, оптимальная оценка называется оценкой максимального правдоподобия,

(12.28)

12.4.6. Алгоритм различения гипотез, оптимальный по критерию Неймана—Пирсона.

Рассмотрим задачу проверки гипотезы Но против альтернативы в ситуации априорной неопределенности, когда априорные вероятности гипотез, а также матрицы потерь неизвестны. Для указанной бинарной (одноальтернативной) задачи проверки гипотез при использовании любого правила выбора решения возможны два ошибочных решения и два правильных Условные вероятности

(12.29)

называют вероятностями ошибок первого и второго рода соответственно.

Ясно, что вероятности правильных решений

Алгоритм называется оптимальным по критерию Неймана — Пирсона, если при его использовании достигается минимальное значение ошибки второго рода

(12.32)

при заданном ограничении вероятности ошибки первого рода