22.3. АДАПТИВНЫЕ АЛГОРИТМЫ КЛАССИФИКАЦИИ В УСЛОВИЯХ ПАРАМЕТРИЧЕСКОЙ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ

22.3.1. Метод апостериорных вероятностей.

Пусть в результате наблюдения получена векторная (информационная) выборка Задача состоит в том, чтобы отнести наблюдение к одному из классов

Предполагается, что распределения классов характеризуются плотностями , причем параметры представляют независимые случайные векторы с априорными плотностями вероятностей которые отражают первоначальные знания о распределениях этих параметров. Имеется набор обучающих классифицированных выборок где вектор принадлежит классу Эту обучающую выборку можно использовать для корректировки априорных знаний путем определения апостериорной плотности

(22.42)

Используя формулу Байеса, определим апостериорную вероятность принадлежности классу при данных

(22.43)

где — априорная вероятность принадлежности классу . По критерию максимальной апостериорной вероятности относим наблюдение к классу если

(22.44)

Так как то из (22.43), (22.44) следует

(22.45)

Алгоритм классификации (22.45) предписывает вычисление величин и отнесение вектора наблюдения к тому классу которому соответствует максимальная из указанных величин. Если априорные вероятности одинаковы, классификация при заданном наборе сводится к определению того класса S, для которого наблюдаемая выборка максимизирует по индексу функцию правдоподобия . Последние можно рассматривать как оценки неизвестных плотностей распределений классов при заданном наборе обучающих

Функцию вычисляем, используя формулу полной вероятности

или

(22.46)

так как очевидно, что , а функция вовсе не зависит от обучающих выборок.

Второй сомножитель в подынтегральной функции (22.46) определяется согласно (22.42).

Заметим, что, когда параметры априори известны и равны их условные плотности представляют дельта-функции

и из (22.46) следует

В этом случае алгоритм классификации совпадает с оптимальным байесовским алгоритмом проверки гипотез [см. (20.11)].

22.3.2. Теорема Бернштейна — Мизеса.

Адаптивный алгоритм классификации (22.45) зависит от априорных плотностей распределений параметров [см. (22.42), (22.45), (22.46)]. Проверить возможность использования этого алгоритма без какого-либо определенного предположения об этих априорных плотностях можно с помощью теоремы, установленной С. Н. Бернштейном и Р. Мизесом [71]. Сущность ее состоит в следующем. Пусть — выборочное значение из распределения с неизвестным случайным параметром О. Апостериорное распределение этого пара» метра

(22.47)

где — априорная плотность вероятности параметра . Если извлекается следующее выборочное значение независимое от , то можно использовать в качестве нового априорного распределения для вычисления апостериорного

Аналогично, когда имеется независимая выборка размером , то

(22.49)

где

Упомянутая теорема утверждает, что если априорная плотность параметра непрерывна, то по мере возрастания объема выборки апостериорное распределение перестает зависеть от априорного распределения.

Таким образом, при достаточно большом безразлично, какую непрерывную функцию w (О) подставить в формулу (22.49). Эта предельная теорема послужила основой синтеза алгоритма классификации, предложенного Роббинсом [71].

22.3.3. Адаптивный алгоритм обнаружения случайного сигнала на фоне аддитивной гауссовской помехи.

В качестве иллюстрации метода синтеза адаптивного алгоритма классификации в условиях параметрической априорной неопределенности рассмотрим следующую задачу. Имеется реализация скалярной случайной величины, которую следует отнести к одному из двух классов: — помеха, представляющая гауссовскую случайную величину с нулевым средним и дисперсией — аддитивная смесь этой помехи и независимого от нее случайного сигнала, среднее значение а которого случайная величина, распределённая по нормальному закону с параметрами Предполагается, что априорные вероятности принадлежности наблюдения классам одинаковы.

Пусть — независимая классифицированная выборка аддитивной смеси сигнала с гауссовской помехой. По формул (22.42) находим апостериорную плотность распределения сигнального параметра а [см. (14.119)]

(22.50)

где

(22.51)

Если известно, что наблюдение принадлежит классу , то

Используя формулу (22.46), находим

Так как интеграл в (22.54) представляет свертку двух плотностей нормального распределения, то непосредственно находим

(22.55)

где а величины определяются согласна (22.51) и (22.52).

Если наблюдение — помеха, то [см. (22.46 а)]

(22.55 а)

Из (22.55) и (22.55 а) получаем следующий адаптивный алгоритм обнаружения [см. (22.45)]: принимается решение, что наблюдение представляет смесь случайного сигнала с аддитивной гауссовской помехой, если

(22.56)

и решение, что наблюдается помеха, в противном случае. После элементарных преобразований алгоритм (22.56) приводится к виду

(22.57)

Здесь в левой части коэффициент зависит от обучающей выборки, а коэффициент априори заданных дисперсий и размера обучающей выборки. Порог в правой части (22.57) зависит и от указанных значений дисперсий, и от обучающей выборки.

Если размер обучающей выборки неограниченно возрастает, то, как следует из (22.51) и (22.52), при

(22.58)

В этом случае квадратический член в левой части (22.57) стремится к нулю, алгоритм классификации становится линейным с перестраиваемым порогом с (22.9)]

(22.59)

и не зависит от начального априорного распределения сигнала. Напротив, если то и алгоритм (22.57) преобразуется к виду

т. e. не зависит от обучающей выборки и полностью определяется априорными данными.

Предположим теперь, что наблюдение представляет векторную (размером N) случайную величину, которую следует отнести к одному из двух классов: — гауссовская помеха с нулевым вектором средних и ковариационной матрицей — аддитивная смесь помехи и независимого от нее случайного сигнала, вектор средних а которого случайный, подчинен многомерному нормальному распределению с параметрами

Пусть — классифицированная выборка аддитивной смеси сигнала и гауссовской помехи. По формуле (22.42) с учетом результатов, приведенных в п. 14.5.7 и 14.5.8, находим, что апостериорная плотность сигнального параметра а подчиняется многомерному нормальному распределению с параметрами

(22.60)

Соотношения (22.60), (22.61) можно представить в рекуррентной форме

(22.62)

Если известно, что наблюдение приндалежит классу , то

(22.64)

Из (22.46) следует

(22.65)

Так как интеграл в (22.65) представляет свертку двух плотностей -мерного нормального распределения, то непосредственна находим

(22.66)

где вектор и матрица определены согласно (22.60), (22.61).

Если наблюдение — помеха, то

(22.66 а )

Из (22.66) и (22.66 а) получаем следующий адаптивный алгоритм обнаружения: принимается решение, что наблюдаемый вектор представляет аддитивную смесь случайного сигнала и гауссовской помехи, если

(22.67)

и решение, что наблюдалась помеха, в противном случае.

Если размер обучающей выборки то

(22.68)

В этом случае алгоритм классификации линейный с перестраиваемым порогом с (22.22) и с (22.59)

(22.69)

22.3.4. Адаптивный метод преодоления априорной неопределенности мешающих параметров.

Пусть в задаче проверки многоальтернативных гипотез (см. § 13.3) функция правдоподобия, соответствующая гипотезе, зависит от векторного мешающего параметра Запишем выражение среднего риска как функции мешающих параметров

(22.70)

где

(22.70 а)

— область выборочного пространства X, соответствующая решению о принятии гипотезы — элементы матрицы потерь, — априорная вероятность гипотезы

Если известны априорные распределения мешающих параметров, то эти параметры можно исключить из (22.70) путем усреднения по этим параметрам, заменив функцию функцией

(22.71)

где - априорная плотность распределения параметра

В условиях параметрической априорной неопределенности, когда функции неизвестны, при помощи обучающих выборок можно определить оценки максимального правдоподобия мешающих параметров и, как показано в [72], воспользуемся вместо (22.71) приближенным выражением

где — размерность вектора — матрица с элементами

(22.72 а)

в предположении, что существуют указанные производные.

Приближение (22.72) допустимо при условии, что априорные плотности распределения мешающих параметров «шире» апостериорных, которые формируются по обучающим выборкам. При этом функция существенно слабее зависит от чем остальные множители в правой части (22.72), и поэтому ее, наряду с величиной можно рассматривать как несущественный сомножитель. Тогда адаптивный алгоритм проверки многоальтернативных гипотез определяется минимизацией (путем определения соответствующих решающих функций ) величины

(22.73)

Для простой функции потерь

(22.74)

где — символ Кронекера, оптимальный адаптивный алгоритм формулируется следующим образом: принимается гипотеза если для всех

Представляет интерес и ряд других адаптивных алгоритмов проверки гипотез, рассмотренных в [73].