Глава 22. АДАПТИВНЫЕ АЛГОРИТМЫ

22.1. ОПРЕДЕЛЕНИЕ И КРИТЕРИЙ КАЧЕСТВА АДАПТИВНОГО АЛГОРИТМА

Термины «адаптация», «адаптивные алгоритмы» трактуются весьма широко. Условимся понимать под адаптивным такой алгоритм принятия решения, при построении которого для преодоления априорной неопределенности используется предварительное обучение. Целью обучения является формирование на основе наблюдаемой реализации изучаемого процесса (выборки) оценок неизвестных функций распределения (при непараметрической априорной неопределенности) или оценок неизвестных параметров распределения (при параметрической априорной неопределенности). Эти оценки используются затем вместо неизвестных вероятностных характеристик при синтезе алгоритма принятия решения. Так, адаптивные алгоритмы обнаружения и различения сигналов на фоне помех находят путем подстановки в достаточные статистики отношений правдоподобия, полученные в результате обучения оценки неизвестных параметров или неизвестных функций правдоподобия.

Обучение может происходить «с учителем» по классифицированной обучающей выборке, для которой априори известно, какой из проверяемых гипотез принадлежит каждый из ее элементов, или «без учителя» по неклассифицированной наблюдаемой выборке, по которой формируются статистики, используемые для принятия решения.

При неограниченном увеличении размеров обучающих выборок общим критерием качества адаптивных алгоритмов является их сходимость к соответствующим оптимальным алгоритмам с полной априорной информацией.

Такие адаптивные алгоритмы, как статистики обучающих выборок, будем называть состоятельными. Так как обучение по случайным выборкам (классифицированным или неклассифицированным) вносит дополнительную случайность, то, конечно, не любой адаптивный алгоритм должен быть состоятельным.

Критерий состоятельности адаптивных алгоритмов не позволяет однозначно оценить неизвестные параметры или функции с помощью обучающих выборок. Эти оценки, как правило, выбираются эвристически, а затем адаптивный алгоритм проверяют по критерию состоятельности. Часто за оценки параметров, формируемых по обучающим выборкам, принимают оценки максимального правдоподобия.