Главная > Математика > Прикладная статистика: Классификации и снижение размерности
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

2.2.2. Инвариантность и подобие алгоритмов.

В дискриминантном анализе при небольшом числе принципов построения правил классификации предложено очень много конкретных алгоритмов. Поэтому весьма настоятельной является задача выделения алгоритмов в чем-то похожих.

Введем необходимые обозначения. Пусть означает выборку (2.1) объема ; распределение X, принадлежащих классу; (X, у) — новое наблюдение, не зависящее от — алгоритм, — правило классификации, построенное с помощью алгоритма А на выборке — результат применения к наблюдению X правила классификации — группа преобразований пространства

Будем говорить, что алгоритм А инвариантен относительно G, если

Два алгоритма А и В будем называть асимптотически (в традиционной асимптотике) подобными для семейства распределений М, если для любого и любых таких, что найдется такое, что для

Для асимптотики Колмогорова — Деева в вышеприведенном определении слова любых надо заменить на «любой последовательности (по ) , удовлетворяющей условиям асимптотики». Причем в условия асимптотики должно обязательно включаться требование стремления расстояний между распределениями к конечным и отличным от нуля пределам.

Пусть — правило классификации по отношению правдоподобия (1.2), алгоритм А будем называть состоятельным в традиционной асимптотике над М, если для любого и любых найдется такое, что для

Для асимптотики Колмогорова—Деева понятие состоятельности алгоритма не вводится, поскольку в ней даже для многомерных нормальных распределений

(2.13)

Приведем несколько примеров использования введенных выше понятий.

В п. 1.2.3 описан класс алгоритмов построения древообразных правил классификации в условиях полного знания распределений в классах. Если в формулах (1.48), (1.50) заменить функцию потерь Q и вероятности событий на соответствующие оценки типа (2.8) и частоты, оцененные по выборке то получим класс древообразных классификаторов. Древообразные классификаторы, очевидно, инвариантны относительно произвольных монотонных преобразований координат и не инвариантны относительно группы общих линейных преобразований Более того, если в традиционной асимптотике с ростом объема выборки но так, что то для достаточно гладких распределений древообразные классификаторы асимптотически минимизируют используемую функцию потерь и, в частности, при выборе в асимптотически подобны байесовскому классификатору и, следовательно, у состоятельны.

Подстановочный алгоритм, использующий классифицируемое наблюдение (X, у) при оценке неизвестных параметров распределений в модели Фишера. Обозначим оценки параметров модели по объединенной выборке где — наблюдение, которое предстоит классифицировать, и у положено равным

Тогда критерий отношения правдоподобия может быть представлен в виде отношения

Нетрудно найти новые оценки (в них — традиционные оценки (2.2) и (2.3).)

Итак, в силу очевидных сокращений

Из-за того, что матрицы добавок к S в определении и имеют ранг 1, формула для может быть упрощена:

Можно доказать, что подстановочные алгоритмы с использованием пары (X, у) и без нее при оценке параметров асимптотически подобны и в традиционной асимптотике, и в асимптотике растущей размерности.

<< Предыдущий параграф Следующий параграф >>
Оглавление