Главная > Математика > Прикладная статистика: Классификации и снижение размерности
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

1.4.2. Функции потерь.

Пусть — некоторое подмножество координат X. Обозначим входящие в него компоненты X. Для того чтобы произвести отбор информативного подмножества координат, вводится функция потерь , обладающая следующими свойствами:

для

для наборы признаков и S считаются эквивалентными,

для набор признаков S считается предпочтительнее набора .

В качестве можно взять, например, ожидаемую ошибку байесовского классификатора

где — условная вероятность i ипотезы при наблюдении а математическое ожидание берется по мере Нетрудно показать, что для условие (1.58) выполняется. Это условие помогает эффективно организовать процесс отбора признаков. Пусть, например, исследованы два подмножества признаков S, и и пусть тогда нет необходимости исследовать любое из подмножеств так как в силу (1.58) заранее известно, что они менее предпочтительны, чем Это соображение легло в основу многих высокоэффективных вычислительных алгоритмов.

Заметим, что для определения Q можно использовать любую из мер разделимости распределений, введенных в п. 1.1.5. Для этого достаточно положить

где — соответствующая мера, — функция распределения при условии, что верна гипотеза Взаимоотношения между различными функциями потерь систематизированы в [189]. Для нас только важно, что нет функции потерь, которая отбирала бы признаки в том же порядке, что и .

Вместе с тем многочисленные примеры показывают, что корреляция между наборами, отобранными с помощью различных функций Q, высокая.

В заключение отметим, что только в сильных предположениях п. 4.5.1 удается надежно оценивать групповую информативность признаков по индивидуальной. В общем случае неожиданности возможны даже в модели Фишера. В [325] утверждается, что для любого набора чисел удовлетворяющего условиям согласования (1.58), можно подобрать задачу Фишера, в которой числу i соответствует вектор и при этом для всех S имеем . В частности, возможна, например, такая неожиданная комбинация информативностей, когда при трех группах признаков индивидуально наиболее информативна третья группа, а попарно — совокупность первых двух групп.

<< Предыдущий параграф Следующий параграф >>
Оглавление