Главная > Математика > Прикладная статистика: Классификации и снижение размерности
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

3.3. Сводка рекомендаций по линейному дискриминантному анализу

Линейным дискриминантным анализом (ЛДА) называют совокупность алгоритмов, связанных с общей моделью Фишера (см. п. 1.1.2) и некоторыми ее обобщениями, сохраняющими общий линейный (по X) вид решающего правила (1.12), (2.15), п. 2.4.3, (3.15).

3.3.1. Проверка базовых предположений.

Заметим сначала, что выраженная негауссовость одномерных распределений при гипотезах (например, дискретность распределений) обычно не рассматривается в качестве серьезной помехи к применению линейной дискриминантной функции (ЛДФ). Более важны другие свойства модели: существование постоянных таких, чтобы да были бы примерно симметричны. Или даже просто выполнение условий

Описанный в п. 3.1.1 визуально-графический метод дает комплексную проверку условий применимости ЛДА. Если распределения ни одного из классов не распадаются на отдельные кластеры, то можно попытаться добиться большего совпадения с моделью Фишера с помощью параметрического преобразования координат [11, п. 10.3.4] или перехода к Т-нормальным распределениям (см. пп. 1.1.5 и 3.2.1).

3.3.2. Гипотеза о простой структуре зависимостей между признаками.

Примеры распределений с простой структурой связей даны в пп. 1.1.2 и 1.1.5. Независимость признаков, наличие ДСЗ или позволяют путем использования оценок учитывающих структуру зависимостей, заметно уменьшить ООК (см. § 2.3). Кроме того, в этом случае отбор информативных признаков носит неитеративный характер и всегда можно сказать, почему включен или не включен в число отобранных тот или иной признак (см. п. 1.4.1). Метод проверки гипотезы о наличии ДСЗ описан в п. 3.1.4. Эту проверку целесообразно проводить всегда.

3.3.3. Методы выделения информативных комбинаций координат.

Линейные комбинации — это главные компоненты общей ковариационной матрицы данных или главные компоненты, связанные с ковариационной матрицей одного из классов (см. п. 3.1.2). Последние легче интерпретировать, так как в них направления компонент статистически не зависят от средних второй совокупности. Иногда бывает целесообразным выделить, исходя из содержательных соображений, подгруппу координат, направленных на оценку только одного прямо не измеримого свойства объекта, и спроектировать на направление первой главной компоненты этой подгруппы для наибольшего класса. Обозначим проекцию . Замена на позволяет существенно сократить размерность пространства переменных, учитываемых в асимптотических формулах § 2.3.

3.3.4. Методы вычислений.

Если то в случае, когда распределения X близки к многомерным нормальным законам, можно использовать подстановочный алгоритм (см. п. 2.1.1), в остальных случаях лучше подгонять логистическую функцию (см. п. 3.2.3), как менее зависящую от гауссовости распределений. В случае р, когда нельзя сделать упрощающих предположений о зависимости координат (см. 3.3.2), целесообразно для уменьшения ООК использовать регуляризованные оценки (см. § 2.4).

3.3.5. Альтернативные алгоритмы.

Если исходные предположения ЛДА не выполняются (см. п. 3.3.1) и их выполнения нельзя добиться преобразованием координат или переходом к Т-нормальному варианту модели Фишера можно рекомендовать либо малопараметрические представления распределений в виде смесей (см. п. 1.1.3), либо использовать непараметрические методы и 3.2.4.

3.3.6. Другие вопросы.

В случае, когда предположения о простой структуре зависимостей не верны, отбор информативных переменных проводится с помощью общего подхода, изложенного в п. 1.4.3. Полученный результат контролируется при этом обычно с помощью оценки расстояния Махаланобиса (см. п. 3.4.3) и с учетом эффектов, описанных в § 2.5.

В случае, когда есть подозрение, что некоторые наблюдения в обучающей выборке могут быть определены с ошибкой (засоренные выборки), надо использовать устойчивые оценки параметров распределений, как это рекомендуется в п. 3.1.3.

<< Предыдущий параграф Следующий параграф >>
Оглавление