3.3. КРИТЕРИИ ОЦЕНКИ ЧИСЛА ФАКТОРОВ, ПОДЛЕЖАЩИХ ВЫДЕЛЕНИЮ

При применении как метода главных факторов, так и центроидного метода возникает один и тот же вопрос: когда должен быть закончен процесс выделения факторов или каким числом факторов можно удовлетвориться? Имеются различные пути решения этого вопроса, которые отчасти приводят к новым способам решения, отчасти также связаны с проблемой общности, проблемой вращения и оценкой значений факторов, т. е. с теми проблемами, которые нами пока затрагивались поверхностно. Поэтому указанные далее идеи будут полностью понятны лишь после изучения последующих глав.

Общепризнанного метода определения числа факторов, подлежащих выделению, не существует. Представители различных школ расходятся в мнении о том, какой метод является более достоверным и пригодным для практики. К настоящему времени разработано более двадцати способов определения числа выделяемых факторов. Все эти способы, естественно, не могут быть здесь разобраны. В основном различают три подхода при решении задачи о числе выделяемых факторов:

1) алгебраический подход, который сводится к определению ранга R;

2) статистический подход, при котором на передний план выдвигается возможность сделать заключение на определенном уровне значимости о всей генеральной совокупности индивидуумов; 3) психометрический подход, при котором добиваются обобщения на совокупность всех переменных, и отчасти этот подход аргументирован с общенаучных позиций. Каждый из этих подходов можно проследить в большинстве имеющихся способах оценки числа факторов, подлежащих выделению. Перечисленные подходы и их возможные комбинации определяют многообразие созданных вычислительных процедур, которые можно найти в литературе.

3.3.1. Изображение долей дисперсии

Графическое изображение долей дисперсии факторов позволяет дать в общих чертах обзор критериев выделения факторов. В принятом в факторном анализе подходе полная дисперсия наблюдаемых переменных всегда равна . Легко можно определить, какая доля этой дисперсии приходится на выделяемых общих факторов. Доля дисперсии, которая вносится одним фактором, равна сумме квадратов факторных нагрузок одного столбца матрицы А. Приведенные рассуждения проиллюстрированы числовым примером в табл. 2.4. Можно произвольно положить, что достаточно выделить такое количество факторов, на которые приходится 90% или 95% полной дисперсии (см. рис. 3.10). Такое условие приводит к однозначному решению, но оно является обычно недостаточно аргументированным, почему именно ограничиваются 90% полной дисперсии. Могут возразить, что на результате выделения факторов сказывается разделение на общую и характерную дисперсию.

Для выражения дисперсии фактора в процентах от полной дисперсии служит отношение: , в котором характерная дисперсия входит в знаменатель. Таким образом, с самого начала не указывается, сколько характерной дисперсии и сколько общей дисперсии приходится на определенную переменную. В компонентном анализе, где стремятся лишь к воспроизведению матрицы R без разделения на общую и характерную дисперсии, такой подход к выделению факторов вполне корректен. Но при использовании модели факторного анализа полезно знать доли дисперсии факторов относительно полной дисперсии.

Рис. 3.10. Доли дисперсии шести факторов, выраженные в процентах от полной дисперсии, расположены в порядке, соответствующем выделению этих факторов. Точками изображены накопленные значения долей дисперсий. Пунктирные линии соответствуют обычным границам, принятым при выделении факторов в компонентном анализе

Эти доли часто очень малы и отражают содержание анализа. Для наглядности чертят график долей дисперсии факторов, располагая их в порядке уменьшения или в виде накопленного ряда, как это показано на рис. 3.10. На основе такого изображения можно произвольно установить правило — выделять такое число факторов, на которые приходится 90% полной дисперсии, или выделять только те факторы, дисперсия которых составляет более 5% полной дисперсии. Как показывает пример на рис. 3.10, оба критерия не согласуются между собой. Если остановиться на объяснении только 90% полной дисперсии, то в этом случае ограничились бы выделением трех факторов, так как только третья точка лежит выше пунктирной линии. Если бы выбирались все факторы с дисперсией более чем 5%, то пришлось бы выделить четыре фактора, так как уже пятый фактор имеет меньшую долю дисперсии.

При применении модели факторного анализа часто рациональнее употреблять доли дисперсий общих факторов, отнесенных к суммарной общности, и указывать вклад каждого фактора в процентах. Такой подход представлен на рис. 3.11. Значения в процентах, которые указаны на шкале в левой стороне рисунка, неизбежно становятся больше, так как характерная дисперсия не входит более в знаменатель. При принятии решения о числе факторов, подлежащих выделению, недостаточно учитывать исключительно только эти значения в процентах, как это часто случается на практике.

При небольшой суммарной общности доля, выраженная в процентах, часто очень велика, хотя это не отражает действительного положения вещей. Поэтому с правой стороны рис. 3.11 нанесена другая шкала, по которой можно считывать доли от полной дисперсии, выраженные в процентах. Дополнительно в правой части рисунка приведена шкала, по которой можно считывать абсолютные величины дисперсий в виде собственных значений.

Рис. 3.11. Распределение долей дисперсии факторов, выраженных в процентах от суммарной общности и полной дисперсии. Слева указана шкала для долей дисперсий, выраженных в процентах от суммарной общности. Справа указана шкала для долей дисперсий, выраженных в процентах от полной дисперсии. Кроме того, справа приведена шкала для собственных значений. Доли дисперсии расположены в порядке убывания. Точками изображены накопленные значения долей дисперсий. Факторы, которые не должны выделяться, заштрихованы

При определении числа выделяемых факторов надо учитывать в равной степени доли дисперсий факторов, отнесенных как к полной дисперсии, так и к суммарной общности, а также абсолютные значения дисперсий. В этой связи следует упомянуть один критерий, предложенный Кайзером и Дикманом [166]. Факторы, вклады которых (сумма квадратов факторных нагрузок) в полную дисперсию меньше единицы, имеют долю дисперсии, меньшую единичной дисперсии переменных. Такие факторы не должны выделяться. На рис. 3.11 они заштрихованы. Приведенный критерий, по которому следует выделять только факторы с собственными значениями больше единицы, широко распространен благодаря своей простоте. Так как этот критерий основан на величине собственных значений, а число собственных значений зависит от числа переменных, то при небольшом числе переменных будет выделяться мало факторов, при большом числе переменных соответственно много факторов. Исходя из этих соображений в примере на рис. 3.11 надо было бы ограничиться двумя факторами.

Всегда рекомендуется дисперсии отдельных факторов вычислять в виде долей от полной дисперсии и от суммарной общности и графически их изображать, как это показано на рис. 3.11. Благодаря такому наглядному изображению получают возможность принять первое решение о числе факторов, подлежащих выделению, хотя такое решение является поверхностным и в определенной степени субъективным.

В качестве критериев при этом следует учитывать обе доли дисперсий факторов, форму кривой (см. ниже) и абсолютные доли дисперсии. При этом не должна вводить в заблуждение высокая доля дисперсии, вычисленная относительно суммарной общности, если абсолютное ее значение мало. Указание на то, что 30% суммарной общности обеспечивается вторым фактором, ничего не дает, если не сообщается величина этой суммарной общности. Если, например, суммарная общность составляет одну треть от полной дисперсии, то на второй фактор приходится только 10% полной дисперсии.

Рис. 3.12. Собственные значения корреляционной матрицы, построенной по случайным числам, имеющим нормальное распределение

Рис. 3.13. Собственные значения матрицы выборочных коэффициентов корреляции (точки). Кружочками изображены собственные значения, приведенные на рис. 3.12

Изображение, подобное приведенному на рис. 3.11, где с левой стороны можно считывать долю дисперсии фактора, вычисленную относительно суммарной общности, а с правой — долю дисперсии фактора, вычисленную относительно полной дисперсии, а также собственные значения А., позволяет избежать таких ошибочных заключений. Такое изображение является очень наглядным и помогает завершить факторный анализ.

При практической работе оправдала себя процедура, которая была разработана Каттеллом [35; 20] и названа им критерием отсеивания (scree-test). В этой процедуре исходят из графического изображения всех собственных значений корреляционной матрицы, которые наносятся на график в порядке их убывания. Рис. 3.11 соответствует подобному изображению, так как доли дисперсии можно рассматривать как собственные значения. На рис. 3.12 представлены все проранжированные собственные значения корреляционной матрицы с единицами на диагонали. Корреляционная матрица была вычислена для 16 переменных значения которых были взяты из таблицы случайных чисел с нормальным распределением, и поэтому матрица содержит случайные корреляции.

Как видно, собственные значения Лежат практически на прямой, наклон которой соответствует обратной зависимости.

Если имеет место неслучайная корреляция, то возможна кривая, изображенная на рис. 3.13. На этом рисунке нанесены собственные значения корреляционной матрицы, построенной по данным заполнения анкет для 16 параметров . Точки не лежат на одной прямой. Кривая имеет явный изгиб. Правую ее часть можно выравнять по прямой. Последняя точка слева на этой прямой указывает число факторов, подлежащих выделению. В данном случае по критерию отсеивания надо было бы выделить пять факторов. На рис. 3.13 для сравнения представлены три других критерия определения числа факторов, подлежащих выделению. Второй критерий заключается в следующем. Над прямой проведенной на графике, лежат четыре точки, соответствующие четырем собственным значениям. Следовательно, число выделяемых факторов должно быть не меньше четырех. С другой стороны, по одному из простых правил, должно быть выделено меньше факторов, т. е. в нашем случае меньше восьми. Таким образом, число фактически выделяемых факторов лежит между четырьмя и восемью, следовательно, оба критерия не противоречат друг Другу.

Критерий Хорна [140; 2] также можно проиллюстрировать рисунком 3.13. Хорн предлагает для каждой исследуемой корреляционной матрицы определять по случайным нормально распределенным числам k корреляционных матриц, используя при этом один и тот же объем выборок. Затем вычисляются средние величины ранжированных собственных значений этих матриц. Полученная по усредненным величинам кривая собственных значений соответствует аналогичной кривой в генеральной совокупности при определенном объеме случайных выборок, определенном числе переменных и определенной случайной. корреляции. Там, где эта кривая пересекает кривую собственных значений, вычисленных по действительным наблюдениям, Хорн предлагает прекратить выделение факторов. Кривая собственных значений, заимствованная из рис. 3.12, на рис. 3.13 отмечена маленькими кружками. Согласно сформулированному правилу следовало бы ограничиться четырьмя факторами. Критерий Хорна в принципе сводится к правилу, по которому должны выделяться факторы с причем учитывается влияние случайности. По критерию Хорна выделяется меньше факторов, чем по критерию отсеивания Каттелла. Усредненная кривая собственных значений пересекает прямую в точке, абсцисса которой равна Гуттман [112, 5] определил нижнюю границу числа общих факторов, подлежащих выделению, при отсутствии данных об общностях. Если у матрицы R число собственных значений, больших единицы, равно то имеет место соотношение . В работе Гуттмана указываются две другие границы, уточняющие значения , но на практике они редко применяются.

При принятии решения по критерию отсеивания о числе факторов, подлежащих выделению, исходят не из модели факторного анализа, а из главных компонент корреляционной матрицы. В этом случае процедура проведения факторного анализа состоит в следующем. Вначале определяют главные компоненты матрицы R, не проводя оценку общностей. Затем устанавливают по критерию отсеивания число факторов , которое должно быть выделено, как это сделано на рис. 3.13. После этого выбирают значения общностей (см. раздел 4) и к редуцированной корреляционной матрице R применяют метод главных факторов для выделения факторов, используется процедура вращения осей системы координат (см. раздел 5), производится интерпретация выделенных факторов и оценка их значений (см. раздел 6).

Лишь после этого принимают окончательное решение о числе факторов, которое следует оставить для объяснения рассчитанных корреляций. Графическое изображение долей дисперсии факторов дает возможность принять лишь предварительное решение, необходимое для дальнейшей процедуры. И только после завершения всего факторного анализа можно ответить на вопрос о числе факторов, которое должно было быть выделено. Трудность состоит в том, что в ходе анализа должно быть относительно рано принято решение, сколько факторов подвергать процедуре вращения. Критерий отсеивания позволяет в общем случае выделить больше факторов, чем другие критерии. Поэтому следует отдавать предпочтение этому критерию. На последующих этапах расчета число выделенных факторов сокращается.

3.3.2. Оценка остатков корреляций

Как в методе главных факторов, так и в центроидном методе предусмотрено на каждом этапе выделения факторов вычисление остатков. Часто уже при рассмотрении остаточной матрицы ясно, что не имеет смысла продолжать процедуру выделения факторов. Если все остаточные коэффициенты корреляции незначительно отличаются от нуля, то нет необходимости в новом факторе.

Употребленному выражению «незначительно отличаются от нуля» можно дать более точное истолкование. Распределение остаточных коэффициентов корреляции гост должно соответствовать распределению коэффициентов корреляции, вычисленных по результатам случайных выборок одного и того же объема из нормально распределенной генеральной совокупности. Распределение гост должно быть нормальным со средним значением, равным нулю, и стандартным отклонением

Для проверки значимости гост нужно произвести точное сравнение фактического распределения остаточных коэффициентов корреляции с указанным эталонным распределением. Но обычно лишь устанавливается, насколько фактическое значение отличается от расчетного, вычисленного по формуле (3.22). Такого сравнения двух значений ост вполне достаточно для первого приближения. Часто распределение остатков приводится в таком виде, как показано в табл. 3.25. Применять более точный критерий проверки значимости остаточных коэффициентов корреляции не имеет смысла, так как остатки наверняка еще зависят от величин, которые не учитываются в формуле (3.22). Если стандартное отклонение остаточных коэффициентов корреляции значительно больше значения, вычисленного по формуле (3.22) и их среднее значение существенно отличается от нуля, то выделение нового фактора вполне оправдано. Описанная методика также не позволяет точно определить число факторов, подлежащих выделению, но служит необходимой отправной точкой проведения анализа.

Таблица 3.25. Распределение остаточных коэффициентов корреляций для примера с измерением кровяного давления (24 переменные,

На рис. 3.14 изображено распределение остаточных коэффициентов корреляции из табл. 3.25. Речь идет о модели кровяного давления, составленной по 24 переменным (см. с. 265). Все получившиеся остаточные коэффициенты корреляции не значимы при Их среднее значение приблизительно равно нулю. Ожидаемое стандартное отклонение по формуле (3.22) равно 0,1066, следовательно, оно значительно больше стандартного отклонения, вычисленного по фактическому распределению, что видно также из рис. 3.14. Новый фактор не следует выделять.

Барт [27; 7] предложил для оценки остатков употреблять величину степенями свободы, где величина z является преобразованием Фишера, составленным по остаточным коэффициентам корреляции. Сокал [271] рассматривал остатки корреляций как частные коэффициенты корреляции и проверял их значимость по упрощенной схеме. В своей работе он проводит сравнительный анализ критериев по определению числа факторов, подлежащих выделению, и показывает, что предлагаемый им подход к этой проблеме оправдывает себя.

При оценке остатков каждый коэффициент корреляции рассматривается в определенной степени сам по себе, вне связи с другими коэффициентами, либо из них составляется распределение. Для оценки значимости всей корреляционной матрицы Бартлет [15; 3] предложил критерий, усовершенствованный далее Уилксом [312]:

с степенями свободы. В случае слабой корреляционной зависимости, прежде чем вообще приступать к факторному анализу, рекомендуется применять этот критерий к исходной корреляционной матрице. Разумеется, при этом значительно увеличивается объем счетных работ, так как приходится вычислять определитель матрицы R. Если обработка данных методом главных компонент проводится на ЭВМ, то во время этой процедуры находят все собственные значения матрицы R.

Тогда определитель матрицы R вычисляется по следующей формуле:

В этом случае критерий находится очень просто. При этом нужно учитывать погрешности, возникающие из-за неизбежных округлений при вычислении собственных значений. Обычно определитель вычисляется так, как показано в табл. 1.4.

Рис. 3.14. Распределение остатков по табл. 3.25

Лоули предложил еще более простой критерий, который был найден в результате аппроксимации (3.23):

где — объем выборки. Формулы (3.23), (3.25) используются для проверки гипотезы об окончании процесса выделения факторов по матрице остатков. Критерий (3.23) дает более точные результаты, чем распределение остатков со стандартным отклонением (3.22), так как в этом случае гипотеза проверяется по всей корреляционной матрице. На практике формула (3.23) употребляется редко из-за большого объема вычислений, связанных с ней.

Таким образом проверяется значимость корреляционной матрицы или матрицы остатков. Если проверка гипотезы дает отрицательные результаты, то это только означает, что не имеет смысла продолжать процедуру выделения факторов. Перечисленные критерии не дают оценки модели факторного анализа. Любые высказывания по этому вопросу с помощью этих критериев полностью произвольны и бессмысленны.