Научная библиотека

8.6.1. Метод максимального (наибольшего) правдоподобия.

В соответствии с этим методом оценка неизвестного параметра по наблюдениям случайной величины (подчиненной закону распределения , где — плотность или вероятность определяется из условия

где L — функция правдоподобия, определенная соотношением (8.5).

Таким образом, в формальной записи оценка максимального правдоподобия параметра по независимым наблюдениям может быть представлена в виде

Естественность подобного подхода к определению статистических оценок вытекает из смысла функции правдоподобия. Действительно, по определению (см. § 8.2), функция при каждом фиксированном значении параметра является мерой правдоподобности получения системы наблюдений, равных Поэтому, изменяя значения параметра при данных конкретных (имеющихся у нас) величинах мы можем проследить, при каких значениях эти наблюдения являются более правдоподобными , а при каких — менее и выбрать в конечном счете такое значение параметра при котором имеющаяся у нас система наблюдений выглядит наиболее правдоподобной (очевидно, что это значение определяется конкретными величинами наблюдений т. е. является некоторой функцией от них). Так, например, пусть — заработная плата работников, подчиненная логарифмически-нормальному распределению (см. п. 6.1.6). И пусть с целью приближенной оценки средней величины логарифма заработной платы работников мы зафиксировали значения заработной платы у трех случайно отобранных из интересующей нас совокупности работников.

Тогда, расположив на оси возможных значений нормально распределенной случайной величины мы будем стараться подобрать такое значение параметра а в -нормальном распределении, при котором наши наблюдения выглядели бы наиболее правдоподобными, а именно при котором произведение трех ординат плотности вычисленных в точках соответственно достигало бы своего максимального значения.

Рис. 8.2. Графики нормальной функции плотности при двух значениях параметра а

На рис. 8.2 изображены графики функции плотности при значении параметра соответствующем наибольшей правдоподобности наблюдений (сплошная кривая), и при значении параметра при котором наши наблюдения выглядят явно неправдоподобными — пунктирная кривая (значение дисперсии определено в обоих случаях с помощью подправленной на несмещенность оценки максимального правдоподобия и равно 0,0064).

Отмеченная естественность подхода, исходящего из максимальной правдоподобности имеющихся наблюдений, подкрепляется хорошими свойствами оценок, получаемых с его помощью. Можно показать, в частности, что при достаточно широких условиях регулярности, накладываемых на изучаемый закон распределения (см., например, 171, с. 314-317]), оценки максимального правдоподобия параметра являются состоятельными, асимптоти-чески-несмещенными, асимптотически-нормальными и асимп-тотически-эффективными (т. е. их ковариационная матрица ) асимптотически имеет вид , где информационная матрица Фишера, определенная соотношениями (8.7) применительно к единственному наблюдению, т. е. при

Однако из этого не следует, что оценки максимального правдоподобия будут наилучшими во всех сйтуациях. Во-первых, их хорошие свойства проявляются часто лишь при очень больших объемах выборок (т. е. являются асимптотическими, см. § 8.4), так что при малых с ними могут конкурировать (и даже превосходить их) другие оценки, например оценки метода моментов, метода наименьших квадратов и т. д. (см., ниже, п. 8.6.2-8.6.5). Во-вторых, и это, пожалуй, главное «узкое место» данного подхода, для построения оценок максимального правдоподобия и обеспечения их хороших свойств необходимо точное знание типа анализируемого закона распределения , что в большинстве случаев оказывается практически нереальным. В подобных ситуациях бывает выгоднее искать не оценку, являющуюся наилучшей в рамках данного конкретного общего вида (но, как часто бывает, резко теряющую свои хорошие свойства при отклонениях реального распределения от типа ), а оценку, хотя и не наилучшую в рамках совокупности но обладающую достаточно устойчивыми свойствами в более широком классе распределений, включающем в себя в качестве частного случая (см. ниже, п. 8.6.4). Подобные оценки принято называть устойчивыми или робастными (английский термин robust estimation означает грубое, или устойчивое, оценивание). И наконец, оценки максимального правдоподобия могут не быть даже состоятельными, если число k оцениваемых по выборке параметров велико (имеет тот же порядок, что и объем выборки ) и растет вместе с увеличением числа наблюдений. Ниже приведен пример подобной ситуации (см. пример 8.7).

Попытаемся ответить на вопрос, как конкретно находятся оценки максимального правдоподобия, т. е. как проводится решение оптимизационной задачи типа (8.19).

Если функция удовлетворяет определенным условиям регулярности (дифференцируемость по 0 и т. п., см. условия ) § 8.3) и экстремум в (8.19) достигается во внутренней точке области допустимых значений неизвестного параметра 0, то в точке должны обращаться в нуль частные производные функции , а следовательно, к логарифмической функции правдоподобия

в силу монотонного характера этой зависимости: последняя удобнее для вычислений. Значит, в данном случае оценка максимального правдоподобия должна удовлетворять уравнениям:

и может определяться в качестве решения этой системы уравнений.

Однако могут быть ситуации (случай нерегулярных по законов распределения), когда система (8.21) не определена или не имеет решений, в то время как решение (8.19) существует. В подобных ситуациях оценку следует искать другими способами, в том числе с помощью непосредственного подбора решения (8.19) (см. ниже примеры 8.5 и 8.6).

Пример 8.3. Исследуемая случайная величина имеет нормальную плотность вероятности

с неизвестным средним значением и неизвестной дисперсией

В соответствии с (8.5) функция правдоподобия в этом случае будет

Соответствующая логарифмическая функция правдоподобия

Дифференцируя I по а и и последовательно приравнивая соответствующие частные производные к нулю, получаем конкретный вид системы (8.21):

Решение этой системы относительно а и дает оценки максимального правдоподобия этих параметров:

Выше (см. § 8.3) установлено, что оценка является эффективной оценкой параметра а (так как ее эффективность , а оценка — асимптотически-эффекгивной оценкой параметра (так как ее эффективность ) .

Пример 8.4. Исследуемая случайная величина подчинена закону распределения Пуассона, т. е.

с неизвестным значением параметра .

В соответствии с (8.20) логарифмическая функция правдоподобия, построенная по выборке имеет вид

Отсюда после дифференцирования по получаем уравнение метода максимального правдоподобия

откуда

Легко видеть, что эта оценка несмещенная, так как

Вычислим эффективность оценки . Нижняя граница дисперсии по всем возможным оценкам параметра может быть вычислена в соответствии с неравенством информации (8.12):

Дисперсию оценки вычислим, опираясь на следующий известный факт (см., например, [48, с. 229]): сумма независимых случайных величин подчиняющихся распределению Пуассона со средними значениями соответственно имеет распределение Пуассона со средним значением, равным Поэтому дисперсия

Сравнивая убеждаемся, что оценка максимального правдоподобия среднего значения пуассоновской случайной величины является эффективной.

Пример 8.5. Исследуемая случайная величина распределена по равномерному закону (см. п. 6.1.7), т. е.

где параметры а и b неизвестны (подлежат оцениванию).

Легко проверить, что это — случай нерегулярный (в первую очередь потому, что область возможных значений исследуемого признака, в которой плотность положительна, зависит от оцениваемых по выборке параметров а и b). Поэтому обычная техника, использующая уравнения (8.21) метода максимального правдоподобия, здесь неприменима. Однако в этом случае экстремальная задача (8.19) может быть решена непосредственно.

Действительно,

причем область допустимых значений параметров a и b, где производится поиск тех значений при которых описывается соотношениями:

где — имеющиеся в нашем распоряжении наблюдения исследуемой случайной величины. Очевидно, решение экстремальной задачи

дается соотношениями:

Опираясь на результаты п. 5.6.4 (см. также п. 8.6.4), можно подсчитать:

(8.22)

Использовать неравенство информации для вычисления нижней границы дисперсии этих оценок мы не можем, так как случай нерегулярный. Из (8.22) видно, что величины характеризуют одновременно средний квадрат отклонения «подправленных на несмещенность» оценок

от истинных значений параметров а и b.

Пример 8.6. Снова рассмотрим задачу оценивания параметра сдвига 0 в экспоненциальном распределении, задаваемом плотностью

Как и в предыдущем примере, имеем дело с нерегулярным случаем. Поэтому приходится непосредственно решать экстремальную задачу вида

Легко видеть, что является решением этой задачи: при любом другом , удовлетворяющем условию (8.22), очевидно

и, следовательно,

Опираясь на результаты п. 5.6.4 (см. также п. 8.6.4), можно подсчитать:

(8.23)

Однако оценка получающаяся из оценки «подправлением на несмещенность», будет иметь средний квадрат отклонения

Пример 8.7 (заимствован из [22, с. 187]). Рассмотрим ситуацию, когда метод максимального правдоподобия не приводит к состоятельной оценке.

С целью оценки концентраций некоторого элемента в лаборатории производились двукратные измерения каждой из концентраций Предполагается, что все результатов измерений имеют одинаковую точность и являются независимыми нормальными случайными величинами (см. п. 6.1.5), так что в качестве функции правдоподобия получаем

Неизвестными параметрами являются средних значений и дисперсия Нетрудно получить оценки максимального правдоподобия параметров

Решая теперь уравнение максимального правдоподобия (8.21), в которое вместо подставлены значения получаем

Нетрудно подсчитать, что т. е. метод максимального правдоподобия дает в этом случае оценку параметра с постоянным (асимптотически-неустранимым) отрицательным смещением, равным . В качестве наилучшей несмещенной оценки следовало бы выбрать в данном случае статистику