8.2. Функция правдоподобия. Количество информации, содержащееся в n независимых наблюдениях относительно неизвестного значения параметра

Пусть (8.1) — выборка, состоящая из независимых -мерных наблюдений, извлеченная из исследуемой генеральной совокупности. Закон распределения вероятностей наблюдаемой -мерной случайной величины описывается функцией зависящей от неизвестного параметра , причем мы будем понимать под вероятность если дискретная, и значение плотности вероятности в точке X, если непрерывна. Если рассматривать выборку (8.1) в гипотетическом смысле, то каждая конкретная выборка ( ) представляется определенной точкой в (-мерном пространстве выборок переменных и имеет смысл говорить о совместном распределении вектора ).

Поскольку при гипотетическом варианте понимания случайной выборки суть независимые и одинаково распределенные случайные величины, то для любого заданного набора значений их совместная плотность (вероятность) будет

Таким образом, функция определенная равенством (8.5), задает вероятность получения, при извлечении выборки объема я, именно наблюдений (или величину, пропорциональную вероятности получения выборочных значений в непосредственной близости от точки X в непрерывном случае). Поэтому, чем больше значение тем правдоподобнее (или более вероятна) система наблюдений при заданном значении параметра . Отсюда и название функции L — функция правдоподобия.

Функция правдоподобия в зависимости от постановки задач и целей исследования может рассматриваться либо как функция параметра (при заданных фиксированных наблюдениях ), либо как функция текущих значений наблюдений (при заданном фиксированном значении параметра ), либо как, функция обеих переменных X и .

Интересно попытаться проследить характер изменения вероятности (8.5) в зависимости от изменения значения параметра . Очевидно, чем резче проявляется эта зависимость, тем больше информации заключено в конкретных значениях величин X и друг о друге. При этом под информацией о неизвестном параметре , содержащейся в случайной величине X, понимают степень уменьшения неопределенности, касающейся неизвестного значения , после наблюдения над данной случайной величиной. Если по наблюденному значению X случайной величины X можно с вероятностью 1 точно восстановить значение параметра , то это значит, что случайная величина (или ее наблюдение) содержит максимально возможную информацию о параметре. И наоборот, если распределение (8.5) случайной величины X одно и то же при всех значениях параметра , то нет никаких оснований делать какие-либо заключения о по результатам наблюдений этой случайной величины (ситуация нулевой информации относительно значения неизвестного параметра, содержащейся в наблюдении).

Чувствительность случайной величины к параметру может быть измерена величиной изменения распределения этой случайной величины при изменении значения параметра. Наиболее часто используемой характеристикой, на основании которой измеряют расстояние между распределениями (8.5) при двух различных значениях параметра , является так называемое количество информации Фишера (содержащееся в наблюдениях , которое определяется для скалярного параметра (т. е. при размерности параметра , равной единице) следующим образом:

Учитывая независимость и одинаковую распределенность наблюдений получаем

Если параметр -мерный, причем то вместо количества информации (8.6) рассматривается информационная матрица Фишера размерности с элементами

Эти понятия были введены Фишером в 20-х годах нашего столетия.

Воспользовавшись формулой (8.6), нетрудно подсчитать количество информации , содержащееся в одном наблюдении о параметре , в ряде конкретных примеров.

1. Одномерная величина подчинена (-нормальному закону с плотностью ) (см. п. 6.1.5), а котором среднее значение — неизвестный параметр, а дисперсия известна. Тогда

Результат естественно интерпретируется следующим образом: чем больше дисперсия тем больше разброс в наблюденных значениях исследуемой случайной величины, тем меньше информации о величине ее среднего значения заключено в одном наблюдении.

2. Одномерная случайная величина подчинена -нормальному закону с плотностью (см. п. 6.1.5), в котором среднее значение а известно, а дисперсия является неизвестным параметром. Тогда

3. Одномерная случайная величина подчинена гамма-распределению с параметрами , причем параметр а известен, а b является неизвестным параметром (см. п. 6.2.5). Тогда