5.3. Уравнения Колмогорова для вероятностей состояний

При рассмотрении цепей Маркова (с конечным числом возможных состояний) с использованием матриц переходных вероятностей и вектора вероятностей начальных состояний удается эффективно определять вектор вероятностей состояний исходной системы после любого числа этапов. Также решается и аналогичная задача для марковских процессов с дискретными состояниями и непрерывным временем, при анализе которых широко используются графы состояний.

Рассмотрим марковский процесс с дискретными состояниями, описывающий поведение системы с множеством возможных состояний Обозначим через случайное событие, состоящее в том, что в момент времени система находится в состоянии S, а вероятность реализации этого события обозначим

В этом случае вектор вероятностей состояний

определяет вероятности состояний системы S в момент времени . А так как в любой фиксированный момент времени t совокупность случайных событий — полная группа, то

где

Определение 5.5. Пусть 5 — некоторая система с возможными дискретными состояниями Под плотностью вероятности перехода этой системы из состояния в состояние в момент времени t понимают число

где — вероятность того, что система S, находившаяся в момент времени t в состоянии за время перейдет в состояние

Заметим, что в определении Таким образом, с точностью имеет место равенство

т.е. плотности вероятностей перехода системы из одного возможного состояния в другое обладают обычными свойствами условных вероятностей и, в частности, являются неотрицательными.

Определение 5.6. Скалярный марковский процесс с дискретными состояниями, описывающий поведение системы S, называют однородных, если для любых

В противном случае его называют неоднородным.

Если для всех пар состояний из множества возможных состояний системы S известны плотности вероятностей перехода то граф состояний системы S можно превратить в размеченный граф состояний, проставив у стрелок не переходные вероятности, а плотности вероятностей перехода (рис. 5.4).

Рис. 5.4

Теорема 5.1. Пусть система S имеет множество возможных состояний а процесс изменения состояний этой системы представляет собой случайный процесс, причем для всех пар возможных состояний и определены плотности вероятностей переходов и Тогда вероятности состояний системы удовлетворяют системе уравнений Колмогорова:

4 Так как процесс изменения состояний системы представляет собой марковский процесс и — полная группа событий, то по формуле полной вероятности имеем

Из определения 5.5 следует, что с точностью

Если то, переходя к противоположному событию, находим с точностью

Таким образом, с точностью равенство (5.3) может быть преобразовано к следующему:

или, что то же самое,

и для завершения доказательства достаточно перейти к пределу при

Система уравнений Колмогорова (5.2) не является линейно независимой, т.е. она является избыточной, что следует из равенства (5.1).

Если , а компонентами вектора

являются плотности вероятностей переходов системы S из состояния во все иные возможные состояния, то

суммарная плотность вероятности перехода системы из состояния взятая со знаком „минус“. При этом, если ввести матрицу

диагональные элементы которой определены согласно (5.4), то (5.2) переходит в матричное уравнение Колмогорова

где — вектор вероятностей состояния системы S в момент времени

Если определен вектор вероятностей начальных состояний системы S в момент и определена матрица то с учетом (5.6) приходим к задаче Коши для матричного уравнения Колмогорова:

Если непрерывна при , то задача Коши (5.7) имеет единственное решение и, следовательно, вектор вероятностей состояний исходной системы S определен однозначно в любой момент времени Если при этом матрицы коммутируют при каждом фиксированном то решение задачи Коши (5.7) с использованием матричной экспоненты можно записать в явном виде (см. П 2):

Согласно (5.5), k-м столбцом матрицы является вектор , у которого компонента заменена, согласно (5.4), на , а все остальные — соответствующие плотности вероятностей переходов из состояния . Эту информацию проставляют на размеченном графе состояний системы на стрелках, „выходящих из состояния (при их отсутствии соответствующая компонента равна нулю). При этом

Пример 5.5. Размеченный граф состояний системы S, процесс изменения состояния которой представляет собой однородный марковский процесс с дискретными состояниями, изображен на рис. 5.5. Сформулируем задачу Коши для системы уравнений Колмогорова, если и в начальный момент времени система находится в состоянии .

Рис. 5.5

Согласно заданному размеченному графу состояний, имеем

Таким образом, вектор вероятностей состояний изучаемой системы S является решением следующей задачи Коши:

Если решение задачи Коши (5.7) представимо в виде (5.8), то оно удовлетворяет равенству (5.1).

Действительно, имеет место тождество (5.9): где Кроме того, Таким образом, из (5.8), свойств матричной экспоненты (см. П2) и тождества (5.9) следует, что

По своему смыслу компоненты вектора вероятностей состояний системы S не могут быть отрицательными, т.е.

Условия (5.10) накладывают вполне определенные ограничения на компоненты матрицы т.е. на плотности вероятностей переходов системы из одного состояния в другое. Эти ограничения имеют важное значение при изучении так называемых предельных режимов однородных марковских случайных процессов с дискретными состояниями, играющих существенную роль в различных приложениях.

Теорема 5.2. Решение задачи Коши (5.7) для матричного уравнения Колмогорова при любом векторе вероятностей начальных состояний системы S имеет неотрицательные компоненты.

М Для упрощения дальнейших рассуждений будем считать, что решение задачи Коши (5.7) может быть представлено в виде (5.8). А так как компоненты вектора вероятностей начальных состояний изучаемой системы являются неотрицательными, то достаточно доказать неотрицательность элементов матричной функции

Из определения плотности вероятности перехода системы S из состояния , в состояние где следует, что при любых . Таким образом,

и, согласно (5.4), (5.5), все элементы матричной функции

являются неотрицательными. Но в этом случае (см. П.2) неотрицательными являются и все элементы матричной функции

коммутирующей с матричной функцией

А так как , при и

то теорема доказана (произведение матриц с неотрицательными элементами является матрицей с неотрицательными элементами).

Следствие 5.1. Если решение задачи Коши (5.7) представимо в виде (5.8), то для выполнения неравенств

необходимо и достаточно, чтобы

Сформулированное утверждение вытекает из доказательства теоремы 5.2.

Следствие 5.2.

Если процесс изменения состояния системы S представляет собой однородный марковский процесс с дискретными состояниями, то неравенства

выполняются тогда и только тогда, когда

Утверждение следствия 5.2 означает следующее. Вероятности состояний ненулевые в любой момент времени тогда и только тогда, когда по графу состояний можно перейти из любого состояния 5, в любое состояние за конечное число шагов.

Определение 5.7. Пусть — множество возможных состояний системы S, а процесс ее перехода из одного возможного состояния в другое представляет собой однородный марковский процесс с дискретными состояниями, определенный на множестве Если — вектор вероятностей состояний системы в момент времени и существует предел

то вектор называют вектором предельных вероятностей состояний системы.

Существование вектора предельных вероятностей состояний означает, что с течением времени в системе S наступает некоторый стационарный режим. Он состоит в том, что система случайным образом меняет свои состояния, но вероятность каждого из них уже не зависит от времени. Каждое из состояний реализуется с некоторой постоянной вероятностью, интерпретация которой может быть связана со средним относительным временем пребывания системы S в данном состоянии.

Равенство (5.8), полученное без учета каких бы то ни было ограничений на область для однородного марковского случайного процесса позволяет сформулировать следующее утверждение: для существования вектора предельных вероятностей состояний системы необходимо и достаточно существование предела

Если — вектор вероятностей состояний системы 5 и то для любого решение задачи Коши для матричного уравнения Колмогорова

удовлетворяет равенству

Таким образом, вектор предельных вероятностей состояний системы представляет собой асимптотически устойчивую точку покоя для нормальной однородной системы обыкновенных дифференциальных уравнений с постоянными коэффициентами имеющую неотрицательные координаты и расположенную на гиперплоскости Как следствие, вектор удовлетворяет матричной системе

Следующий пример поясняет проведенные рассуждения.

Пример 5.6. Размеченный граф состояний системы , для которой процесс изменения состояния представляет собой однородный марковский процесс, изображен на рис. 5.6. Необходимо найти предельные вероятности состояний системы

Согласно заданному графу состояний, имеем

Рис. 5.6

и, согласно (5.11), приходим к системе

решение которой нетрудно найти: