3. МАРКОВСКИЙ ПРОЦЕСС С ДИСКРЕТНЫМИ СОСТОЯНИЯМИ И НЕПРЕРЫВНЫМ ВРЕМЕНЕМ. УРАВНЕНИЯ КОЛМОГОРОВА ДЛЯ ВЕРОЯТНОСТЕЙ СОСТОЯНИЙ

В предыдущем параграфе мы рассматривали марковскую цепь, т. е. случайный процесс, протекающий в системе, которая случайным образом может переходить из состояния в состояние только в некоторые заранее определенные, фиксированные моменты времени.

На практике значительно чаще встречаются ситуации, когда переходы системы из состояния в состояние происходят не в фиксированные, а в случайные моменты времени, которые заранее указать невозможно — переход может осуществиться, вообще говоря, в любой момент. Например, выход из строя (отказ) любого элемента аппаратуры может произойти в любой момент времени; окончание ремонта (восстановление) этого элемента также может произойти в заранее не зафиксированный момент и т. д.

Для описания таких процессов в ряде случаев может быть с успехом применена схема марковского случайного процесса с дискретными состояниями и непрерывным временем, который мы будем для краткости называть непрерывной цепью Маркова.

Рис. 4.10

Покажем, как выражаются вероятности состояний для такого процесса.

Пусть имеется ряд дискретных состояний:

переход (перескок) системы S из состояния в состояние может осуществляться в любой момент времени. Граф состояний системы представлен на рис. 4.10.

Обозначим — вероятность того, что в момент i система S будет находиться в состоянии . Очевидно, для любого момента t сумма вероятностей состояний равна единице:

так как события, состоящие в том, что в момент t система находится в состояниях несовместны и образуют полную группу.

Поставим задачу — определить для любого вероятности состояний:

Рис. 4.11

Для того, чтобы найти эти вероятности, необходимо знать характеристики процесса, аналогичные переходным вероятностям для марковской цепи. В случае процесса с непрерывным временем нам не придется задавать определенные, отличные от нуля, переходные вероятности вероятность перехода (перескока) системы из состояния в состояние точно в момент t будет равна нулю (так же как вероятность любого отдельного значения непрерывной случайной величины). Вместо переходных вероятностей мы введем в рассмотрение плотности вероятностей перехода

Пусть система S в момент t находится в состоянии Рассмотрим элементарный промежуток времени примыкающий к моменту t (рис. 4.11).

Назовем плотностью вероятности перехода предел отношения вероятности перехода системы за время из состояния в состояние к длине промежутка

где — вероятность того, что система, находившаяся в момент в состоянии , за время перейдет из него в состояние (плотность вероятностей перехода определяется только для ).

Из формулы (3.2) следует, что при малом вероятность перехода (с точностью до бесконечно малых высших порядков) равна

Если все плотности вероятностей перехода не зависят от t (т. е. от того, в какой момент начинается элементарный участок , марковский процесс называется однородным; если эти плотности представляют собой какие-то функции времени ), процесс называется неоднородным.

При пользовании сокращенным названием «непрерывная марковская цепь» мы также будем различать однородные и неоднородные цепи.

Предположим, что нам известны плотности вероятностей перехода для всех пар состояний

Рис. 4.12

Построим граф состояний системы S и против каждой стрелки проставим соответствующую плотность вероятности перехода (рис. 4.12).

Такой граф, с проставленными у стрелок плотностями вероятностей перехода, мы будем называть размеченным графом состояний.

Рис. 4.13

Оказывается, зная размеченный граф состояний, можно определить вероятности состояний:

как функции времени. А именно, эти вероятности удовлетворяют определенного вида дифференциальным уравнениям, так называемым уравнениям Колмогорова. Решая эти уравнения, мы получим вероятности (3.3).

Продемонстрируем методику вывода уравнений Колмогорова для вероятностей состояний на конкретном примере.

Пусть система S имеет четыре возможных состояния:

размеченный граф состояний системы показан на рис. 4.13.

Поставим себе задачу: найти одну из вероятностей состояний, например, Это есть вероятность того, что в момент t система будет находиться в состоянии

Придадим t малое приращение и найдем вероятность того, что в момент система будет находиться в состоянии

Как это событие может произойти? Очевидно, двумя способами: — в момент t система уже была в состоянии а за время не вышла из этого состояния

или

— в момент t система была с состоянии а за время перешла из него в

Вероятность первого варианта найдем как произведение вероятности того, что в момент t система была в состоянии на условную вероятность того, что, будучи в состоянии система за время не перейдет из него в Эта условная вероятность (с точностью до бесконечно малых высших порядков) равна

Аналогично, вероятность второго варианта равна вероятности того, что в момент t система была в состоянии умноженной на условную вероятность перехода за время в состояние

Применяя правило сложения вероятностей, получим:

Раскроем скобки в правой части, перенесем в левую и разделим обе части равенства на получим:

Теперь устремим к нулю и перейдем к пределу:

Левая часть есть не что иное, как производная функции

Таким образом, выведено дифференциальное уравнение, которому должна удовлетворять функция Аналогичные дифференциальные уравнения могут быть выведены и для остальных вероятностей состояния:

Рассмотрим второе состояние и найдем — вероятность того, что в момент система S будет находиться в состоянии Это событие может произойти следующими способами:

— в момент t система уже была в состоянии а за время не перешла из него ни в ни в или

— в момент t система была в состоянии а за время перешла из него в или

— в момент t система была в состоянии а за время перешла из него в

Вероятность первого варианта вычисляется так: умножается на условную вероятность того, что система за не перейдет ни в ни в

Так как события, состоящие в переходе за время из и из несовместны, то вероятность того, что осуществится один из этих переходов, равна сумме их вероятностей, т. е. (с точностью до бесконечно малых высших порядков). Вероятность того, что не осуществится ни один их этих переходов, равна Отсюда вероятность первого варианта:

Прибавляя сюда вероятности второго и третьего вариантов, получим:

Перенося в левую часть, деля на и переходя к пределу, получим дифференциальное уравнение для

Рассуждая аналогично для состояний получим в результате систему дифференциальных уравнений, составленных по типу (3.4) и (3.5). Отбросим в них для краткости аргумент t у функций и перепишем эту систему в виде:

Эти уравнения для вероятностей состояний и называются уравнениями Колмогорова.

Интегрирование этой системы уравнений даст нам искомые вероятности состояний как функции времени. Начальные условия берутся в зависимости от того, каково было начальное состояние системы S. Например, если в начальный момент времени (при система S находилась в состоянии то надо принять начальные условия:

Заметим, что всех четырех уравнений для можно было бы и не писать; действительно, Для всех и любую из вероятностей можно выразить через три остальные. Например можно выразить через в виде

и подставить в остальные уравнения.

Тогда специального уравнения для вероятности можно и не писать. Однако в дальнейшем нам будет удобнее пользоваться полной системой уравнений типа (3.6).

Обратим внимание на структуру уравнений (3.6). Все они построены по вполне определенному правилу, которое можно сформулировать следующим образом.

В левой части каждого уравнения стоит производная вероятности состояния, а правая часть содержит столько членов, сколько стрелок связано с данным состоянием. Если стрелка направлена из состояния, соответствующий член имеет знак «минус»; если в состояние — знак плюс». Каждый член равен произведению плотности вероятности перехода, соответствующей данной стрелке, умноженной на вероятность того состояния, из которого исходит стрелка.

Рис. 4.14

Это правило составления дифференциальных уравнений для вероятностей состояний является общим и справедливо для любой непрерывной марковской цепи; с его помощью можно совершенно механически, без всяких рассуждений, записывать дифференциальные уравнения для вероятностей состояний непосредственно по размеченному графу состояний.

Пример. Размеченный граф состояний системы S имеет вид, показанный на рис 4.14 Написать систему дифференциальных уравнений Колмогорова и начальные условия для решения этой системы, если известно, что в начальный момент система находится в состоянии

Решение. Система уравнений Колмогорова имеет вид

Начальные условия