5. МАРКОВСКИЕ ПРОЦЕССЫ С ДИСКРЕТНЫМИ СОСТОЯНИЯМИ И ЦЕПИ МАРКОВА

Аппарат теории марковских процессов с дискретными состояниями и цепей Маркова широко используют в теории систем, в исследовании операций и других прикладных дисциплинах. Это обусловлено многими причинами, среди которых отметим следующие:

1) многие реальные технические системы имеют конечные множества возможных состояний, а их поведение в процессе функционирования адекватно моделируется марковскими процессами;

2) теория марковских процессов с дискретными состояниями и цепей Маркова разработана настолько глубоко, что позволяет решать широкий класс прикладных задач.

Именно поэтому основной материал главы связан с изучением прикладных аспектов теории марковских процессов с дискретными состояниями и цепей Маркова.

5.1. Основные понятия

Определение 5.1. Марковский скалярный процесс называют марковским процессом с дискретными состояниями, если для любого фиксированного момента времени случайная величина является дискретной.

Пусть — некоторая физическая система с возможными дискретными состояниями которая случайным образом время от времени скачком (мгновенно) переходит из состояния в состояние.

Если этот процесс является марковским, то имеем марковский случайный процесс с дискретными состояниями.

При анализе марковских процессов с дискретными состояниями удобно пользоваться геометрической схемой — графом состояний, который изображает возможные состояния системы и возможные переходы зтой системы из одного состояния в другое, указываемые стрелками.

Пример 5.1. Техническая система состоит из двух узлов с номерами 1 и 2, каждый из которых в процессе функционирования системы может выйти из строя. Возможные состояния системы:

— оба узла работают;

— первый узел отказал, а второй работает;

— первый узел работает, а второй отказал;

— оба узла отказали.

Рис. 5.1

На рис. 5.1 изображен граф состояний рассматриваемой системы S в предположении, что ремонт узлов в процессе ее функционирования не производится.

Определение 5.2. Случайную последовательность называют цепью Маркова, если для любого натурального числа имеет место тождество

где — условные плотности распределения случайного вектора

Пусть некоторая физическая система S может находиться лишь в одном из возможных состояний — соответствующий марковский процесс с дискретными состояниями.

Если для системы переход из состояния в состояние возможен лишь в фиксированные моменты времени где то эти моменты времени принято называть шагами или этапами марковского процесса . А так как в данном случае то имеем дело со случайной последовательностью, которая является цепью Маркова, если для каждого шага вероятность перехода системы S из любого состояния в любое состояние не зависит от того, когда и как она попала в состояние

Во многих прикладных дисциплинах зачастую вместо термина „случайная последовательность“ употребляют термин случайный процесс с дискретным временем.

Если ввести случайное событие к, состоящее в том, что после j этапов исходная система S находится в состоянии , то для каждого фиксированного имеем полную группу событий , т.е.

Пример 5.2. Цель (самолет) обстреляна из зенитного автомата очередью в четыре снаряда. Если — интервал между последовательными выстрелами, — время первого выстрела, то

Возможные состояния цели (системы ):

— цель невредима;

— цель получила незначительные повреждения;

— цель получила существенные повреждения, но еще может функционировать;

— цель поражена, т.е. не может функционировать (самолет сбит).

Если в начальный момент времени система S находилась в состоянии то граф ее состояний изображен на рис. 5.2.

Рис. 5.2