10. ПРИБЛИЖЕННОЕ СВЕДЕНИЕ НЕМАРКОВСКИХ ПРОЦЕССОВ К МАРКОВСКИМ. МЕТОД «ПСЕВДОСОСТОЯНИЙ»

На практике мы почти никогда не имеем дела с марковскими процессами в чистом виде: реальные процессы почти всегда обладают тем или другим последействием. Для марковского процесса время пребывания системы подряд в каком-либо состоянии распределено по показательному закону; на самом деле это далеко не всегда бывает так. Например, если поток событий, переводящий систему из состояния в состояние есть поток отказов какого-то узла, то более естественно предположить, что оставшееся время безотказной работы узла зависит от того, сколько времени узел уже работал. При этом время пребывания узла в рабочем состоянии представляет собой случайную величину, распределенную не по показательному, а по какому-то иному закону. Возникает вопрос о том, можно ли приближенно заменять непуассоновские потоки — пуассоновскими и к каким ошибкам в предельных вероятностях состояний может привести подобная замена. Для этого необходимо уметь хотя бы приближенно исследовать случайные процессы, протекающие в системах с последействием.

Рассмотрим некоторую физическую систему S, в которой протекает случайный процесс, направляемый какими-то непуассоновскими потоками событий. Если мы попробуем для этого процесса написать уравнения, выражающие вероятности состояний как функции времени, мы увидим, что в общем случае это нам не удастся. Действительно, для марковской системы мы вычисляли вероятность того, что в момент система будет в состоянии учитывая только то, в каком состоянии система была в момент t, и не учитывая, сколько времени она была в этом состоянии. Для немарковской системы этот прием уже непригоден: вычисляя вероятность перехода из одного состояния в другое за время мы должны будем учитывать, сколько времени система уже провела в данном состоянии. Это приводит, вместо обыкновенных дифференциальных уравнений, к уравнениям с частными производными, то есть к гораздо более сложному математическому аппарату, с помощью которого только в редких случаях можно получить нужные результаты.

Возникает вопрос: а нельзя ли свести искусственно (хотя бы приближенно) немарковский процесс к марковскому?

Оказывается, в некоторых случаях это возможно: а именно, если число состояний системы не очень велико, а отличающиеся от простейших потоки событий, участвующие в задаче, представляют собой (точно или приближенно) потоки Эрланга. Тогда, вводя в схему возможных состояний системы некоторые фиктивные «псевдосостояния», удается свести немарковский процесс к марковскому и описать его с помощью обыкновенных дифференциальных уравнений, которые при переходят в алгебраические уравнения для предельных вероятностей состояний.

Поясним идею метода «псевдосостояний» на конкретном примере.

Пример 1. Рассматривается система S — Техническое устройство, которое может выходить из строя под влиянием простейшего потока неисправностей с интенсивностью к. Отказавшее устройство немедленно начинает восстанавливаться. Время восстановления (ремонта) Т распределено не по показательному закону (как надо было бы для того, чтобы процесс был марковским), а по закону Эрланга порядка:

Требуется свести данный немарковский процесс к марковскому и найти для него предельные вероятности состояний.

Решение. Случайная величина Т — время восстановления — распределена по закону Эрланга и, значит, представляет собой сумму трех случайных величин распределенных по показательному закону (см. § 5 гл. 4) с параметром

Истинных состояний системы всего два:

— устройство исправно;

— устройство восстанавливается.

Граф этих состояний показан на (он относится к циклической схеме).

Однако в виду того, что переход по стрелке происходит под влиянием не простейшего, а эрланговского потока событий, процесс, происходящий в системе, марковским не является, и для него мы не можем написать ни дифференциальных, ни алгебраических уравнений.

Чтобы искусственно свести это процесс к марковскому, введем в цепочку состояний, вместо одного состояния три последовательных «псевдосостояния».

— ремонт начинается;

— ремонт продолжается;

— ремонт заканчивается, т. е. разделим ремонт на три этапа или «фазы», причем время пребывания системы в каждой из фаз будем считать распределенным по показательному закону (10.2). Граф состояний будет иметь вид, показанный на рис. 4.48, где роль одного состояния будут играть три псевдосостояния Процесс, протекающий в такой системе, уже будет марковским.

Обозначим - предельные вероятности пребывания системы в псевдосостояниях тогда

Обозначая

можем сразу написать (как для обычной циклической схемы) предельные вероятности состояний:

Заметим, что величина представляет собой не что иное, как среднее время восстановления (ремонта) — оно равно сумме средних времен пребывания системы в каждой фазе ремонта.

Рис. 4.47

Рис. 4.48

Переходя в формулах для от средних времен к интенсивностям потоков, по формулам получим:

Таким образом, получен вывод: для нашего элементарного примера вероятность пребывания в каждом из двух состояний, как и для марковского цикла, равна относительному среднему времени пребывания подряд в каждом из состояний.

Следующий пример будет несколько сложнее.

Пример 2. Техническое устройство S состоит из двух одинаковых узлов, каждый из которых может выходить из строя (отказывать) под влиянием простейшего потока неисправностей с интенсивностью 1. Отказавший узел немедленно начинает ремонтироваться. Время ремонта Т распределено по закону Эрланга второго порядка:

Требуется найти предельные вероятности состояний системы.

Решение. Истинных состояний системы три (нумеруем их по числу отказавших узлов).

— оба узла работают;

— один узел работает, другой ремонтируется;

— оба узла ремонтируются.

Разделим условно ремонт на две фазы: ремонт начинается и ремонт заканчивается.

Длительность каждой фазы будем считать распределенной по показательному закону (10.2). Процесс, происходящий в системе, приводится к марковскому, если ввести такие псевдосостояния:

— один узел работает, другой начинает ремонтироваться;

— один узел работает, другой кончает ремонтироваться;

— оба узла начинают рамонтироваться;

— один узел начинает ремонтироваться, а другой кончает;

— оба узла кончают ремонтироваться.

Граф состояний системы с псевдосостояниями показан на рис. 4.49. На стрелках, ведущих из и из написано а не потому что перейти в следующую фазу ремонта (окончание ремонта) может любой из двух узлов.

Рис. 4.49

Уравнения для предельных вероятностей состояний имеют вид:

Из третьего, пятого и шестого уравнений (10.4) имеем:

что дает возможность уменьшить число неизвестных: подставляя (10.5) в оставшиеся три уравнения (10.4), получим:

Из этих трех уравнений с тремя неизвестными можно по произволу отбросить любое, например, последнее, и добавить нормировочное условие:

или, с учетом (10.5),

Решим два первых уравнения (10.6) вместе с уравнением (10.7). Выразим из первого уравнения через

и подставим это выражение во второе уравнение; получим:

или, после сокращения на

Подставляя это в (10.8), выразим и вероятность через

(10.10)

Теперь подставим (10.9) и (10.10) в нормировочное - условие (10.7):

откуда

(10.11)

После этого найдем все остальные предельные вероятности: из (10.9), (10.10)

из (10.5):

После того, как найдены вероятности псевдосостояний, можно найти и вероятности состояний:

Например, при (в стационарном режиме) вероятность того, что оба узла работают, равна вероятность того, что один узел ремонтируется вероятность того, что оба узла ремонтируются

Заметим, что метод псевдосостояний допускает сравнительно простое решение задачи только в самых простых случаях, когда число состояний исходной системы невелико. Однако, иногда удается применить этот метод и к задачам, где число состояний не очень мало; во всяком случае, получить если не буквенное, то численное приближенное решение соответствующей системы линейных алгебраических уравнений.

Возможности метода псевдосостояний существенно расширяются, если пользоваться в качестве потоков событий не одними только эрланговскими потоками в чистом виде, а и обобщенными эрланговскими и смешанными обобщенными эрланговскими распределениями, о которых упоминалось в конце § 5.