Вопросы и задачи

5.1. В чем состоит принципиальное отличие марковского процесса с дискретными состояниями от цепи Маркова?

5.2. Чем неоднородная цепь Маркова отличается от однородной?

5.3. Как с помощью матрицы переходных вероятностей для цепи Маркова можно определить вероятности состояний после j шагов, если цепь Маркова является: а) однородной; б) неоднородной?

5.4. Запишите систему уравнений Колмогорова для марковского процесса с множеством возможных состояний Почему эта система является избыточной? В каких случаях вероятности состояний определяются однозначно?

5.5. Всегда ли задача Коши для системы уравнений Колмогорова имеет неотрицательное решение?

5.6. Пусть система 5 — это автомашина, которая может находиться в одном из следующих состояний: — исправна, работает; — неисправна, ожидает осмотра; — осматривается; — ремонтируется; — списана. Как выглядит граф состояний системы

Ответ: граф состояний системы представлен на рис. 5.11.

Рис. 5.11

5.7. Постройте граф состояний системы S из примера 5.1, если отказавший узел немедленно начинает восстанавливаться.

Ответ: граф состояний системы представлен на рис. 5.12, при этом использованы обозначения:

— оба узла работают;

— первый узел работает, а второй восстанавливается;

— второй узел работает, а первый восстанавливается;

— оба узла восстанавливаются.

Рис. 5.12

5.8. Из таблицы, содержащей все целые положительные числа от 1 до включительно, наудачу последовательно выбирают числа. Система находится в состоянии если число j является наибольшим из выбранных. Найдите вероятность того, что после выбора из таблицы чисел наибольшее число будет равно к, если перед этим наибольшим было число .

Ответ:

5.9. Для однородной цепи Маркова заданы матрица переходных вероятностей и вектор вероятностей состояний на нулевом шаге:

Найдите векторы вероятностей состояний после первого и второго шагов.

Ответ:

5.10. Известна матрица Р переходных вероятностей однородной цепи Маркова. Определите: а) число возможных состояний этой цепи; б) вероятности состояний после двух шагов, если на нулевом шаге вероятности состояний одинаковы, а

Ответ: а) 3; б)

5.11. Матрица переходных вероятностей однородной цепи Маркова имеет вид

Определите: а) состояния, из которых достигается состояние б) состояния, которые достигаются из состояния

Ответ: а) состояния достигаются из любого состояния, а состояние не достигается ни из одного состояния; б) из состояний достигаются все состояния, кроме а из состояния достигаются все состояния.

5.12. Пусть в начальный момент времени система с равной вероятностью находится в одном из возможных состояний, изображаемых точкой на оси : — состояние — состояние — состояние — состояние В зависимости от случая точка может перемещаться вправо или влево на единичное расстояние: вправо с вероятностью 1/6, влево с вероятностью 5/6.

Из состояний перемещения невозможны. Найдите матрицу переходных вероятностей и векторы вероятностей состояний на нулевом, первом и втором шагах.

Ответ:

5.13. Граф состояний системы представлен на рис. 5.13. Запишите систему линейных алгебраических уравнений для предельных вероятностей состояний.

Ответ:

Рис. 5.13

Рис. 5.14

5.14. Размеченный граф состояний системы представлен на рис. 5.14. Определите: а) тип процесса; б) предельные вероятности состояний, если они существуют.

Ответ: а) процесс гибели — размножения; б)

5.15. Граф состояний системы представлен на рис. 5.15.

Рис. 5.15

Определите предельные вероятности ее состояний.

Ответ:

где

5.16. Вычислительный комплекс может находиться в следующих состояниях: — исправен, работает; — неисправен, остановлен и ведется поиск неисправности; — неисправность оказалась незначительной и устраняется местными средствами; — неисправность оказалась значительной и устраняется специалистами; — подготовка к пуску. Процесс перехода комплекса из одного состояния в другое марковский. Среднее время непрерывной работы комплекса среднее время поиска неисправностей среднее время ремонта местными средствами среднее время ремонта специалистами среднее время подготовки к пуску Неисправность может быть устранена местными средствами с вероятностью Рис вероятностью требует вызова специалистов. Определите предельные вероятности состояний, если они существуют.

Указание: воспользуйтесь графом состояний, который изображен на рис. 5.16.

Ответ:

Рис. 5.16