Поделиться Поделиться

Цепи Маркова с дискретным временем

Пусть случайный процесс Цепи Маркова с дискретным временем - Инвестирование - 1 изменения во времени состояний некоторой системы принимает целочисленные значения Цепи Маркова с дискретным временем - Инвестирование - 2 из множества Цепи Маркова с дискретным временем - Инвестирование - 3 конечного или счетного, то есть Цепи Маркова с дискретным временем - Инвестирование - 4 , Цепи Маркова с дискретным временем - Инвестирование - 5 . Переходы из одного состояния в другое происходят через равные промежутки времени Цепи Маркова с дискретным временем - Инвестирование - 6 , которые будем называть шагом.

Условные вероятности Цепи Маркова с дискретным временем - Инвестирование - 7 , для всех Цепи Маркова с дискретным временем - Инвестирование - 8 образуют матрицу вероятностей переходов цепи Маркова из одного состояния в другое в момент времени Цепи Маркова с дискретным временем - Инвестирование - 9 .

Если вероятности переходов не зависят от момента времени Цепи Маркова с дискретным временем - Инвестирование - 9 , то есть Цепи Маркова с дискретным временем - Инвестирование - 11 , то цепь Маркова называется однороднойс матрицей вероятностей переходов за один шаг

Цепи Маркова с дискретным временем - Инвестирование - 12 Цепи Маркова с дискретным временем - Инвестирование - 13 ,

где Цепи Маркова с дискретным временем - Инвестирование - 14 – число состояний системы (число возможных значений цепи Маркова) – конечное или счетное. Элементы матрицы Цепи Маркова с дискретным временем - Инвестирование - 15 и удовлетворяют условию нормировки

Цепи Маркова с дискретным временем - Инвестирование - 16 , Цепи Маркова с дискретным временем - Инвестирование - 17 .

Такую матрицу называют стохастическойили марковской.

Для описания цепи Маркова удобно использовать граф вероятностей переходов , вершины которого обозначают возможные состояния системы, стрелки от одной вершины к другой указывают возможные переходы между состояниями, а число над стрелкой задаёт вероятность такого перехода. Например, пусть множество состояний Цепи Маркова с дискретным временем - Инвестирование - 18 , матрица вероятностей переходов имеет вид

Цепи Маркова с дискретным временем - Инвестирование - 19 ,

тогда граф вероятностей переходов выглядит следующим образом:

Цепи Маркова с дискретным временем - Инвестирование - 20

Цепь Маркова с дискретным временем полностью определяется матрицей вероятностей переходов за один шаг и начальным распределением Цепи Маркова с дискретным временем - Инвестирование - 21 , где Цепи Маркова с дискретным временем - Инвестирование - 22 .

Для распределения вероятностей состояний однородной цепи Маркова имеет место следующее равенство векторов:

Цепи Маркова с дискретным временем - Инвестирование - 23 .

Для неоднородной цепи Маркова распределение вероятностей находится по формулам

Цепи Маркова с дискретным временем - Инвестирование - 24

Цепи Маркова с дискретным временем - Инвестирование - 25

Пример. Рассмотрим состояния банка, характеризующиеся одной из процентных ставок: 12%,13%,14%, которые устанавливаются в начале каждого квартала и фиксированы на всем его протяжении. Таким образом, если за систему Цепи Маркова с дискретным временем - Инвестирование - 26 принять действующую процентную ставку, то она в каждый момент времени может находиться только в одном из состояний: Цепи Маркова с дискретным временем - Инвестирование - 27 – процентная ставка 12%, Цепи Маркова с дискретным временем - Инвестирование - 28 – процентная ставка 13%, Цепи Маркова с дискретным временем - Инвестирование - 29 – процентная ставка 14%. Анализ работы банка в предшествующие годы показал, что изменение переходных вероятностей с течением времени пренебрежимо мало. Определить распределение вероятностей состояний системы в конце года, если в конце предыдущего года процентная ставка составила 13%, а граф вероятностей переходов имеет вид:

Цепи Маркова с дискретным временем - Инвестирование - 30

Так как множество состояний, в которых может находиться система Цепи Маркова с дискретным временем - Инвестирование - 26 , конечно, то протекающий в ней случайный процесс – дискретный. С определенной степенью погрешности можно предположить, что вероятность пребывания банка в одном из своих состояний в будущем зависит только от состояния в настоящем и не зависит от его состояний в прошлом. Поэтому рассматриваемый процесс можно считать марковским.

В силу условий банк может переходить из состояний в состояние только в определенные моменты времени Цепи Маркова с дискретным временем - Инвестирование - 32 – начало Цепи Маркова с дискретным временем - Инвестирование - 33 -го квартала, Цепи Маркова с дискретным временем - Инвестирование - 34 , а изменение переходных вероятностей с течением времени пренебрежимо мало, то рассматриваемый процесс является однородным марковским процессом с дискретным временем.

По графу составим матрицу переходных вероятностей:

Цепи Маркова с дискретным временем - Инвестирование - 35 .

Так как в конце предшествующего года процентная ставка составляла 13%, то вектор начального распределения имеет вид Цепи Маркова с дискретным временем - Инвестирование - 36 .

Тогда распределение вероятностей состояний процентной ставки банка в конце года, то есть по прошествии четырех кварталов определяется следующим образом:

Цепи Маркова с дискретным временем - Инвестирование - 37 .

Если предположить, что переходные вероятности зависят от моментов установления процентных ставок, полученный процесс будет являться неоднородной марковской цепью с дискретным временем. Например, пусть

Цепи Маркова с дискретным временем - Инвестирование - 38 Цепи Маркова с дискретным временем - Инвестирование - 39

Цепи Маркова с дискретным временем - Инвестирование - 40 Цепи Маркова с дискретным временем - Инвестирование - 41

Тогда Цепи Маркова с дискретным временем - Инвестирование - 42 .

← Предыдущая страница | Следующая страница →