Поделиться Поделиться

Цепи Маркова с непрерывным временем

Рассмотрим марковский процесс Цепи Маркова с непрерывным временем - Инвестирование - 1 с конечным или счетным множеством состояний Цепи Маркова с непрерывным временем - Инвестирование - 2 , который изменяет свои состояния в произвольные моменты времени. Такой процесс называется цепью Маркова с непрерывным временем . Очевидно, что для такой цепи Маркова выполняются условия

Цепи Маркова с непрерывным временем - Инвестирование - 3

для любых Цепи Маркова с непрерывным временем - Инвестирование - 4 и Цепи Маркова с непрерывным временем - Инвестирование - 5 .

Определение.Вероятность Цепи Маркова с непрерывным временем - Инвестирование - 6 называется вероятностью перехода из состояния Цепи Маркова с непрерывным временем - Инвестирование - 7 в состояние Цепи Маркова с непрерывным временем - Инвестирование - 8 за промежуток времени Цепи Маркова с непрерывным временем - Инвестирование - 9 .

Цепи Маркова однозначно определяются матрицей вероятностей переходов Цепи Маркова с непрерывным временем - Инвестирование - 10 и начальным распределением Цепи Маркова с непрерывным временем - Инвестирование - 11 .

Вероятности состояний в любой момент времени Цепи Маркова с непрерывным временем - Инвестирование - 12 определяются следующим образом:

Цепи Маркова с непрерывным временем - Инвестирование - 13 .

Определение.Если вероятности переходов Цепи Маркова с непрерывным временем - Инвестирование - 6 зависят только от разности моментов времени, то есть Цепи Маркова с непрерывным временем - Инвестирование - 15 , то цепь Маркова называется однородной .

Для однородных цепей Маркова матрица вероятностей переходов имеет вид Цепи Маркова с непрерывным временем - Инвестирование - 16 , а вероятности состояний определяются следующим образом:

Цепи Маркова с непрерывным временем - Инвестирование - 17 .

Переходные вероятности обладают следующими свойствами:

1. Цепи Маркова с непрерывным временем - Инвестирование - 18 .

2. Цепи Маркова с непрерывным временем - Инвестирование - 19 .

3. Уравнение Чемпена-Колмогорова:

Цепи Маркова с непрерывным временем - Инвестирование - 20 – для однородных цепей Маркова,

Цепи Маркова с непрерывным временем - Инвестирование - 21 – для неоднородных цепей Маркова, где Цепи Маркова с непрерывным временем - Инвестирование - 22 .

4. Условие стохастической непрерывности: Цепи Маркова с непрерывным временем - Инвестирование - 23

Это условие означает, что с вероятностью 1 цепь однородная Маркова не изменит своего состояния за бесконечно малый промежуток времени Цепи Маркова с непрерывным временем - Инвестирование - 24 . Следует отметить, что стохастическая непрерывность не означает непрерывность реализаций марковской цепи. Это происходит потому, что разрывы каждой реализации цепи происходят в случайные моменты времени, и вероятность того, что разрыв произойдет именно в данный момент времени Цепи Маркова с непрерывным временем - Инвестирование - 12 , равна нулю.

← Предыдущая страница | Следующая страница →