离散时间马尔科夫过程

前言

本篇是在学习隐含马尔科夫模型过程中的一个阶梯。离散马尔科夫过程可以作为 HMM(隐含马尔科夫过程)知识点进行铺垫,之后在扩展到隐含马尔科夫模型。

离散马尔科夫过程介绍

考虑一个系统,它可以在任何时候被描述为一组由 {1,2,…,N } 索引的 n 个不同状态中的一个,如图 6.1 所示(为简单起见 n = 5)。以有一定规律的时间间隔,该系统依据状态相应的概率经历状态的变化(可能回到相同状态)。我们记与状态变化相关的时间点为 t = 1,2,...,并且记时间t的实际状态为 $q_{t}$。通常,对上述系统的完整概率描述需要具体说明当前状态(时间 t)以及所有前一个状态。对于一个离散的、一阶马尔科夫链,概率相关性被截断为只与前一个状态有关——也就是,
file
file
在有规律间隔的离散时间内,系统根据与状态相关的一组概率进行状态变化(可能回到同一状态)。我们将与状态变化相关的瞬时时间表示为t=1,2,…,并将时间 t 处的实际状态表示为 $q_{t}$。上述系统的完整概率描述通常需要说明当前状态(时间t)以及所有前一个状态(all the predecessor states)。对于离散时间、一阶马尔可夫链的特殊情况,概率依赖性被截断为前一状态——也就是(只与前一状态有关),

$$ P=\left [ q_{t}=j|q_{t-1} = i,q_{t-2}=k,... \right ]=P\left [ q_{t}=j|q_{t-1}=i \right ] (6.1)$$

此外,我们只考虑那些过程,其中式(6.1)右边与时间无关,从而会有状态转移概率 $a_{ij}$集合形式为

$$a_{ij}=P\left [ q_{t}=j|q_{t-1}=i \right ],1\leqslant i,j\leqslant N (6.2)$$

具有以下属性

$$a_{ij}\geq 0\, \: \: \: \forall j,i (6.3a)$$$$\sum_{j=1}^{N}a_{ij}=1\: \forall i (6.3b)$$

因为它们服从标准的随机约束。
上述随机过程可以称为可观测马尔可夫模型,因为过程的输出是每个时刻的一组状态,其中每个状态对应一个可观测事件。

举例说明

为了确定这些思想,考虑一个简单的三态马尔可夫天气模型,如图6.2所示。我们假设每天一次(如中午),观测到的天气如下:
状态1:降水(雨或雪);
状态2:多云;
状态3:晴。
我们假设T日的天气特征为上述三种状态中的一种,状态转移概率矩阵A为:

$$A=\left \{ a_{ij} \right \}=\begin{bmatrix} 0.4 &0.3 &0.3 \\ 0.2 &0.6 &0.2 \\ 0.1 &0.1 &0.8 \end{bmatrix}$$

给定图 6.2 的模型,我们现在可以问(和回答)关于随时间变化的天气模式的几个有趣问题。比如,我们可以提出以下的简单问题:
问题
根据这个模型,8 个连续日的天气为“晴-晴-晴-雨-雨-晴-多云-晴”的概率为多少?
解答
我们定义观测序列 O 为

$$O=\left ( sunny,sunny,sunny,rain,rain,sunny,cloudy,sunny \right ) \\ =\left ( 3,3,3,1,1,3,2,3 \right )\\ day = 1,2,3,4,5,6,7,8$$

对应于八天期间假设的一组天气条件,在给定图6.2模型的前提下,我们要计算 P(O|模型),观测序列 O 的概率。我们可直接确定 P(O|模型) 为:
file
其中我们使用记号:

$$\pi _{i}=P\left [ q_{1}=i \right ],1\leq i\leq N (6.4)$$

来表示初始状态概率。
我们可以问(和使用该模型回答)另一个有趣的问题是:
问题
给定已知状态的系统,问该系统保持该状态的概率是多少?

这个概率可计算这些观察序列的概率:

$$O=\left (i,i,i,...,i,j \right ) \\ day=1,2,3,...,d,d+1$$

给定模型
file (6.5)
其中,

$$a_{ij}=1-a_{ii}$$

量 $p_{i}(d)$ 是状态 i 持续时间为d的概率分布函数。这个指数分布是马尔可夫链中状态持续时间的特征。基于 $p_{i}(d)$,我们可以很容易地计算出一种状态观测次数(持续时间)的期望值,条件是开始于那个状态,期望值计算为

$$\bar{d_{i}}=\sum_{d=1}^{\infty }dp_{i}\left ( d \right )\\ =\sum_{d=1}^{\infty}d\left ( a_{ii} \right )^{d-1}\left ( 1-a_{ii} \right )=\frac{1}{1-a_{ii}} (6.6b)$$

根据这个模型,因此晴天连续天数的期望值是 1 / 0.2 = 5;对于多云天气,相应的期望值是2.5;对于下雨天,其值为1.67。
问题
推导 $p_{i}(d)$均值的表达式,即方程(6.6b)。
解:

$$\bar{d_{i}}=\sum_{d=1}^{\infty }dp_{i}\left ( d \right )\\ =\sum_{d=1}^{\infty}d\left ( a_{ii} \right )^{d-1}\left ( 1-a_{ii} \right )\\ =\left ( 1-a_{ii} \right )\frac{\partial }{\partial a_{ii}}\left [ \sum_{d=1}^{\infty }a_{ii}^{d} \right ]\\ =\left ( 1-a_{ii} \right )\frac{\partial }{\partial a_{ii}}\left ( \frac{a_{ii}}{1 - a_{ii}} \right )\\ =\frac{1}{1-a_{ii}}$$

后续

这是一阶离散马尔科夫链的知识,有时间会接着写隐含马尔科夫模型

追求梦想,做最好的自己