【随机过程】马尔可夫链
标签（空格分隔）： 【信号处理】
声明：引用请注明出处
说明：马尔科夫链是一个离散的马尔科夫过程，本文主要对基本的研究思路和应用进行梳理，通过具体的实例来总结是一个非常好的尝试。
马尔科夫链的一个应用案例：排队论
比如客户服务排队，每个人所需的服务时间为Δt，那么在Δt内，有一个随机变量γn个人到达。用来研究这队伍的人数到底是不断增加还是不断减少，从而设计几个合适的窗口能够保证最大的效益。等等，这类研究就可以通过马尔科夫链来建模。还有天气预报，股票价格预测，市场占用率，以及网络丢包等等。比如股票价格预测，过了几天是上升还是下降呢？可以统计几种状态历史数据，用马尔科夫链进行建模，然后得到状态转移概率矩阵。由此，可以根据今天是下降还是上升，或者持平三种初始状态，对几天后或者明天的股票价格进行初略的分析。这会是一个很简单有效的建模方法！
几个基本概念
如何判断是否为一个马尔科夫链，并确定其一步状态转移矩阵呢？
由下面的定理：
一步状态转移矩阵
随机矩阵，行和为1，满足概率的特点，大于等于0。如何求解呢？很简单，画出所有的状态，行和列，表示的就是从i行经一步，到j列的概率pij，从上面那个股票预测的例子中，可以窥知一二，在通常建模中，只有data，历史的，然后可以经过数据分析，也就是统计，得到对应的状态转移概率矩阵。实际应用中一般是这样的，而在做题中通常会给出一些知识，可以利用行和为1，计算各个转移概率。
初始时刻的状态概率分布
指的是在开始观察的时刻，马尔科夫链所处状态的对应的概率分布，比如共有3个状态，处在状态1的概率为1/2，处在状态2的概率为1/3，那么处在状态3的概率为1/6。就是这样。那么根据一步转移概率矩阵和初始状态概率分布，可以唯一确定未来时刻n的状态分布。一步一步的走，走n步就行了。
有限维联合概率分布
CK方程
说的是n步状态转移概率矩阵，当然是齐次的马尔科夫链了。所谓其次，指的是与起始时刻无关，只与间隔的步数有关。n步状态转移概率矩阵是一步状态转移概率矩阵的n次幂。
一个非常重要的证明技巧：从中间拆出来中间状态，作为一个缓冲。
那么CK方程的含义就是马尔科夫链的运动轨迹由一步状态转移概率矩阵唯一确定了。
状态转移图
这个图非常直观有效，从视觉上可以看出某一个状态是不是吸收态。所谓吸收态，指的就是pii=1，一旦进入了该状态，便永远无法逃脱，类似黑洞了。在现实例子中，对应着自然状态无系统维修的系统演进终态，就是系统失效，因为无人为参与，所以进入失效状态，便无法自动好转了。所以该状态就是一个典型的吸收态。一旦有了吸收态，该马尔科夫链就确定不是一个不可约链了，因为不能实现任意相通。所谓相通就是i到j可达，j到i也可达。可达指的就是经过若干的状态，可以从i到j，状态转移图的有向图中有一条通路的含义。还有一个首达时间，首达的概念指的就是第一次经过的步数。
2015-11-04 听课笔记 张朋艺