马尔可夫链简介
安德烈·马尔可夫(1856-1922)，俄国数学家。他因提出马尔可夫链(Markov Chain)的概念而享有盛名：
马尔可夫过程：
如果系统状态的转移，只与现在状态有关，而与过去无关，这种随机转移系统过程就具有马尔可夫性或无后效性。
马尔可夫链：
“时间、状态都是离散的马尔可夫过程。”
安德烈·马尔可夫
马尔可夫过程是随机过程的一种，这特定的随机特性被发现后，在经济学，社会学，生命科学领域有着广泛的应用，可以用于预测未来的事件。
对于我们熟知的安全标准EN ISO 13849-1，马尔可夫链模型是用于评估元件失效概率、系统可靠性、安全有效性的数学理论基础。
马尔可夫链简单实例
我们假设有一个刚刚出生的宝宝，除了睡就是哭。那么“睡”和“哭”就形成了最简单的状态空间。
一个小时以后，宝宝的状态以一定概率产生变化，也有可能维持现状。如果我们将宝宝的状态转移及其概率进行描绘，就得到如下包含4种状态图：
图中所表达的含义为：
这一个小时睡觉，下一个小时维持睡觉状态的概率为0.7;
这一个小时在哭，下一个小时变化为睡的概率为0.9;
其余两种状态转移以此类推。
用数学的方法表达这样的状态分布，就是一个2x2的矩阵，它被称为转移概率矩阵：
如果已知当前宝宝的状态，通过单位时间的迭代，利用给定的转移概率矩阵进行状态之间的链接，我们就能够推测出：某个特定小时后宝宝的状态分布。
这就是最简单的马尔可夫链。
马尔可夫模型的应用
可靠性分析 ——
用于系统的可靠性分析，将各类非正常状态进行分类。机器整体作为一个大系统，每个子系统的故障都将会导致机器处于危险的状态，根据失效概率构建模型。
互联网应用——
谷歌所使用的网页排序算法就是由马尔可夫链定义的。马尔可夫模型可以用于对一个用户从某一网络链接转移到另一链接的行为进行建模，然后这些模型可以用于对用户之后的浏览行为进行预测。
音乐——
马尔可夫链也被应用于算法作曲。
在一些软件中，根据识别输入的旋律，系统的状态变成音高和时值，并且构造每个音符的概率向量，完成转换概率矩阵，用以模拟旋律的起伏走向。
社会科学——
在目前的研究中，用马尔可夫链来模拟一个国家一旦达到特定的经济发展水平，结构因素的配置，如中产阶级的规模，城乡居民比例等等，预测一个国家的经济、政治发展路线。
随着计算机技术的不断提高，更多变量的马尔可夫模型的模拟与运算也变得更为便捷。
在工业控制领域，随着云计算和数字化的不断深入，我们将有机会看到更多更为精准的马尔可夫高阶应用，预测系统的失效概率，评估系统的安全与可靠性。
（转载）
