HMM理解思路

HMM

本文整理简单整理一下HMM的理解思路。

模型

马尔科夫性与马尔科夫链

性质: - 有限历史假设 - 时间不变性

隐马尔科夫模型

  1. 模型定义: 1、初始状态概率向量 ,其中 2、状态转移概率矩阵 ,其中 3、观测概率矩阵 ,其中 4、观测序列 ,状态序列 5、状态集合 ,观测集合

  2. 模型三元组

    状态转移概率矩阵A与初始状态概率向量确定了隐藏的马尔科夫链,生成不可观测的序列。观测概率矩阵B确定了如何从状态生成规则,与状态序列综合确定了如何产生观测序列。

  3. 模型基本假设:

    • 齐次马尔科夫性假设:设隐马尔科夫链在任意时刻t的状态只依赖于其前一时刻的状态,与其他时刻的状态及观测无关,也与时刻t无关。
    • 观测独立性假设:假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态,与其他观测和状态无关。
  4. 例子:

三个问题

概率计算问题(评估)

给定模型 和观测序列 ,计算在模型 下观测序列 出现的概率 。 - 穷举搜索,O(TN^T) - 前向算法,O(N^2T) - 后向算法

预测问题(解码)

已知观测序列 和模型 ,求给定观测序列条件概率 最大的状态序列 ,即给定观测序列,求最有可能的对应的状态序列。 - 穷举搜索 - 近似计算 - 维特比(Viterbi)算法:动态规划

学习问题

已知观测序列 ,估计模型 ,使 最大。 - 监督算法:利用极大似然估计 - 非监督算法:Baum-Welch算法(EM算法在HMM中的具体实现)

应用

语音识别,中文分词,手写识别

参考

  1. 《统计学习方法》,李航
  2. 隐马尔科夫模型(HMM)及其Python实现

View on GitHub