隐马尔可夫模型在自然语言理解研究中的应用

第１５第卷第１期１５卷第１期电脑与信息技术Ｖｏｌ．１５Ｎｏ．１Ｆｅｂ．２００７

２００７年２月

文章编号：１００５－１２２８（２００７）０１－００３３－０３

ＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ

隐马尔可夫模型在自然语言理解研究中的应用

卢

微

０７１００２）

（河北大学人文学院，河北保定

摘

要：自然语言理解是人工智能最活跃的研究领域之一，同时也是目前前沿的课题之一。该领域的研究人员通过对

隐马尔可夫模型这一数学模型的跨领域应用，解决了自然语言理解中的瓶颈问题。文章系统阐述了隐马尔可夫模型的原理以及在语音识别和词性标注方面应用的过程，从而为更多研究者了解和认识。关键词：隐马尔可夫模型（ＨＭＭ）；自然语言理解；语音识别；词性标注中图分类号：Ｏ２１１．６２；ＴＰ１８

文献标识码：Ａ

ＴｈｅＡｐｐｌｉｃａｔｉｏｎｏｆＨＭＭｉｎＣｏｍｐｒｅｈｅｎｓｉｏｎｏｆＮａｔｕｒａｌＬａｎｇｕａｇｅ

ＬＵＷｅｉ

（ＣｏｌｌｅｇｅｏｆＬｉｂｅｒａｌＡｒｔｓ，ＨｅｂｅｉＵｎｉｖｅｒｓｉｔｙ，Ｂａｏｄｉｎｇ，Ｈｅｂｅｉ

０７１００２，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｃｏｍｐｒｅｈｅｎｓｉｏｎｏｆｎａｔｕｒａｌｌａｎｇｕａｇｅｉｓｏｎｅｏｆｔｈｅｍｏｓｔａｃｔｉｖｅｆｉｅｌｄｓｉｎｔｈｅｒｅｓｅａｒｃｈｏｆａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ，ｉｔｉｓａｌｓｏｏｎｅｏｆｔｈｅｄｉｆｆｉｃｕｌｔｐｒｏｂｌｅｍｏｎｐｒｅｓｅｎｔｆｏｒｗａｒｄｐｏｓｉｔｉｏｎ．

ＲｅｓｅａｒｃｈｅｒｓａｐｐｌｙｓｕｃｈｍａｔｈｅｍａｔｉｃｍｏｄｅｌａｓＨｉｄｄｅｎ

ＭａｒｋｏｖＭｏｄｅｌｔｏｔｈｉｓｆｉｅｌｄａｎｄｓｏｌｖｅｔｈｅｋｅｙｐｒｏｂｌｅｍｉｎｔｈｅｆｉｅｌｄｏｆｃｏｍｐｒｅｈｅｎｓｉｏｎｏｆｎａｔｕｒａｌｌａｎｇｕａｇｅ．Ｔｈｉｓａｒｔｉｃｌｅｓｙｓｔｅｍａｔｉｃｌｙｅｘｐｏｕｎｄｓｔｈｅｐｒｉｎｃｉｐｌｅｏｆｔｈｅｍａｔｈｅｍａｔｉｃｍｏｄｅｌ－ＨＭＭａｎｄｐｒｏｃｅｓｓｏｆｉｔｓａｐｐｌｉｃａｔｉｏｎｉｎｔｈｅａｓｐｅｃｔｓｏｆｓｐｅｅｃｈｒｅｃｏｇｎｉｔｉｏｎａｎｄｐａｒｔ－ｏｆ－ｓｐｅｅｃｈｔａｇｇｉｎｇ，ｓｏｍｏｒｅｒｅｓｅａｒｃｈｅｒｓｗｉｌｌｈａｖｅａｂｅｔｔｅｒｕｎｄｅｒｓｔａｎｄｉｎｇａｂｏｕｔＨＭＭ．Ｋｅｙｗｏｒｄｓ：ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ；ｃｏｍｐｒｅｈｅｎｓｉｏｎａｂｏｕｔｎａｔｕｒａｌｌａｎｇｕａｇｅ；ｓｐｅｅｃｈｒｅｃｏｇｎｉｔｉｏｎ；ｐａｒｔ－ｏｆ－ｓｐｅｅｃｈｔａｇｇｉｎｇ

０引言

自然语言理解（ＮａｔｕｒａｌＬａｎｇｕａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ，

１隐马尔可夫模型

隐马尔可夫模型ＨＭＭ是一种用参数表示的用于

ＮＬＵ）是人工智能学的核心课题之一，目的是使机器能

够在一定程度上理解人类的语言。自然语言理解可以分为语音理解（语音识别、理解与合成）和书面语理解（分词操作、词性标注、语法分析、短语识别等）。在信息化的社会，随着计算机的发展，计算机和自然语言相结合的领域越来越广，像内容分析、信息监控、自动摘要、机器学习、机器翻译、人机自然语言对话、基于自然语言的人机合作等，都是自然语言理解的具体应用，而语音识别、词性标注又是这些应用中的关键技术环节和基础性课题，如果解决得不好，就会成为自然语言理解的瓶颈问题。由于隐马尔可夫模型的出现和应用，使得自然语言理解研究取得了很大的进展，像语音识别系统、词性自动标注系统都有了实质性的突破。在语音识别方面，隐马尔可夫模型合理地模仿了人的言语过程，是目前为止最强有力的识别算法，现在大多数大词汇量连续语音的非特定人语音识别系统都是基于隐马尔可夫模型的。在词性标注方面，采用隐马尔可夫模型的标注方法有很强的健壮性，是当前主流的标注方法。

收稿日期：２００６－１０－０２

作者简介：卢微（１９８３－），女，硕士研究生，主要研究方向：应用语言学。

描述随机过程统计特性的概率模型，由马尔可夫链演变而来。ＨＭＭ模型是一双重随机过程，一个是具有一定状态数的马尔可夫链，这是基本的随机过程，它描述状态的转移；另一个是显示随机函数集，描述状态和观察值之间的统计对应关系。其中模型的状态转换过程是不可观察（隐蔽）的，因而称之为“隐”马尔可夫模型。

隐马尔可夫模型描述连续符号序列的条件概率，可以定义为一个五元组：ＨＭＭ＝（Ｓ，Ｖ，Ａ，Ｂ，π），其中：

（１）Ｓ代表一组状态的集合Ｓ＝9１，２，３，…，Ｎ

（２）Ｖ代表一组可观察符号的集合Ｖ＝9ｖ１，ｖ２，ｖ３，…，

ｖｍ

目。

（３）Ａ代表状态转移概率矩阵Ａ＝［ａｉｊ］，这是个Ｎ行

Ｎ列的矩阵，ａｉｊ表示从状态ｉ转移到状态ｊ的概率，其中ａｉｊ＝ｐ（ｑｔ＋１＝ｊ／ｑｔ＝ｉ），１!ｉ，ｊ!Ｎ。

（４）Ｂ代表可观察符号的概率分布Ｂ＝9ｂｊ（ｋ）

・３４・电脑与信息技术

Ｎ

２００７年２月

１!ｋ!Ｍ，１!ｊ!Ｎ。

（５）π代表初始状态的概率分布π＝(πｉ*，表示在时间１选择某个状态ｉ的概率，有πｉ＝Ｐ（ｑ１＝ｉ）。

一个确定的隐马尔可夫模型，其状态数和每个状态可能输出的观察值的数目都是可以确定的，因此可以用（Ａ，Ｂ，π）来表示模型的参数。其中，由π、Ａ描述马尔可夫链，产生的输出为状态序列，记为Ｑ。Ｑｔ表示第ｔ次转移的源状态；Ｂ则描述随机过程，产生的输出为观察值序列，记为Ｏ。Ｏｔ表示第ｔ次转移的输出。

（３）结束：Ｐ（Ｏ｜λ）＝"αＴ（ｉ）

ｉ＝１

定义２

后向概率用ｏｔ＋２，ｏｔ＋３，…，ｏＮ去推算ｏｔ＋１，

ｏｔ＋２，…，ｏＮ的概率，用βｔ（ｉ）表示。

后向概率算法如下：

（１）初始化：βＴ（ｉ）＝１，１!ｉ!Ｎ

（２）递归：βｔ（ｉ）＝"αｉｊｂｊ（ｏｔ＋１）βｔ＋１（ｊ），ｔ＝Ｔ－１，Ｔ－２，…，

ｊ＝１Ｎ

１，１!ｉ!Ｎ

（３）结束：Ｐ（Ｏ｜λ）＝"βＴ（ｉ）

ｉ＝１Ｎ

２隐马尔可夫模型在自然语言理解研究中的应用

２．１

隐马尔可夫模型在语音识别中的应用

在定义了前向概率、后向概率和它们的算法后，观察输出概率Ｐ（Ｏ｜λ）便很容易得到：

）＝"αＰ（Ｏ｜λｔ（ｉ）βｔ（ｉ）

ｉ＝１Ｎ

２０世纪８０年代，美国ＣＭＵ大学的Ｊ．Ｋ．Ｂａｋｅｒ

等人将ＨＭＭ应用到语音识别领域，在语音识别中获得了极大的成功，成为语音识别的主要方法。

根据前面对隐马尔可夫模型原理的介绍，我们已知它是一个双重的随机过程，在语音识别当中，这两个随机过程共同描述语音信号的统计特性，一个是用具有有限状态数的马尔可夫链来模拟语音信号变化的隐含的随机过程，另一个是与马尔可夫链的每一状态相关联的观察矢量的随机过程。这样，语音等时变信号某一段的特征就由对应状态观察符号的随机过程描述，而信号随时间的变化由隐马尔可夫链的转移概率描述。

基于隐马尔可夫模型的语音识别算法通过对大量语音数据进行数据统计，建立识别统计模型，然后从待识别语音中提取特征，与这些模型进行相似性度量比较，将相似度最高的模式所属的类别作为识别结果输出。一般来说，用隐马尔可夫模型构成语音识别系统或说话人识别系统，要解决３个基本问题。

２．１．２最佳状态序列的寻找

对于ＨＭＭ系统，外界观察到的某个序列Ｏ在系

统内部对应的状态序列Ｑ不是唯一的，但是不同的Ｑ产生Ｏ的可能性不一样。最佳状态序列寻找的任务就是根据系统输出Ｏ寻找最有可能的状态序列Ｑ，使得该状态序列产生Ｏ的可能性达到最大。其常用的算法是Ｖｉｔｅｒｂｉ算法。Ｖｉｔｅｒｂｉ算法是动态规划算法的一种变形，它可用如下递推算法求得：

（１）初始化：δ１（ｉ）＝πｉｂｉ（ｏ１），１!ｉ!Ｎ

φ１（ｉ）＝０，１!ｉ!Ｎ

（２）递归：δｔ（ｊ）＝ｍａｘ［δｔ－１（ｉ）ａｉｊ］ｂｊ（Ｏｔ），

１!ｉ!Ｎ

２!ｔ!Ｔ，１!ｊ!Ｎ

φｔ（ｊ）＝ａｒｇｍａｘ［δｔ－１（ｉ）ａｉｊ］，

１!ｉ!Ｎ

２!ｔ!Ｔ，１!ｊ!Ｎ

（３）结束：Ｐ＊＝ｍａｘ［δＴ（ｉ）］

１!ｉ!Ｎ

２．１．１观察输出概率Ｐ（Ｏ｜λ）的计算

对于给定了观察序列Ｏ（ｏ１，ｏ２，ｏ３，…，ｏＴ）和模型λ＝

ｑＴ＝ａｒｇｍａｘ［δＴ（ｉ）］

１!ｉ!Ｎ

＊

，Ａ，ＢE，模型λ产生Ｏ的概率可采用前向概率、后向(π

概率，可以使其计算量降低到Ｎ２Ｔ次运算。

定义１

前向概率用Ｔ时刻以前出现的观察序列

来推算到当前时刻ｔ时出现某个观察值的概率，即用出现ｏ１，ｏ２，…，ｏｔ－１的概率来推算出现ｏ１，ｏ２，…，ｏｔ－１，ｏｔ的概率，用αｔ（ｉ）表示。

前向概率计算算法：

（１）初始化：α１（ｉ）＝πｉｂｉ（ｏ１），１!ｉ!Ｎ

（２）递归：αｔ＋１（ｊ）＝("αｔ（ｉ）ａｉｊEｂｊ（ｏｔ＋１），１!ｔ!Ｔ－１，

ｉ＝１Ｎ

（４）状态序列求取：ｑｔ＝φｔ＋１（ｑｔ＋１），ｔ＝Ｔ－１，Ｔ－２，…，１由此便可求得Ｐ（Ｏ｜λ）的最佳状态序列：ｑ１，ｑ２，…，ｑｔ

＊

＊

＊

＊＊

２．１．３模型参数的估计

模型参数的估计是ＨＭＭ模型的训练问题，即如

何根据系统所给的若干输出来确定模型λ，Ａ，ＢE，＝(π使Ｐ（Ｏ｜λ）最大。研究者一般采用Ｂａｕｍ－Ｗｅｌｃｈ重估算法来进行ＨＭＭ模型的训练。

Ｂａｕｍ－Ｗｅｌｃｈ算法可描述如下：

令ξ），ｔ（ｉ，ｊ）＝Ｐ（ｑｔ＝Ｓｉ，ｑｔ＋１＝Ｓｊ／Ｏ，λ

）γｔ（ｉ）＝Ｐ（ｑｔ＝Ｓｉ／Ｏ，λ

１!ｊ!Ｎ

第１５卷第１期卢微：隐马尔可夫模型在自然语言理解研究中的应用

Ｎ

・３５・

α（ｉ）ａｂ（Ｏ）β（ｊ）则ξ，γｔ（ｉ，ｊ）＝ｔ（ｉ）＝!ξｔ（ｉ，ｊ）

ｊ＝１

由此得出了Ｂａｕｍ－Ｗｅｌｃｈ算法中著名的重估公式：

（ｉ，ｊ）!ξ

ｔｔ＝１

Ｔ－１

Ｔ

观察值序列Ｗ＝ｗ１，ｗ２，ｗ３，…，ｗｍ．Ｔ°为最终的标注结果，即概率最大的词性序列，用公式表示为：

Ｔ°＝ａｒｇｍａｘＰ（Ｔ／Ｗ）

Ｔ

（１）

根据Ｂａｙｅｓ公式，则有

"ｉ＝γ#π１（ｔ），ａｉｊ＝

!γ（ｉ）

ｔ

ｔ＝１

$＝，ｂｉｊ

ｔ＝１，ＯＴ＝０

%γ（ｊ）

ｔ

Ｐ（Ｔ／Ｗ）＝Ｐ（Ｔ）Ｐ（Ｗ／Ｔ）

因此根据式（１）!式（２）可以得到：

（２）

!γ（ｊ）

ｔ

ｔ＝１

对于一个特定的词序列来说，Ｐ（Ｗ）是一个常数，

$＝;π"，Ａ"，Ｂ">即是重估后的模型参数，且Ｐ（Ｏ｜λ$）&Ｐλ

（Ｏ｜λ）。

复杂的语音识别问题就是这样通过隐含马尔可夫模型简单地被表述、解决，让我们不得不感叹数学模型之妙，隐马尔可夫模型识别系统之所以优于其它系统，在于隐马尔可夫模型识别系统中保留了更多训练数据的统计信息，并解决了训练和分类上的困难，可以说隐马尔可夫模型在语音识别上是个极大的成功。

因此

Ｔ°＝ａｒｇｍａｘＰ（Ｔ）Ｐ（Ｗ／Ｔ）

Ｔ

引入ＨＭＭ来计算Ｐ（Ｔ）Ｐ（Ｗ／Ｔ）得：

Ｐ（Ｔ）Ｐ（Ｗ／Ｔ）≈(ｐ（ｗｉ／ｔｉ）ｐ（ｔｉ／ｔｉ－１）

ｉ＝１

ｍ

Ｔ°＝ａｒｇｍａｘ(ｐ（ｗｉ／ｔｉ）ｐ（ｔｉ／ｔｉ－１）

Ｔ

ｉ＝１

ｍ

词性标注中，最优分词路径的寻找也是采用Ｖｉｔｅｒ－

ｂｉ算法，这里不再做介绍。

２．２隐马尔可夫模型在词性标注中的应用

词性标注就是在给定的句子中判定每个词的语法

３结语

隐马尔可夫模型在语音识别和词性标注中的应用

范畴，确定词性并加以标注的过程，它发生在对文本执行分词处理之后，是对切分所得的词进行分析、运算，确定词在上下文中合适的词类性质并加以标注的过程。词性标注的正误对汉语语料库的标注、机器翻译和大规模文本的信息检索都有重要的意义。基于统计方法的词性标注系统如隐马尔可夫模型、最大熵原理、神经元网络、决策树等都发展得比较成熟，这些方法的词性标注正确率大致相同，其中以隐马尔可夫模型最为典型、最为通行。

就词性标注问题而言，“词性”序列就相当于隐马尔可夫模型中的隐藏的状态序列，是需要求解的目标，给定的“词串”则是可观察符号的序列，是已知的条件。如果把词性标注问题模型化为一个隐马尔可夫模型，那么词性标志集合（即隐马尔可夫模型的状态数）是可以确定的；每个词性所对应的词语（即隐马尔可夫模型的可观察符号）也是确定的。

在隐马尔可夫模型下，词性标注问题可以表述为：在给定观察值和模型参数的情况下，求状态序列最好地解释”Ｔ＝ｔ１，ｔ２，ｔ３，…ｔｍ，使得这一状态序列可以“

［６］［５］［３］［４］

还在进一步完善，而这一数学模型的应用远不只在这两方面。近几年，隐马尔可夫模型在自然语言理解和处理的许多方面都得到了广泛的应用，甚至在信号处理的相关学科中也能觅到它的踪影。在上面的公式中，如果把ｗ１，ｗ２，ｗ３…当成中文，把ｔ１，ｔ２，ｔ３…当成对应的英文，那么就能利用这个模型解决机器翻译问题；如果把ｔ１，ｔ２，ｔ３…当成扫描文字得到的图像特征，就能利用这个模型解决印刷体和手写体的识别。

参考文献：

［１］［２］

俞士汶．计算语言学［Ｍ］．北京：商务印书馆，２００４．

谢锦辉．隐Ｍａｒｋｏｖ模型（ＨＭＭ）及其在语音处理中的应用［Ｍ］．武汉：华中理工大学出版社，１９９５．

胡春静，韩兆强．基于隐马尔可夫模型（ＨＭＭ）的词性标注的应用研究［Ｊ］．计算机工程与应用，２００２，６：６２－６４．

段红梅，汪军，马良河，徐冉．隐马尔可夫模型在语音识别中的应用［Ｊ］．工科数学，２００２．６：１６－２０．

蔡莲红，黄德智，蔡锐．现代语音技术基础与应用［Ｍ］．北京：清华大学出版社，２００３．

翁富良．计算语言导论［Ｍ］．北京：中国社会科学出版社，１９９８．