贝叶斯决策理论及其应用

哈尔滨工业大学课程学习报告

课程名称：授课教师：学生姓名：学号：院系：

电话：

Email:

Bayes决策理论及其应用

魏绍楼

（哈尔滨工业大学 材料科学与工程学院，哈尔滨 150090）

摘要：回顾Bayes决策理论的产生与发展历史，结合《概率论与数理统计》课程内容，深入分析了几类典型的决策模型。讨论了Bayes决策理论的应用领域及其与经典归纳理论的异同。 关键词：Bayes决策理论；决策模型；决策规则；归纳理论

引言

Bayes决策理论是主观Bayes派归纳理论的重要组成部分，是指在不完全情报下，对部分未知的状态用主观概率估计，并使用Bayes公式对概率估计值进行修正，依据数学期望值和修正概率做出最优决策的科学。这种决策理论灵活性强，具有广泛的使用空间和发展前景，被广泛应用于实际生活中及各门学科之中，并被不断发展完善，形成了各具学科特色的Bayes决策理论。

1 Bayes决策理论的产生与发展

Bayes统计学是现代统计学的一个重要分支，它起源于十八世纪英国学者Thomas·Bayes在其一篇名为《论有关机遇问题的求解》中所提出的著名的Bayes公式和一种推理方法[1]。其理论成果并没有引起同时代人们的重视，直到他的论文被后人公开发表，并经过Laplace等人的进一步发展，才逐渐形成了统计学中的Bayes学派。时至今日，Bayes统计学与古典统计学已并驾齐驱，成为统计学的两大主流学派。

图1.Bayes与Bayes公式

Bayes学派的基本观点是:任意未知参数都可视为随机变量，可用一个概率分布来描述，并称这个分布为先验分布，它代表人们在进行抽样调查前对事件的认识，即先验信息，而古典统计学派最初不承认先验信息，主张仅利用样本信息进行统计推断[2]。这是两大学派的根本区别所在。如何利用各种先验信息来合理的确定先验分布成为统计学派关注的焦点。

Bayes决策理论是关于人在风险条件下或面临不确定性因素的情况下应该如何进行抉择的理论。Ramsey 、Savage 与Jeffrey 对Bayes决策理论的建立作出了卓著的贡献。

1921年英国经济学家Keynes出版《论概率》一书, 建立了第一个概率逻辑体系, 这标志着现代归纳逻辑的诞生[3]。Keynes

试图借助于数理逻辑和概率论来刻画或然性推理的前提

与结论之间的逻辑联系, 他认为, 如果这些推理客观上是正确的, 那么在推理的前提与结论之间存在着唯一的概率关系。Ramsey 反对Keynes的逻辑概率概念，并于1926年发表《真理与概率》, 文中提出主观概率的概念, 并通过人的选择行为来确定概率和效用。他首先提出了“伦理中立的命题”这一概念：一个命题s 对某个人而言是伦理中立的, 是说有两个可能世界, 这两个世界的差别仅仅在于s在一个世界中为真, 在另一个世界中为假, 而这两个世界对于这个人的价值是相同的。或者说, 如果命题s 的真假不会影响一个人对行动方案的选择, 那么这个命题对于他是伦理中立的。比如某人在疗养院休假, 清晨起来考虑今天是去登山, 还是留下打保龄球。这时从一副扑克中抽出一张牌, 命题“抽出的是一张桃”是真还是假不会影响他的选择,因而对他是伦理中立的。但是如果他不知道今天是否下雨, 命题今天将有雨“对于他就不是伦理中立的”。

Savage 系统地研究了决策理论, 他认为归纳推理的思想与人在面对不确定性的证据时的决策行为有关。他在1954 年出版的《统计学基础》一书中“发展了, 解释了, 并辩护了一种关于高度理想化的人在不确定情况下的行为的抽象的理论”。从Ramsey 到Savage 之间, 还有两项重要的工作: 一项是De Funès独立地提出并发展了主观概率的理论；另一项是1944 年数学家Von Neumann与经济学家Morganstan合作出版了《对策论和经济行为》一书， 建立了现代效用理论。Savage 是在这两项工作的基础上开展研究的。

Bayes决策理论是主观Bayes派归纳理论的有机组成部分。主观Bayes派是在同逻辑Bayes派的竞争中发展起来的。以Keynes、卡尔那普和欣迪卡为代表的逻辑Bayes派致力于用形式语义学的方法来刻画归纳推理前提与结论之间的逻辑联系，他们系统地发展了归纳确证的理论。以Ramsey、De Funès、Savage 和Jeffrey 为代表的主观Bayes派致力于建立主观概率的理论, 他们发展了效用理论，发展了决策理论。

Bayes统计理论与最优决策理论结合所形成完备的决策理论，首先成功应用于商业和社会科学中。其次是在物理、化学、生物等学科领域得到了广泛的应用，如今其概念和方法在工程技术、管理科学、系统运筹、医疗诊断等领域都具良好的发展前景。

2 典型决策模型分析

2.1基于最小错误率的Bayes决策

在模式分类问题中，人们往往希望尽量减小分类的错误,从这样的要求出发，利用Bayes公式，就能得出使错误为最小的分类规则,称之为基于最小错误率的Bayes决策。决策规则( 以两类为例): 如果p(w1| x) > p(w2| x)，则把x 归为w1类。反之，p(w1| x)

p(wi| x)=max{p(wj| x)} , j= 1,2,…,c, 则x∈wi (2.1-1)

2.2基于最小风险的Bayes决策

在基于最小错误率的Bayes分类决策中，使错误率p(e)达到最小是重要的。但实际上有时需要考虑一个比错误率更为重要的广泛的概念——风险。风险和损失是紧密联系的。最小风险Bayes决策正是考虑各种错误造成损失不同而提出的一种决策规则。在此决策中利用了决策论的观点进行考虑。在已知先验概率p(wi)及类条件概率密度p(x| wi)i=1,2,…,c的条件下， 在考虑错判所造成的损失时，由于引入“损失”的概念，而必须考虑所采取的决策是否使损失最小。对于给定的x，如果采取决策αi，损失函数λ(αi, wj)可以在c个λ(αi, wj)， j= 1,2,…,c值中任取一个，其相应的概率为p(wj|x)。因此在采取决策αi情况下的条件风险R(αi|x)为： R(αi |x)=E[(αi,wj)]=