主观贝叶斯方法

第2章主观贝叶斯方法

中国科大计算机学院

内容

•

•

•规则的不确定性证据的不确定性推理计算

主观贝叶斯方法

•R. O. Duda等人于1976年提出的一种不确定性推理模型。–在这个模型中，他们称推理方法为主观Bayes 方法。

–成功地应用于地矿勘探系统PROSPECTOR 中。

•在这种方法中，引入了两个数值（LS ，LN ）。

•IF A THEN (LS, LN) B

–LS 体现规则成立的充分性,

–LN 体现规则成立的必要性。

–这种表示既考虑了事件A 的出现对其结果B 的支持，又考虑了A 的不出现对B 的影响。

内容

•

•

•规则的不确定性证据的不确定性推理计算

几率函数与LS, LN的关系•理论上，LS 、LN 的取值可以是如下几个范围：①LS>1，且LN

②LS1

③LS=LN=1

例题

•例1、PROSPECTOR 专家系统中的一条规则：

如果有石英硫矿带，那么，必有钾矿。

对于这条规则来说，有LS=300，LN ＝0.2。•相关解释：

–LS=300>>1，观察到石英硫矿带非常有用，而若不能观察到石英硫矿带则没有什么意义。

–LN

•例2、如果有玻璃褐铁矿，那么有最佳的矿产结构。–其中LS ＝1000000，LN=0.01

内容

•

•

•规则的不确定性证据的不确定性推理计算

内容

•

•

•规则的不确定性证据的不确定性推理计算

推理计算

•主观贝叶斯方法的不精确推理过程就是根据前提A 的概率P(A)，利用规则的LS 和LN ，把结论B 的先验概率P(B)更新为后验概率P(B|A)的过程。

由于是不确定性推理，所以必须讨论证据发生的各种可能性。

①A 必出现

②A 不确定

③证据的合成

④证据组合•

A 必出现

•A 必出现时，即P(A)＝1，此时可以直接使用如下公式计算：

O(B|A) = LS·O(B)

O(B|~A) = LN·O(B)

从而求得使用规则A ÆB 后，O(B)的更新值O(B|A)和O(B|~A)。

•如果需要概率表示，可再由公式

P(A)=O(A)/(1+O(A))

计算出P(B|A)和P(B|~A)。

A 不确定

•A 不确定，即P(A)≠1时，设A' 代表与A 有关的所有证据（A' 是系统中所有对A 能够产生影响的观察）。对于规则A ÆB ，杜达(Duda)给出了公式(1976年) P(B|A') = P(B|A)P(A| A')+P(B|～A)P(～A| A')三种特殊情况：

当P(A| A') = 1时，证据A 必然出现

当P(A| A') = 0时，证据A 必然不出现当P(A| A') = P(A)时，观察A' 对A 没有影响••①②③

A 不确定

•这样可得P(A|A')为0，P(A)，1时相应的P(B|A')的值，根据这三点可以得到线性插值图。•对于P(A| A' ) 的其它取值，P(B|A')可根据此图通过线性插值法

得到。

A 不确定

•当证据不确定时，证据理论推理的基本原理是：①从该证据A 往前看，即寻找A 的出处。

②如果A 是由A' 导出的，即A' →A →B , 则当A 不清楚的时候，采用A' 的相关信息进行计算。③如果还不行，就再往前推。

④是一个递归推导的过程。

A' 是指从A 向前看的各个相关证据，所以有时可能存在多个相关证据。•

证据的合成

•当出现两个证据，即在证据A ′之下，有证据A 1和A 2存在时，设证据A 1和A 2单独受影响的概率分别为P(A1|A′) 和P(A2|A′) ，那么

P (A 1∧A 2|A ' ) =min{P (A 1|A ' ), P (A 2|A ' )}P (A 1∨A 2|A ' ) =max{P (A 1|A ' ), P (A 2|A ' )}•当有2个以上的证据存在时，有

P (A 1∧A 2L ∧A n |A ' ) =min{P (A 1|A ' ), P (A 2|A ' ), L , P (A n |A ' )}P (A 1∨A 2L ∨A n |A ' ) =max{P (A 1|A ' ), P (A 2|A ' ), L , P (A n |A ' )}

证据组合

•简单情况：一个原因，一个结果。¾A ÆB ，A 为原因，B 为结果

•实际情况：证据是复合的。

•例如，聪明A1而且努力学习A2，考上大学B 。

例题1

•例1、已知P(A)=1, P(B1)=0.04, P(B2)=0.02，

R1: A→B 1LS=20 LN=0.1R2: B1→B 2LS=300 LN=0.001要求计算P(B2|A)。

•分析：当使用规则R2时，证据B 1并不是确定的发生了，即P(B1) ≠1，因此要采用插值方法。•解：先依照A 必然发生，由定义和R1得：O(B1)=0.04/(1-0.04)=0.0417O(B1|A)=LS*O(B1)=0.83P(B1|A)=0.83/(1+0.83)=0.454然后，由于P(B1|A)=0.454大于P(B1) ，假设P(B1|A)=1,计算：P(B2|B1)=300*0.02/( (300－1)*0.02+1)=0.857最后，进行插值：

P(B2|A)=0.02+[(0.857-0.02)/(1-0.04)]*(0.454-0.04)=0.410

例题3

•例3、已知：证据A 必然发生，且有P(B1)=0.03，P(B2)=0.01，规则如下:

R1：A →B 1LS=20 LN=0.1R2：B 1→B 2LS=300 LN=0.0001求B 2的更新值。

•解：

由于B 1不确定，所以讨论其前项证据A 的影响使用插值法。

小结

•主观Bayes 方法

–优点：

1. 计算公式大多是基于概率论推导的，理论基础较为扎实。

2. 直观，明了。

–缺点：

1. 要求领域专家在给出规则的同时，给出B 的先验概率P(B)，有时比较困难。

2. 贝叶斯定律中关于事件独立性的要求使实际应用受限制。

作业

•1、已知证据A 1，A 2必然发生，且P(B1)=0.03，P(B2) ＝0.01，规则如下：

R1：A 1→B

→B 1LS=20 LN=0.1R2：A

R3：B 2B 1LS=300 LN=0.1

1→2LS=300 LN=0.0001

求B 1，B 2的更新值。