模式识别PPT
C o r i p y
第二章
统计决策方法
主讲人：梅少辉博士
邮箱: 电话: [1**********] 电子信息学院电子工程系
g h
t
b y
h
S a o h u i M e i
硬币分类问题：
¾两类：1元（ω1）和1角（ω2）¾首先考虑没有任何观测的情况
¾分类：依据概率——先验概率（prior probabilities）
―如果P (ω1)>P (ω2)，则x ∈ω1―如果P (ω1)
C o
erroP (r )=1−P (ω1)=P (ω2)⎧x ∈ω1⇒错误率：⎪⎨
erroP (r )=1−P (ω2)=P (ω1)⎪⎩x ∈ω2⇒错误率：
r i
p y g h
引例
t
b y
h S
决策错误的概率最小
a o h u
i M
e i
硬币分类问题——略微复杂的情形：
¾两类：1元（ω1）和1角（ω2）¾增加一种观测特征x （比如重量）
¾分类：依据概率——后验概率（posterior probabilities）
―如果P (ω1|x )>P (ω2|x )，则x ∈ω1―如果P (ω1|x )
P (erro r )=1−P (ω1|x )=P (ω2|x )⎧⎪x ∈ω1⇒错误率：
⎨
P (erro r )=1−P (ω2|x )=P (ω1|x )⎪⎩x ∈ω2⇒错误率：
C o r i p y g h
引例
t
b y
h S
a o
h u
i M
e i
贝叶斯公式：
¾国标
C o
P (ωi |x ) =? i = 1, 2. −测量
先验概率密度：概率¾央行查询¾市场统计分析¾猜测（如0.5）
类条件概率密度：
¾统计分析（一定数量的样本）
P (x , ωi )P |ωi )P (i )P (ωi |x )==
P x P x 总体概率密度：
¾所有硬币的x 的分布密度函数
¾对于不同类别，此部分相同，不影响比较大小，因此不必计算
r i p y g h
引例
t b u i M i
P (x , ωi )P x |ωP ωP (ωi |x )==
P x 如果P (x |ω1)P (ω1)>P (x |ω2)P (ω2)，则x ∈ω1如果P (x |ω1)P (ω1)
贝叶斯决策在类条件概率密度和先验密度已知（或可估计）贝叶斯决策：
的情况下，通过贝叶斯公式比较样本属于两类的后验概率，
将类别决策为后验概率大的一类，从而使得总体误差率最小。
C o r i p y g h
引例
后验概率转化成先验概率与类条件密度的乘积，再用总体密度归一化体密度归化
y
h S
a o
h u
i M
e i
统计模式识别
贝叶斯决策——统计决策理论
是统计模式识别的基本方法和基础条件：••
C o
用概率统计的观点和方法来解决模式识别问题
r i p y g h
引言
类别数一定（决策论中把类别称为状态）
ωi , i =1, 12, c 已知先验概率和类条件概率密度
P (ωi ), P (x |ωi )
t
b y
h S a o h u i M e i
基本概念：
¾样本
C o
¾状态（类别）第一类：ω=ω1，第二类：ω=ω2¾先验概率
p (ω1)，p (ω2)
¾样本分布函数（总体概率密度）p (x )¾类条件概率密度p (x |ω1), p (x |ω2)¾后验概率p (ω1|x ), p (ω2|x )
r i p y g h
d
引言
]
T
x ∈R , 即x =[x 1, x 2, , x d
t
b y
h S
a o
h u i M e i
C o
¾错误概率：¾平均错误率
P (e )=
¾正确率
r i p y g h
引言
x ∈ω1x ∈ω2
⎧⎪P (ω2|x )P (e |x )=⎨⎪⎩P (ω1|x )
t
b y
∫P (e |x )P (x )d x
P (c )=1−P (e )
h S
a o
h u i M e i
决策目标：最小错误率，即分类错误最小最小错误率贝叶斯决策
C o
P (e |x )>0, P (x )>0⇒m in P (e |x ) fofo r all r all x
∵
∴
r i p y
最小错误率贝叶斯决策
m in P (e )=
⎧⎪P (ω2|x )if x =ω1
P (e |x )=⎨
⎪P (ω1|x )if x =ω2>⎧ω1
P (ω1|x )P (ω2|x )⇒x ∈⎨
g h
t b y
∫P (e |x )P (x )d x
h S
a o
最小错误率贝叶斯决策
h e i
后验概率计算（贝叶斯公式）
P (x |ωi )P (ωi )
=P (ωi |x )=
P x P (x |ωi )P (ωi )
已知：P (ωi ), P
等价形式一：
j =1, 2
C o r i p y
最小错误率贝叶斯决策
if P (ωi |x )=m ax P (ωi |x )⇒x ∈ωi
g h
(x |ωi ), i
t y
∑P (x |ω)P (ω)
i
i
j =1
2
h S
=1, 2
a o h u i M e i
等价形式二：
等价形式三：
C o
if P (x |ωi )P (ωi )=m ax P (x |ω
P (ωi )−已知，且与样本无关
似然比
r i p y
最小错误率贝叶斯决策
P (x |ω1)>P (ω2)⎧ω1
⇒x ∈⎨l (x )=λ=
P x |ω2
g h
j =1, 2
j
)P (ω)⇒
j
x ∈ωi
t
b y
似然比阈值
h
S a h u i M
等价形式四：
C o
定义对数似然比：
h (x )=−ln ⎡⎣l (x )⎤⎦=−ln ⎡⎣P (x |ω1)⎤⎦+ln ⎡⎣P (x |ω2)⎤⎦
>P (ω1)⎧ω1
if h (x )λ=ln ⇒x ∈⎨
r i p y
最小错误率贝叶斯决策
g h t b y h S o h u i M
C o
类条件概率
p (ω1)，p (ω2)
先验概率
r i p y
最小错误率贝叶斯决策
g h t b y h S a o
x ∈(−∞, t )⇒ω1x ∈(t , +∞)⇒ω2
决策线（两类）t −决策边界
h u
i M
第一类决策区域：
ℜ1=(−∞, t )ℜ2=(t , ∞)
第二类决策区域：
错误率错误率：
P (e )=
==
C o r i p y
t −∞t 2
最小错误率贝叶斯决策
∫P (e |x )P (x )d x
∫P (ω|x )P (x )d x +∫∫
P (x |ω)P (ω)d x +
g h t b y h S a o h u
∞t
P (ω1|x )P (x )d x
i M
∫
∞P (x |ω)P (ω)d x
错误率：
P (e )=P (x ∈ℜ1, ω2)+P (x ∈ℜ2, ω1)
=P (x ∈ℜ1|ω2)P (ω2)+P (x ∈ℜ2|ω1)P (ω1)
P 1(e )=P 2
C o
=P (ω2)∫
=P (ω2)P 2(e )+P (ω1)P 1(e )
∫(e )=∫
r i p y
ℜ1
ℜ2ℜ1
最小错误率贝叶斯决策
P (x |ω1)d x 把第一类样本决策为第二类的错误把第类样本决策为第二类的错误P (x |ω2)d x 把第二类样本决策为第一类的错误
g h
P (x |ω2)d x +P (ω1)∫
t
b y
ℜ2
P (x |ω1)d x
h
S
a o
h u
i M
例：假设某个局部地区细胞识别中正常（w 1）和异常（w 2）两类的先验
概率分别为
正常状态：p (ω1)=0.9异常状态：p (ω2
查得
C o
现有一待识别细胞，其观测值为x ，，从其条件概率密度曲线上分别试对该细胞进行分类。
r i p y
最小错误率贝叶斯决策
p (x |ω1)=0.2, p (x |ω2)=0.4
g h
t
b y
)=
010.1
h S
a o
h u i M
解：利用贝叶斯公式，分别计算出w 1及w 2的后验概率分别为：
P (ω1|x )=
P (x |ω1)P (ω1)
P (ω2|x )=1−P (ω2|x )=0.182
根据贝叶斯决策规则可知，由于
C o
因此，该细胞为正常细胞。
r i p y
2
最小错误率贝叶斯决策
∑P (x |ω)P (ω)
i
i
j =1
p (ω1|x )=0.818>p (ω1|x )=0.182
g h
t 0.2×0.9
==0.8180.2×0.9+0.4×0.1
y
h S a o h u i M
多类识别——最小错误率贝叶斯决策
if P (ωi |x )=m ax P (ωi |x )⇒x ∈ωi
if P (x |ωi )P (ωi )=m ax P (x |ω
j =1, 2, , c
定义判别函数：定义判别函数
g i (x )=P (ωi |x )
或者=P
C o r i p y
最小错误率贝叶斯决策
(x |ωi )P (ωi )
g h
t
j =1, 2, , c
b y
j
)P (ω)⇒
j
x ∈ωi
h S
a o h u i M
多类决策中，特征空间分为多个区域：
ℜ1, ℜ2, , ℜc
平均错误率（c （c-1）项）：
P (e )=⎡⎣P (x ∈ℜ2, ω1)+P (x ∈ℜ3, ω1)+ +P (x ∈ℜc , ω1)⎤⎦P (ω1)⎫
⎪
+⎡⎪⎣P (x ∈ℜ1, ω2)+P (x ∈ℜ3, ω2)+ +P (x ∈ℜc , ω2)⎤⎦P (ω2)⎪
⎬c 行+
⎪
+⎡P (x ∈ℜ1, ωc )+P (x ∈ℜ2, ωc )+ +P (x ∈ℜc −1, ωc )⎤P (ωc )⎪⎣⎦ ⎪
每行c -1项⎭
C o r i
p y
=
最小错误率贝叶斯决策
g h
t
b y h S a o h ∑∑
c c
M
i =1j =1, j ≠i
P (x ∈ℜj , ωi )P (ωi )
计算量大
正确率：
错误率错误率：
C o r i p y
P (c )=
=
最小错误率贝叶斯决策
P (e )=1−P (c )
=1−
g h
c i =1c
∑P (x ∈ℜ
ℜi
i
, ωi )P (ωi )
∑∫
i =1
t
c i =1
∑P (ω)∫
i
b y
P (x |ωi )P (ωi )d x
h S
ℜi
a o
P (x |ωi )d x
h u i M
¾最小错误率贝叶斯决策——错误率¾错误率带来的损失（代价）
¾损失比较硬币分类：1元误认为1角1角误认为1元癌细胞识别：
C o
正常细胞误判为癌细胞癌细胞误判为正常细胞
r i p y
最小风险贝叶斯决策
g h
t
b y
损失是不一样的
h S
最小风险贝叶斯决策：考虑各种错误造成的损失不同时的一种最优决策
a o
i M
e i
使用决策论的概念表述问题：
T
¾样本x 看做d 维随机向量：x =[x 1, x 2, , x d ]
¾状态空间Ω由c 个可能的状态（c 类）组成：
Ω={ω1, ω2, , ωc }
¾对于随机向量x ，可能采取的决策组成了决策空间，由k 个决策组成：
Α={α1, α2, , αk }
注意：k ≠c ，判别结果：判别为一类，拒绝策略（判别不属于某一类），判别属于某一大类（几类的合并），等等。
C o r i p y
最小风险贝叶斯决策
g h
t
b y
h S
a o
h u
i M
e i
¾对于实际状态为ωj 的向量x ，采取决策αi 所带来的损失为：
λ(αi , ω
C o
称作损失函数Æ决策表
r i p y
j
最小风险贝叶斯决策
),
i =1, 12, , k ,
j =11, 2, , c
g h
λ(α1, ω1)
t
b y h S a o h u i M e i
对于样本x ，它属于各个状态的后验概率P (ωj |x ), j =1, 2, , c
12, , k ，其期望损失为：对他采取策略αi , i =1,
R (αi , x )=E ⎡⎣λ(αi , ω
=
¾对于某一决策α(x )，它对特征空间中所有可能样本x 采取
决策所造成的期望损失
R (α
R (α
C o r i p y
c j =1
最小风险贝叶斯决策
)平均风险或期望风险
g h
∑λ(α
i
)=∫R (α(x )|x )p (x )d x
t
j
)|x ⎤⎦
j
b y
, ω
j
)P (ω|x )
i =1, 12, , k
h S
a o
h u
i M e i
最小风险贝叶斯决策：
m in R (α
α
因此，最小风险贝叶斯决策为：
if
R (αi |x )=
j =1, 2, , k
C o r i p y
R (α
最小风险贝叶斯决策
m in R (α
α
g h
非负
)——最小化平均风险
)=∫R (α(x )|x )p (x )d x
t
)
对所有的x 都使R (α(x )|x )最小
b m in
非负，且已知，与决策无关
R (αi |x )⇒α=αi
a o
h u i M e i
最小风险贝叶斯决策计算步骤：
（1）、利用贝叶斯后验公式计算后验概率（先验概率和类条
件密度已知）：
P (x |ωj )P (ωj )
P (ωj |x )=c , j =1, 2, , c
∑P (x |ωi )P (ωi )
i =1
（2）、利用决策表，计算条件风险：
R (αi , x )=
C o r i p y
c j =1
最小风险贝叶斯决策
g h
∑λ(α
t
i
b y
, ω
j
h S
)P (ω
j
a o
|x ),
h u
i =1, 2, , k
i M
e i
最小风险贝叶斯决策计算步骤：
（3）、决策：在各种决策中选择风险最小的决策，即
α=a rg m in R (αi |x )
j =1, 2, , k
两类且决策也是两类的情况下，决策表：
⎡λ11⎢λ⎣21
C o
正确决策通常为0，不失一般性正确决策，通常为不失一般性λ11
r i p y
最小风险贝叶斯决策
g h
λ12⎤⎡λ(α1, ω1)
=⎢⎥λ22⎦⎣λ(α2, ω1)
t
b y
h S
λ(α1, ω2)⎤
⎥
λ(α2, ω2)⎦
a o
h u e i
最小风险贝叶斯决策（两类两决策）为：
If λ11P (ω1|x )+λ12P (ω2|x )
等价形式：
If
P (ω1|x )P (x |ω1)P (ω1)>λ22−λ12λ12−λ22If ==
λ21−λ11P ω2|x P x |ω2P ω2
P (x |ω1)>P (ω2)λ12−λ22
If l (x )=i
P x |ω2
C o
(λ11
r i p y
最小风险贝叶斯决策
−λ21)P (ω1|x )(λ22−λ12)P (ω2|x )
>
g h
λ21P (ω1|x )+λ22P (ω2|x )
t
⎧ω1
⇒x ∈⎨
⎩ω2
b y
h S
⎧ω1
⇒x ∈⎨
⎩ω2
⎧ω1
⇒x ∈⎨
⎩ω2
a o
u
i M
⎧ω1
⇒x ∈⎨
⎩ω2
e i
λ11=λ22=0, λ12=λ21=1
¾最小错误率贝叶斯决策是最小风险贝叶斯决策的特例。¾多类问题中，如果采用0-1决策表（正确时损失为0，错误时损失为1），那么，最小错误率贝叶斯决策也等价于最小风险贝叶斯决策。¾决策表需要人为确定，通常由领域内专家共同设定。¾决策表不同，决策结果也不同。
C o r i p y
最小风险贝叶斯决策
最小风险贝叶斯决策= 最小错误率贝叶斯决策=最小错误率贝叶斯决策
g h t b y h
S a o h u i M e i
例：假设某个局部地区细胞识别中正常（w1）和异常（w2）两类的先验概
率分别为
正常状态：p (ω)=0.91
异常状态：p (ω
2
查得决策表为
决策
C o
现有一待识别细胞，其观测值为x ，，从其条件概率密度曲线上分别试按照最小风险贝叶斯决策对该细胞进行分类。
r i p y
最小风险贝叶斯决策
p (x |ω1)=0.2, p (x |ω2)=0.4
g h
α1α2
t
b y
)=
010.1
h S
a o
ω1
01
状态
h u
ω2
60
i M
e i
解：已知条件为：
P (ω1|x )=
P (ω2|x )=1−P (ω2|x )=0.182
C o
后验概率：
r i p y
2
最小风险贝叶斯决策
p (ω1)=0.909，p (ω2)=00.11p (x |ω1)=0.2, p (x |ω2)=0.4
λ11=0，λ12=6，λ21=1，λ22=0
P (x |ω1)P (ω1)
i
j =1
∑P (x |ω)P (ω)
i
g h
t
b y
h
S
0.2×0.9
==0.8180.2×0.9+0.4×0.1
a h u
i M
条件风险为：
由于
因此：选取第二种决策，即判断该细胞为异常细胞。
C o
R (α1, x )=R (α2, x )=
r i p y
∑
22j =1
最小风险贝叶斯决策
∑λ(α
j =1c
i
R (αi , x )=
, ω
j
)P (ω
j
|x ),
i =1, 2, , k
R (α1, x )>R (α2, x )
g h
∑
j =1
t
λ1j P (ωj |x )=λ12P (ω2|x )=1.092λ2j P (ωj |x )=λ21P (ω1|x )=0.818
b y
h S
a o h u i M
解（最小错误率贝叶斯决策）：
利用贝叶斯公式，分别计算出w 1及w 2的后验概率分别为：
P (ω1|x )=
P (ω2|x )=1−P (ω2|x )=0.182
C o
根据最小错误率贝叶斯决策规则可知，由于因此，该细胞为正常细胞。
r i p y
2
最小风险贝叶斯决策
P (x |ω1)P (ω1)
i
j =1
∑P (x |ω)P (ω)
i
p (ω1|x )=0.818>p (ω1|x )=0.182
g h
t
b 0.2×0.9
. 18==0.8
0.2×0.9+0.4×0.1
h S
a o h u i M
例：在军事目标识别中，假定有灌木丛和坦克两种类型，它们的先验概率分别是0.7和0.3，损失函数如下表所示，其中，类型ω1和ω2分别表示灌木和坦克，判决α1=ω1，α1=ω2 。现在做了四次试验，获得四个样本的类概率密度如下：P(x|ω1):0.1, 0.15, 0.3, 0.6, P(x|ω2):0.8, 0.7, 0.55, 0.3
（1）用最小误差率贝叶斯决策，判
断四个样本各属哪一个类型。（2）试用最小损失准则判断四个样
本各属于哪一个类型。
C o r i p y
最小风险贝叶斯决策
g h
t
b y
h S
损判决
类型
ω1
2.554.0
ω2
2.001.0
αα
答:求出四个样本两类的似然比。
P (x |ω1) 0. 10. 150. 30. 6l 12==(, , , ) =(0. 125, 0. 214, 0. 545, 2)
P (x |ω2) 0. 80. 70. 550. 3
最小误差率贝叶斯决策的阈值：
因此：按最小误差率贝叶斯决策时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。
C o r i p y
最小风险贝叶斯决策
g h
P (ω2) 0.3λ===0.429
P (ω1) 0.7
t b y
h S
a o h u i M
（2）按最小风险贝叶斯决策
P (x |ω1) 0. 10. 150. 30. 6
, , , l 12==() =(0. 125, 0. 214, 0. 545, 2) 0. 80. 70. 550. 3P (x |ω2)
因此按最小损失准则判决时，第一、第二样本属于第二类即
坦克，第三、第四属于第一类即灌木丛。
C o
最小风险贝叶斯决策时的阈值：
θ12
P (ω)(λ−λ) 0. 3(2−1) ===0. 286P (ω1)(λ12−λ11) 0. 7(4−2. 5)
r i p y
最小风险贝叶斯决策
g h
t
y
h S a h u i M