贝叶斯判别习题
1. 办公室新来了一个雇员小王,小王是好人还是坏人大家都在猜测。按人们主观意识,一个人是好人或坏人的概率均为0.5。坏人总是要做坏事,好人总是做好事,偶尔也会做一件坏事,一般好人做好事的概率为0.9,坏人做好事的概率为0.2,一天,小王做了一件好事,小王是好人的概率有多大,你现在把小王判为何种人。 解:A:小王是个好人 a:小王做好事
B:小王是个坏人 B:小王做坏事
P(A/a)=
0.5*0.9P(A)P(a/A)
==0.82
P(A)P(a/A)+P(B)P(a/B)0.5*0.9+0.5*0.2
P(B/b)=
P(B)P(a/B)0.5*0.2
==0.18
P(A)P(a/A)+P(B)P(a/B)0.5*0.9+0.5*0.2
0.82>0.18 所以小王是个好人、
2. 设 m = 1,k = 2 ,X 1 ~ N (0,1) ,X 2 ~ N (3,2 2 ) ,试就C(2 | 1) = 1,C(1 | 2) = 1,且不考虑先验概率的情况下判别样品2,1 属于哪个总体,并求出 R = (R1, R2 ) 。 解:
Pi(x)=
1
-(x-μi)2/σi2}i=1,2
2 P1(2)=
1-2
-(2-0)2}==0.054
21P2(2)=-(2-3)2/4}=-1/8=0.176
2由于P1(2)
1-1/2
-(1-0)2}==0.242
2
1P2(1)=-(1-3)2/4}=-1/2=0.120
2P1(1)=
P1(1)>P2(1),所以1属于π1
由
P1(x
)11
-x2}=P2(x)=-(x-3)2/4}
221
2
18
即2exp{-x2}=exp{-(x2-6x+9)}
ln2-
121
x=-(x2-6x+9) 28
解得
x1
=1.42
x2
=-3.14.所以
R=([-3.41,1.42],(-∞,-3.41)U(1.42,+∞)).
3.已知π1,π2的先验分布分别为q1=,q2=,C(2|1)=1,C(1|2)=1,且
⎧x,0
⎪⎪
f1=P(x)=2-x,1
⎪0,其他⎪0,其他⎩⎩
3
5
25
使判别x1= ,x2=2所属总体。
解:p1(9/5)=2-9/5=1/5 p1(2)=2-2=0 p2(9/5)=(9/5-1)/4=1/5
p2(2)=(2-1/4)=1/4
313212
q1p1= *= > q2p2= * =
55552525
211
q1p1=0
54109
所以判x1=属于π1。同理可知x2=2属于π2。
5
95
4. 假设在某地区切片细胞中正常(ω1)和异常(ω2)两类的先验概率分别为P(ω1)=0.9,P(ω2)=0.1。现有一待识别细胞呈现出状态x,由其类条件概率密度分布曲线查得p(x|ω1)=0.2,p(x|ω2)=0.4,试对细胞x进行分类
解:利用贝叶斯公式,分别计算出状态为x时ω1与ω2的后验概率
根据贝叶斯决策有
P(ω1|x)=0.818>P(ω2|x)=0.182 判断为正常细胞,错误率为0.182 判断为异常细胞,错误率为0.818 因此判定该细胞为正常细胞比较合理 5 简述贝叶斯判别法的基本思想和方法
基本思想:设k个总体G1,G2, ,Gk,其各自的分布密度函数
f1(x),f2(x), ,fk(x),假设k个总体各自出现的概率分别为q1,q2, ,qk,
qi≥0,∑qi=1。设将本来属于Gi总体的样品错判到总体Gj时造成的损
i=1
k
失为C(j|i),i,j=1,2, ,k。
设k个总体G1,G2, ,Gk相应的p维样本空间为 R=(R1,R2, ,Rk)。 在规则R下,将属于Gi的样品错判为Gj的概率为
P(j|i,R)=⎰fi(x)dx i,j=1,2, ,k
Rj
i≠j
则这种判别规则下样品错判后所造成的平均损失为
r(i|R)=∑[C(j|i)P(j|i,R)] i=1,2, ,k
j=1k
则用规则R来进行判别所造成的总平均损失为
g(R)=∑qir(i,R)
i=1k
=∑qi∑C(j|i)P(j|i,R)
i=1
j=1
kk
贝叶斯判别法则,就是要选择一种划分R1,R2, ,Rk,使总平均损失g(R)达到极小。
基本方法:g(R)=∑qi∑C(j|i)P(j|i,R)
i=1
j=1
k
k
=∑qi∑C(j|i)⎰fi(x)dx
i=1
j=1
Rj
kk
=∑⎰(∑qiC(j|i)fi(x))dx
j=1
Rj
i=1
k
k
令∑qiC(j|i)fi(x)=hj(x),则 g(R)=∑⎰Rhj(x)dx
i=1
kk
j=1
j
若有另一划分R=(R,R, ,R),g(R)=∑⎰Rhj(x)dx
*
*
1
*2
*k
*
k
j=1
*j
则在两种划分下的总平均损失之差为
g(R)-g(R)=∑∑⎰
*
i=1j=1k
k
Ri⋂R*j
[hi(x)-hj(x)]dx
因为在Ri上hi(x)≤hj(x)对一切j成立,故上式小于或等于零,是贝叶
Ri={x|hi(x)=minhj(x)}R=(R,R, ,R)1≤j≤k12k斯判别的解。从而得到的划分为 i=1,2, ,k。
6.已知:P(ω1)=0.005,P(ω2)=0.995,
p(x=阳|ω1)=0.95,p(x=阴|ω1)=0.95, p(x=阳|ω2)=0.01,p(x=阴|ω2)=0.99 试计算判断阙值。 解:利用贝叶斯公式,有:
P(ω1|x=阳)=
p(x=阳|ω1)P(ω1)
p(x=阳)
p(x=阳|ω1)P(ω1)
=
p(x=阳|ω1)P(ω1)+p(x=阳|ω2)P(ω2) =
0.95⨯0.005
=0.323
0.95⨯0.005+0.01⨯0.995
似然比:l12=
p(x=阳|ω1)0.95
==95
p(x=阳|ω2)0.01P(ω2)0.995
==197 P(ω1)0.005
判决阈值:θ21=