信息论与编码-曹雪虹-课后习题答案
《信息论与编码》-曹雪虹-课后习题答案
第二章
2.1一个马尔可夫信源有3个符号u1,u,2u3,转移概率为:pu1|u11/2,pu2|u11/2,pu3|u10,pu1|u21/3,pu2|u20,pu3|u22/3,
pu1|u31/3,pu2|u32/3,pu3|u30,画出状态图并求出各符号稳态概率。解:状态图如下
状态转移矩阵为: 1/2p1/3
1/3
1/202/3
02/3
0
设状态u1,u2,u3稳定后的概率分别为W1,W2、W3
111
W1W2W3W110233W12512
WPWW1W3W29由得2计算可得W2 3
25W1W2W312
W2W363W3
25W1W2W31
2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:p(0|00)=0.8,p(0|11)=0.2,
p(1|00)=0.2,p(1|11)=0.8,p(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5。
画出状态图,并计算各状态的稳态概率。
解:p(0|00)p(00|00)0.8 p(0|01)p
p(0|11)p(10|11)0.2 p(0|10)pp(1|00)p(01|00)0.2 p(1|01)pp(1|11)p(11|11)0.8 p(1|10)p
(10|01) (00|10) (11|01)
(01|10)
0.80
于是可以列出转移概率矩阵:p
0.50
0.200.50
00.500.2
00.5
00.8
状态图为:
设各状态00,01,10,11的稳态分布概率为W1,W2,W3,W4 有
5W1140.8W10.5W3W1
W210.2W10.5W3W2WPW470.5W20.2W4W3 得 计算得到
Wi110.5W20.8W4W4W3i1
7W1W2W3W415
W4
14
2.3 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:
(1) “3和5同时出现”这事件的自信息; (2) “两个1同时出现”这事件的自信息;
(3) 两个点数的各种组合(无序)对的熵和平均信息量; (4) 两个点数之和(即2, 3, „ , 12构成的子集)的熵; (5) 两个点数中至少有一个是1的自信息量。 解:
(1)
p(xi)
16161616118
118
4.170 bit
I(xi)logp(xi)log
(2)
p(xi)
1616136
136
5.170 bit
I(xi)logp(xi)log
(3)
两个点数的排列如下: 11 21 31 41 51 61
12 22 32 42 52 62
13 23 33 43 53 63
14 24 34 44 54 64
15 25 35 45 55 65
16 26 36 46 56 66
共有21种组合:
其中11,22,33,44,55,66的概率是其他15个组合的概率是2
1616118
1616136
1111
H(X)p(xi)logp(xi)6log15log4.337 bit/symbol
36361818i
(4)
参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
X
P(X
21)
36
i
3118
4112
519
6536
716
8536
91011912
1111812136
H(X)p(xi)logp(xi)
[1**********]1
2log2log2log2log2loglog
[***********]66 3.274 bit/symbol
(5)
p(xi)
161611
1136
1136
1.710 bit
I(xi)logp(xi)log
2-4
2.5 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
解:
设随机变量X代表女孩子学历
x1(是大学生) X P(X)
0.25
设随机变量Y代表女孩子身高 Y P(Y)
y1(身高>160cm)
0.5
y2(身高
0.5
x2(不是大学生)
0.75
已知:在女大学生中有75%是身高160厘米以上的 即:p(y1/x1)0.75 bit
求:身高160厘米以上的某女孩是大学生的信息量 即:I(x1/y1)logp(x1/y1)log
p(x1)p(y1/x1)
p(y1)
log
0.250.75
0.5
1.415 bit
2.6 掷两颗骰子,当其向上的面的小圆点之和是3时,该消息包含的信息量是多少?当小圆点之和是7时,该消息所包含的信息量又是多少? 解:
1)因圆点之和为3的概率p(x)p(1,2)p(2,1)
118
该消息自信息量I(x)logp(x)log184.170bit 2)因圆点之和为7的概率
p(x)p(1,6)p(6,1)p(2,5)p(5,2)p(3,4)p(4,3)
16
该消息自信息量I(x)logp(x)log62.585bit
2.7 设有一离散无记忆信源,其概率空间为
Xx10
P3/8
x211/4
x321/4
x43
1/8
(1)求每个符号的自信息量
(2)信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210},求该序列的自信息量和平均每个符号携带的信息量 解:I(x1)log2
1p(x1)
log2
83
1.415bit
同理可以求得I(x2)2bit,I(x3)2bit,I(x3)3bit
因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有:I14I(x1)13I(x2)12I(x3)6I(x4)87.81bit 平均每个符号携带的信息量为
87.8145
1.95bit/符号
2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
解:
四进制脉冲可以表示4个不同的消息,例如:{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息,例如:{0, 1} 假设每个消息的发出都是等概率的,则:
四进制脉冲的平均信息量H(X1)lognlog42 bit/symbol 八进制脉冲的平均信息量H(X2)lognlog83 bit/symbol 二进制脉冲的平均信息量H(X0)lognlog21 bit/symbol 所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2-9 “-” 用三个脉冲 “●”用一个脉冲
(1) I(●)=Log(4)(2) H= 2-10
(2) P(黑/黑
)= H(Y/黑
)= (3) P(黑/白
)= H(Y/白
)= (4) P(黑
)=
H(Y)=
2.11 有一个可以旋转的圆盘,盘面上被均匀的分成38份,用1,…,38的数字标示,其中有两份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上的指针指向某一数字和颜色。
(1)如果仅对颜色感兴趣,则计算平均不确定度
P(白
)=
P(白/白
)=
P(白/黑
)=
14
Log(4)
2
I(-)=Log
40.811
3
4
0.415
3
34
Log
因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有:I14I(x1)13I(x2)12I(x3)6I(x4)87.81bit 平均每个符号携带的信息量为
87.8145
1.95bit/符号
2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
解:
四进制脉冲可以表示4个不同的消息,例如:{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息,例如:{0, 1} 假设每个消息的发出都是等概率的,则:
四进制脉冲的平均信息量H(X1)lognlog42 bit/symbol 八进制脉冲的平均信息量H(X2)lognlog83 bit/symbol 二进制脉冲的平均信息量H(X0)lognlog21 bit/symbol 所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2-9 “-” 用三个脉冲 “●”用一个脉冲
(1) I(●)=Log(4)(2) H= 2-10
(2) P(黑/黑
)= H(Y/黑
)= (3) P(黑/白
)= H(Y/白
)= (4) P(黑
)=
H(Y)=
2.11 有一个可以旋转的圆盘,盘面上被均匀的分成38份,用1,…,38的数字标示,其中有两份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上的指针指向某一数字和颜色。
(1)如果仅对颜色感兴趣,则计算平均不确定度
P(白
)=
P(白/白
)=
P(白/黑
)=
14
Log(4)
2
I(-)=Log
40.811
3
4
0.415
3
34
Log
(2)如果仅对颜色和数字感兴趣,则计算平均不确定度 (3)如果颜色已知时,则计算条件熵
解:令X表示指针指向某一数字,则X={1,2,……….,38}
Y表示指针指向某一种颜色,则Y={l绿色,红色,黑色} Y是X的函数,由题意可知p(xiyj)p(xi)
3
(1)H(Y)
j1
p(yj)log
1p(yj)
238
log
382
2
1838
log
3818
1.24bit/符号
(2)H(X,Y)H(X)log2385.25bit/符号
(3)H(X|Y)H(X,Y)H(Y)H(X)H(Y)5.251.244.01bit/符号 2.12 两个实验X和Y,X={x1 x2 x3},Y={y1 y2 y3},l联合概率rxi,yjrij为
r11r21r31
r12r22r32
r137/24
r231/24
r330
1/241/41/24
1/24
7/240
(1) 如果有人告诉你X和Y的实验结果,你得到的平均信息量是多少?
(2) 如果有人告诉你Y的实验结果,你得到的平均信息量是多少?
(3) 在已知Y实验结果的情况下,告诉你X的实验结果,你得到的平均信息量是多少? 解:联合概率p(xi,yj)为
X概率分布 H(Y)3
13
log231.58bit/符号
H(X,Y)2
724
ij
p(xi,yj)log4
124
1
2
p(xi,yj)
14log24
log2
247
log224
=2.3bit/符号
H(X|Y)H(X,Y)H(Y)2.31.58
Y概率分布是 =0.72bit/符号
2.13 有两个二元随机变量X和Y,它们的联合概率为
并定义另一随机变量Z = XY(一般乘积),试计算: (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ);
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY);
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解: (1)
p(x11)p(x1y1)p(x1y2)18382p(x312)p(x2y1)p(x12y2)
8
82
H(X)p(xi)logp(xi)1 bit/symbol
i
p(y1
1)p(x1y1)p(x2y1)8
3812p(y2)p(x1y2)p(x312y2)
18
8
2
H(Y)p(yj)logp(yj)1 bit/symbol
j
Z = XY的概率分布如下:
Zz10
z21
P(Z)17
8
8
2
H(Z)p(z7
711k)loglog0.544 bit/k
8888symbol
p(x1)p(x1z1)p(x1z2)p(x1z2)0
p(x1z1)p(x1)0.5p(z1)p(x1z1)p(x2z1)p(x2z1)p(z1)p(x1z1)p(z2)p(x1z2)p(x2z2)p(x2z2)p(z2)H(XZ)
i
78
0.5
38
18
k
133111
p(xizk)logp(xizk)logloglog1.406 bit/symbol
288882
p(y1)p(y1z1)p(y1z2)p(y1z2)0
p(y1z1)p(y1)0.5p(z1)p(y1z1)p(y2z1)p(y2z1)p(z1)p(y1z1)p(z2)p(y1z2)p(y2z2)p(y2z2)p(z2)H(YZ)
j
78
0.5
38
18
k
133111
p(yjzk)logp(yjzk)logloglog1.406 bit/symbol
288882
p(x1y1z2)0p(x1y2z2)0p(x2y1z2)0
p(x1y1z1)p(x1y1z2)p(x1y1)p(x1y1z1)p(x1y1)1/8p(x1y2z1)p(x1y1z1)p(x1z1)p(x1y2z1)p(x1z1)p(x1y1z1)p(x2y1z1)p(x2y1z2)p(x2y1)p(x2y1z1)p(x2y1)p(x2y2z1)0
p(x2y2z1)p(x2y2z2)p(x2y2)p(x2y2z2)p(x2y2)H(XYZ)
i
12
18
38
38
18
2
j
k
p(xiyjzk)logp(xiyjzk)
13333111
loglogloglog1.811 bit/symbol
88888888
(2)
H(XY)
i
j
p(xiyj)log
2
13333111
p(xiyj)loglogloglog1.811 bit/symbol
88888888
H(X/Y)H(XY)H(Y)1.81110.811 bit/symbolH(Y/X)H(XY)H(X)1.81110.811 bit/symbolH(X/Z)H(XZ)H(Z)1.4060.5440.862 bit/symbolH(Z/X)H(XZ)H(X)1.40610.406 bit/symbolH(Y/Z)H(YZ)H(Z)1.4060.5440.862 bit/symbolH(Z/Y)H(YZ)H(Y)1.40610.406 bit/symbol
H(X/YZ)H(XYZ)H(YZ)1.8111.4060.405 bit/symbolH(Y/XZ)H(XYZ)H(XZ)1.8111.4060.405 bit/symbolH(Z/XY)H(XYZ)H(XY)1.8111.8110 bit/symbol
(3)
I(X;Y)H(X)H(X/Y)10.8110.189 bit/symbolI(X;Z)H(X)H(X/Z)10.8620.138 bit/symbolI(Y;Z)H(Y)H(Y/Z)10.8620.138 bit/symbol
I(X;Y/Z)H(X/Z)H(X/YZ)0.8620.4050.457 bit/symbolI(Y;Z/X)H(Y/X)H(Y/XZ)0.8620.4050.457 bit/symbolI(X;Z/Y)H(X/Y)H(X/YZ)0.8110.4050.406 bit/symbol
2-14 (1)
P(ij)=
P(i/j)=
(2) 方法1:
=
方法2:
2-15
P(j/i)=
2.16 黑白传真机的消息元只有黑色和白色两种,即X={黑,白},一般气象图上,黑色的出现概率p(黑)=0.3,白色出现的概率p(白)=0.7。
(1)假设黑白消息视为前后无关,求信源熵H(X),并画出该信源的香农线图
(2)实际上各个元素之间是有关联的,其转移概率为:P(白|白)=0.9143,P(黑|白)=0.0857,P(白|黑)=0.2,P(黑|黑)=0.8,求这个一阶马尔可夫信源的信源熵,并画出该信源的香农线图。
(3)比较两种信源熵的大小,并说明原因。 解:(1)H(X)0.3log2P(黑|白)=P(黑)
103
0.7log
10
2
7
0.8813bit/符号
P(白|白)=P(白)
P(黑|黑)=P(黑) P(白|黑)=P(白)
(2)根据题意,此一阶马尔可夫链是平稳的(P(白)=0.7不随时间变化,P(黑)=0.3不随时 间变化)
H(X)H(X2|X1)0.91430.7log0.80.3log
1
2
ij
p(xi,yj)log
1
2
p(xi,yj)
1
2
1
2
0.9143
0.08570.7log
0.0857
0.20.3log
1
2
0.2
0.8
=0.512bit/符号
5
2.17 每帧电视图像可以认为是由310个像素组成的,所有像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现,问每帧图像含有多少信息量?若有一个广播员,在约10000个汉字中选出1000个汉字来口述此电视图像,试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布,并彼此无依赖)?若要恰当的描述此图像,广播员在口述中至少需要多少汉字? 解: 1)
H(X)logH(X
N
2
nlog21287 bit/symbol
5
6
)NH(X)31072.110 bit/symbol
2)
H(X)logH(X
N
2
nlog21000013.288 bit/symbol
)NH(X)100013.28813288 bit/symbol
3) N
H(X
N
)
H(X)
2.11013.288
6
158037
2.20 给定语音信号样值X的概率密度为p(x)小于同样方差的正态变量的连续熵。
解:
12
e
x
,x,求Hc(X),并证明它
Hc(X)
px(x)logpx(x)dx
px)log1x
x(
2
edx
p1
x(x)log2dx
px(x)(x)logedx
log1
loge
1x
2(x)dx
2
e10
log2loge
1
x
2
e(x)dxlog
1x
(x)dx
2
e
1
log22loge
12xe
x
dx
2
log1
2
logex
(1x)e
0
log
12
logelog
2e
E(X)0,D(X)
2
2
H(X,
)
114e
2
log2e
2
2
2
log
2
log
log
H(X)
12.24 连续随机变量X和Y的联合概率密度为:p(x,y)
r2
0求H(X), H(Y), H(XYZ)和I(X;Y)。
(提示:20
log2sinxdx
2
log
2
2)
解:
x2y2r2
,
其他
p(x)
rx
2
22
rx
r
2
p(xy)dy
rx
2
22
1
2
rx
r
2
dy
2rx
22
r
2
(rxr)
Hc(X)
rr
p(x)logp(x)dxp(x)logp(x)log
2
2rx
22
rr
r
2
2
r
dx
r
r
2
dx
r
p(x)log
2
2
rxdx
22
log log log其中:
r
2
2
r
r
p(x)log
12
rxdxlog
e
r
2
logr112log
2
r2
2
e bit/symbol
r
r
p(x)log
r
2
rxdx
2
22
2rx
r
r
2
2
log
2
rxdxrxdx
rsind(rcos)
2
2
22
4
r
r
rxlog
4
2
令xrcos44
r
2
rsinlog
2
r
2
2
rsinlogrsind
2
22
4
2
sinlogrsindsinlogrd
22
20
4
4
2
sinlogsind4
2
logr
1cos2
2
d
2
1cos2
2
logsind
2
logr2d
2
logr2cos2d
2
2
2
logsind2
2
2
cos2logsind
logr
1
logr2dsin22
2
(
2
log2)
2
cos2logsind
logr1logr1其中:2
12
2
cos2logsinde
log
2
2
cos2logsind
1
2
logsindsin2
20
1
sin2logsin
1
2
sin2dlogsin
2
2
2
2sincos
2
coslog
sin
e
d
2
logloglogloglog
2
e2cosd
2
1
e2
1cos2
21
d
2
1212
ed
20
2
log
2
e2cos2d
20
2
ee
12
logesin2
2
p(y)
ry
2
22
ry
2
p(xy)dx
ry
2
22
1
2
ry
r
2
dx
2ry
22
r
2
(ryr)
p(y)p(x)
HC(Y)HC(X)log2r
12
log2e bit/symbol
Hc(XY)p(xy)logp(xy)dxdy
R
p(xy)log
R
1
r
2
dxdy
logr
2
R2
p(xy)dxdy
log2r bit/symbol
Ic(X;Y)Hc(X)Hc(Y)Hc(XY) 2log2rlog2elogr log2log2e bit/symbol
2
2.25 某一无记忆信源的符号集为{0, 1},已知P(0) = 1/4,P(1) = 3/4。 (1) 求符号的平均熵;
(2) 有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100 - m)个“1”)的自信息量的表达式; (3) 计算(2)中序列的熵。
解: (1)
1331
H(X)p(xi)logp(xi)loglog0.811 bit/symbol
4444i
(2)
13
p(xi)
44
m
100m
3
100m100
43
41.51.585m bit
100m100
I(xi)logp(xi)log
4
(3)
H(X
100
)100H(X)1000.81181.1 bit/symbol
2-26
P(i)=
P(ij)=
H(IJ)=
2.29 有一个一阶平稳马尔可夫链X1,X2,,Xr,,各Xr取值于集合Aa1,a2,a3,已知起始概率P(Xr)为p11/2,p2p31/4,转移概率如下图所示
(1) 求(X1,X2,X3)的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵
(3) 求H0,H1,H2和它们说对应的冗余度 解:(1)
H(X1,X2,X3)H(X1)H(X2|X1)H(X3|XH(X1)H(X2|X1)H(X3|X2)H(X1)
12log
1214log
1414log
14
1.5bit/符号
2,
X1)
X
,X的联合概率分布为
p(x2j)
i
p(x1ix2j)
H(X2|X1)
X2的概率分布为
14
log4
18
log4
18
log4
16
log
32
112
log3
16
log
32
112
log3
=1.209bit/符号
X2X3的联合概率分布为
536
32
572
536
32
572
那么
H(X3|X2)
724log2
748log4
18
log4loglog3loglog3
=1.26bit/符号
H(X1,X2,X3)1.51.2091.263.969bit/符号
所以平均符号熵H3(X1,X2,X3)
3.9693
1.323bit/符号
(2)设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为P
122323
14013
141 30
221W1W2W312W133
1WPW1由 得到 W1W3W2计算得到W2
3Wi14
1W1W2W3
W3
47314314
又满足不可约性和非周期性
H(X)
3
WiH(X|Wi)
i1
47
H(
111321,,)2H(,,0)1.25bit/符号 2441433
1.5
2
1.209
1.35b5i/t符号
1.251.355
0.078
(3)H0log31.58bit/符号 H11.5bi/t符号 H20101
1.251.58
0.211111
1.251.5
0.617 2121
2-30
(1) 求平稳概率
P(j/i)=
解方程组
得到
(2)
信源熵为:
2-31
P(j/i)= 解方程组
得到W1= , W2= , W3=
2.32 一阶马尔可夫信源的状态图如图2-13所示,信源X的符号集为(0,1,2)。 (1)求信源平稳后的概率分布P(0),P(1),P(2) (2)求此信源的熵
(3)近似认为此信源为无记忆时,符号的概率分布为平稳分布。求近似信源的熵H(X)并与H进行比较
图2-13
p/21pp/2
p/2
p/2
1p
1p
解:根据香农线图,列出转移概率距阵Pp/2
p/2
令状态0,1,2平稳后的概率分布分别为W1,W2,W3 p
(1p)W1W22
WPW
p3
得到 W1(1p)W2
2Wi1
i1
W1W2W31
1W23
p1
W3W2 计算得到W 23
1W
3W3W1
p
由齐次遍历可得
H(X)
1pp12
WiH(X|Wi)3H(1p,,)(1p)logplog3221ppi
,
H(X)log31.58bit/符号 由最大熵定理可知H(X)存在极大值
或者也可以通过下面的方法得出存在极大值:
H(X)p
1pp21p
log(1p)(1)logplog
1p2p22(1p)
p2(1p)
12
12(1p)
又0p1所以
p2(1p)
0,当p=2/3时
p2(1p)
1
0
H(X)p
log
p2(1p)
p
0
2/3
H(X)p
log
2(1p)
0
所以当p=2/3时H(X)存在极大值,且H(X)max1.58bit/符号
所以H(X)H(X,)
2-33
(1)
解方程组
:
得p(0)=p(1)=p(2)= (2)
(3)
当p=0或p=1时 信源熵为0
练习题:有一离散无记忆信源,其输出为X0,1,相应的概率为,2
p01/4p,1
1/p42,
,计两个独立的实验去观察它,其结果分别为1设/2
Y10,1,Y20,1,已知条件概率:
(1) 求I(X;Y1)和I(X;Y2),并判断哪一个实验好些
(2) 求I(X;Y1Y2),并计算做Y1和Y2两个实验比做Y1和Y2中的一个实验可多得多少关于
X的信息
(3) 求I(X;Y1|Y2)和I(X;Y2|Y1),并解释它们的含义 解:(1)由题意可知
P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2
I(X;Y1)H(Y1)H(Y1|X)log2I(X;Y2)H(Y2)H(Y2|X)log2
1414log
121414log
122
14
log2=0.5bit/符号
log1log1
12
log11bit/符号>I(X;Y1)
所以第二个实验比第一个实验好
(2)因为Y1和Y2 相互独立,所以p(y1y2|x)p(y1|x)p(y2|x)
I(X;Y1Y2)H(Y1,Y2)H(Y1Y2|X)log4
14
log1
14
log1
14
2log2bit/符号
=1.5bit/符号
由此可见,做两个实验比单独做Y1可多得1bit的关于X的信息量,比单独做Y2多得0.5bit的关于X的信息量。 (3)
I(X;Y1|Y2)H(X|Y1)H(X|Y1,Y2)H(X,Y2)H(X)[H(X)I(X;Y1,Y2)][H(X)I(X;Y2)][H(X)I(X;Y1,Y2)]I(X;Y1,Y2)I(X;Y2)
=1.5-1=0.5bit/符号
表示在已做Y2的情况下,再做Y1而多得到的关于X的信息量 同理可得
I(X;Y2|Y1)I(X;Y1,Y2)I(X;Y1)=1.5-0.5=1bit/符号
表示在已做Y1的情况下,再做Y2而多得到的关于X的信息量
欢迎下载!
第三章
231
3.1 设二元对称信道的传递矩阵为3
1323
(1) 若P(0) = 3/4, P(1) = 1/4,求H(X), H(X/Y), H(Y/X)和I(X;Y); (2) 求该信道的信道容量及其达到信道容量时的输入概率分布;
解: 1)
H(X)p(xi)(
i
34
log
3
2
4
14
log
1
2
4
)0.811 bit/symbol
H(Y/X)
i
j
p(xi)p(yj/xi)logp(yj/xi)lg233413lg131413lg131423lg23
)log210
(
34
23
0.918 bit/symbol
p(y1)p(x1y1)p(x2y1)p(x1)p(y1/x1)p(x2)p(y1/x2)
34342313141413
0.583323
0.4167
p(y2)p(x1y2)p(x2y2)p(x1)p(y2/x1)p(x2)p(y2/x2)H(Y)p(yj)(0.5833log
j
2
0.58330.4167log
2
0.4167)0.980 bit/symbol
I(X;Y)H(X)H(X/Y)H(Y)H(Y/X)
H(X/Y)H(X)H(Y)H(Y/X)0.8110.9800.9180.749 bit/symbolI(X;Y)H(X)H(X/Y)0.8110.7490.062 bit/symbol 2)
1122
CmaxI(X;Y)log2mHmilog22(lglg)log2100.082 bit/symbol
3333
1
其最佳输入分布为p(xi)
2
3-2某信源发送端有2个符号,xi,i=1,2;p(xi)a,每秒发出一个符号。接受端有3
1/2
种符号yi,j=1,2,3,转移概率矩阵为P
1/2
1/21/4
。 1/40
(1) 计算接受端的平均不确定度;
(2) 计算由于噪声产生的不确定度H(Y|X); (3) 计算信道容量。 解:P
1/21/2
1/21/4
1/40
联合概率p(xi,yj)
41a
12log2161a
2
4
1a4
(1)H(Y)
12log2
14
log
1a1a1a
log
1+a4a4
loglog
123
1a4
1a1a
log2loglog2
241a41a
32
14
11a
2
log2
14
1
log16
14
log
1
2
a
log
1a1a
取2为底
H(Y)(
log2
a4log2
1a1a
)bit
(2)H(Y|X)
2log22log2
alog23a2
3(1a)2
log2
a1a11a2
log
12
1a4
log
14
1a4
log
1 4
log2
取2为底
H(Y|X)
3a2
bit
11a1aa
cmaxI(X;Y)maxH(Y)H(Y|X)maxlog2loglog2
p(xi)p(xi)p(xi)41a41a2
取e为底
121
2
12
a
12a11aa11ln2ln() 2
41a41a41a1a
a11aa2
ln2ln22
2(1a)41a41a
ln2
14ln1a1a
(
aln2
1ln
1
2
a
ln
1a
)
= 0
1a1aa
35114
35log2141log
c3103
1425
2
log
113
925
1
14
35
log
14
1620453
log2loglog2 10241015log 24
log2log
3.3 在有扰离散信道上传输符号0和1,在传输过程中每100个符号发生一个错误,已知P(0)=P(1)=1/2,信源每秒内发出1000个符号,求此信道的信道容量。
解:
由题意可知该二元信道的转移概率矩阵为:
0.99P
0.01
0.01
0.99
为一个BSC信道
所以由BSC信道的信道容量计算公式得到:
2
ClogsH(P)log2pilog
i1
1pi
0.92bit/sign
Ct
1t
C1000C920bit/sec
3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当e=0和1/2时的信道
容量C的大小。
1
解: 信道矩阵P=0
0
3
X 0
1-e
Y 0
1 1
e2
01ee
3
1-e
2
0e,此信道为非奇异矩阵,又r=s,可利用方程组求解 1-e
P(bj|ai)logP(bj|ai) (i=1,2,3)
å
j=1
P(bj|ai)bj=å
j=1
ìb1=0ï
ïïï(1-e)b+eb=(1-e)log(1-e)+eloge í23ï
ïeb+(1-e)b=eloge+(1-e)log(1-e)ï23ïî
解得b1=0
b2=b3=(1-e)log(1-e)+eloge
所以 C=logå2
j
b
j
=log[20+2×2(1-e)log(1-e)+eloge]
(1-e)
=log[1+21-H(e)]=log[1+2(1-e)
e]
e
ì11ï
ïP(b1)=2b1-C=2-C==ï(1-e)e1-ï1+2(1-e)e1+2ïïeeï(1-e)eïb2-CïP(b2)=2=í(1-e)eï1+2(1-e)eïïb-CïP(b3)=23=P(b2)ïïïïïî3
而 P(bj)=åP(ai)P(bj|ai) (j=1,2,3)
i=1
H(e)
ìP(b1)=P(a1)ïïïïP(b)=P(a)(1-e)+P(a)e 得í223ï
ïP(b)=P(a)e+P(a)(1-e)ï323ïî
所以
P(a1)=P(b1)=
1
1+2(1-e)
(1-e)
e
e
(1-e)e
e
e
P(a2)=P(a3)=P(b2)=P(b3)=
1+2(1-e)
13
(1-e)
e
e
当e=0时,此信道为一一对应信道,得
C=log3, P(a1)=P(a2)=P(a3)=
当e=1/2时,得 C=log2, P(a1)=
12
14
,P(a2)=P(a3)=
3.5 求下列二个信道的信道容量,并加以比较
p(1)
p
pp
p2
(2)
p2
pp
20
0
2
其中p+p=1
解:
(1)此信道是准对称信道,信道矩阵中Y可划分成三个互不相交的子集 由于集列所组
p
成的矩阵
p
p2
,2
p
因此可直接利用准对而这两个子矩阵满足对称性,
称信道的信道容量公式进行计算。
2
C1=logr-H(p1’ p2’ p3’)-NklogMk
k1
其中r=2,N1=M1=1-2 N2=2 M2=4 所以 C1=log2-H(p,p-ε,2ε)-(1-2)log(1-2)-2log4
=log2+(p)log(p)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε =log2-2εlog2-(1-2ε)log(1-2ε)+(p)log(p)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+(p)log(p)+(p-)log(p-)
输入等概率分布时达到信道容量。
(2)此信道也是准对称信道,也可采用上述两种方法之一来进行计算。先采用准对称信
道的信道容量公式进行计算,此信道矩阵中Y可划分成两个互不相交的子集,由子
p
集列所组成的矩阵为
p
2
2p,
0
p
0
这两矩阵为对称矩阵 其中2
r=2,N1=M1=1-2 N2=M2=2,所以 C=logr-H(p-,p-ε,2ε,0)-NklogMk
k1
=log2+(p-)log(p-)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε =log2-(1-2ε)log(1-2ε)+( p-)log(p-)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+2εlog2+(p-)log(p-)+(p-ε)log(p-ε) =C1+2εlog2
输入等概率分布(P(a1)=P(a2)=1/2)时达到此信道容量。比较此两信道容量,可得C2=C1+2εlog2
3-6 设有扰离散信道的传输情况分别如图3-17所示。求出该信道的信道容量。
X
Y
图3-17
0022
101022 解:11002211
0022
对称信道
ClogmH(Y|ai)
2log2 2
取2为底 C1bit/符号 log4
1
3-7 (1)
条件概率
,联合概率,后验概率
p(y0)
13
,
(y1)
12
p(y2
)
6
1
(
2) H(Y/X)=
(3)
当接收为y2,发为x1时正确,如果发的是x1和x3为错误,各自的概率为: P(x1/y2)=,P(x2/y2)=,P(x3/y2)=
5
5
5
1
1
3
其中错误概率为: Pe=P(x1/y2)+P(x3/y2)=(4)平均错误概率为
(5)仍为0.733
(6)此信道不好
原因是信源等概率分布,从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真严重 x3-y3的概率0
完全失真 (7)
H(X/Y)=
16
Log(2)
110
Log(5)
115Log
15
350.8
52Log51Log(5)1Log51Log(10)3Log51.301
10102152103303
3. 8 设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/
噪声功率}=10dB。试计算该信道的最大信息传输速率Ct。
解:
3. 9 在图片传输中,每帧约有2.2510个像素,为了能很好地重现图像,能分16个亮度电平,并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽(信噪功率比为30dB)。
解:
Hlog
2
6
nlog2164 bit/symbol
6
6
INH2.25104910 bit10Ct
It91060
6
1.510 bit/s
5
PX
CtWlog1PNW
Ct
PXlog1PN
1.510
5
log2(11000)
15049 Hz
3-10 一个平均功率受限制的连续信道,其通频带为1MHZ,信道上存在白色高斯噪声。 (1)已知信道上的信号与噪声的平均功率比值为10,求该信道的信道容量;
(2)信道上的信号与噪声的平均功率比值降至5,要达到相同的信道容量,信道通频带应为多大?
(3)若信道通频带减小为0.5MHZ时,要保持相同的信道容量,信道上的信号与噪声的平均功率比值应等于多大? 解:(1)CWlog2(1SNR)
6
g(1 10) 110lo2
3.15M9bp s
(2)C2W2log2(15)3.459Mbps
W2
3.159Mlog26
1.338MHZ
'
(3)C3W3log2(1SNR)3.459Mbps
log2(1SNR)
'
3.4590.5
SNR120
欢迎下载!
第四章
X
4.2 某二元信源P(X
0)1/2
11/2
aD
0其失真矩阵为
0
a
求这信源的Dmax和
Dmin和R(D)函数。
解:
DmaxminDjmin
j
i
p(xi)d(xi,yj)
120
12
12
a
12
0
a2
Dmin
i
p(xi)mind(xi,yj)
j
00
因为二元等概信源率失真函数:
D
R(D)lnnH
a
其中n = 2, 所以率失真函数为:
DDDD
R(D)ln2ln1ln1
aaaa
X
4.3 一个四元对称信源P(X
0)1/4
12
1/41/4
31/4
,接收符号Y = {0, 1, 2,
011
3},其失真矩阵为1
1011
1101
111
0,求
Dmax和Dmin及信源的R(D)函数,并画出其曲
线(取4至5个点)。
解:
DmaxminDjmin
j
i
p(xi)d(xi,yj)
140
14
14
114
14
1
14
14
1
14
0
34
Dmin
i
p(xi)mind(xi,yj)
j
0000
因为n元等概信源率失真函数:
DDDD
R(D)lnnlna1ln1
an1aa
其中a = 1, n = 4, 所以率失真函数为:
R(D)ln4Dln
D3
1Dln1D
函数曲线:
D
其中:
D0,R(0)ln4nat/symbolDDD
141234
,R(D)ln4,R(D)ln4
1212ln163
nat/symbol
ln12nat/symbol
,R(D)0nat/symbol
4-3
0111
111
d
011
101
110
33334444
信源熵为 H(x)Log(4)2
Dmax =min{,,,} R(Dmax)=0
Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2
p(y1)p(y2)p(y3)p(y4)只要满足p(y1)+p(y2)+p(y3)+p(y4)=1在[0,1]区间可以任意取值。
欢迎下载!
第五章
(2) 哪些码是非延长码?
(3) 对所有唯一可译码求出其平均码长和编译效率。 解:首先,根据克劳夫特不等式,找出非唯一可译码
C1:62C2:2C3:
1
3
1
2
212
2
3
2
4
2
5
2
6
6364
1
6364
112
2
C4:2C5:2C6:2
42
33
4
1
5252
11
C5不是唯一可译码,而C4:
又根据码树构造码字的方法
C1,C3,C6的码字均处于终端节点
他们是即时码
5-2
(1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为 (2) 信源熵为 H(X)=
5-5
=0.198bit/ms=198bit/s
bit/ms=200bit/s
(1) H(U)=
12
11111111
[**************]
Log(2)
14
Log(4)
18
Log(8)
116
Log(16)
132
Log(32)
164
Log(64)
1128
Log(128)
1128
Log(128)1.984
(2) 每个信源使用3个二进制符号,出现0的次数为
出现1的次数为
P(0)= P(1)= (3)
(5)香农码和费诺码相同 平均码长为
编码效率为:
5-11
(1)信源熵
(2)香农编码:
平均码长:
编码效率为
(3) 费诺编码为
平均码长为:编码效率:
(4)哈夫曼编码