信息论课后习题答案
第1章 信息论基础
1.8 p (s0 ) = 0.8p (s0 ) + 0.5p (s2 )
p (s1 ) = 0.2p (s0 ) + 0.5p (s2 ) p (s2 ) = 0.5p (s1 ) + 0.3p (s3 ) p (s3 ) = 0.5p (s1 ) + 0.7p (s3 ) p (s0 ) + p (s1 ) + p (s2 ) + p (s3 ) = 1 p (s0 ) =
15610, p (s1 ) = p (s2 ) = ,p (s3 ) = 373737
第2章 信息的度量
2.4 logk
2.12 (1)I (xi) = -log1/100 = log100备注:2.12有错误
(2)H(X)=log100.
2.17 (1)I1;u4100log2(1p)
(2)I10;u41002log2(1p) (3)I100;u41003log2(1p) 2.30 (1)H(X) = 1.69 (Bit/符号)
(2)H(Y) = 1.57 (Bit/符号)
(3)H(YX)0.76Bit/符号 (4) H(XY)2.45 (Bit / 符号) (5)I (X;Y) = 0.81 (Bit/符号)
第3章 离散信源无失真编码
3.6 (1) 2位
(2)取码长n1=1、n1=2、n1=3、n1=3就能得到紧致码。 3.14 (1)x1 →0,x2→11,x3→10 n1.5 0.99
(2)x1x1→01,x1x2→110,x2x1→101,x1x3→011,x3x1→010,x2x2→1111,x2x3→1110,x3x2→1001
n3 0.99
3.17 方法一:概率之和与原信源某概率相等,概率之和往上排:
方法二:概率之和与原信源某概率相等,概率之和往下排: 两种方法得到的码集都是最佳的。
3.24 (1)H(X) = (1/4)log4 + (3/4)log(4/3) = 0.811
(2) q (0)=1/4,q (1)=3/4 (3)扩展信源
x0x0x0x1x1x0x1x11/163/163/169/16
Fano编码
x0x1x1
9/64
x1x0x03/64
x0x0x0
(4) 扩展信源
1/64
Huffman编码 D=2
x0x0x13/64x0x1x03/64x1x0x19/64x1x1x09/64
x1x1x1
27/64
3.25 (1)Shannon 编码 D=2
(2) Huffman编码 D=2 ,得到的编码与(1
)一致
(3)之所以得到这种结果,是因为消息的每个概率都可以写成D – ni的形式,取每个码字的码长分别为
ni即可。
第4章 离散信道的信道容量
(Bit/符号) 4.8 (1)C2.918
(2)C0.7log0.350.5log0.50.2log0.2 4.9 (1) I(X;Y)(1q)H2()
(2) α=0.5时,I(X;Y)取得最大值C(1q)log2 (3) I(0;0)log2 I(1;0)
I(0;e)0
4.12 (1)C(1-)log(1-)(1-)(1)log(1)log
(2)I(1;1)log
1
I(1;0)log备注:4.1第二小题第一个有错误
(1)/2(1)/2
4.15 C = 0.322 (Bit/码符)
第5章 习题
5.10 (1)采用极大后验概率译码准则:y1→x1,y2→x2,y3→x1 pe1=11/24
(2) 信源等概分布,采用极大似然译码准则:y1→x1,y2→x2,y3→x3 pe1=1/2
5.11 译码:y1→x1,y2→x3,y3→x2 pe1=21/42
2
5.14 (1)E0(1,q)-lnq0q12)4q0q1
p(1p)
1
E0(1)maxE0(1,q)lnp(1p)
q0.5
2
22
(2)E(1,q)lnq2qqpq00011
1
E(1)ln1p
2
第6章 率失真编码
6.5 定义域:0 ≤D ≤ 0.5
值域:0 ≤ R(D) ≤ H(X) = 1.5 (Bit/符号)
Dlog2H126.12 R(D)0
1
0D
21D
2
DD
1[p(ji)] DD1
第8章 习题
8.13 (1)n=6 ,k=3,该码共有8个码字。
100011
(2)生成矩阵G010101 001110
(3)010111不是码字,100011是码字。
10
8.26 (1)生成矩阵G
00
(2)d = 4。
[***********]101101
10
10,校验矩阵H11
11
1
[***********]00010
00 01