信息论试题5
一、填空题(共25分,每空1分)
1、连续信源的绝对熵为 。
2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达
到 。
3、无记忆信源是指 。
4、离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号
的统计特性,对概率大的符号用 码,对概率小的符号用 码,这样平均码
长就可以降低,从而提高 。
5、为了提高系统的有效性可以采用 ,为了提高系统的可靠性可
以采用 。
6、八进制信源的最小熵为 ,最大熵为 。
7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为
时,信源具有最大熵,其值
为 。
《信息论基础》试卷第1页
8、即时码是指 。
9、无失真信源编码定理指出平均码长的理论极限值为 ,此时编码效率
为 ,编码后的信息传输率为 。
10、一个事件发生概率为0.125,则自信息量为 。
11、信源的剩余度主要来自两个方面,一是 ,
二是 。
12、m阶马尔可夫信源的记忆长度为 ,信源可以有 个
不同的状态。
13、同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为
比特,当得知“面朝上点数之和为8” 所获得的信息量为 比特。
14、在下面空格中选择填入数学符号“,,,”或“”
HXY HYHX|Y HYHX。
1
p(x)二、(5分)已知信源的概率密度函数为ba
0
计算信源的相对熵。
《信息论基础》试卷第2页
axb
,
其他
三、(10分)一个平均功率受限的连续信道,信道带宽为1MHz,信道噪声为高斯白噪声。 (1)已知信道上的信号与噪声的平均功率比值为20,计算该信道的信道容量。 (2)如果信道上的信号与噪声的平均功率比值降为10,要达到相同的信道容量,信道带宽应为多少?
(3)如果信道带宽降为0.5MHz,要达到相同的信道容量,信道上的信号与噪声的平均功率比值应为多少?
《信息论基础》试卷第3页
四、(16分)一个离散无记忆信源
Xx1P(x)1/8
x21/8
x31/8
x41/8
x51/4
x6 1/4
1) 求H(X)和冗余度;
2) 编成Fano码,计算编码效率; 3) 编成Huffman码,计算编码效率
《信息论基础》试卷第4页
五、(16分)设一个离散无记忆信源的概率空间为
它们通过干扰信道,信道输出端的接收符号集为Yb1,b2,已知信道传输概率如下图所示。
试计算:
(1)信源X中事件x1和x2分别含有的自信息量;(2分) (2)收到信息yj(j1,2)后,获得的关于x1的信息量;(2分) (3)信源X的信息熵;(2分)
(4)条件熵HY|x1,HY|x2;(2分)
(5)共熵H(XY)、信道疑义度H(X|Y)和噪声熵H(Y|X);(6分) (6)收到消息Y后获得的关于信源X的平均信息量。(2分)
《信息论基础》试卷第5页
《信息论基础》试卷第6页
六、(12分)设某信道的传递矩阵为
(1)若输入符号Px1Px21/4,Px31/2,求H(X|Y)和I(X;Y)。 (2)计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布。
《信息论基础》试卷第7页
七、(16分)有一个二元二阶马尔可夫信源,其信源符号集为{0,1},初始概率大小为
P(0)
13
,P(1)
23
。条件概率定为
P(0|00)P(1|11)0.8 P(1|00)P(0|11)0.2
P(0|01)P(0|10)P(1|01)P(1|10)0.5
(1) 画出该信源的状态转移图。 (2) 计算达到稳定后状态的极限概率。 (3) 该马尔可夫信源的极限熵H。
(4) 计算达到稳定后符号0和1的概率分布。
《信息论基础》试卷答案
一、填空题(共25分,每空1分)
1、连续信源的绝对熵为 无穷大。(或
pxlgpxdxlimlg)
2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。
3、无记忆信源是指 信源先后发生的符号彼此统计独立 。
4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。根据信源符号
的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均
码长就可以降低,从而提高 有效性(传输速率或编码效率) 。
5、为了提高系统的有效性可以采用 信源编码 ,为了提高系统的可靠
《信息论基础》试卷第8页
性可以采用 信道编码 。
6、八进制信源的最小熵为 0 ,最大熵为 3bit/符号 。
7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为
x
2
高斯分布(或x
N0,1或
1
2
)时,信源具有最大熵,其值为
0.6155hart(或1.625bit或lg2e)。
2
8、即时码是指 任一码字都不是其它码字的前缀 。
9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或Hr(S)或Hslgr
),此时编码效率为 1 ,编码后的信息传输率为 lgr bit/码元 。
10、一个事件发生的概率为0.125,则自信息量为 3bit/符号 。
11、信源的剩余度主要来自两个方面,一是 信源符号间的相关性 ,
二是 信源符号概率分布的不均匀性 。
12、m阶马尔可夫信源的记忆长度为 m+1 ,信源可以有 q 个
m
不同的状态。
13、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信
息量为 lg36=5.17 比特,当得知“面朝上点数之和为8”所获得的信息
《信息论基础》试卷第9页
量为 lg36/5=2.85 比特。
14.在下面空格中选择填入的数学符号“=,≥,≤,>”或“
H(XY) = H(Y)+H(X∣Y) ≤ H(Y)+H(X)
《信息论基础》试卷第10页
1
axb
二、(5分)已知信源的概率密度函数为pxba,计算信源的相对熵。
0其他
Hcx
ba
pxlg
1px
dx------3分
lgbabit/自由度-------2分
三、(10分)一个平均功率受限的连续信道,信道带宽为1MHz,信道噪声为高斯白噪声。
(1)已知信道上的信号与噪声的平均功率比值为20,计算该信道的信道容量。 (2)如果信道上的信号与噪声的平均功率比值降为10,要达到相同的信道容量,信道带宽应为多少?
(3)如果信道带宽降为0.5MHz,要达到相同的信道容量,信道上的信号与噪声的平均功率比值应为多少?
1) c10lg1SNR------3分
4.3910b/s---1分
6
2) 10
clg1SNR
w
1.2710Hz---3分
6
c
3) SNR2
1=440----3分
四、(16分)已知信源共7个符号消息,其概率空间为
Ss1Px0.2
s20.17
s30.2
s40.17
s50.15
s60.10
s7
0.01
试用霍夫曼编码法编成二进制变长码。并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。要求写出详细的编码过程和计算过程。
《信息论基础》试卷第11页
2 01 S1 0.22 00 S3 0.23 111 S2 0.173 110 S4 0.173 101 S5 0.15------6分
7
0.20.20.11
0.20.20.17
0.340.260.40.340.4
1.0
LP
i
i1
7
i
2.71位----2分
Hs
’
Plog
i
i1
2
Pi2.61bit/符号--------2分
Rlog2r2.71bit/码字--------2分
Hs
log2rHs
0.963----------2分
R
0.963bit/码元--------2分
五、(16分)设一个离散无记忆信源的概率空间为
Xa1Px0.5
a2 0.5
它们通过干扰信道,信道输出端的接收符号集为Y =[b1,b2],已知信源传输概率如下图所示。
0.98
X1
Y1
《信息论基础》试卷第12页
X2
0.8
试计算:
(1)信源X中事件x1和x2分别含有的自信息量;(2分) (2)收到yj(j=1,2)后,获得的关于x1的信息量;(2分) (3)信源X的信息熵;(2分)
(4)条件熵H(Y∣x1),H(Y∣x2);(2分)
(5)共商H(XY)、信道疑义度H(X∣Y)和噪声熵H(Y∣X);(6分) (6)收到消息Y后获得的关于信源X的平均信息量。(2分)
P(x,y)
X1X2
Y1Y2
0.44 0.010.1 0.4
(1)I(x1)=-log0.5=1bit------1分
I(x2)=-log0.5=1bit------1分
(2)I(x1;y1)=lg0.831/0.5(或=lg0.98/0.59)=0.733-------1分 I(x1;y2)=lg0.024/0.5(或=lg0.02/0.41)=-4.38-------1分 (3)H(x)=H(0.5,0.5)=1bit/符号------2分
(4)H(y︱x1)=H(0.98,0.02)=0.142bit/符号-----1分
H(y︱x2)=H(0.8,0.2)=0.722bit/符号-----1分 (5)H(y)=H(0.59,0.41)=0.977
H(xy)=H(0.49,0.01,0.1,0.4)=1.432bit/二符号------2分 H(x︱y)=H(xy)-H(y)=0.455bit/符号------2分 H(y︱x)=H(xy)-H(x)=1.432-1=0.432bit/符号-----2分 (6)I(x;y)=H(x)+H(y)-H(xy)=0.545bit/符号------2分
六、(12分)设某信道的传递矩阵为
121P
613
131216
1
61 312
(1)若输入符号P(x1)=P(x2)=1/4,P(x3)=1/2,求H(X∣Y)和I(X;Y)。 (2)计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布。
《信息论基础》试卷第13页
(1)-----写出公式2分 H(X︱Y)=
i
j
p(xiyj)logpxiyj,I(X;Y)=H(X)-H(X︱Y)
py1
pxpyx=1/3,同理:p(y2)=7/24,p(y3)=3/8
1
x
--------计算过程4分 px1y1
px1py1x1py1
14123138
同理:p(x1︱y2)=2/7,p(x1︱y3)=1/9
p(x2︱y1)=1/8,p(x2︱y2)=3/7,p(x2︱y3)=2/3 p(x3︱y1)=1/2,p(x3︱y2)=2/7,p(x3︱y3)=2/3
H(X)=-2×(1/4)log(1/4)-(1/2)log(1/2)=1.5 bit/symbol ------最终答案2分 H(X∣Y)=
X
Y
p(x)pyxlogpxy1.383bit/symbol
I(X;Y)=H(X)-H(X∣Y)≈0.117 bit/symbol (2)对称离散信道
C=logS-H(p的行矢量)-----判断 公式3分
=log3-H(1/2,1/3,1/6)≈0.126bit/symbol---答案1分 输入等概时,达到信道容量。-----说明2分
七、(16分)有一个二元二阶马尔可夫信源,其信源符号集为{0,1},初始概率大小为P(0)=1/3,P(1)=2/3。条件概率定为
P(0∣00)= P(1∣11)=0.8 P(1∣00)= P(0∣11)=0.2
P(0∣01)= P(0∣10)= P(1∣01)= P(1∣10)=0.5
(1)画出该信源的状态转移图。 (2)计算达到稳定状态的极限概率。 (3)该马尔可夫信源的极限熵H∞。
(4)计算达到稳定后符号0和1的概率分布。 解:(1)
《信息论基础》试卷第14页
1:0.8
----------4分
(2) pEiEi
0.80
0.50
0.200.50
00.500.2
00.5
00.8
P(E1)=0.8P(E1)+0.5P(E3) P(E2)=0.2P(E1)+0.5P(E3) P(E3)=0.5P(E2)+0.2P(E4) P(E4)=0.5P(E2)+0.8P(E4) P(E1)+P(E2)+P(E3)+P(E4)=1
解得:P(E1)=P(E4)=5/14 P(E2)=P(E3)=2/14--------4分
4
(3)HH2
i1
pEpE
i
j1
4
j
EilogpEjEi=0.801bit/符号-----公式2
分,答案2分
q
(4)pQk
pEpQ
i
i1
k
Ei-----2分 p(1)=p(2)=1/2--------2分
《信息论基础》试卷第15页