2014信息论A卷
复习题:
一、
1、信息论理论基础的建立,一般来说起始于 194
年发表的论文《 。
2、通信系统中传送的本质内容是 ,发送端需先将其表示成具体的消息,再将消息加载到 上,才能在实际的通信系统中传输。
3、设一只布袋中装有25个红球,75个白球,如果从布袋中随机摸出一个球,发现其颜色是红色,则获得的信息量是 。
4、设单符号离散无记忆信源X 的消息符号集为{a 1, a 2,..., a n },则其最大熵为 ,此时各个符号的概率为 。
5、通信系统中,编码可以提高信息传输的可靠性。
6、设有噪声无损信道如图1所示,则损失熵H (X |Y ) 为 ,信道容量C 为 。
二、
1. 下列有关信息测度的表达式中,不正确的是( )
(A )I (X ; Y ) =I (Y ; X ) (B )H (X ) ≥0
(C )H (X , Y ) =H (Y , X ) (D )H (X |Y ) =H (Y |X )
2. 下列关于算术编码的说法正确的是( )
(A )分组码 (B )有失真信源编码 (C )无失真信源编码 (D )信道编码
3. 离散系统的信息率失真函数R (D ) 性质的描述正确的是( )
(A ) 上凸性 (B )单调递增性 (C )连续性 (D )R (0) =∞
4. 采用二进制(5,2)线性分组码的码率R 为( )
(A )0.4 (B )1 (C ) 1. 5 (D )2.5
⎡⎢100111⎤
5. 设二元(6,3)线性分组码的生成矩阵G =⎢010110⎥,则
⎢1011⎥
⎣00⎥⎦
信息组[100]的码字为( )
(A )[ 0 1 0 1 1 0] (B )[1 0 0 1 1 1] (C )[ 0 0 1 0 1 1] (D )[ 10 1 0 1 0]
三、
设随机变量X 和Y 的联合概率分布如表1所示,试求:H(X)、H(Y)、H(X,Y)、H(X|Y)、H(Y|X)及 I(X;Y)。 表1 (Table 1)
四、
设二元对称信道的信道模型如图2所示。
(1)写出信道转移概率矩阵;
(2)求信道容量以及达到信道容量时的输入概率分布。
图2
设信道的转移概率矩阵为P =⎡⎢0. 70. 20. 1⎤
⎣0. 20. 70. 1⎥⎦,求该信道容量。
五、 1⎤⎡X ⎤⎡0设限失真信源编码器输入概率分布为⎢⎥=⎢,失真函数为:⎥⎣P ⎦⎣22⎦
d (0, 0) =d (1, 1) =0,d (0, 1) =1,d (1, 0) =2。
(1)写出失真矩阵;
(2)若编码器转移概率为:p 00=p 11=1-ε,p 10=p 01=ε,写出转移概率矩阵,并求平均失真;
(3)求D m n i 、R (D min ) 、D max 、R (D max ) 及相应的编码器转移概率矩阵。
六、
设离散无记忆信源的概率空间为
x 2x 3x 4x 5x 6⎤⎡X ⎤⎡x 1=⎢P ⎥⎢0. 350. 200. 180. 120. 10. 05⎥,利用哈夫曼编码编成二元
⎣⎦⎣⎦
变长码,并计算编码效率。
七、
某二进制(3,2,1)卷积编码器的转移函数矩阵为
⎡1+D D 1+D ⎤。 g (D ) =⎢⎥11⎦⎣D
(1) 求生成矩阵G 0、G 1;
(2) 设当前时刻输出的码字为c i ,当前时刻、上一个时刻输入的信息
组分别为m i 、m i -1,写出它们之间的映射关系式;
(3) 设m i =[01],m i -1=[10],求当前时刻输出的码字c i ;
(4) 画出编码器结构图。