信息论基础--_期末试卷__A
○
？○？大学2008 — 2009 学年第 1 学期
课程名称
课程号（ ？？？？？ ） 考试形式（ 闭卷笔试 ） 时间（ 120 分钟 ）
一、判断题共 10 小题，满分 20 分.
1. 当随机变量X 和Y 相互独立时，条件熵H (X |Y ) 等于信源熵H (X ) . （ ） 2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （ ） 3. 一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ） 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （ ） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ）6. 连续信源和离散信源的熵都具有非负性. （ ） 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息量就越小. （ ） 8. 汉明码是一种线性分组码. （ ） 9. 率失真函数的最小值是0. （ ） 10. 必然事件和不可能事件的自信息量都是0. （ ）
二、填空题共 6 小题，满分 20 分.
1、码的检、纠错能力取决于 2、信源编码的目的是；信道编码的目的是3、把信息组原封不动地搬到码字前k 位的(n , k ) 码就叫做 . 4、香农信息论中的三大极限定理是5、设信道的输入与输出随机序列分别为X 和Y ，则I (X N
, Y N
) =NI (X , Y ) 成立的
第 1 页 共 3 页 条件 .
6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是. 7、某二元信源
⎡⎢X ⎤⎧0
1⎫⎡0a ⎤⎣P (X ) ⎥⎦=⎨⎩1/21/2⎬
，其失真矩阵D =⎭⎢a 0⎥，则该信源的⎣⎦D max =
三、本题共 4 小题，满分 50 分.
1、某信源发送端有2种符号x i (i =1, 2) , p (x 1) =a ；接收端有3种符号y i (j =1, 2, 3) ，转
移概率矩阵为P =⎡⎢1/21/20⎤
⎣1/21/41/4⎥.
⎦
（1） 计算接收端的平均不确定度H (Y ) ；
（2） 计算由于噪声产生的不确定度H (Y |X ) ； （3） 计算信道容量以及最佳入口分布.
第 1 页 共 3 页
2、一阶马尔可夫信源的状态转移图如右图所示，信源X 的符号集为{0, 1, 2}. （1）求信源平稳后的概率分布； （2）求此信源的熵； （3）近似地认为此信源为无记忆时，符号的概率分布为平 稳分布. 求近似信源的熵H (X ) 并与H ∞进行比较.
3、设码符号为X ={0, 1, 2}，信源空间为
s 6s 7s 8⎤⎡S ⎤⎡s 1s 2s 3s 4s 5
=⎢P (s ) ⎥⎢0. 40. 20. 10. 10. 050. 050. 050. 05⎥， ⎣⎦⎣⎦
试构造一种三元紧致码.
第 2 页共 3 页
图2-13
第 2 页 共3 页
⎡1⎢0
4、设二元(7, 4) 线性分组码的生成矩阵为G =⎢
⎢1⎢⎣1
[***********]10
0⎤0⎥⎥. 0⎥⎥1⎦
L
m
四、本题共 1小题，满分 10 分.
试证明：若∑p i =1, ∑q j =p L ，则
（1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；
i =1
j =1
H (p 1, p 2⋅⋅⋅, p , L -1q , 1q , ⋅⋅⋅q m , =H ) (p 1, p 2, ⋅⋅⋅, p L -1, p L ) +p L ⋅H (2,
（2）若接收矢量v =(0001011) ，试计算出其对应的伴随式S 并按照最小距离译码准则 q q 1q 2
, , ⋅⋅⋅, m ) ， 试着对其译码.
第 3 页共 3 页 并说明等式的物理意义.
第 3 页 共 3 页 p L p L
p L