信息论试题6
《信息论基础》试卷答案
一、填空题(共15分,每空1分)
1,当(R=C或信道剩余度为0)时,信源与信道达到匹配。
2,若高斯白噪声的平均功率为6W ,则噪声熵为(1/2log12πe=3。337bit/自由度) 如果一个平均功率为9W 的连续信源的熵等于该噪声熵,则该连续信源的熵功率为(6W )
3,信源符号的相关程度越大,信源的符号熵越(小),信源的剩余度越(大) 4,离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号的统计特性,对概率(大)的符号用短码,对概率(小)的符号用长码,从而减少平均码长,提高编码效率。
8,香农第一编码定理指出平均码长的理论极限值为(信源熵H(S)/logr或H R (S)), 此时编码效率为(1)
9,在下面空格中选择填入数学符号“=,,≤,≥” 9.1 H2(X)=H(X1X 29.2 H (XY) = H(Y)+H(X/Y) ≤ H(Y)+H(X)
⎡X ⎤⎡x 1x 2x 3x 4⎤10, 有一信源X ,其概率分布为⎢⎥=⎢若对该信源进行100次扩展, ⎥,
P 1/21/41/81/8⎣⎦⎣⎦
其每扩展符号的平均信息量是(175bit/扩展符号)
11当(概率为独立等概)时,信源熵为最大值,8进制信源的最大熵为(3bit/符号) 二、判断题(本大题共5小题,每小题1分,共5分)
1)噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大(⨯) 2)即时码可以在一个码字后面添上一些码元构成另一个码字(⨯) 3)连续信源的熵可正可负可零(∨) 4)平均互信息始终是非负的(∨)
5)信道容量C 只与信道的统计特性有关,而与输入信源概率分布无关(∨) 三、(10分)计算机终端发出A.B.C.D.E 五种符号,出现概率分别为1/16,1/16,1/8,1/4,1/2.通过一条带宽为18KHz 的信道传输数据,假设信道输出信噪比为2047,试计算:
1)香农信道容量;
2)无误码传输的最高符号速率。 S ⎫⎛
(1) C t =B log 2 1+⎪=18log 22048=198kbit /s
N ⎭⎝
《信息论基础》试卷第1页
(2)(R B )max =
C t
, H x 11111⎫15 H (x )=H ⎛, , , , ⎪=
⎝1616842⎭
8
(R B )max =
198k
=1.056⨯105Baud 四、(10分)有一信源发出恒定宽度,但不同幅度的脉冲,幅度值x 处在a1,a2之间。此信源连至信道,信道接收端接收脉冲的幅度y 处在b1,b2之间。已知随机变量x 和y 的联合概率密度函数p (x , y ) =1/(a 2-a 1)(b 2-b 1) 试计算h (x ),h (y )h (xy )和I(x;y)
⎧1
a 1≤x ≤a 2⎪
由p (x , y ) 得 p (x ) =⎨a 2-a 1
⎪0, 其他⎩
⎧1
, b 2≤x ≤b 2⎪b -b p (y )=⎨21 ⎪0, 其他⎩
可见,p (xy ) =p (x ) p (y ) ,x 和y 相互独立,且均服从均匀分布, h (x ) =log(a 2-a 1) bit /自由度 h (y ) =log(b 2-b 1) bit /自由度
h (xy ) =h (x ) +h (y ) =log(a 2-a 1)(b 2-b 1) I (x , y ) =0
五、(10分)设某信道的传递矩阵为
⎡0.80.10.1⎤
p =⎢⎥ 0.10.10.8⎣⎦
计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布,该信道为准对称信道,
(1)两个对称信道矩阵为
⎡0.80.1⎤⎡0.80.1⎤⎡0.1⎤⎢0.10.8⎥⎢0.10.8⎥和⎢0.1⎥ ⎣⎦⎣⎦⎣⎦
N1=0.8+0.1=0.9,N2=0.1; M1=0.9,M2=0.2
∴C =log 2-H (0.8,0.1,0.1)-0.9log0.9-0.1log0.2=0.447bit /符号
《信息论基础》试卷第2页
最佳输入概率分布为输入等概率,即 p (x 1) =p (x 2) =1/2 六、(10分)设随机变量x 和y
已知随机变量z=xy,计算H(X),H(Z),H(XY),H(X/Z),I(x
;y ) 1) H(x)=H(1/3,1/3)=0.9183bit/符号 2)
H(z)=H(2/3,1/3)=0.9183bit/符号
3)H(xy)=H(1/3,1/3,0,1/3)=1.58496 bit/每对符号 4)
xz P(xz) 00 01 10 11
H(xz)=H(2/3,1/3)bit/每对符号 H(x|z)=H(xz)-H(z)=0 5)
I(x,y)=H(x)+H(y)-H(xy) =0.25164bit/符号 七 (20) 一个离散无记忆信源
x 2x 3x 4x 5x 6⎤⎡x ⎤⎡x 1
=⎢p (x ) ⎥⎢1/161/161/161/161/41/2⎥ ⎣⎦⎣⎦
2/3
0 0 1/3
1) 求H(x)和冗余度;(4分) 2) 编成Fano 码,计算编码效率;(8分) 3) 编成Huffman 码,计算编码效率。(8分)
1) H(x)=H(1/16,1/16,1/16,1/16,1/4,1/2)=2bit
H (x ) v =1-=22.6﹪
log 6
2)
《信息论基础》试卷第3页
x 6
2
14
116
x 5x 4x 3x 2
10
11001
1101
1
1
116116116
1
1
11101111
3)
x6x5x4x3x2
x1
x 1
1/21/4
1/161/161/161/16
10
1/21/41/8
1/161/16
1
1/21/41/81/8
10
1/21/41/4
10
1/21/2
[***********]1
1
111
=1+2+4⨯4⨯ =2
242
η=
H (x )
=100% ⎡x ⎤⎡x 1x 2⎤
八 (10分) 设一个离散无记忆信源的概率空间为⎢⎥=⎢0.20.8⎥,它们通过p (x ) ⎣⎦⎣⎦⎡0.90.1⎤干扰信道,信道矩阵为P =⎢⎥。信道输出符号集Y =[y 1y 2],试计算: 0.30.7⎣⎦
(1)信源X 的信息熵;(2分)
(2)收到信息y2后,获得关于x1的信息量;(2分) (3) 共熵H(XY);(2分) (4)信道疑义度H(X|Y);(2分)
(5) 收到消息Y 后获得的关于信源X 的平均信息量。(2分)
P(xy) y1 y2
《信息论基础》试卷第4页
x2 0.3×0.8 0.7×0.8
(1) H(x)=H(0.2,0.8)=0.722bit/符号
(2) I(x1;y2)=I(x1)-I(x1|y2)=log1/0.2-log0,58/0.02=-2.536bit/符号 (3) H(xy )=H(0.18,0.02,0.24,0.56)=1.52076bit/每对符号 (4) H(x|y)=H(xy)-H(y)=1.52076-H(y) H(y)=H(0.42,0.58)=0.98145 H(x|y)=0.53936bit/符号 (5)I(X:Y)=H(x)+H(y)-H(xy) =H(x)-H(x|y)
=0.722-0.5393=0.1827bit/符号
九 (10分) 有一个二元马尔科夫信源,其状态转移概率如图所示,括号中的数表示转移时发出的符号。试计算
(1) 达到稳定后状态的极限概率
(2) 该马尔科夫信源的极限熵H ∞。
s 0s 1s 2s 000.50.5
(1) p =
s 10.50.50s 200.50.5P(s0)=0.5P(s1)
0.5(p(s0)+p(s1)+p(s2))=p(s1) 0.5(p(s0)+p(s2))=p(s2) P(s0)+p(s1)+p(s2)=1 得 p(s0)=0.25; P(s1)=0.5; P(s2)=0.25; (2)
H ∞=1/4H(0.5,0.5)+1/2H(0.5,0.5)+1/4H(0.5,0.5)
《信息论基础》试卷第5页
1/4+1/2+1/4=1bit/符号
《信息论基础》试卷第6页