[信息论与编码]答案2345完整版

2.1一个马尔可夫信源有3个符号

u1,u2,u3，转移概率为：pu1|u11/2，pu2|u11/2，

，

pu3|u10，pu1|u21/3，pu2|u20pu3|u22/3，pu1|u31/3

，

pu2|u32/3，pu3|u30，画出状态图并求出各符号稳态概率。

解：状态图如下

状态转移矩阵为：

设状态u1，u2，u3稳定后的概率分别为W1，W2、W3

01/21/2

p1/302/3

1/32/30

111

W1W2W3W1102W1332512WPW9W1W3W2

由得2计算可得W2 3

25W1W2W312

6W2W3W3325W1W2W31

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：

p(0|00)=0.8，p(0|11)=0.2，p(1|00)=0.2，

p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。画出状态图，并计算各状态

的稳态概率。 解：

p(0|00)p(00|00)0.8 p(0|01)p(10|01)0.5 p(0|11)p(10|11)0.2 p(0|10)p(00|10)0.5 p(1|00)p(01|00)0.2 p(1|01)p(11|01)0.5 p(1|11)p(11|11)0.8 p(1|10)p(01|10)0.5

00.80.20

000.50.5 于是可以列出转移概率矩阵：p

0.50.500000.20.8

状态图为：

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有

WPW

4

得 Wi1i1

5

W1140.8W10.5W3W1



0.2W10.5W3W2

W21

7

计算得到 0.5W20.2W4W3

1W30.5W20.8W4W4

7W1W2W3W415W4

14

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, „ , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：

(1)

11111

p(xi)

666618I(xi)logp(xi)log

(2)

1

4.170 bit18

111

p(xi)

6636

1

I(xi)logp(xi)log5.170 bit

36

(3)

两个点数的排列如下： 11 21 31 41 51 61

共有21种组合：

12 22 32 42 52 62

13 23 33 43 53 63

14 24 34 44 54 64

15 25 35 45 55 65

16 26 36 46 56 66

111 6636

111

其他15个组合的概率是2

6618

其中11，22，33，44，55，66的概率是

1111

H(X)p(xi)logp(xi)6log15log4.337 bit/symbol

36181836i

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

[1**********]112X11111151511P(X)

[***********]6H(X)p(xi)logp(xi)

i

[1**********]1

2log2log2log2log2loglog

[***********]36

3.274 bit/symbol

(5)

1111

p(xi)11

6636I(xi)logp(xi)log

2-4

11

1.710 bit36

2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X代表女孩子学历

X P(X)

设随机变量Y代表女孩子身高

Y P(Y)

已知：在女大学生中有75%是身高160厘米以上的 即：

y1（身高>160cm）

0.5

y2（身高

0.5

x1（是大学生）

0.25

x2（不是大学生）

0.75

p(y1/x1)0.75 bit

求：身高160厘米以上的某女孩是大学生的信息量 即：I(x1/y1)

logp(x1/y1)log

p(x1)p(y1/x1)0.250.75

log1.415 bit

p(y1)0.5

2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：

1）因圆点之和为3的概率该消息自信息量I(x)

p(x)p(1,2)p(2,1)

1

18

logp(x)log184.170bit

2）因圆点之和为7的概率

p(x)p(1,6)p(6,1)p(2,5)p(5,2)p(3,4)p(4,3)

该消息自信息量I(x)

1 6

logp(x)log62.585bit

2.7 设有一离散无记忆信源，其概率空间为 （1）求每个符号的自信息量

Xx10x21x32x43

1/41/41/8P3/8

（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：I(x1)

log2

18

log21.415bit

p(x1)32bit,I(x3)2bit,I(x3)3bit

同理可以求得I(x2)

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：I

14I(x1)13I(x2)12I(x3)6I(x4)87.81bit

平均每个符号携带的信息量为

87.81

1.95bit/符号 45

2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X1)八进制脉冲的平均信息量H(X2)二进制脉冲的平均信息量H(X0)所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2-9 “－” 用三个脉冲 “●”用一个脉冲

(1) I(●)=Log(4)

lognlog42 bit/symbol lognlog83 bit/symbol lognlog21 bit/symbol

2

34

I(－)＝Log

40.415

3

(2) H=

14

Log(4)

Log

43



0.811

2-10

(2) P(黑/黑

)= P(白/黑

)=

H(Y/黑

)=

(3) P(黑/白

)= P(白/白

)=

H(Y/白

)=

(4) P(黑

)= P(白

)=

H(Y)=

2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。 （1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度

（3）如果颜色已知时，则计算条件熵

解：令X表示指针指向某一数字，则X={1,2,……….,38} Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知

3

p(xiyj)p(xi)

（1）H(Y)

p(yj)log

j1

12381838

log2log1.24bit/符号

p(yj)3823818

（2）H(X,Y)（3）H(X

H(X)log2385.25bit/符号

|Y)H(X,Y)H(Y)H(X)H(Y)5.251.244.01bit/符号

2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率r

xi,yjrij为

r11r12



r21r22r

31r32

（1） （2） （3）

r137/241/240r231/241/41/24

r331/247/240

如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？

在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？

解：联合概率

p(xi,yj)为

H(X,Y)p(xi,yj)log2

ij

1

p(xi,yj)

2

72411

log24log224log24247244

=2.3bit/符号

X概率分布 1

H(Y)3log231.58bit/符号

3H(X|Y)H(X,Y)H(Y)2.31.58

Y概率分布是 =0.72bit/符号

2.13 有两个二元随机变量X和Y，它们的联合概率为

并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；

(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)

131p(x1)p(x1y1)p(x1y2)

882311

p(x2)p(x2y1)p(x2y2)

882

H(X)p(xi)logp(xi)1 bit/symbol

i

131

p(y1)p(x1y1)p(x2y1)

882311

p(y2)p(x1y2)p(x2y2)

882

H(Y)p(yj)logp(yj)1 bit/symbol

j

Z = XY的概率分布如下：

z0z21

Z1

71P(Z)

88

2

7117

H(Z)p(zk)loglog0.544 bit/symbol

8888k

p(x1)p(x1z1)p(x1z2)p(x1z2)0p(x1z1)p(x1)0.5p(z1)p(x1z1)p(x2z1)p(x2z1)p(z1)p(x1z1)p(z2)p(x1z2)p(x2z2)p(x2z2)p(z2)

1

8

730.588

133111

H(XZ)p(xizk)logp(xizk)logloglog1.406 bit/symbol

288882ik

p(y1)p(y1z1)p(y1z2)p(y1z2)0p(y1z1)p(y1)0.5p(z1)p(y1z1)p(y2z1)p(y2z1)p(z1)p(y1z1)p(z2)p(y1z2)p(y2z2)p(y2z2)p(z2)

18

730.588

133111

H(YZ)p(yjzk)logp(yjzk)logloglog1.406 bit/symbol

288882jk

p(x1y1z2)0p(x1y2z2)0p(x2y1z2)0

p(x1y1z1)p(x1y1z2)p(x1y1)p(x1y1z1)p(x1y1)1/8p(x1y2z1)p(x1y1z1)p(x1z1)p(x1y2z1)p(x1z1)p(x1y1z1)p(x2y1z1)p(x2y1z2)p(x2y1)p(x2y1z1)p(x2y1)p(x2y2z1)0

p(x2y2z1)p(x2y2z2)p(x2y2)

1

8

H(XYZ)p(xiyjzk)log2p(xiyjzk)p(x2y2z2)p(x2y2)

i

j

k

113288

38

13333111

loglogloglog1.811 bit/symbol

88888888

(2)

13333111

H(XY)p(xiyj)log2p(xiyj)loglogloglog1.811 bit/symbol

88888888ij

H(X/Y)H(XY)H(Y)1.81110.811 bit/symbolH(Y/X)H(XY)H(X)1.81110.811 bit/symbolH(X/Z)H(XZ)H(Z)1.4060.5440.862 bit/symbolH(Z/X)H(XZ)H(X)1.40610.406 bit/symbolH(Y/Z)H(YZ)H(Z)1.4060.5440.862 bit/symbolH(Z/Y)H(YZ)H(Y)1.40610.406 bit/symbolH(X/YZ)H(XYZ)H(YZ)1.8111.4060.405 bit/symbolH(Y/XZ)H(XYZ)H(XZ)1.8111.4060.405 bit/symbolH(Z/XY)H(XYZ)H(XY)1.8111.8110 bit/symbol

(3)

I(X;Y)H(X)H(X/Y)10.8110.189 bit/symbolI(X;Z)H(X)H(X/Z)10.8620.138 bit/symbolI(Y;Z)H(Y)H(Y/Z)10.8620.138 bit/symbol

I(X;Y/Z)H(X/Z)H(X/YZ)0.8620.4050.457 bit/symbolI(Y;Z/X)H(Y/X)H(Y/XZ)0.8620.4050.457 bit/symbolI(X;Z/Y)H(X/Y)H(X/YZ)0.8110.4050.406 bit/symbol

2-14 (1)

P(ij)= P(i/j)=

(2) 方法1:

=

方法2:

2-15

P(j/i)=

2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图

（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。 （3）比较两种信源熵的大小，并说明原因。 解：（1）H(X)P(黑|白)=P(黑)

0.3log2

1010

0.7log20.8813bit/符号 37

P(白|白)＝P(白)

P(黑|黑)＝P(黑) P(白|黑)＝P(白)

（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化）

H(X)H(X2|X1)p(xi,yj)log2

ij

1

p(xi,yj)

0.91430.7log20.80.3log2

＝0.512bit/符号

111

0.08570.7log20.20.3log2

0.91430.08570.2

10.8

2.17 每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解： 1)

H(X)log2nlog21287 bit/symbol

H(X)NH(X)31072.110 bit/symbol

2)

N

5

6

H(X)log2nlog21000013.288 bit/symbolH(XN)NH(X)100013.28813288 bit/symbol

3)

H(XN)2.1106

N158037

H(X)13.288

2.20 给定语音信号样值X的概率密度为态变量的连续熵。 解：

1x

p(x)e,x,求Hc(X)，并证明它小于同样方差的正

2

1x

Hc(X)px(x)logpx(x)dxpx(x)logedx

21

px(x)logdxpx(x)(x)logedx

211x

loglogee(x)dx

22

11

loglogeex(x)dxlog

2211

log2loge2xexdx

2201x

logloge(1x)e0

212eloglogelog

2

0













1x

e(x)dx 2

E(X)0,D(X)

H(X,)

2



2

1214elog2e2log2H(X) 22

1

2.24 连续随机变量X和Y的联合概率密度为：p(x,y)r2

0

H(XYZ)和I(X;Y)。



x2y2r2其他

，求H(X), H(Y),

（提示：

解：



2

log2sinxdx



2

log22）

p(x)

r2x2

r2x2

r

p(xy)dy

r2x2



12r2x2

dy (rxr)2r2x2r2r

Hc(X)p(x)logp(x)dx

rr

2r2x2

p(x)logdx

rr2rr2

p(x)log2dxp(x)logr2x2dx

rrr

rr2

logp(x)logr2x2dx

r2r21

loglogr1log2e

22

1

log2rlog2e bit/symbol

2

其中：



r

r

p(x)logr2x2dx

r

2r2x222

logrxdx2rr4r

2r2x2logr2x2dxr0

40

令xrcos2rsinlogrsind(rcos)

r2

402

2rsin2logrsindr2



4

4



20

sin2logrsindsinlogrd



2





4



20

4







20

sin2logsind



1cos241cos2

logr2d2logsind

0022







20



2



logr2d

2





logr2cos2d



2

logsind



2



20

cos2logsind

logr

1



logr2dsin2

2



(



2

log22)



2



20

cos2logsind

logr1



2



20

cos2logsind

1

logr1log2e

2

其中：





2



20

cos2logsind



20



1

logsindsin2



20

1sin2logsin

1





2sin2dlogsin0







2



20

2sincos



coslog2e

d

sin



2

log2e2cos2d

1cos2

d

02

112log2edlog2e2cos2d

log2e2





11log2elog2esin2

221

log2e

2



20

p(y)

r2y2

ryp(xy)dx

r2y2



2r2y21

dx(ryr)

ryr2r2

p(y)p(x)

1

HC(Y)HC(X)log2rlog2e bit/symbol

2Hc(XY)p(xy)logp(xy)dxdy

R

p(xy)log

R

1

dxdyr2

logr2p(xy)dxdy

R

log2r2 bit/symbolIc(X;Y)Hc(X)Hc(Y)Hc(XY) 2log2rlog2elogr2 log2log2e bit/symbol

2.25 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；

(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)

1331

H(X)p(xi)logp(xi)loglog0.811 bit/symbol

4444i

(2)

m

100m

13

p(xi)

44

3100m100

4

3

41.51.585m bit4100

100m

I(xi)logp(xi)log

(3)

H(X100)100H(X)1000.81181.1 bit/symbol

2-26

P(i)=

P(ij)=

H(IJ)=

2.29 有一个一阶平稳马尔可夫链

X1,X2,,Xr,,各

Xr取值于集合

Aa1,a2,a3,已知起始概率

P(Xr)为

p11/2,p2p31/4，转移概率如下图所示

(1) 求(X1,X2,X3)的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵

(3) 求H0,H1,H2和它们说对应的冗余度 解：（1）

H(X1,X2,X3)H(X1)H(X2|X1)H(X3|X2,X1)H(X1)H(X2|X1)H(X3|X2)

111111

H(X1)logloglog1.5bit/符号

224444

X1，X2的联合概率分布为

p(x2j)p(x1ix2j)

i

X2的概率分布为

那么

111131131

H(X2|X1)log4log4log4loglog3loglog3

[1**********]

=1.209bit/符号

X2X3的联合概率分布为

那么

H(X3|X2)

=1.26bit/符号

771535535

log2log4log4loglog3loglog3 [**************]

H(X1,X2,X3)1.51.2091.263.969bit/符号

所以平均符号熵H3(X1,X2,X3)



3.969

1.323bit／符号 3

14013

141 30

122（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为P323

WPW由 得到

Wi1

2241

W1W2W31W12337

131W1W3W2W2计算得到 4314

3W1W2W31W314

又满足不可约性和非周期性

34111321

H(X)WiH(X|Wi)H(,,)2H(,,0)1.25bit/符号

72441433i1

(3)H0

1.51.209

1.35b5i/t符号

2

1.251.251.25

01010.2111110.617 21210.078

1.581.51.355

/符号 H2log31.58bit/符号 H11.5bit

2-30

(1) 求平稳概率

P(j/i)=

解方程组

得到

(2)

信源熵为:

2-31

P(j/i)= 解方程组 得到W1= , W2= , W3=

2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。 （1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵

（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H进行比较

图2-13

1pp/2p/2



p/2解:根据香农线图,列出转移概率距阵Pp/21p

p/2p/21p

令状态0,1,2平稳后的概率分布分别为W1,W2,W3

WPW

3

得到 

Wi1i1

p

(1p)W1W22p

W1(1p)W22

W1W2W311pWW3W1

32



p1

W3W2 计算得到W 23

1W3

由齐次遍历可得

1pp12

H(X)WiH(X|Wi)3H(1p,,)(1p)logplog

3221ppi

H(X)log31.58bit/符号 由最大熵定理可知H(X)存在极大值

,

或者也可以通过下面的方法得出存在极大值:



H(X)1pp21plog(1p)(1)logplogp1p2p22(1p)

p11pp

又0p1所以0,当p=2/3时1

2(1p)22(1p)2(1p)2(1p)

H(X)p

0

p2(1p)

2/3

H(X)p

log0

p2(1p)



所以当p=2/3时H(X)存在极大值,且H(X)max1.58bit/符号 ,

所以H(X)H(X)

2-33

(1)

解方程组

:

得p(0)=p(1)=p(2)= (2)

(3)

当p=0或p=1时 信源熵为0

练习题：有一离散无记忆信源，其输出为

X0,1,2，相应的概率为p01/4,p11/4,p21/2，设计

两个独立的实验去观察它，其结果分别为

Y10,1,Y20,1，已知条件概率:

(1) 求I(X;Y1)和I(X;Y2)，并判断哪一个实验好些

(2) 求I(X;Y1Y2)，并计算做Y1和Y2两个实验比做Y1和Y2中的一个实验可多得多少关于X的信息 (3) 求I(X;Y1|Y2)和I(X;Y2|Y1)，并解释它们的含义 解:(1)由题意可知

P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2

11111

I(X;Y1)H(Y1)H(Y1|X)log2loglog2log2=0.5bit/符号

42424111

I(X;Y2)H(Y2)H(Y2|X)log2log1log1log11bit/符号>I(X;Y1)

442

所以第二个实验比第一个实验好 （2）因为Y1和Y2 相互独立，所以p(y1y2|x)p(y1|x)p(y2|x)

11

1212124log1log1

44

bit/符号

=1.5bit/符号

由此可见，做两个实验比单独做Y1可多得1bit的关于X的信息量，比单独做Y2多得0.5bit的关于X的信息量。 （3）

I(X;Y1|Y2)H(X|Y1)H(X|Y1,Y2)H(X,Y2)H(X)[H(X)I(X;Y1,Y2)][H(X)I(X;Y2)][H(X)I(X;Y1,Y2)]I(X;Y1,Y2)I(X;Y2)

=1.5-1=0.5bit/符号

表示在已做Y2的情况下，再做Y1而多得到的关于X的信息量 同理可得

I(X;Y2|Y1)I(X;Y1,Y2)I(X;Y1)=1.5-0.5=1bit/符号

表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量

231

3.1 设二元对称信道的传递矩阵为3

解： 1)

1323

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；

3311

H(X)p(xi)(log2log2)0.811 bit/symbol

4444iH(Y/X)p(xi)p(yj/xi)logp(yj/xi)

i

j

[1**********]2

(lglglglg)log210

[1**********]3

0.918 bit/symbol

3211

0.[1**********]2

p(y2)p(x1y2)p(x2y2)p(x1)p(y2/x1)p(x2)p(y2/x2)0.4167

4343

H(Y)p(yj)(0.5833log20.58330.4167log20.4167)0.980 bit/symbolp(y1)p(x1y1)p(x2y1)p(x1)p(y1/x1)p(x2)p(y1/x2)

j

I(X;Y)H(X)H(X/Y)H(Y)H(Y/X)

H(X/Y)H(X)H(Y)H(Y/X)0.8110.9800.9180.749 bit/symbolI(X;Y)H(X)H(X/Y)0.8110.7490.062 bit/symbol

2)

1122

CmaxI(X;Y)log2mHmilog22(lglg)log2100.082 bit/symbol

3333

1

其最佳输入分布为p(xi)

2

3-2某信源发送端有2个符号，xi，i＝1，2；p(xi)a，每秒发出一个符号。接受端有3种符号yi，j＝1，2，3，

转移概率矩阵为P（1） （2） （3）

1/21/20。 1/21/41/4

计算接受端的平均不确定度； 计算由于噪声产生的不确定度H(Y计算信道容量。

|X)；

1/21/20

解：P

1/21/41/4

联合概率p(xi,yj)

（1）H(Y)log2 loglog

241a41a

1116a1a

log2loglog

241a241a1111a1a

log2log16loglog2

2441a41a311a1a

log2loglog2

241a41a

取2为底

311a1aH(Y)(log2log)bit 22

241a41a

1a11a11a11a1a

（2）H(Y|X) logloglogloglog2222224444

3(1a)

alog2log2

2

3alog2

2

取2为底

H(Y|X)

3a

bit 2

11a1aa

cmaxI(X;Y)maxH(Y)H(Y|X)maxlog2loglogp(xi)p(xi)p(xi)41a241a2

a11a1a(ln2lnln)2

取e为底

a

112a11aa11ln2ln() 2241a41a41a1a1a11aa2ln2ln 22(1a2)41a41a2

111a

ln2ln

241a

= 0

1a1

1a4

3a

51311131

clog2loglog2541454312531log2loglog [1**********]3

log2loglog2 10241015log 24

3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。

解：

由题意可知该二元信道的转移概率矩阵为：

0.990.01P

0.010.99

为一个BSC信道

所以由BSC信道的信道容量计算公式得到：

ClogsH(P)log2pilog

i1

2

1

0.92bit/signpi

1

CtC1000C920bit/sec

t

3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当e=0和1/2时的信道容量C的大小。

X

1－e

Y 0

1 1

2

1－e

2

001,此信道为非奇异矩阵,又r=s,可利用方程组求解

e解: 信道矩阵P=01e

e1－e0

å

3

j=1

P(bj|ai)bj=åP(bj|ai)logP(bj|ai) (i=1,2,3)

j=1

3

ìb1=0ïïï

í(1-e)b2+eb3=(1-e)log(1-e)+eloge ïïïïîeb2+(1-e)b3=eloge+(1-e)log(1-e)

解得b1

=0

b2=b3=(1-e)log(1-e)+eloge

所以 C=log

å

2

bj

=log[20+2×2(1-e)log(1-e)+eloge]

j

=log[1+21-H(e)]=log[1+2(1-

e)(1-e)ee]

ì11ï1-C-CïP(b)=2b=2==1ï(1-e)e1-H(e)ï1+2(1-e)e1+2ïïï(1-e)eeeïb2-CïP(b2)=2=í(1-e)eï1+2(1-e)eïïïP(b3)=2b3-C=P(b2)ïïïïïî3

而 P(bj)=åP(ai)P(bj|ai) (j=1,2,3)

i=1

ìP(b1)=P(a1)ïïï得íP(b2)=P(a2)(1-e)+P(a3)e ïïïïîP(b3)=P(a2)e+P(a3)(1-e)

1

所以 P(a1)=P(b1)=

1+2(1-e)(1-e)ee

(1-e)eee

P(a2)=P(a3)=P(b2)=P(b3)=

1+2(1-e)(1-e)ee

当e=0时,此信道为一一对应信道,得

1

C=log3, P(a1)=P(a2)=P(a3)=

311

当e=1/2时,得 C=log2, P(a1)=,P(a2)=P(a3)=

24

3.5 求下列二个信道的信道容量，并加以比较

p

（1）p



pp

p2

 （2）

p2

pp

20

0

 2

其中p+p=1

解：

（1）此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集 由于集列所组成的矩阵

p

p

算。

p2

,而这两个子矩阵满足对称性，因此可直接利用准对称信道的信道容量公式进行计2p

2

C1=logr-H(p1’ p2’ p3’)-

NklogMk

k1

其中r=2,N1=M1=1-2C1=log2-H(=log2+(

 N2=2 M2=4 所以

p,p-ε,2ε)-(1-2)log(1-2)-2log4

p)log(p)+(p-ε)log(p-ε)

p)log(p)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε

p)log(p)+(p-)log(p-)

=log2-2εlog2-(1-2ε)log(1-2ε)+(=(1-2ε)log2/(1-2ε)+(

输入等概率分布时达到信道容量。

（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，

此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组成的矩阵为

p

pp2，p0

0

2

这两矩阵为对称矩阵 其中r=2,N1=M1=1-2

2

 N2=M2=2，所以

C=logr-H(

p-,p-ε,2ε,0)-NklogMk

k1

=log2+(

p-)log(p-)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε

p-)log(p-)+(p-ε)log(p-ε) p-)log(p-)+(p-ε)log(p-ε)

=log2-(1-2ε)log(1-2ε)+(

=(1-2ε)log2/(1-2ε)+2εlog2+(=C1+2εlog2

输入等概率分布（P（a1）=P（a2）=1/2）时达到此信道容量。比较此两信道容量，可得C2=C1+2εlog2

3-6 设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。

X

Y

图3-17

1

0010110

22 解：00220022

对称信道

ClogmH(Y|ai)

1

log42log2

2

取2为底 C1bit/符号

3-7 (1)

条件概率

，联合概率，后验概率

111

p(y0) ， y1) ，y2

)

326

（

2） H(Y/X)=

（3）

当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为： P(x1/y2)=

15

，P(x2/y2)=

15

，P(x3/y2)=

35

其中错误概率为： Pe=P(x1/y2)+P(x3/y2)=（4）平均错误概率为

（5）仍为0.733 （6）此信道不好

原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真严重

15



35

0.8

x3-y3的概率0 完全失真 （7）

H(X/Y)=

16

Log(2)

110

Log(5)

115

Log

21351515

LogLog(5)LogLog(10)Log1.301

10102152103303

5

3. 8 设加性高斯白噪声信道中，信道带宽3kHz，又设{(信号功率+噪声功率)/噪声功率}=10dB。

试计算该信道的最大信息传输速率Ct。

解：

6

3. 9 在图片传输中，每帧约有2.2510个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。

解：

Hlog2nlog2164 bit/symbolINH2.2510649106 bit10

I9106

Ct1.5105 bit/s

t60

PX

CtWlog1P

N

3-10 一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。 （1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；

（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？

（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？ 解：（1）C

1.5105

W15049 Hz

PXlog2(11000)log1P

N

Ct

Wlog2(1SNR)

1106log2(110)

3.159Mbps

（2）C2W2log2(15)3.459Mbps

3.159M

W21.338MHZ

log26W3log2(1SNR')3.459Mbps

3.459

log2(1SNR')

0.5

SNR120

（3）C3

4.1

解：

依题意可知：失真矩阵：d平均失真：

2

2

011

p(b|a)，转移概率 ji110

p(ai)p(bj|ai)d(ai,bj)

i1j1

1/2(1)01/211/211/2(1)0

4.2

解：

01

依题意可知：失真矩阵：d，

20

Dminp(xi)mind(xi,yj)1/201/200

i

j

DmaxminDjminp(xi)d(xi,yj)1/201/211/2(1/221/201舍去)

j

i

当Dmin

0，R(Dmin)R(0)H(X)log21bit

10

因为没有失真，此时的转移概率为P

01

当Dmax

1/2，R(Dmax)0

因为取的是第二列的Dmax值，所以输出符号概率:p(b1)0,p(b2)1,a1b2,a2b2,因此编码器的转

01

移概率为P

01

4.3

解：

11113

DmaxminDjminp(xi)d(xi,yj)1110

j44444i

1111

Dminp(xi)mind(xi,yj)00000

j4444i

当Dmin0，R(Dmin)R(0)H(X)log42bit

10000100

 因为没有失真，此时的转移概率为P

00100001

当Dmax3/4，R(Dmax)0

因为任何一列的Dmax值均为3/4，所以取输出符号概率:

p(b1)1,p(b2)0,p(b3)0,p(b4)0，即

000000 000



000

11

a1b1,a2b1,a3b1,a4b1因此编码器的转移概率为P

11

4.4

解：

依题意可知：失真矩阵：d

j

011/4

， 

101/4

Dminp(xi)mind(xi,yj)1/201/200

i

DmaxminDjminp(xi)d(xi,yj)min(1/21/41/21/4)1/4(其它2个均为1/2)

j

i

当Dmin

0，R(Dmin)R(0)H(X)log21bit

100

因为没有失真，此时的转移概率为P

010

当Dmax1/4，R(Dmax)0

因为取的是第三列的Dmax值为1/4，所以取输出符号概率:

p(b1)0,p(b2)0,p(b3)3，即

001

a1b3,a2b3因此编码器的转移概率为P

001

4.5

解：

0011

(1)依题意可知：失真矩阵：d，转移概率为：Pq1q

10

p(xi)p(yj|xi)d(xi,yj)p10p01(1p)q1(1p)(1q)0

i1j1

nm

q(1p)

(2)Dmin

p(xi)mind(xi,yj)p0(1p)00

i

j

因为R(D)是D的递减函数，所以

max(R(D))R(Dmin)H(p)H(Dmin)plogp(1p)log(1p)

当q

0时可达到max(R(D))，此时0

minDjminp(xi)d(xi,yj)p0p1p(另一个1p更大，舍去)

j

i

(3) Dmax

因为R(D)是D的递减函数，所以

min(R(D))R(Dmax)H(p)H(Dmax)0

当q

1时可达到min(R(D))，此时1p

(图略，见课堂展示)

4.6

解：

101u0

依题意可知：失真矩阵：d，信源p(u)1/21/2

01

Dminp(xi)mind(xi,yj)1/201/200，

i

j

DmaxminDjminp(xi)d(xi,yj)min(1/201/2,1/21/20,1/211/21)

j

i

min[,,1]1(另二个，舍去)

0D1

因为二元等概信源率失真函数：

D

R(D)lnnH

a

其中n2,a1，所以率失真函数为： R(D)1D

4.7

解：失真矩阵为

011

，按照P81页方法求解（例4-5是二元输入和输入，本题是三元输入和输入，超麻烦！明天再算好

d101

110

发送过来噢）

4.8

信息率失真函数R(D)物理意义：

①R(D)是信源给定的情况下，在可容忍的失真度内再现信源消息所必须获得的最小平均信息量； ②R(D)是反映给定信源可压缩的程度；

③R(D)求出后，就与选择的试验信道无关，而只是信源特性的参量，不同的信源，其R(D)是不同的。 R(D)函数的性质：

性质1 : R(D)在定义域内是下凸的 性质2 : R(D)在定义域内是连续的 性质3 : R(D)在定义域内是单调递减的 因此：

1. R(D)是非负函数，定义域0～Dmax，值域0～H(X)； 2. R(D)是单调不增、下凸的连续函数。

H(XR(D* max

(2) 哪些码是非延长码？

(3) 对所有唯一可译码求出其平均码长和编译效率。 解：首先，根据克劳夫特不等式，找出非唯一可译码

C1:6231

C2:21222324252663164

C4:21224241C3:

C5:215231C6:225231C5不是唯一可译码，而C4：

又根据码树构造码字的方法

63164

C1，C3，C6的码字均处于终端节点

他们是即时码

5-2

(1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2

平均信息传递速率为 (2) 信源熵为

H(X)=

bit/ms=200bit/s

5-5

(1) H(U)=

=0.198bit/ms=198bit/s

11111111

[**************]14

18

12

Log(2)Log(4)Log(8)

116

Log(16)

132

Log(32)

164

Log(64)

1128

Log(128)

1128

Log(128)1.984

(2) 每个信源使用3个二进制符号,出现0的次数为

出现1的次数为

P(0)=

P(1)= (3)

(4) 相应的香农编码

相应的费诺码

（5）香农码和费诺码相同 平均码长为

编码效率为：

5-11

（1）信源熵

（2）香农编码：

平均码长：

编码效率为

（3） 费诺编码为

平均码长为：

编码效率：

（4）哈夫曼编码

平均码长为：

编码效率：

5.16 已知二元信源{0，1}，其p0=1/4,p1=3/4,试用式（4.129）对序列11111100编算术码，并计

算此序列的平均码长。

解：根据算术编码的编码规则，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)2

1llog7

P(S)

根据（4.129）可得：

F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–

P(y)= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)

ys

= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.[1**********]1

又P(S) = A(S)= 0.[**************]1，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S的码字为1101010 平均码长L为 0.875。