香农信息论大意
香农信息论初阶1
1.说明信息、消息、信号的关系。
信息是消息所含有的内容；消息是信息的外在表现形式；信号是消息的具体物理体现。
所以：信息⊂消息⊂信号。
2.论述Shannon信息论的不足之处。
Shannon信息论主要有两大不足：
第一，Shannon信息论中对信息的定义仅考虑由概率统计和随机过程所引起的因果关系的不确定（外延明确的不确定），未考虑其他因素引起的不确定性，如模糊不确定性（外延不明确的不确定）、混沌（chaos）不确定性（确定中的不确定）、灰色不确定性（贫信息的不确定）等。
第二，Shannon信息论中对信息的定义未涉及信息具有的主观性。
3.画出信息传输系统的模型，并对各主要部件进行阐述。
信源 → 编码器 → 信道 → 译码器 → 信宿
↑
噪声源
由于通信中的噪声源的存在，信息传输系统有以下5个部分：
（1）信源是产生消息和消息序列的源；
（2）编码器是把消息变成信号的部件，一般有信源编码、信道编码、加密编码；
（3）信道是指通信系统把载荷消息的信号从甲地传输到乙地的媒介或通道；
（4）译码器是把信道输出的编码信号进行反变换的部件，一般有解密译码、信道译码、信源译码；
（5）信宿是消息传送的对象。
4.Shannon信息论的框架结构。
Shannon信息论
压缩理论（研究信息表示的有效性）
有失真信源编码定理 信源编码理论 具体的信源编码
无失真信源编码定理
传输理论（研究信息传输的可靠性）
信道编码定理 信道编码理论 具体的信道编码
保密理论（研究信息的保密性）
保密编码定理 保密编码理论 具体的保密编码
5.何为自信息和平均自信息？
自信息定义为：I(a1
i)=log2p(a i)
n
平均自信息定义为：H(X)=∑p(a1
i)log2p(a)
i=1i
平均自信息是自信息的统计平均。
第 1 页 共 3 页
6.何为互信息和平均互信息？
互信息的定义为：I(ai;bj)=log2
np(ai|bj)p(ai)m
ij nm 平均互信息定义为：I(X;Y)=∑∑p(ab)I(a;b)=∑∑p(ab)logijij
i=1j=1i=1j=1p(ai|bj)p(ai)2
平均互信息是互信息的统计平均。
7.何为信道容量？
C=maxI(X;Y) P(ai)
I(X;Y)是p(ai)的上凸函数
8.何为信息率失真函数？
R(D)=minI(X;Y) p(bj|ai)
I(X;Y)是p(bj|ai)的下凸函数
9.简述香农三大编码定理及其应用。
Shannon第一编码定理：R≥H 当且仅当 存在无失真的信源编码。
该定理是无失真的信源编码的理论依据。
Shannon第二编码定理：R≤C 当且仅当 存在译码误差任意小的信道编码。
该定理是信道编码的理论依据。
Shannon第三编码定理：R≥R(D) 当且仅当 存在平均失真度任意小的信源编码。
该定理是压缩编码的理论依据。
其中R为信息传输速率；H为信息熵；C为信道容量；R（D）为率失真函数。
10.简述数据处理定理，并说明其意义。
数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
对于两级信道串联：X →P(Y|X) →Y →P(Z|Y) → Z
则数据处理定理的数学表达式为：I(X;Z)≤I(Y;Z) 或 I(X;Z)≤I(X;Y)
数据处理定理的意义：当对信号、数据或消息进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说，信息处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息。这就是所谓的信息不增原理。而在物理上是热熵不减原理。
第 2 页 共 3 页
香农信息论初阶1
1.说明信息、消息、信号的关系。
2.论述Shannon信息论的不足之处。
3.画出信息传输系统的模型，并对各主要部件进行阐述。
4.Shannon信息论的框架结构。
5.何为自信息和平均自信息？
6.何为互信息和平均互信息？
7.何为信道容量？
8.何为信息率失真函数？
9.简述香农三大编码定理及其应用。
10.简述数据处理定理，并说明其意义。
第 3 页 共 3 页