信息论与编码课程总结
《信息论与编码》课程总结
信息论与编码是一门应用概率论、随机过程和数理统计等方法来研究信息
的存储、传输、处理、控制和利用一般规律的科学。它主要研究如何提高信息系
统的可靠性、有效性、保密性和认证性，以使信息系统最优化。
本书系统地论述信息论与纠错编码的基本理论。共9章,内容包括:信息的定
义和度量；离散信源和连续信源的信息熵；信道和信道容量；平均失真度和信息
率失真函数；三个香农信息论的基本定理:无失真信源编码定理、限失真信源编
码定理和信道编码定理；若干种常见实用的无失真信源编码方法，以及信道纠错
编码的基本内容的分析方法。
第1章首先讨论处信息的概念，进而讨论信息论这一学科的研究对象，目的
和内容，并简述本学科的发展历史，现状和动向。本章需掌握的大多是记忆性内
容，主要记住香农（C.E.Shannon）在1948年发表的论文《通信的数学理论》为
信息论奠定了理论基础。通信系统模型以及其五个部分（信息源，编码器，信道，
译码器信宿）
第2章首先讨论信源，重点研究信源的统计特性和数学模型，以及各类离散
信源的信息测度—熵及其性质，从而引入信息理论的一些基本概念和重要结论。
本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自
信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的
扩展信源的信息熵。另外要记住信源的数学模型。
第3章首先讨论离散信息信道的统计特性和数学模型，然后定量的研究信道
传输的平均互信息及其性质，并导出信道容量及其计算方法。重点要掌握信道的
数学模型，平均互信息的性质和算法以及与信息熵，条件熵之间的关系，会求一
些特殊信道的信道容量，如：无噪无损信道，对称信道，准对称信道以及一般信
道的信道容量的求法。
第4章讨论随机波形信源的统计特性和它的信息测度，以及波形信道的信道
容量等问题。重点要掌握连续信源的差熵，联合差熵，条件熵，平均互信息的性
质和求法以及它们之间的关系。注意：连续差熵与离散熵求法之间的区别。另外
还要掌握均匀分布连续信源，指数分布，正太分布连续信源的熵以及信道容量的
求法。
第5章着重讨论对离散信息源进行无失真编码的要求，方法及理论的极限，
并得出一个极为重要的极限定理----香农第一定理。重点要掌握等长码，变长码，
奇异码，非奇异码的定义，回即时码得树图构造法，惟一可译码的判断法，克拉
夫特不等式的应用以及求码的平均长度。
第6章讨论一般信道中存在噪声或干扰，信息传输会造成下，怎样使在有噪
信道中消息通过传输后发生的错误最少，在有噪信道中无错误传输可达的最大信
息传输率。重点要掌握在最小错误概率准则与最大似然译码准则下的平均错误概
率，汉明距离和最小距离的求法以及理解有噪信道编码定理和逆定理。
第7章 本学期并未涉及到，这里就不在叙述。
第8章主要讨论典型的霍夫曼编码，费诺编码，香农—费诺—诶利斯编码的
原理和方法。重点要掌握霍夫曼编码（最佳即时码），费诺编码，香农—费诺—
诶利斯编码的编码方法及相应的编码效率。
第9章主要讨论纠错码理论的基础内容。重点掌握纠错码的概念及纠错能力，
线性码得生成矩阵与校验矩阵。
第1、2、3、4章是全书的基础。首先阐述信息的概念，引出香农信息的定
义，信息论研究的目的、内容。在这基础上讨论各类离散信源、连续和波形信源
的信息测度——信息熵及离散信道、连续和波形信道的信息传输率和信道容量。
第5、6、7章主要论述香农信息论的三个基本定理——离散信源的无失真编码定
理、有噪信道编码定理及限失真信源编码定理。此部分内容是香农信息论的核心
部分。第8章介绍若干种常见实用的无失真信源压缩编码方法。第9章在给出必
要的数学知识基础上，论述信道纠错编码的基本内容和分析方法及一些主要的信
道编码方法。
心得体会：
1 基本概念的理解
信息论与编码的基本概念比较多也比较抽象，比如熵、自信息、互信息等。 对于每个概念的理解，要由浅入深，深入分析它们的含义及物理意义。比如互信
息，互信息量是信源发出x符号，信宿收到y符号，流经信道的信息量也是信宿
收到的信息量，也是收到y符号前后对信源发出x符号不确定的差异，不确定的
差异大小就是收到的信息量。一定要注意互信息不是不确定性，而是不确定性的
差。在学习新概念时要经常与已学概念进行对比，分析与已有概念间的区别与联
系，深刻探讨其物理意义的差别，避免知识点之间的混淆 。
2 数学推导与证明
信息论与编码有大量的数学运算和数学推导证明，对于这些运算和证明，须
由浅入深，一步步掌握。比如香农第一定理的证明，可以先从简单的例子引入。
如一个离散信源进行编码，如果考虑符号之间的记忆应该如何编码，不考虑记忆
关系应该如何编码，从这两个编码的过程可以得到这样一个认知：考虑符号之间
的记忆关系，那么有些符号序列发生的概率很小，可以不予编码，需要编码的序
列数减少，则每个序列对应的码长也就减小。这就是信源压缩的思路，把不等概
率和记忆关系都考虑进去。接下来严谨的数学证明就比较好理解了。在证明的过 程中，一定要把定理或公式所表达的物理含义和道理弄明白，知道每个式子或者符号表示什么含义。
3 相关课程的涉及
信息论与编码有一个特色：在信道编码与计算部分涉及大量的高等数学、概率论\线性代数、近世代数的知识。如在求解连续信源的差熵，联合熵，条件熵时就会用到大量微积分的知识，熟练的运用这些知识对求解信息论中的一些问题很有帮助。
“信息论与编码”是一门具有广泛的数学理论与知识，又有实际工程背景的课程，两者缺一不可。对我们数学系信息与计算科学专业的学生来说，虽然具有较好的数学基础和数学思维能力，但是缺乏通信、电子等方面的实际工程知识。 “信息与计算科学专业”就是要培养具有良好的数学基础和数学思维能力，掌握信息或计算科学的基本理论、方法与技能，能解决信息科学技术和信息工程计算中实际问题的高级理论研究型人才和技术型人才。无可置疑，信息论与编码理论必然是此专业的必修基础课之一。