信息论与编码技术

《信息论与编码技术》教学大纲

一、课程信息

课程代码：T0808007

课程名称：信息论与编码技术

英文名称：Information Theory and Coding Techniques

课程类别：拓展课

总 学 时：36 学时

理论学时：36 学时

实践学时：2 学时

学 分： 2 学分

开设学期：第6学期

适用对象: 通信工程本科专业学生

考核方式：考查

先修课程：信号与系统，数字信号处理，通信原理，概率论与数理统计

大纲拟定人：张岩

大纲审定人：吴顺伟

二、课程简介

《信息论与编码技术》课程是通信工程专业的专业拓展课，是通信工程专业的选修课程。本课程的主要内容是应用概率统计方法来研究信息的传输、存储和处理，建立通信系统的统计模型，对系统中的每个部分进行系统地描述，信息论理论应用于信源和信道就是编码。信息论与编码技术是一门对现代科学技术的发展具有重大的影响学科。本课程的教学目的是让学生了解香农信息论的基本内容，掌握其中的基本公式和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技术奠定良好的理论基础。

第一章：概论

教学目标和要求：了解信息论的发展的历史，特别是香农信息论的发展；了解本书的主要内容；了解通信系统的模型，信息的传递，概率统计模型。

教学重点与难点：通信系统的数学模型

实践环节：无

建议使用的教学方法与手段：图文结合多媒体讲授

教学学时：理论2学时 实践0学时

第一节信息论的发展概况

信息的一般概念；香农信息定义；信息论与编码发展简史、数字通信系统模型

第二节信息论与编码理论的主要内容

第二章：信息熵

教学目标和要求：掌握熵的定义及其性质，掌握各种信源信息熵的相关理论，会计算各种信源的信息熵。

教学重点与难点：信息熵的定义及各种熵的计算

实践环节：无

建议使用的教学方法与手段：图文结合多媒体讲授

教学学时：理论10学时 实践0学时

第一节 单符号离散信源

信源的数学模型及分类：信源的数学模型；信源的分类，离散信源的信息熵及其性质。自信息；信源的信息熵；熵的基本性质。

第二节 多符号离散信源

离散无记忆信源的扩展信源，离散平稳信源，平稳信源的概念；二维平稳信源；一般离散平稳信源

第三节 连续信源

单符号连续信源的熵；波形信源的熵；最大熵定理。

第四节 离散无失真信源编码定理

第三章：信道容量

教学目标和要求：了解信道容量的定义，掌握各种信道的信道容量的计算方法

教学重点与难点：特殊信道的信道容量；连续信道的信道容量。

实践环节：无

建议使用的教学方法与手段：图文结合多媒体讲授

教学学时：理论6学时 实践0学时

信道的数学模型；信道的分类。

第一节 信道的数学模型与分类 第二节 信道疑义度与平均互信息

信道疑义度 ；平均互信息；平均互信息的性质。

第三节 离散无记忆信道的扩展信道 第四节 离散信道的信道容量

信道容量的定义 ；简单离散信道的信道容量；对称离散信道的信道容量；离散无记忆N 次扩展信道的信道容量。

第五节 连续信道的信道容量

连续单符号加性高斯噪声信道的信道容量；多维无记忆加性连续信道的信道容量； 限频限时限功率的加性高斯白噪声信道的信道容量；

第六节 信源与信道的匹配 第七节 信道编码定理

第四章：信息率失真函数

教学目的与要求：了解信息率失真函数的相关定义，掌握各种信息率失真函数的计算方法。 教学重点与难点：失真函数，平均失真度，信息率失真函数定义及其计算

实践环节：无

建议使用的教学方法与手段：图文结合多媒体讲授

教学学时：理论6学时 实践0学时

第一节 失真测度：系统模型；失真度和平均失真度

第二节 信息率失真函数

信息率失真函数的定义；信息率失真函数的性质。

第三节 离散无记忆信源下的信息率失真函数的计算

具有等概率、对称失真信源的计算；信息率失真函数的参量表述及计算（可选）。

第四节 连续无记忆信源的信息率失真函数

连续无记忆信源的信息率失真函数的定义；高斯信源的信息率失真函数；连续无记忆信源

信息率失真函数的参量表述（可选）；差值失真度量下连续无记忆信源信息率失真函数的计算（可选）。

第五节 保真度准则下的信源编码定理

第五章：信源编码

教学目的与要求：掌握离散信源的各种编码方法，了解连续信源的编码。

教学重点与难点：香农编码；菲诺编码；霍夫曼编码

实践环节：无

建议使用的教学方法与手段：图文结合多媒体讲授

教学学时：理论6学时 实践0学时

第一节 编码器及相关概念

码的分类；码树；Kraft 不等式。

第二节 最佳变长编码

香农码；费诺码；霍夫曼码。

第三节 限失真信源编码 第四节 实用信源编码方法：

游程编码；算术编码；预测编码；变换编码

第六章：信道编码

教学目的与要求：掌握相关概念、线性码、循环码的编码方法。

教学重点与难点：循环码的编码与解码

实践环节：无

建议使用的教学方法与手段：图文结合多媒体讲授

教学学时：理论6学时 实践0学时

第一节 信道编码的概念

信道编码的分类；与信道编码有关的基本概念；检错与纠错原理；检错与纠错方式和能力。

第二节 线性分组码

基本概念；矩阵表示；线性分组码的译码；线性分组码检错纠错能力；汉明码。

第三节 循环码

循环码的多项式描述；循环码的生成矩阵；系统循环码；多项式运算电路；循环码的编码电路；循环码

的译码电路；常用循环码。

卷积码的编码；卷积码的译码。

四、大纲参考资料

教材：《信息论与编码技术》冯桂 等编著，清华大学出版社， 2007年。

主要参考书目：

1、Thomas M.Cover, Joy A.Thomas，>（Elements of Information Theory, 英文影印版）, 清华大学出版社，2003年

2、Robert J.McEliece,>(The Theory of Information and Coding, (第2版), 电子工业出版社, 2005年.

3、王育民 李 晖 梁传甲，> (第1版) ，高等教育出版社， 2009年 第四节 卷积码