信息,消息,信号三者之间的关系

1.1.2信息、消息和信号的关系

消息是表达客观物质运动和主观思维活动的状态，指报道事情的概貌而不讲述详细的经过和细节，以简要的语言文字迅速传播新近事实的新闻体裁，也是最广泛、最经常采用的新闻基本体裁，如文字、语言、图像等。消息传递过程即是消除不确定性的过程：收信者存在不确定(疑问)，收信前，不知消息的内容。干扰使收信者不能判定消息的可靠性，收信者得知消息内容后，消除原先的“不确定”。

消息的结构：（一）标题（1）单行题（2）多行题；1.引题（眉题、肩题）：交代背景。2.主标题：概括主要新闻或消息。3.副标题：补充说明主标题。（二）导语：一般是对事件或事件中心的概述。（三）主体：承接导语，扣住中心，对导语所概括事实作比较具体的叙述，是导语内容的具体化。（四）背景：说明原因、条件、环境等。（五）结语：或小结，或指出事情发展方向等。消息的三个特点：真实性，实效性，传播性。

信息与消息的关系：形式上传输消息，实质上传输信息；消息具体，信息抽象；消息是表达信息的工具，信息载荷在消息中，同一信息可用不同形式的消息来载荷；消息可能包含丰富的信息，也可能包含很少的信息。

信号（也称为讯号）是运载消息的工具，是消息的载体。从广义上讲，它包含光信号、声信号和电信号等。例如，古代人利用点燃烽火台而产生的滚滚狼烟，向远方军队传递敌人入侵的消息，这属于光信号；当我们说话时，声波传递到他人的耳朵，使他人了解我们的意图，这属于声信号；遨游太空的各种无线电波、四通八达的电话网中的电流等，都可以用来向远方表达各种消息，这属电信号。把消息变换成适合信道传输的物理量，如光信号、电信号、声信号和生物信号等，人们通过对光、声、电信号进行接收，才知道对方要表达的消息。

对信号的分类方法很多，信号按数学关系、取值特征、能量功率、处理分析、所具有的时间函数特性、取值是否为实数等，可以分为确定性信号和非确定性信号（又称随机信号）、连续信号和离散信号、能量信号和功率信号、时域信号和频域信号、时限信号和频限信号、实信号和复信号等。

消息与信息的关系：消息携带着信息，消息是信息的运载工具；消息是信息的表现形式，信息是消息的具体内容。

信号是消息的物理体现。在通信系统中，系统传输的是信号，但本质内容的是消息。消息包含在信号之中，信号是消息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。

1.2通信系统的模型

通信的基本问题是在存储或通信等情况下，精确或者是近似再现信源发出的消息。在通信领域中，所需要研究的主要内容是通信中的有效性和可靠性，有的时候还要考虑信息传输的安全。通信系统的一般模型如图1.1所示

图1.1 通信系统的一般模型

1．信源

信源是产生消息的来源，可以是文字、语言、图像等；可以是连续的，也可以是散的。信源本身十分复杂，在信息论中一般只是对信源的输出进行研究。信源输出是以符号形式表示具体信息，是信息的载体。尽管信源输出形式很多，但是可以对其进行分类，其表现形式要么是连续的，要么是离散的。如文字、符号、数字等符号或者符号序列，其符号的取值都是可数的，这样的消息就是离散的；对于语音、图像等在时间上连续变化的参量，符号的取值都是不可数的，这样的消息是连续的。无论信源输出的符号是连续的还是离散的，它们都必须是随机的，否则无论是信源的特征研究还是通信研究都没有意义。信源的研究主要是研究信源发出消息的统计特征以及信源产生的信息速率。

2．编码器

编码器是将信源发出的符号转化为适合信道传输的信号的设备，一般包括信源编码、信

道编码和调制器等。编码器的模型如图1.2所示

图1.2编码器的模型

①信源编码器：主要解决有效性问题，在一定的准则下对信源输出进行变换和处理，目的是提高信息传输的效率，即通过去除信源输出符号的冗余，使信源输出的每个符号携带更多的信息量，从而降低信息传递所需要的符号数量，即减低总体数据传输速率，提高传输效率。

②信道编码器：由纠错编码器和调制器组成，目的在于充分利用信道的传输能力，并可靠的传输信息。

纠错编码器：对信源输出进行变换处理，通过增加冗余提高对信道干扰的抵抗力，从而信息传输的可靠性。由于信道中存在干扰，数据传递的过程中会出现错误，信道编码可以提供检测或者是纠正数据传输错误的能力，从而提高数据传输的可靠性。

调制器：将信道编码的输出变换为适合信道传输要求的信号。信道编码器输出的数字信号并不适合信道的传输，需要对其进行相应的信号变换和调制，然后将变换后的信号送往信道进行传输。

加密：为了提高信息传输的安全性，有时需要进行加密处理，这就需要扩展码位。加密处理同时也会降低系统传输效率，即有效性。

3．信道

信道是信息传输的媒质。信道将携带信息的信号从一个地方传送到另一个地方。常见的信道有明线、电缆、光纤、无线电波、纸张、图片甚至空气等。在水中，通信中可以采用声波传输，声波传输的媒质是水，所以水也是信道。随着科学技术的发展，大量的信息需要存储，存储器也是信道。

4．干扰源

通信系统中的各部分都会受到干扰，信号的类型不同，经过的信道不同，所遭受的噪声、干扰也有差异。将各种干扰等效成一个方框作用于信道。干扰源的统计特征是划分信道的重要因素，并是决定信道传输能力的决定因素。

干扰源的分类：

①加性干扰：由外界引入的随机干扰，如电磁干扰、设备内部噪声，它们与信道输入的信号统计特征无关，信道输出则是输入的干扰之和。

②乘性干扰：信号在传播过程中，由于物理条件的变化，如温度、电离层位置的随机变化引起的信号参量的随机变化，此时信道的输出是输入信号与某些随机变量相乘的结果。

信息论就是对干扰进行数学上的描述，确定它们对信号传输的影响，从而给出在无干扰的情况下，信道的传输能力。

5．译码器

译码器是编码器的逆过程，其目的是为了准确或者近似再现信源发出的消息。与编码器相对应，译码器一般是由解调器、信道译码器和信源译码器组成。其作用就是从受干扰的信号里最大限度的提取出有关信源输出消息的信息，尽可能的精确地恢复信源的输出并送给信宿。其中心问题就是研究各种可实现的解调和译码的方法。

6．信宿

信宿是信息的载体，即接收消息的人或机器，与信源处于不同地点或存在于不同时刻。它要对传送过来的信息提出可接受的条件，即提出一定的准则，发端将以此来确定对信源处理时所要保留的最小信息量。信宿的数量可以是一个，也可以是多个，取决于具体的应用需要。

1.3信息论的产生、发展及研究的中心问题

1.3.1信息论的产生、发展

信息论是本世纪40年代在现代通信技术发展的基础上诞生的，是研究信息的获取、储存、传递、计量、处理和利用等问题的一门新兴学科。本世纪30年代以前，科学技术革命和工业革命主要表现在能量方面，如新的动力机、工具机的出现。其实质是人的感觉器官和效应器官的延长，是人的体力劳动的解放。本世纪30年代以后，科学技术所发生的革命性变化，主要表现在信息方面，表现在信息的传递、储存、加工、处理等技术和通信、控制机以及人工智能的发展。其实质是人的思维器官的伸展，是人的脑力劳动的解放。

人们对于信息的认识和利用，可以追溯到古代的通讯实践。中国古代的“烽燧相望”和古罗马地中海诸城市的“悬灯为号”，可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。1924年美国奈奎斯特和德国居普夫、缪勒等人发现电信号的传输速率与信道带宽度成比例关系，从而最早提出了信息问题。1928年，哈特莱发表《信息传输》，首先提出信息是包含在消息中的信息量，而代码、符号这类消息是信息的具体方式。他还提出了信息定量问题，认为可以用消息出现概率的对数来度量其中所包含的信息。如从S个符号中选出N个符号组成一组消息。则共有SN个可能性。其信息量为H = N logS。这一理论是现代信息理论的起源，但当时未引起人们的注意。

直到第二次世界大战期间，一些与通信技术有关的新技术陆续出现，如雷达、无线电通

讯、电子计算机、脉冲技术等，为信息论的建立提供了技术基础。同时，作为信息论数学基础的概率论也得到飞速发展。在这种条件下，许多科学家从不同角度对信息论的基本理论进行了研究。1948年，美国数学家C.E.香农(被称为是“信息论之父”)出版《通信的数学理论》，1949年发表《噪声中的通信》，从而奠定了信息论的基础，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。

20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。它的建立是人类认识的一个飞跃。世界上各种事物都是充满矛盾不断发展的，物质的运动主要是靠内部矛盾运动所产生的能量，而事物之间的普遍联系则靠的是信息。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。信息论迅速渗透到各个不同学科领域，但还不够完善。为了适应科学技术发展的需要，迎接信息化社会的到来，一门新的科学正在迅速兴起，这就是广义信息论，或者叫做信息科学。信息科学是由信息论、控制论、计算机、人工智能和系统论等相互渗透、相互结合而形成的一门新兴综合性学科。信息科学登上现代科技舞台，与能量科学、材料科学鼎足而立 ，将为科学技术的发展做出贡献。

信息就是一种消息，它与通讯问题密切相关。随着计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。

信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，

以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。

目前信息论的两个方面的内容都取得了更大的发展。在香农信息论方面，当前值得注意的动向是信息概念的深化；多址和多用户信道（双向信道，广播信道，多元连接型信道等）理论的发展；多重相关信源理论的发展；信息率失真理论的发展及其在数据压缩和图像处理中的应用等问题。这些领域都是与20世纪80年代信息工程——空间通信、计算机网络、图像电子学等密切相关的。

在维纳信息论方面，由于光线通信即将成为现实，成像雷达以及二维图像信息处理正在迅猛发展。为此，我们对量子检测和估计理论、非参数测量和估计理论以及非线性检测与估计理论都要给予足够的重视。

1.3.2信息论研究的中心问题

由前面关于信息概念的讨论中可知：信息论研究的中心问题是为设计有效的，可靠的通信系统提供理论依据。由于消息中包含着信息，所以消息的传输系统也是信息的传输系统，简称通信系统。人们通过消息的传输和处理过程来研究信息传输和处理过程中的共同规律。 信息论是运用概率论与数理统计的方法研究信息传输和信息处理系统中一般规律的新兴学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。

•

•

–

•

– 信息论作为一门科学理论，发端于通信工程。它主要有以下几个概念： 狭义信息论： 主要研究信息的测度、信道容量以及信源和信道编码理论等问题。 一般信息论： 主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。

•

– 广义信息论： 不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。

研究一个概括性很强的通信系统，其目的就是要找到信息传输过程的共同规律。一旦总结出这种共同的规律，就可以用来指导具体通信系统的设计，使设计出来的各种通信系统具有更高的可靠性和有效性。所谓的可靠性高，就是要使信源发出的信息经信道

传输以后，尽可能的准确不失真的再现在接收端。而所谓的有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。两者的结合就能使系统达到最优化。

以后我们会知道，提高可靠性和提高有效性常常会发生矛盾，这就要统筹兼顾。例如为了兼顾有效性，有时就不一定要求绝对准确的在接收端再现原来的信息，而是允许一定的误差或一定的失真，或者说允许近似的再现原来的消息。

关于信息论研究的具体内容，是一个有争议的问题。有人认为信息论只是概率论的一个分支，这是数学家的观点。当然，这种看法有一定的根据，因为香农信息论确实为概率论开拓了一个新的分支。但如果把信息论限制在数学的范围内，这就太狭隘了。也有认为信息论只是熵的理论，这是某些物理学家的观点。他们对熵特别感兴趣，熵的概念确实是香农信息论的基本概念之一，但信息论的全部内容要比熵广泛得多。

归纳起来，信息论的研究内容大致包括以下几个方面。

1） 通信的系统理论研究

主要研究利用统计数学工具分析信息和信息传输的统计规律，其具体内容有：①信息的度量；②信息速率与熵；③信道传输能力——信道容量。

2） 信源的统计特征

主要包括：①文字（如汉字）、字母（如英文）统计特征；②语音的参数分析和统计特征；③图片及活动图像（如电视）的统计特征：④其他信源的统计特征。

3） 收信者接受器官的研究

主要包括：①人的听觉器官和视觉的器官的特征；②人的大脑感受和记忆能力的模拟。这些问题的研究与生物学、生理学、心理学、的研究密切相关。

4） 编码理论与技术的研究

主要包括：①有效性编码：用来提高信息传输效率，主要是针对信源的统计特征进行编码，所以有时也称为信源编码；②抗干扰编码：用来提高信息传输的可靠性，主要是针对信道统计特征进行编码，所以有时候也称为信道编码。

5） 提高信息传输效率的研究

主要包括：①功率的节约；②频带的压缩；③传输时间的缩短，即快速传输问

6） 抗干扰理论与技术的研究

主要包括：①各种调制制度的抗干扰性；②理想接收机的实践。

7） 噪声中的信号检测理论与技术的研究

主要包括：①信号检测的最佳准则；②信号最佳检测的实践。

由上面的讨论可以看出来，信息论的研究内容极为广泛，是一门新兴的边缘学科，是当代信息科学的基本的和重要的理论基础。

综上所述，信息论是一门应用概率论、随机过程、数理统计和近代代数的方法来研究广义的信息传输、提取和处理系统中一般规律的工程科学；它的主要目的是提高信息系统的可靠性和有效性以便达到系统的最优化；他的主要内容（或分支）包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论和随机噪声理论等。

由于信息论研究的内容极为广泛，而各分支又有一定的相对独立性，因此本书仅仅讨论了信息论的基本理论。