论信息论与编码的发展与前景

信息论与编码的发展与前景 摘要：信息论理论的建立，提出了信息、信息熵的概念，接着人们提出了编码定理。编码方法有较大发展，各种界限也不断有人提出，使多用户信息论的理论日趋完整，前向纠错码（FEC）的码字也在不断完善。但现有信息理论中信息对象的层次区分对产生和构成信息存在的基本要素、对象及关系区分不清，适用于复杂信息系统的理论比较少，缺乏核心的 “实有信息”概念，不能很好地解释信息的创生和语义歧义问题。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明，其他信道也有一些结果，但尚不完善。但近几年来，第三代移动通信系统（3G）的热衷探索，促进了各种数字信号处理技术发展，而且Turbo码与其他技术的结合也不断完善信道编码方案。

关键词：信息论 信道编码 纠错编码 信息理论的缺陷 3G Turbo码

一、信息论的形成和发展

信息论从诞生到今天，已有五十多年历史，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。

1.1信息论形成的背景与基础

信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。人们公认的信息论的奠基人是当代伟大的数学家、美国贝尔实验室杰出的科学家香农，他在1948年发表了著名的论文《通信的数学理论》，为信息论奠定了理论基础。近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。

通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。

电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展，其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等，一切都离不开消息传递和信息流动。

例如，当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。

本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波进行放大的电子管。之后很快出现了远距离无线电通信系统。大功率超高频电子管发明以后，电视系统就建立起来了(1925—1927)。电子在电磁场运动过程中能量相互交换的规律被人们认识后，就出现了微波电子管(最初是磁控管，后来是速调管、行波管)，接着，在三十年代末和四十年代初的二次世界大战初期，微波通信系统、微波雷达系统等就迅速发展起来。五十年代后期发明了量子放大器，六十年代初发明的激光技术，使人类进入了光纤通信的时代。

随着工程技术的发展，有关理论问题的研究也逐步深入。1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。1885年凯尔文(L.Kelvin)曾经研究过一条电缆的极限传信率问题。1922年卡逊(J．R．Carson)对调幅信号的频谱结构进行了研究，并建立了信号频谱概念。1924年奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽。他把信息率与带宽联系起来了。1928年哈特莱(R．V．Hartley)发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列。他的工作对后来香农的思想是有影响的。

1936年阿姆斯特朗(E．H．Armstrong)认识到在传输过程中增加带宽的办法对抑制噪声干扰肯定有好处。根据这一思想他提出了宽偏移的频率调制方法，该方法是有划时代意义的。

信息论作为一门严密的科学分支，主要归功于贝尔实验室的香农。他在1948年发表的论文《通信的数学理论》奠定了信息论的基础。控制论的创始人维纳也对信息论有不可忽视的贡献。香农和维纳的基本思想都是把通信作为统计过程来处理。他们采用的术语、方法也主要依靠统计理论。

1.2香农信息论的建立与发展

1948年香农在《Bell System Technical Journal》上发表了《A Mathematical Theory of Communication》论文由香农和威沃共同署名。前辈威沃当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。

这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。

香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。

通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄信息论理论基础的建立，一般来说开始于香农(Shannon)在研究通信系统时所发表的论文。他在1941年至1944年对通信和密码进行深入研究，并用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。还

指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息，而实现这一目标的主要方法是编码等。

信源编码的研究落后于信道编码。香农在1948年的论文中提出了无失真信源编码定理，也给出了简单的编码方法——香农码。1952年费诺(Fano)和哈夫曼(Huffman)分别提出了各自的编码方法，并证明其方法都是最佳编码法。1959年香农的文章《Coding theorems for a discrete source with a fidelity criterion》系统地提出了信息率失真理论和限失真信源编码定理。这两个理论是数据压缩的数学基础，为各种信源编码的研究奠定了基础。随着传输内容和传输信道的发展，人们针对各种信源的特性，提出了大量实用高效的信源编码方法。

近30年来，这一领域的研究活跃，大量的论文被发表，使多用户信息论的理论日趋完整。

二、信道编码的应用与研究

2.1信道编码的现状

信道编码是通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。是信息论的内容之一。信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。不是所有信道的编码定理都已被证明。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。

2.2信道编码的研究

数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错（FEC）编码。前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在接收端解码后，不仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统（单向传输系统）都采用这种信道编码方式。信息论主要应用于通信领域，在含噪信道中传输信息的最优方法到今天还不十分清楚，特别是在数据的信息量大过信道容量的情况下更是毫无所知，这是经常遇到的情况。

三、现有信息理论的缺陷

（1）信息对象的层次区分没有得到重视。不少研究者将本体论层次的信息与认识论层次的信息混为一谈，将普适性信息范畴与具体科学，特别是技术层次（如通信、控制、计算等）的信息概念混为一谈。抓住信息的某一层次或某一方面当成信息对象的总体。

（2）对产生和构成信息存在的基本要素、对象及关系区分不清。如将对象的直接存在（对象的物质、能量、相互作用、功能等存在）当成信息存在；将信息的载体存在当成信息存在；将信息与载体的统一体当成信息存在；把信宿获得的“实得信息”当成唯一的信息存在，这是主观信息论。或者把信源和信道信息当成唯一的信息存在，称之为客观信息论。这二种极端的信息理论正是忽略了信

息在关系中产生、在关系中存在的复杂本质。忽略了信息存在至少涉及三个以上对象及复杂关系。

（3）适用于复杂信息系统的理论比较少。目前的狭义与广义信息论大多是起源和立足于简单系统的信息理论，即用简单通讯信息系统的方法来类比复杂系统的信息现象，将复杂性当成了简单性来处理。而涉及生命现象和人的认识论层次的信息是很复杂的对象，其中信宿主体内信息的语义歧义和信息创生问题是难点，用现有信息理论难以解释。

（4）现有信息理论体系中缺乏核心的 “实有信息”概念。

（5）现有信息理论对信宿实得信息的理解过于简单，没有将直接实得信息与间接实得信息区别开来。

（6）现有信息理论不能很好地解释信息的创生和语义歧义问题。

四、信道编码的发展与前景

移动通信的发展日新月异，从1978年第一代模拟蜂窝通信系统诞生至今，不过20多年的时间，就已经过三代的演变，成为拥有10亿多用户的全球电信业最活跃、最具发展潜力的业务。尤其是近几年来，随着第三代移动通信系统（3G）的渐行渐近，以及各国政府、运营商和制造商等各方面为之而投入的大量人力物力，移动通信又一次地在电信业乃至全社会掀起了滚滚热潮。虽然目前由于全球电信业的低迷以及3G系统自身存在的一些问题尚未完全解决等因素，3G业务的全面推行并不象计划中的顺利，但新一代移动通信网的到来必是大势所趋。因此，人们对新的移动通信技术的研究的热情始终未减。

移动通信的强大魅力之所在就是它能为人们提供了固话所不及的灵活、机动、高效的通信方式，非常适合信息社会发展的需要。但同时，这也使移动通信系统的研究、开发和实现比有线通信系统更复杂、更困难。实际上，移动无线信道是通信中最恶劣、最难预测的通信信道之一。由于无线电波传输不仅会随着传播距离的增加而造成能量损耗，并且会因为多径效应、多普勒频移和阴影效应等的影响而使信号快速衰落，码间干扰和信号失真严重，从而极大地影响了通信质量。为了解决这些问题，人们不断地研究和寻找多种先进的通信技术以提高移动通信的性能。特别是数字移动通信系统出现后，促进了各种数字信号处理技术如多址技术、调制技术、纠错编码、分集技术、智能天线、软件无线电等的发展。

1993年出现的Turbo码,由于其很好地应用了编码定理中的随机性编译码条件和最佳译码算法,而获得了几乎接近香农理论极限的译码性能, 立即在通信界引起了研究Turbo码的热潮。

4.1turbo码的信道编码方式及研究

在第三代移动通信系统中,信道编码方案已不仅仅是纠错码的选择、编译码算法和交织算法的问题. 它还涉及与高层消息的通信,若从高层获得业务质量指示、业务复用方式等信息,以实现不同业务的不同编码和复用方案,从而以最高的效率提供多种业务的组合等问题。

WCDMA的信道编码方案包括以下几部分：纠错编码/译码(包括速率适配)，交织/解交织，传输信道映射至/分离出物理信道。

近几年来,人们对Turbo码的编译码结构及译码算法进行优化和改进,以期进一步提高Turbo码的译码性能,考虑硬件实现的可行性,并试图从理论上解释其性能优越的根本原因。

4.2Turbo码在第三代无线通信中的应用

信道编码技术可改善数字信息在传输过程中由于噪声和干扰而造成的误差，提高系统可靠性。因而提供高效的信道编译码技术成为3G移动通信系统中的关键技术之一。3G移动通信系统所提供的业务种类的多样性、灵活性，对差错控制编译码提出了更高的要求。WCDMA和CDMA2000方案都建议采用除与IS－95 CDMA系统类似的卷积编码技术和交织技术之外，采用Turbo编码技术。

4.3Turbo码与其他技术的结合

随着Turbo码的研究发展，在3G移动通信系统设计中，Turbo码以及Turbo思想越来越多地被用于和其他技术的结合上。例如在CDMA中，由于Turbo码编码中使用交织，可以通过分散信息码元的位置降低扩频码间的相关性。实现时，将Turbo码与DS－CDMA系统的扩频编码结合起来，扩频码做内码，Turbo码做外码，用交织器相连，类似于级联码的形式。接收端，先通过匹配滤波器分离出各用户的接收信息，再根据信道模型计算出传递条件概率进行解扩，经过分支概率产生器后得到各个用户接收信息的后验概率，分别送入相应的Turbo码译码器，每个译码器得到一个软判决输出和一个边信息，其中边信息送回分支概率产生器，作为下一次迭代译码的先验信息，从而实现了Turbo码的迭代译码。此外，Turbo码与调制结合的T－TCM，Turbo码与ARQ结合，Turbo码的迭代思想用于多用户检测，等等技术成为现在3G移动通信技术研究中的热点。

五、参考文献:

[1]罗欣等.多元互信息在超光谱图像自动配准中的应用. 计算机工程与应用，2006.27(3)：3-8

[2]强赞霞，彭嘉雄，王洪群．基于互信息的分层遥感图像配准方法[J]计算机工程与应用，2004.40（13）：31-33

[3]白继伟，赵永超，张兵等．基于包络线消除的超光谱图像分类方法研究[J] 计算机工程与应用，2003。39（13）：88-90

[4]周永新，罗述谦.基于形状特征点最大互信息的医学图像配准[J]基于机辅助设计与图形学学报2002.14（7）654-658

[5] 朱虹．图像数字处理基础[M]北京：北京出版社，2005.25-28