追忆信息论之父-香农博士

发信站: BBS 水木清华站 (Thu Apr 5 02:53:11 2001)

呵呵，乘饭没做好，灌几个花絮

1.Shannon当时的同事真是牛人荟萃，大概在贝尔实验室历史上也是

空前绝后。这里头有一个很重要的原因就是第二次世界大战把这些

顶尖的科学家集合到一起。shannon的那篇惊世之作也是缘起于大战

对通信提出了新的要求。特别的，对通信的可靠性和保密性提出了

理论和实践上的要求。这时，两个贝尔的牛人挺身而出，其中一个就是

shannon，他从理论上推导了通信工作者的工作目标和极限，就是那个

和爱因斯坦的E=mc^2相提并论的信道容量公式以及另外的R/D关系公式等。

2.这里要提到的是，香老师的这些工作是基于他对通信保密性的研究，

所以大家自然就会想到，香老师对保密工作有没有贡献啊？

回答自然是肯定的，紧接在他那片"A Mathematical Theory of Communication"

之后的第二年（1949），在新中国即将成立的隆隆炮火声中，香老师

为美帝国主义的贝尔实验室贡献了一篇题为"Communication Theory

of Secrecy Systems"的论文，成为了security & Cryptography的

奠基之作。应该辩证的看到，虽然香老师在世界观上面站错了队伍，

但是基于他在方法论上面的重大贡献，同时考虑到香老师的工作为

世界反法西斯斗争做出了卓越的贡献，这篇论文同前一片论文一样，

一直指导着我们的工作。最近的体现就是哈佛有个教授提出的不可

破译的密码加密法，据说其基础就是基于香农说的one-time pad

加密系统是无条件可靠的。美苏首脑热线就是用这种系统，估计

中美首脑热线也是，不过最近可能坏了，导致笑捕食天天站在白宫

门口喊话。这是后话，此处不表

3.但是香老师作为一个大理论家，不可避免的具有资产阶级臭老九

的通病，那就是光说不练，比如说他的那篇论文吧，他就告诉广大

通信民工，“嗨，傻小子们，看好了，你们的目标是这条曲线”

“香老师，那怎么才能达到或者接近目标呢？”“就不告诉你”

香老师这种态度激起了一个伟大的实践家，当时同在贝尔实验室打工的

的Hamming同学的不满，“你丫不也是一打工仔，拽什么拽？”

汉明同学就连夜工作，终于摸索出一套现实可用的码，俗称汉明码，

为了表明自己和香农划清界限，把其中的码距称为汉明距。但是，

汉明同学身上小农思想严重，出于专利权等的考虑，他把他的

码推迟了三年发表，在1952年才发表。尽管如此，香老师还是不记前嫌，

在他的作品里头大胆的引用（盗用？）了hamming的研究成果和结论。

充分证明了知识分子也是劳动阶级的一部分的伟大论断

4.在此之后，香老师无心插花，随地栽柳，研究范围随心所欲，

如果他想研究而当时世界上又没有这个领域的话他就自己开个场子

练。这就是为什么后人感叹香老师“how things are put together"

的原因

5.再后来，香老师似乎逐渐归隐。再后来，他就死了......

他死了之后，在不少教授和名流的评论，通常是这么开始的

" I thought he was dead"（我还以为他早死了呢）

6.贝尔实验室现在是一年不如一年，快被收购或者解散了吧？

不知道贝尔中国基础研究院还能蹦达几年

吃饭去了，呵呵

【 在 MoonTown (愤怒的盐) 的大作中提到: 】

发信人: post (自动转信系统), 信区: post

标 题: 追忆信息论之父－香农博士

发信站: 一塌糊涂 BBS (Sat Mar 24 15:20:53 2001), 转信

发信人: soliton (孤子), 信区: Electronics

发信站: 北大未名站 (Sat Mar 24 12:02:45 2001) , 站内信件

追忆信息论之父－香农博士

2001年2月24日，在步入新世纪仅仅2个月之后，当代最伟大的数学家和贝尔实验室最杰

出的科学家之一，香农（ClaudeElwoodShannon）博士在与疾病顽强搏斗了5年之后不幸与

世长辞，享年84岁。

香农博士于1916年4月30日出生在美国密执安州的Petoskey；1936年毕业于密执安大学

获数学和电子工程学士学位；1940年获得麻省理工学院数学博士学位和电子工程硕士学位。

从1941年起，他加入了贝尔实验室数学部，与当时贝尔实验室的许多著名科学家们一起工作

了十五年，他们当中有现代数字信号处理理论及实践的创始人和先驱者Nyguist和Hamming博

士。1956年之后，香农博士虽然被聘为著名的麻省理工学院的教授，但一直与贝尔实验室保

持着密切联系。

1948年6月和10月，由贝尔实验室出版的科技界著名杂志“贝尔系统技术（BellSystemT

ech）”连载了香农博士的文章———“通讯的数学原理”（AmathematicalTheoryofCommun

ication）”，从而奠定了信息基本理论的基础。在这篇文章中，他首先严格定义了信息的

位———“熵”（音同商）的概念。在此基础上，他又定义了信道容量的概念，并给出在不

同噪音情况下无失真通信的极限传输速率。这些贡献对今天的通信工业具有革命性的影

响。

下面，我们将通过简单的例子说明这两个现代通信中最基本的概念和原理。“熵”的概

念起源于热力学，是度量分子不规则热运动的单位。香农的伟大贡献在于，利用概率分布的

理论给出“熵”的严格定义。根据香农的定义，确定发生的事件如“太阳从东边升起”与确

定不发生的事件如“太阳从西边升起”，其熵都是零。

下面用一个简单的游戏来说明这个概念及其应用。设有甲、乙两人玩猜谜游戏，甲先想

好一个人或物的名字，写在纸上，藏于盒中。乙问甲有关纸上内容的一系列问题，例如“是

人还是物？”、“是男人还是女人？”、“是不是张三？”……甲仅回答是或否。乙试图用

最少数目的提问就猜出甲所写的人或物的名称。现在的问题是，乙如何最为有效地设计他（

她）的提问？根据熵的概念，问题所分割的事物应该尽量有相同的概率，也就是说，答案为

“是”和“否”的概率应尽量相同，这样乙才能获得最大的信息量。然后，乙方再根据对方

的答案，设计新的问题，逐步缩小搜索范围。所以说，我们上面列举的前两个提问都是比较

好的，而第三个提问（“是不是张三？”）就不是提问开始时应该问的问题。

在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此，香农推出了一个

公式，明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导出的为达

到无失真通讯的传输速率的极限，现已称为香农极限。打个比方来说，在周围干扰严重的情

况下，要想使对方听清楚，你就只有慢慢地讲，甚至还要不断重复。

如今，这两个原理现在已广泛应用于信息处理和实际通信中。由于熵表达了事物所含的

信息量，我们不可能用少于熵的比特数来确切表达这一事物。所以这一概念已成为所有无损

压缩的标准和极限。

与很多伟人一样，香农有着极其广泛的爱好。他是最早致力于研究电动老鼠钻迷宫和自

动下象棋机器的科学家。正如他自己所说的：“我总是奇怪事物是怎样拼在一起的？”

正是这种好奇心驱使他不断地思考和创新。他非常幸运地在年仅25岁时就被当时的贝尔

实验室数学部主任T．L．Fry看中，从而在这个世界一流的学术环境里成长，这是他成功

的一个关键。另一方面，贝尔实验室秉承了从古希腊亚里士多德的学院派到中世纪文艺复兴

时代西方现代文明的传统，不断为科学家们创造着开放式的兼容并包的自由学术气氛，这也

是香农得以做出这一划时代贡献的重要原因。

两年以前，贝尔实验室已开始塑造香农博士的塑像。他的塑像将与电话的发明人贝

尔的塑像一起耸立在贝尔实验室大厅入口处供人瞻仰。他的事迹已经载入贝尔实验室的展览

厅中，和数十名贝尔实验室所培养的世界一流大科学家们的事迹一起供人学习。他们之中有

十一名诺贝尔奖获得者，包括两名华人诺贝尔奖获得者崔琦和朱棣文。也有各种国际工商界

大奖的获得者，包括UNIX操作系统和C语言的发明者。展览中囊括了贝尔实验室在各个时期的

重要发明，如第一台传真机、按键电话、数字调制解调器、蜂窝电话、通信卫星、高速无线

数据系统、太阳能电池、电荷耦合器件、数字信号处理器、单芯片、激光器和光纤、光放大

器、密集波分复用系统、首次长途电视传输、高清晰度电视。在如此众多的发明之中，展览

会突出的信息时代的两项最重要发明就是晶体管和信息论，而香农博士正是信息论之父。

1998年，在香农还在世但已患老年痴呆症的情况下，国际电子工程师学会（IEEE）

举行了隆重的大会以纪念他的理论发表五十周年。来自世界各地的数百名顶尖科学家们对他

表示了深深的敬意。和世界各地一样，中国的科研工作者也很早就注意到香农的工作。北京

大学的江泽培教授在五十年代就翻译了有关香农理论的小册子；南开大学的胡国定教授更是

身体力行地建立了中国信息论的研究中心。

贝尔实验室正因为拥有诸多象香农这样的伟大科学家而享誉世界。尽管，朗讯科技

与其他高科技公司一样在发展过程中经历着起伏，但对于其创新机构———贝尔实验室研究

部门———的支持和保护却始终不变。正是这种支持使贝尔实验室能够为科研人员提供一个

稳定健康的研究环境，为培养像香农这样的科学家奠定了基础。目前，贝尔实验室已在世界

多个国家设立了研究机构，它的中国研究院在成立不到一年的时间里，已经和中国广大科研

工作者建立了良好的合作关系，并在自身的研究领域中取得了可喜的进展。贝尔实验室基础

科学研究院（中国）将谨守其对于中国的承诺，继续履行其在中国的使命。研究院与中国科

技教育界的合作不变；研究院在科研资金上的投入将比去年同期有大幅度增长；研究院的规

模及涉及的研究领域也将不断扩展。

在中国，从孔夫子的教育思想，春秋时代的百家争鸣，到五四运动时期科学与民主

的精神，以及北京大学蔡元培先生所提倡的兼容并包的办学方针，都有很多优秀的思想值得

借鉴。我们在深切怀念香农博士的同时，也祝愿贝尔实验室在中国的研究机构能结合古

今中外的优秀学术思想，持续地发展，不断地壮大，成为世界一流的研究机构。

（贝尔实验室基础科学研究院〔中国〕供稿）