熵概念的历史
2009年第4期 物理通报 物理学史与教育
熵概念的历史演变
陈
颖
(河北大学管理学院 河北保定 071002)
摘
要:考察了熵概念的历史演变, 包括源于物理学理论的熵函数, 跨越物理学的熵的衍生概念, 以及步入应
用领域的熵的相关用语.
关键词:熵 历史演变
随着经济的发展和信息社会的到来, 像资信, 信息熵, 负熵流, 低熵资源, 高熵废料, 熵增过程等与热力学熵函数相关的用语被越来越广泛和频繁地使用. 为了更清楚地了解这些用语的含义, 以便更准确地使用, 这里拟从熵与其相关概念的历史演变角度来理清它们的关系.
11. 1 卡诺定理和热力学第二定律
1924年卡诺(N. L. S. Carnot ) 在其论文《关于热
动力的几点设想》中, 对他所研究的卡诺循环, 即由两个等温过程和两个绝热过程组成的理想气体的可, :在相同的1, , 即
η=1-T 1
, 熵这个概, 而热力学第二定律的提出是受到了卡诺定理的启示, 因此, 本文先由卡诺定理谈起.
2. 3 实验分析及与理论值比较
但是, 若是不可逆热机, 则其效率不可能高于可逆热机的效率.
尽管卡诺用热质学说作为卡诺定理的理论基
(5) 两实验数据可得N 2=2N 1, 故改进由(4) 、
本实验所用的迈克尔耳孙干涉仪粗调(一圈分100小格) 顺时针旋转一圈, 动镜远离干涉屏1cm ;
得以验证. 3 结论
微调(一圈分100小格) 顺时针旋转一圈, 粗调动一小格; 则微调动一圈, 动镜远离干涉屏
1×10-3×10-2=10-5m
本文所提出的通过改进迈克耳孙干涉仪光路来提高其测量精度的方法切实可行. 提高其精度一倍的验证实验结果与理论吻合很好, 且有以下几点希望与正做相近研究的同行探讨.
(1) 此处所介绍的改进迈克耳孙干涉仪, 不但
λ
由d =k , 得
2
k =
λ
则理论上, 微调顺时针旋转一圈应冒出干涉环
Δk =λ
实验时所用氦氖激光器波长为632. 8nm , 则让微调顺时针旋转一圈应冒出干涉环数
Δk =
≈31. 61
632. 8×10-9
-5
可使其在测量微小厚度时的测量精度提高, 且同样适用于图2所示光路2′中测量浓度变化、折射率变化. 但需要所测材料厚度均匀.
(2) 当按类似光路(图2) 改进使精度提高两倍
或更高倍数时, 对M 1′的制作工艺及M 3的位置调整将随提高精度倍数增加而提高. 一般实验室难以实现.
—49
—
与步骤(5) 比较, 理论值与实验值稳合较好.
2009年第4期 物理通报 物理学史与教育
础, 造成一些模糊不请, 但是, 由于他的确揭示了热循环过程的某些重要特征, 所以对后来的研究者有所启示.
在卡诺定理的基础上,1850年克劳修斯(R.J. E. Clausius ) 在其论文《关于热动力》,1851年开尔文(Lord K elvin ) 勋爵(即汤姆孙W. Thomson ———笔者)
S =k ln W
称为玻尔兹曼公式. 其中k 为玻尔兹曼常量.
k =1. 38×10
-23
J/K
玻尔兹曼公式说明, 熵作为热力学几率的对数函数, 像热力学几率一样, 也能描述系统中微观粒子随机不确定性的无序混乱状态, 即熵是系统无序程度的测度指标. 玻尔兹曼公式还说明, 在孤立系统的自发过程中, 随着时间的推移, 系统的无序程度持续增加, 即在这种混乱的扩散过程中系统的熵随热力学几率持续增加, 直至达到微观粒子均匀分布, 无法再变化的平衡态. 此时, 熵随热力学几率达到最大值. 均匀状态比最初的非均匀状态多的多, 致使系统再也无法回到最初的非平衡态了. 这就是熵增原理所描述的不可逆过程. 因此玻尔兹曼公式通过微观机制也深化了熵的涵义. 2. (C. E. Shannon ) 发表《通信的数学
在其论文《热动力理论》中分别提出热力学第二定律, 指出热现象的不可逆性:
克氏说法是, 不可能把热由低温物体传向高温物体, 而不产生其他影响.
开氏说法是, 不可能由单一热源获得能量, 使之完全变成有用功, 而不产生其他影响. 1. 2 熵函数和熵增定原理
以热力学第二定律为基础, 1865年克劳修斯发表其论文《关于热唯动说基本公式的种种方便应用的形式》, 引出熵增原理. 热力学第二定律所描述的不可逆过程, 不管是热传导, 还是功热转换, 或者是扩散过程都可以用熵增原理加以概括:. , 不可逆的, 熵增加.
对于可逆过程而言熵函数的表示式可写作
S =
理论》, 标志着信息论的诞生. 在信息论中, 申农采用了哈特莱(Hartley ) 于1928年在《信息传输》一文中所提出的用对数测量信息的方法, 来描述通信过程中的信息熵.
从信息论的角度来看, 信息是通信过程中消息的内容. 申农把信息定义为用以消除不确定性的东西. 而信息熵就是需要用信息来消除的信号源系统的不确定性. 信号源作为一个不确定事件的集合
X =
x i |
i =1, …
, T
+S 0
其中T 为系统热力学温度, δQ 为与外界交换的热量, S 为熵函数简称熵, 或热熵, 是热力学系统中的一个状态函数, 其物理意义则要通过不可逆过程中状态变化的微观机制才能解释清楚.
顺便要提及的是, 克劳修斯在其论文中对熵的名称做了说明“:我认为用古代语言来称呼科学上具有重要意义的量比较好, 所以, 我建议称量S 为entropy (熵) . 这个词来源于希腊文, 即变换. 我有意
其概率为
P (X ) ={p (x i ) |
i =1, …, 其中每一个事件的自信息为
I (x i ) =-log p (x i )
把这个词称为entropy , 以便与energy (能) 尽可能相似”.
1. 3 熵函数和玻尔兹曼公式
1872年玻尔兹曼在其论文《关于热力学第二定
那么, 整个信号源系统的信息熵为
H (X ) =-
6
p (x i ) log p (x i )
信息熵的单位由对数的底决定. 对于以2, e , 10为底的机器对数, 自然对数, 常用对数, 它们的单位分别为比特, 迪特, 奈特. 它们的换算关系为
1bit =0. 301det =0. 693nat
律与几率的关系, 或热平衡定律》中用热力学几率
W 描述系统中微观粒子随机不确定性的无序混乱
状态, 并且证明了熵函数与热力学几率的对数形式成正比. 后来普朗克把这个关系写成—50
—
信息熵是信号源系统中表示事件不确定性的概率p 的单调函数, 与p 同步变化.
2009年第4期 物理通报 物理学史与教育
信息熵是信号源系统中各个不确定事件自信息的数学期望, 表示各个不确定事件的平均不确定性. 当系统中各个事件的概率相等时, 系统的信息熵达到最大值, 成为最大熵.
信息熵虽然是负号, 但却是正值.
这因为0≤p (x ) ≤1, log p (x ) ≤0, 所以
-log p (x ) ≥0即H (X ) ≥0.
界交换物质, 能量和信息, 达到一定阈值时, 经自组织, 系统可能由无序状态转化为有序状态. 这种非平衡状态下的新的有序结构称为耗散结构. 这个活的有序结构所消耗的来自外界的源源不断的信息、物质、能量就是负熵流. 只有当负熵流dS 超过系统内部的熵增dS 时(e =external ,i =internal ) ,
dS =d e S +d i S
2. 2 负熵和耗散结构理论
1945年薛定谔(E. Schr dinger ) 在其专著《生命
系统才会熵减, 成为有序态. 为了使摆脱无序态, 则必须把系统改造成开放系统, 引入负熵流. 有的学者称耗散结构理论为熵减定理. 2. 3 有关熵变问题
是什么? 活细胞的物理学观》中, 提出负熵的概念时, 谈到假如W 是系统无序程度的量度, 则其倒数1/W 可作为有序程度的一个直接量度. 因为1/W 的
随着科学技术的发展尤其是宇宙大爆炸理论的提出, 近来已有学者重新探讨了熵增原理, 并且提出了新的熵变理论. 指出, 基于世界的复杂性, 熵变规律必然是多样性的. 不同的熵变类型基于系统不同的内在性质和外界环境. 因此, 型(对数正好是W 的负对数, 玻尔兹曼公式可以写成
负熵=k log
W
因此, 负熵可以换成更好一些的说法:取负号的熵.
1948年维纳(N. Wiener ) 在其控制论的奠基性
著作《控制论:科学》中指出:数的负数, . Brillouin ) 中指出, 信息论
, 能量和信息交换, 熵在自发过程一直增加.
(2) 耗散结构型熵变
中信息熵的表达式与统计力学中熵函数的表达式是一致的. 信息熵是消除不确定性的信息量的量度. 在此专著中布里渊把熵和信息熵作为同一个东西看待, 还论证了信息就是负熵.
通过以上论述可知, 信息论中有两个与不确定性有关的量要用两个符号来表示. 一个是与熵相同的信息熵H (X ) , 它表示要被消除的信号系统中的不确定性; 另一个是与负熵相当的信息, 而信息的量化称为信息量I (X ) , 它表示完全消除这个不确定性所需要的信息量. 也就是说, 要用与信息熵相等的信息量
H (X ) =-
远离平衡态的开放系统与不断进行物质, 能量和信息交换, 因此, 可以引入负熵流, 抵消系统内部的熵增, 形成熵减过程.
(3) 熵减型熵变
当系统中的引力大于斥力时, 即使处于平衡态或近平衡态孤立系统, 其熵也不会增加, 而是减少.
(4) 更为复杂的熵变
当系统中存在非线性作用时, 则会出现更为复杂的熵变过程.
熵变理论可以让我们更好地理解与熵相关的概念. 对于热力学过程而言, 既有熵增过程, 也有熵减过程, 还有更复杂的熵变过程. 对于热力学状态而言, 则有熵, 负熵, 高熵, 低熵等. 熵表示无序, 负熵表示有序, 高熵表示有序程度差, 低熵表示有序程度强.
2. 4 有关熵守恒问题
6
p (x i ) log p (x i )
来消除这个不确定性. 信息熵和信息量的表示形式虽然相同, 但含义却不相同. 信息熵与熵一样是系统无序程度的量度; 信息量作为信息的量化形式, 是系统有序程度的量度. 同时, 与信息同义的负熵也表征系统的有序程度.
1967年普里高津(I. S. Prigogine ) 在一次“理论
日本学者槌田敦引入潜熵的概念, 将其定义为扩散能力(潜熵或扩散能力都说明系统处于非平衡态, 仍然具有变化能力———笔者) .
与能量守恒定律相比较, 槌田敦又提出熵守恒
—51
—
物理和生物学”的国际会议上, 提出耗散结构理论. 指出, 一个远离平衡态的开放系统通过不断地与外
2009年第4期 物理通报 物理学史与教育
定律
潜能+动能=恒量潜熵+热熵=恒量
(谮能—potential energy 通常称为势能———笔者) 2. 5 有关熵泛化问题
像能量和物质一样被确立为客观世界的三个要素之一; 资信也像能源和物资一样被认为是人类社会的三大资源之一. 可加工为材料的物质为物资, 可转化为动力的能量为能源; 而可提炼为知识的信息才是信息资源, 简称为资信. 严格的术语体系中, 大陆使用的资信, 信息和通信等, 分别对应着台湾的资讯, 讯息和通讯. 但是在实际的经济活动中, 媒体却先入为主地选择了来自台湾的”资讯”作为广告用语, 使之为广大受众所熟悉, 而”资信”却只驻足于书页之中. 当然信息经济学还是要利用资信来创立信息分析法, 对预测, 决策等市场活动进行信息分析.
实际上, 谈及当前的经济活动总是离不开“熵”. 例如, 经济学家鲍尔丁(K. E. Boulding ) 1960年曾经指出“生产过程中, 无疑是以产生高熵废料为代价而分离熵, 来制造高度有序的低熵产品. ”因此资源和, 也除了利用信息熵, 条件熵, 互信息, 联合熵等计算公式进行定量分析外, 熵权系数法也是一个行之有效的量化方法. 这种方法是根据熵和信息熵的概念把多指标决策和评价系统中, 各待选方案中的指标的固有信息与决策者经验判断的主观信息社会进行量化综合, 给各个指标赋权. 熵权法是有效地选择成本与效益均衡的有力工具.
参考文献
1 潘永祥, 等. 物理学简史. 武汉:湖北教育出版社, 19902 W. F. Magie. 物理学原著选读. 上海:商务印书馆, 19863 王雨田, 等. 控制论信息论系统科学和哲学. 北京:中
从克劳修斯提出熵这个概念至今, 由于物理理论的普适性, 在各个领域衍生出许多与熵相关的概念, 说明了熵在科学领域中的重要性. 为此, 已有学者专门对熵的泛化问题作了深入的研究. 指出熵的泛化是通两次扩展完成的.
第一次泛化是申农引入信息熵, 导致的“状态”的扩展:因为在通信理论中衡量信号所含信息量的多少与信号源要被消除的不确定性有关, 而这种不确定性与熵的微观解释的思维方法一致, 因此申农引入信息熵来描述信号源的不确定性, 使信息量的描述定量化. 信息熵的引入是熵概念的一种泛化, 其本质是给“状态”以更广泛的涵义. 熵作为描述热力学系统的一个状态函数, 的函数.
类的泛化, ———信号源扩展为随机事件的集合———信息源. 这样, 信息论中的通信系统便泛化为信息科学中的一般信息系统, 信息熵便可以用来描述信息源的不确定性了.
在自然科学和社会科学的各个领域中, 存在着大量的不同层次, 不同类别的随机事件的集合, 所有这些事件的集合都可以视为信息源, 并且都可以用信息熵这个统一的指标来描述其不确定性, 这也正是熵概念得以广泛应用的内在原因. 因此熵概念经历了状态和信源种类的两次泛化, 为熵及其相关概念应用开辟了广阔的前景. 3 步入应用领域的熵的相关用语
国人民大学出版社, 1986
4 钟义信. 信息科学原理. 北京:北京邮电大学出版社,
1996
5 C. E. Sannon , Mathematical Theory of C ommunication. Bell
Syst Tech J. 27, 1948维纳, 控制论(第二版) , 北京:科学
如上所述, 熵概念的深化和泛化促进了熵及其相关概念的实用化. 尤其是当代管理理论, 当代经济理论, 信息技术等科学技术领域都引入了熵及其相关概念, 并且其相关用语也层出不穷. 这里拟举例说明熵的相关用语.
一个有趣的实例是“资信”这个常用用语并没有被常用, 因此需要有一个合理的解释. 信息论的创立和信息技术的发展催生了信息经济, 致使信息也—52
—
出版社, 1983
6 薛定谔. 生命是什么? 上海:上海人民出版社, 19727 普里高津. 从混沌到有序. 上海:上海译文出版社, 19878 槌田敦. 资源物理学. 上海:华东工学院出版社, 1991
钱时惕. 世界的复杂性与熵理论. 科学技术与辩证法,
2004(1)
薛国良. 关于熵概念泛化的规律问题. 自然杂志, 1992
(3)