最大熵原理在测量数据处理中的应用
第23卷 第1期 2009年1月
电子测量与仪器学报
JOURNALOFELECTRONICMEASUREMENTANDINSTRUMENT
Vol123 No11
・ 47・
最大熵原理在测量数据处理中的应用
程 亮 童 玲
(电子科技大学自动化工程学院,成都610054)
摘要:针对测量数据处理中掺杂主观因素且不能准确反映客观事实的问题,采用最大熵方法,根据已有的测量数据求取被测量的概率分布,进而对此概率分布在不同矩约束条件下进行估计和评价。测量数据源自计算机产生的呈标准正态分布的测量数据样本,计算测量结果用MATLAB编程做出仿真图形,仿真结果与计算结果表明:采用最大熵方法所确定的概率分布是含有最少主观假定的分布,并随着矩约束的增加,,用所测定的测量结果进行估计以及用测量不确定度进行评价,可知计算结果是可靠的。
关键词:最大熵方法;非线性最小二乘方法;概率密度函数;TLAB中图分类号:TM93;O12647;N32 文献标识码:A
Measurementdataentropymethod
Liang TongLing
(Automation,UniversityScienceandTechnologyofChina,Chengdu,610054,China)
Abstract:Intheanalysisofmeasurementdatawithadulteratedsubjectivefactor,itisdifficulttoaccu2ratelyreflectobjectivemeasurementresult.Tosolvethisproblem,themaximumentropymethod(MEM)isusedtodeterminetheprobabilitydistribuionofthegivenmeasurementdata,andtheprobabilitydistribu2tionisestimatedandevaluatedunderdifferentmomentconstraints.Themeasurementdatacamefromthemeasurementsampledatawithstandardnormaldistribution.TheresultisvalidatedbytheMATLABsoft2ware.SimulationandcalculationresultsprovethattheprobabilitydistributiondeterminedbytheMEMisthereasonabledistributionwithleastsubjectiveassumption,andtheprobabilitydistributionobtainedwouldbeclosertotherealdistributionasthemomentconstrainsareincreased,andtheevaluationofmeas2urementresultanditsuncertaintyfeatureshighprecision,whichmeansthecalculationresultsarereliable.
Keywords:MaximumEntropyMethod(MEM);nonlinearleastsquaresmethod;probabilitydensityfunction;MATLAB;measurementuncertainty.
1 引 言
近年来,有越来越多的人把信息论中的熵的概念及其性质运用于测量数据处理中,特别是运用在1957年由詹涅斯(Jaynes)提出的最大熵原理[1]来解释不同专业领域的各种不适定(即有多种可能解)的问题,其中也有将其运用于求解数据分布的概率密度函数的问题。目前,常规的测量数据处理中,人们大多数按照主观经验来认定测量数据是服从于某种分布,这些做法都给处理结果添加了不少主观因素,
本文于2007年8月收到。
使得结果与客观事实相偏离。而运用最大熵原理求解得到的概率分布不添加任何主观因素,不偏不倚地反映客观事实的概率密度分布,因此通过概率密度函数的获取,建立和完善用“测量信息论”对测量结果进行数据处理的理论体系,获取测量评价参数,是目前亟待解决的问题。
本文以最大熵方法[2]为基础,采用非线性最小二乘方法进行优化,通过数据样本估计出最接近真实情况的概率密度分布[3],并用MATLAB语言编程作出仿真图形,给出了由测量数据样本确定被测量分布的方法,并将所求得的分布用于测量结果的
・ 48・电子测量与仪器学报2009年
估计及测量不确定度的评定。
1)输入各阶矩(样本原点矩)和上下界的值;2)用式(7)建立残差的表达式;
2 基于最大熵原理的概率密度函
数的确定
[4]
λ3)选定初始点法,计算λ1,λ2,…,n的初始值;
4)调用优化程序,本文采用的优化方法为非线性最小二乘方法;
5)判断是否收敛6)是,转9);
7)否,退出并显示运算失败;
λ8)输出λ1,λ2,…,n;
9)最后计算λ0,写出表达式画出仿真图形,并与真实理论图形比较。3.2
优化子程序
对于连续型随机变量x的概率密度p(x)信息
熵可定义为:
H(x)=-p(x)lnp(x)dx→MAX∫
R
(1)
满足约束条件:
f(x)dx=1∫
xf(x)=m,i=1,2,…,m∫
R
iR
i
(2)(3)
式中:f(x)为概率密度函数,R为积分区间,m为所用矩的阶数,mi为样本的第i阶原点矩。
通过调整p(x)来使熵达到最大值,格朗日乘子法[5]来求解此问题,数表达式,如下所示:
f(x)=exp(λλ式中:λ0,1,…,m。
λλ应用约束条件则可得到λ0,1,…,m所满足的
方程,如下所示:
=1
ix(4)
λx)dxexp(∑∫
λ=-ln(xexp(∑λx)dx)
∫
mi=
R
m
xexp(
i
m
i
λix)dx∑i
(5)
R
i
i=1
m
i
R
i
i
(6)
i=1
为了便于数值求解,将式(5)改写为:
1-
=Rλx)dxmexp(∑∫
R
m
xexp(
i
m
λx)dx∑
i
ii
i
i=1
i
(7)
i
R
式中:Ri为残差,可以用数值计算的方法把它减小到接近于零。用非线性规划[6]求这些残差平方和的
最小值,就可以得到问题的解:
m
R=
i=1
∑R
2i=最小值(8)
当R
3 求解概率密度函数[7]的程序及
优化子程序
3.1 求解概率密度分布的程序
由测量数据样本确定概率分布的算法如下:
图1 算法流程图Fig.1 Algorithmflowchart
第1期最大熵原理在测量数据处理中的应用・ 49・
这里强调的是优化子程序,也是整个算法的最
重要部分,本文所采用的优化程序是阻尼最小二乘法[8],算法流程图如图1所示。
4 应用计算实例
为了验证上述方法的有效性及精度,以正态分布为例来说明样本数据,由计算机产生符合标准正态分布N(0,1)的测量数据样本200个,具体数据省略,计算前5阶矩的样本原点矩得:
m1=-0.0395,m2=0.8244,
m3=-0.0655,m4=1.6858,m5=-0.1283根据样本的分散范围,确定积分区间为[-3,3],应用上述的算法和最优化程序可得到在各阶矩约束下的概率密度分布的参数如下:二阶矩约束:sk=8.7493×10-10
2
p(x)=exp(-0.8274-0.4x)三阶矩约束:sk=1.×p(x)=exp(-0.828073849x-0.59981x2+0.010794x3)四阶矩约束:sk=5.5113×10-11
2
p(x)=exp(-0.9274-0.067887x-0.33097x+
0.0097402x3-0.067408x4)
五阶矩约束:sk=2.343×10-9
p(x)=exp(-0.9274-0.042878x-0.033069x2-0.017292x3-0.06732x4+0.049721x5)
MATLAB的仿真图形如图2～图5所示
。
图3 标准正态分布的理论分布及在Fig. distributionand
momentconstraint
图4 标准正态分布的理论分布及在
四阶矩约束条件下的最大熵分布Fig.4 StandardnormaldistributionandMaxEPDunderthefourthmomentconstraint
图2 标准正态分布的理论分布及
在二阶矩约束条件下的最大熵分布Fig.2 StandardnormaldistributionandMaxEPDunderthesecondmomentconst
raint
图5 标准正态分布的理论分布及在五阶矩约束条件下的最大熵分布Fig.5 StandardnormaldistributionandMaxEPDunderthefifthmomentconstraint从图2、图3、图4、图5可以看出,数据样本容量比较大的情况下,用二阶矩到五阶矩约束的最大熵方
・ 50・电子测量与仪器学报2009年
法均能够比较好的得到数据的分布。图2用二阶矩约束得到的数据分布为一正态分布,只能反映数据的均值和方差的信息,图3用三阶矩约束还能利用数据中包含的偏态信息,图4四阶矩约束在此基础上还能反映出数据的峰态信息,随着所利用的矩的阶数的增加,所得到的分布能够更多的提取数据中的携带信息,从而使得到的结果更加接近真实分布。
Roe.probabilitydensityfunctionestimationusingtheminMaxmeasure[J].IEEETransactionsonSystems,ManandCybernetics,2000,30(1):77282.
[3] KAPURJN,KESAVANHK.Thegeneralizedmaxi2
mumentropyprinciple[J].IEEETransactionsonSys2tems,Man,and,Cybernetics,1989,19(5):104221052.[4] YULJ,YANH.Maximumentropymethodandits
applicationinprobabilitydensityfunctionoftrafficflow[J].JournalofTrafficandTransportationEngi2neering,2001,1(3):91294.
[5] YULJ,CHENGYR.StudyofOptimalFittingMeth2
odforProbabilityFunctionofTrafficFlow[J].JournalofUniversity,2002(2)[6],LIDistributionofRockMe2
byUsingMaximumEntropyMeth2].ChineseJournalofRockMechanicsandEngi2neering,2004,23(13):217722181.
[7] QUYJ,SUNGL.TheMaximumEntropyPrinciple
anditsApplication[J].JournalofQingdaoInstituteofArchitectureandEngineering,1996,17(2):942100[8] YUXM,TONGL.Evaluationofuncertaintyinmeas2
urementbasedonthemaximumentropymethod[J].JournalofElectronicMeasurementandInstrument,2004,supplement:982103.
[9] ZHUJM,GUOBJ,WANGZY.Studyonevaluation
ofmeasurementresultanduncertaintybasedonmaxi2mumentropy
method[J].JournalofElectronicMeas2urementandInstrument,2005,42(476):528.
5 测量不确定度评定
下面以满足标准正态分布N(0,1)的200个测
量数据为例进行评定计算,该数据样本在五阶矩约束下的不确定度评定[9]如下:
测量结果的估计^x:
^x=
∫xexp(-0.9274-0.042878x--3
3
0.033069x2-0.332x+0.0497215)d=-5
^u为:
^u=
∫
-3
3
(x+0.0395)2exp(-0.92774-
0.042878x-0.033069x2-0.017292x3-0.06732x+0.049721x)dx
4
5
]
2
=0.9071
从以上结果可以看出,本文采用的方法所估计的测量结果及其不确定度,比较接近标准正态分布的被测量理论真值0和理论不确定度1。
6 结 论
运用最大熵方法求解得到的概率密度分布将是不添加任何主观因素,不偏不倚地反映客观事实的概率密度分布,从上述的仿真图形中,可以看出,样本数量比较大时,用二阶矩到五阶矩的最大熵方法均能比较好的得到数据的分布,但随着所利用矩的阶数的增加,所得到的分布能够更多的提取数据中携带的信息,从而使得到的结果更加接近真实分布,用所测定的测量结果进行估计以及用测量不确定度进行评价,可知计算结果是可靠的。参考文献:
[1] JAYNESET.Informationtheoryandstatisticalme2
chanics[J].PhysicalReview,1957,106(4):6202630.[2] SRIKANTHM,KESAVANHK,andPETERH.
作者简介:
程 亮:1980年3月出生,2002年毕业于电子科技大学计算机学院,现为电子科技大学自动化工程学院2005级硕士生,主要研究方向为测试计量技术及仪器。
E2mail:[email protected]
ChengLiangwasborninMarch,1980
程 亮andreceivedherB.S.degreeincomputer
sciencefromUniversityofElectronicScienceandTechnolo2gyofChinain2002.SheiscurrentlypursuingM.S.degreeinthesameuniversityandwillgraduateinthisJune.Hermainresearchdirectionismeasurementtechnologyandinstru2ment.
童 玲:1985年毕业于成都电讯工程学院,获理学学士学位,1988年毕业于电子科技大学高能所,获硕士学位。现在电子科技大学测试计量技术及仪器专业从事研究和教学工作。现任电子科技大学自动化工程学院副院长,博导。主
第1期
要研究方为电子和微波测量技术和理论。
E2mail:[email protected]
最大熵原理在测量数据处理中的应用・ 51・
professorandassociatedeaninautomationdepartment,Uni2versityofElectronicScienceandTechnologyofChinaandsheisalsoasupervisorforPhDstudent.Hermainresearchinterestfocusesonmicrowavemeasurementtechnologyandtheory.
TongLingreceivedherB.S.degreefromChengduInsti2tuteofRadioEngineeringin1985andM.S.degreefromIn2stituteofHighEnergyElectronics,UniversityofElectronicScienceandTechnologyofChinain1988.Sheiscurrentlya
横河电机推出新型混合信号示波器DLM2000
横河电机株式会社已于2008年10月30日推
出新型中端混合信号示波器(MSO)DLM2000系列。
DLM2000系列中端示波器小巧、轻便、惠。它能满足机电、化要求,。对于200～500M,它是便于个人使用的理想仪器,在横河“一人一台MSO”这一新理念的带领下即将投入市场。横河电机旨在开发新型个人专用MSO,以期取得最大的市场份额。
开发背景
近年来,电子设备和嵌入式系统已被广泛应用于各种产品,如信息家电、汽车、工业机械产品等。为检测这些产品并分析它们的性能,越来越多的用户要求同时测量模拟信号和数字信号。我们的调查显示,现在约有70%的示波器用户需要测量数字信号,其中过半用户需要一台有8通道或更少通道的示波器。
然而,目前市场上的混合信号示波器状况是,用于观测波形的示波器不具软件调试所需要的搜索功能和其他分析功能,而用于测量电子设备超高速信号的高端示波器则体积庞大、价格昂贵、缺乏人性化设计。因此,即便是测量8通道以下的数字信号,用户也只能选择高端混合信号示波器。横河DLM2000系列正是为这些客户量身定做的一款新型混合信号示波器。
产品特点1.小巧、轻便、价格实惠的MSO适合个人专用此系列MSO采用了最新研发的ScopeCORELSI引擎,正是这一高度浓缩的示波器核心技术,才使其小巧(293mmH×226mmW×193mmD)、轻便(4.5kg)、价格实惠成为可能。它非常适于个人专用。
2.灵活的MSO,可以实现4个模拟通道,或3+8个数字通道(82bit逻辑)。
3.在同类产品中拥有高速采样率和最大存储容量最大采样率可达2.5GS/s,比以往型号快6倍;最大存储容量可达125Mpts,比以往型号大4倍。
4.直观、操作简单
多种菜单和面板操作键使操作变得简单。其中包括,改良后的显示波形比以往机型的大2倍,根据使用频率设置了专用旋钮,提供了8种语言的菜单和操作面板。
应用实例
电子电路的设计和评估电子设备、微机、嵌入式设备固件的研发与调试关于上海横河国际贸易有限公司
上海横河国际贸易有限公司是日本横河电机株式会社集测量仪器销售、技术支持、售后服务以及软件开发为一体的独资企业,全方位地向中国用户提供横河电机的各类先进电子测量仪器,包括数字存储示波器系列、功率分析仪、功率计、压力测量仪、校正仪、标准发生源、仿真器、光通讯、无线通讯测量仪器,工业乃至科研用的各种记录仪、数据采集器,以及开发多媒体、通讯和信息设备所需的测量仪器等等。
随着技术的不断革新和生产的多样化,用户对测量仪器的需求有了日新月异的变化,我们不仅向用户提供高质量的产品,同时还致力于满足用户的需求和解决用户的问题。为此,我们将进一步强化服务业务,培养高水平的技术服务人员,从顾客的立场出发,以最尖端的技术向顾客提供全方位的解决方案,为顾客提供周到、细致的服务。更多信息请访问www.yokogawa.com/cn2ysh