敏感性分析综述
2008—0244(1)
北京师范大学学报(自然科学版)
JournalofBeijingNormalUniversity(Natural
Science)
9
敏感性分析综述*
蔡
毅"
邢
岩”胡丹2”
(1)北京师范大学数学科学学院;2)北京师范大学信息科学与技术学院:100875,北京)
摘要介绍了敏感性分析的定义,列出了许多基于数理统计、神经网络和粗糙集知识的敏感性分析方法,并且尝试着对一些常用方法的优缺点进行分析.结合敏感性分析的研究现状,对今后的研究工作提出了一些展望.
关键词敏感性分析,统计分析;神经网络
引言
随着数字网络的兴起与广泛应用,数据的来源越
性,现在大量实际应用中都是采用这种方法.
由于敏感性分析方法是在模型的基础上进行操作的,我们也可以根据建模方法的不同将其分为有模型的和无模型的2类.对于待解决的数据分析问题,若我们十分清楚它的内部机理,能够准确得到模型表示了一,(z),那我们就可以在此基础上直接进行敏感性分析;但是在实际问题中,这种情况十分少.在大部分情况下,面对庞大的数据,人们无法清楚的了解其内部规律,无法进行机理建模.于是在早期的研究中,人们借助统计知识来建立模型,最常见的模型就是多元线性回归模型.在此基础上,学者提出了很多方法:由Conoverl975年提出,并由McKay等[1]1979年正式发表的基于拉丁几何取样的多元回归方法;20世纪70年代提出的傅立叶敏感性检验法[2.妇;SalteUi和Marivoet[5]1990年提出的利用非参数统计方法进行敏感性分析的方法;Morris在1991年提出的Morris法[6],Sobol[7]1993年提出的方差分解法等.随着各个研究领域内各种问题的涌现,利用统计方法建模逐渐显示出它的局限性:当模型属性太多或者得到的结果与属性之间是一种非线性关系时,采用统计方法处理得到的结果不理想,精度达不到要求.随之人们开始采用人工神经网络的方法来建立模型.对于神经网络模型来说,只需要知道输入变量数据和输出数据,并不需要先验知识的辅助,它自身能够对训练数据集进行训练和学习,用大量简单的人工神经元模拟数据间的非线性关系,并且能自适应调节神经元之间的连接权重,以此建立能够较好反映数据真实情况的网络结构.许多研究者在这个方面作出了杰出的贡献:Garson[8】在1991年提出了Garson算法;Olden和Jackson[9]在2002年提出了随机化检验方法;MurielGevery[10]在2005年提出了PaD2方法等.
来越丰富,人们获得数据的代价越来越小.在众多领域都产生了海量数据,但由于缺乏可用的数据分析工具,人们很难理解这些数据,出现了所谓的数据过剩.为了能实现从大量的数据中获取信息,把信息转化为知识,使知识付诸于应用这个想法,这就刺激了对强有力的数据分析工具的需求,数据分析方法逐渐增多.而敏感性分析法就是现在常用的一种数据分析方法.
敏感性分析(SensitivityAnalysis)(也有人翻译为灵敏度分析),就是假设模型表示为y=f(x-,勋,⋯,z。)(五为模型的第i个属性值),令每个属性在可能的取值范围内变动,研究和预测这些属性的变动对模型输出值的影响程度.我们将影响程度的大小称为该属性的敏感性系数.敏感性系数越大,说明该属性对模型输出的影响越大.敏感性分析的核心目的就是通过对模型的属性进行分析,得到各属性敏感性系数的大小,在实际应用中根据经验去掉敏感性系数很小的属性,重点考虑敏感性系数较大的属性.这样就可以大大降低模型的复杂度,减少数据分析处理的工作量,在很大程度上提高了模型的精度,同时研究人员可利用各属性敏感性系数的排序结果,解决相应的问题.
简而言之,敏感性分析就是一种定量描述模型输入变量对输出变量的重要性程度的方法.
根据敏感性分析的作用范围,我们可以将其分为局部敏感性分析和全局敏感性分析.局部敏感性分析只检验单个属性对模型的影响程度;而全局敏感性分析检验多个属性对模型结果产生的总影响,并分析属性之间的相互作用对模型输出的影响.局部敏感性分析因其在计算方面的简单快捷,固具有很强的可操作
t通信作者
收稿日期:2007-04—12
*国家自然科学基金资助项目(60774049)I。九七三”国家重大基础研究发展规划基金资助项目(2002CB312200)
万方数据
10
北京师范大学学报(自然科学版)第44卷
在本文中,根据敏感性分析方法所采用分析工具的不同,我们把现有的主要的敏感性分析方法分为2部分:基于数理统计的和基于神经网络的.
近些年来,随着敏感性分析研究的发展和深入,敏感性分析也被应用在许多领域.例如:1)经济领域,在对投资项目风险估计的研究中应用敏感性分析方法对净现值(NPV)、内部收益率(IRR)等多个经济指标进行处理,为投资决策提供参考口1q引.2)生态领域,对极其复杂的生态系统采用敏感性分析,筛选出对生态模型起主导作用的属性,在生态研究和保护中予以重视[13。.3)工程领域,敏感性分析可以为工程问题提供合理安排计算的依据,提高了计算效率,并且根据敏感性分析的结果,可以对勘测、施工质量的控制起指导作用,便于对结构安全性进行校验和评价[1¨5。.4)化学领域,在许多可逆反应中会产生许多的潜在的相关化学反应,或者化学反应机理不是特别明确,敏感性分析在这些问题的处理中发挥了很大的作用[1¨.
本文主要从数理统计和神经网络的角度来介绍敏感性分析,详细的列出了现在人们广泛使用的一些方法,并且尝试着对它们的优缺点进行分析,希望能为国内敏感性分析的发展提供一个比较完善的敏感性分析方法库,给使用者带来方便,并结合敏感性分析研究发展的现状,对今后的研究工作提出了一些展望.由于学者们已经提出了大量的基于统计知识的敏感性分析方法,并且也有许多关于这方面的总结和综述[17≈引,我们在此就不赘述了,仅列出2种使用较广泛的方法.本文主要介绍基于神经网络的敏感性分析方法,由于敏感性分析方法也可看作一种属性重要性评价的方法,故本文也略微提了一下粗糙集中属性重要性分析
方法.1
基于数理统计的敏感性分析
1.1
基于非参数统计(Non—parametricBased)
Saltelli和Marivoet在1990年就详细的提出了利用非参数统计方法进行敏感性分析.该方法西3首先对数据建立多元线性回归模型,再利用下面公式分别求出每个属性的敏感性系数.
PEAR(xi):—Cov(y—,xi)
(1)
aio",
或
SRC(Xi);丝。
(2)
d,
式中巩和口,分别表示z。和Y的标准方差,b。则表示y关于z的回归系数.
这种方法最大的优点就是计算上的便捷,但是它
万
方数据主要用于线性模型.一旦数据间呈现一种非线性关系或者属性之间相互作用,它的结果将与数据的真实情况相差甚远.并且由表达式可以发现,该方法一次只能对一个变量进行分析,是一种典型的局部敏感性分析方法.
1.2方差分解法IVarianceDecompositionBased)该方法‘71的核心是把模型分解为单个属性及属性之间相互组合的函数.假设模型为y=,(z),其中z=(z,,z。,⋯,z。)是模型的输入值,且五服从[o,1]均匀分布,Y是对应的输出值.
如果将,(z)分解成不同维数的函数之和:
厂(z)一fo+∑厂;(z;)+∑f;』(士;,.Tj)+
i
∑f驰(置,刁,z^)+⋯,
(3)
其中f0是常数,且每个分解项^,...is(z"⋯,气)满足
J。五l⋯‘(z"⋯,Xi,)如1如2⋯如‘20
(1≤s≤竹).
(4)
我们将其称为对,(X)的分解,并且分解是唯一的.
令
S妒..‘2等,
D
:
(5)
其中
D2
J[o.1]。f2(z)dx一月,
(6)
Dfl.¨‘2
J。⋯J。厂{。⋯i,‰fl'⋯,Xis)dx”⋯^·
(7)
显然D和Dz。。.‘分别是厂(z)和^。⋯‘(zil’⋯,z‘)的
方差.
令
S中。t一∑Sil.。‘(忌≤s),
(8)
其中zr”Xis必须同时包含属性zfl.”^,称S个。‘为
变量”⋯,&敏感性系数(1≤足≤咒).
根据公式(3),我们能够得到关于任意变量组合的函数表达式,再利用式(5)~(8),就可以计算出各属性的敏感性系数.基于方差分解的方法是一种全局性敏感性分析方法,它在处理单个变量或者少许变量的组合时,计算迅速,可操作性强,但是一旦涉及较多变量
的组合,则计算量大,在实际应用中操作交困难.
2基于神经网络的敏感性分析
神经网络已经在很多领域取得了广泛的成功,但其发展还不是十分成熟,还存在许多亟待解决的问题.如何增强网络的可理解性就是其中之一c21】.文献[10]指出:称为“黑匣子”的人工神经网络的主要缺点
第1期
蔡毅等:敏感性分析综述
是很难将神经网络中获得的知识解释清楚.神经网络经过训练可以获得输出变量关于输入变量的数值函数关系及层间神经元间的连接权值,而敏感性分析利用这个关系及连接权值可以得到输入变量对输出变量的重要性.
2.1局部敏感性分析神经网络中的局部敏感性分析通常有如下几种:基于连接权的敏感性分析方法;基于输出变量对输入变量的偏导的敏感性分析方法;和统计方法结合的敏感性分析方法;基于输入变量扰动的敏感性分析方法.
不失一般性,以下提到的神经网络都假定为一个三层前向网络,输入层、隐含层、输出层神经元个数分别为N,L,M,(zl,⋯,zⅣ)为输入变量,(y1,⋯,yM)为输出变量,叫一(Wi,)N×。为输入层与隐含层间连接权重,口=(口捕)。xM为隐含层与输出层间的连接权重.f(netj)和f(net。)分别表示隐层激活神经元_f的激活函数、输出神经元k的激活函数,隐层各神经元激活函数一致,输出层各神经元激活函数一致.网络有m个训练样本,咒个测试样本.
一
2.1.1基于连接权的敏感性分析方法
1)Garson算法.Garson[阳提出一种借助神经网络获得的连接权值所做的敏感性分析方法.Garson算法是基于连接权的敏感性分析方法的一个代表,用连接权值的乘积来计算输入变量对输出变量的影响程度或者相对贡献值.输入变量毛对输出变量Yt的影响程度(贡献)为:
L
N
瓯一≮_r————三寺一∑(姒,口社g/∑wd)
∑∑(毗,v芦g‘
/∑硼d)
l=1』=1
r蕾1
(i=1,⋯,N,k一1,⋯,M).
(9)
由于连接权删;,与秒母的值有正有负,
L
N
∑(铆;』口弘g/∑%)会弱化.TQ对yt的影响;同理Q叠
,=l
r嚣1
也有正有负,也不能反映出z;相对Yt的敏感性系数.故无法根据这个公式所产生的结果进行排序.我们建议将Garson提出的公式进行改造,改造后的公式可以反映出五对Y。的相对影响程度(相对敏感性).记Q:为z。对Y。的敏感性系数
L
N
Q7t=可匕l∑(1叫;j∥业Ig/∑1
wa}>
∑∑(I一—————』生矿—一硼。』v辟lg/∑I%I)
{=l
j=1
r。1
(f=l,⋯,N,志一1,⋯,M).
(10)
当输出变量固定时(七固定),可以根据每个输入
变量对y。的敏感性系数来排序.
万
方数据2)Tchaban方法.TchabamT及其合作者提出一种敏感性分析方法‘221,文中将其称为权积法
(weightproduct).则:
第i个输入神经元对第歹个隐层神经元的影响
为:业,其中ojoi
表示隐层神经元歹的输出值.
第_f个隐层神经元对第k个输出神经元的影响为:OjVj‘,其中Ok=弘表示输出神经元.f的输出值.
输入变量置对输出变量Y。的敏感性如下:
wp叠2蚤半。訾5
Y苎k
j∑=l%%(11)
2.1.2基于输出变量对输入变量的偏导的敏感性分析这种方法主要针对前向网络.主要是利用网络激活函数的偏导数.偏导在计算输入变量对输出的影响时,计算简单快捷.而对Y。的敏感性表达式如下:
&=磬一f(mt。)∑%口业f(12)
”山‘
7(net,),
j一1
其中/(ne6)和/(nett)分别表示隐层激活神经元歹
的激活函数、输出神经元k的激活函数的偏导,此处激活函数经常采用Sigmoid激活函数.5叠表示输入变量如果网络的输出变量只有一个,则上式可改造为:
s;一磬一/∑W(13)
。山‘
泸业f7(netj).
j。1
一些学者针对具体的前向网络做了研究,得到了一些具体的结果.
1)Dimoponlos敏感性分析.Dimoponlos提到在多层感知器网络中的敏感性分析方法‘23]多层感知器网络,隐层激活函数为厂(z)一赤,则
.设有N-L一1
输入变量.27。对输出变量的敏感性系数为:
5i=s∑戳』ujl六(1一厶),
(14)
其中s一/(net。),工表示隐层神经元歹对第t个样本
的响应,/(neti)=厶(1一厶).
2)Ruck敏感性分析.Ruck提到了一种敏感性分析方法Ⅲ].设有N-L-1前向网络,隐层激活函数为双
曲正切函数,即厂(z)=菩若,输出层激活函数为线
性函数,则输入变量置对输出变量的敏感性为:
L
:’
’
&=∑Wijzljl(1+兀)(1一厶),
(15)
其中/----1,‘表示隐层神经元歹对样本的响应,
厂(netj)---0.5(1+L)(1一^).
上述公式其实为&=2磬.显然该公式整体扩大了输
z。对输出变量Y。的敏感性系数.
12
黧窳簿蔻大学学摄(鑫然辩学菠)第毒4卷
入变量的敏感性系数.
3)径向纂网络中的敏感性。假设有N-L一1三层”裁向径自基隧络,隐含艨激活函数为高斯函数,输出层激活函数为线性函数.则网络输出有如下形式,即:
其中(嘞tY。如l,...'训二蚤qexp{盐矿)'
£
.
∑(盔Uji)2
,⋯,断)为第.f个中心,%为第歹个中心的宽
度,嫩秀辖畿层帮第歹个隐含瑟神经元之阉懿连接权.
N
一塑Oxi一砉哟等exp∑(鼍一稚)2
t
巴了万一)·
一2磺
”
(16)
该网络中输入层与隐宙层之阉的连接权重为l,郎
硼f』=1,qf=哪f7=1,
厂(鹕)一等eXp{知
可以将此方法扩展到多层前向网终,参看文献[25]。
其实公式(11)~(16)反映的灵是单个榉本点上输入变量对输出变量的敏感性系数,反映不出该输入变量在所有样本点上对输出的总的影响程度.我们将公式(11)中wp。改为铆夕袅,公式(12)中s最改为5袅,公式(13)~(16)中瓯改为s:中更合理.础乡幺、s§、s:表示在样本t上输入变量茗;对输出变塞的敏感性系数.
一般情况下,需要一个综合蠲数把单个祥本点上反映的输入变量对输出变量的敏感性综合起来.下面提刘戆霓个公式霹以满跫这个要求.我嚣将S薤称为输入变量zi对输出变量Y。的敏感性系数,S*与s毳,£一1,椎之间的关系见如下几个公式:
综合公式1:S。一
上述公式可以变形为:S正一∑(s岔)2.
五
该数值为非负值,可以根据这个数值来对输入变量辩输出的敏感毪进行瓣穿,确定窭各个变量对输丞结果的影响程度的先后顺序.
综合公式2:&一√塞且笋。
上述公式可以变形为:S谁:∑世.
综合公式3:S叠=mfa样1。⋯,4
x{s§}.
上述3个公式由Jacek.M提出‘261.第1个公式
万
方数据中提到的度量指标文中称为meansquareaverage
(MSA)sensitivities,第2个称为绝对值平均敏感度,
第3个称为最大德敏感度.
和综合公式2相比,综合公式1把样本点上z;对Y。的敏感性系数绝对值大的点的作用放大了。文献[2s]指蹬了第3个综合公式的缺陷,即输入变量对输出的影响的显著性被高估了.网络中的敏感性分析可以删除对输出影响不大的变量,通但是过这个公式,网络中不太重要酌输入变量可能被保留下来。
综合公式4:S业=∑迎.
夏珏
该公式是文献[27]撵绷的.T.Tchaban在文献[28]中使用这种方法作为衡量输入变餐对输出变量影响的德量指标.
该公式将新有样本点上Xi对Y。的敏感性系数均值定义为zi对Y。的敏感性系数.某蝗情况下,该公式使褥样本点上输入变量对输出变量的敏感性系数援互中和.例如当s氧所有样本点上正负取值可以抵消时,S。=O.显然这种情况下得到S。值是不合理的.而且S搪取馕可能有正有受,将壹接得到的输入变量对输出的敏感性系数排序并不合理.该公式适用于矗值为非负值的情况.
。
综合公式5;S馥一警∑Ⅸ.警=獗两
冠
该公式由陆明提出[7潞(Uy1)B(万一船(xi)丽-ytLB)
(2x8J.式中
i)·鳖max篇(x裂min(x·‰
其中U嚣=一●B(—m—弘)—、LB(—:弘)—、U—B(霸)、LB(—i—)一
溉)—‘:分别表示输出变量Y。、输入变量X;在所有样本巾的上下确界;max(y^)、min(y^)、max(-—xi—)、m—in(xi)为调练集中孔,
—一●i,)、一’
,:。
霸的最大最小值;缸;为步长,它和输入变量置的性质
有关系。若墨炎等距离散变量,刚Ax;巍工;鼹攘邻数值间距;若蕾为连续变量,则
觚一些盟拶.
该公式考虑全面.当网络数据输入样本中离散变量和连续变量共存时,可以借助这个公式比较逸两类变量的敏感性系数.
综合公式6:S醣=E[(百ayk)2].
零公式是从文献[30]中提炼出来的。
综合公式7:Sm=Var[(筹)].
该公式是从文献[31]申提炼出寒的。
文献[30-31]对径自基网络中输入变量敏感性系数做了研究.假设有一个N-L一1径向基网络,输入层
第1期蔡毅等:敏感性分析综述
13
变量zl'..·,zN满足正态分布即z;~N(肫,哦2),i=1,⋯,N,且彼此互相独立,输出变量Y关于输入变量的函数及偏导数上面已提过.用综合函数4,5可以求得输入变量而的敏感性系数.
2.1.3
与统计方法结合的敏感性分析Olden和
Jackson提出一种计算单个输入变量对输出变量的影响程度或者贡献程度的方法,称为随机化检验方法
(randomization
test
approach)E91.这种方法通过排除
对网络模型没有显著影响的神经轴突连接,简化了对神经网络模型机制的阐述.这种方法是对Garson方法的改进和提高.方法如下:
给定一组数据.从该数据集中随机选取一部分数据作为网络的训练集,构建出一个有好的预测能力的前向神经网络.记录网络中的下列数值:①输入层一隐含层的连接权与隐含层一输出层的连接权值乘积(输入层一隐含层一输出层的连接权值);②每个变量输入层一隐含层一输出层的连接权的总和;③用Garson算法计算每个变量的相对重要值.再次随机地选取网络的训练数据集,构建新的网络.重复多次(如999次).每次都记录①、②、③描述的值,这样就可以得到输入层~隐含层一输出层的连接权,每个变量输入层一隐含层一输出层的连接权的总和及每个变量的相对重要性的统计显著性.这样就可以在神经网络机制图中去掉对神经网络影响很小的连接权值,更清晰地分析各输入变量对输出变量的影响.
该文献也指出了Garson方法有误导输入变量对输出变量贡献的隐患,并用一个例子说明该问题.2.1.4基于输入变量扰动的敏感性分析基本的方法是给网络的输入变量添加自噪声或扰动,观察加入噪声前后输出变量结果的变化.通常每次给一个输入变量添加噪声或者干扰,而其他变量保持不变.
Scardi和Harding提出,给网络中每个输入变量加自噪声,然后计算在该变量影响下输出变量变化的均值,并将其作为该变量对输出变量的敏感性系数‘3引.
JinYoung提出给输入变量给加标准差为口、期望
为0的噪声或者给输入变量乘满足上述分布的噪声,考察输入变量改变前后对输出变量的影响,将输出变量前后变化差异值的方差作为该输入变量对输出变量的敏感性系数[3引.2.2全局敏感性分析
根据现有神经网络的敏感性
分析的文献资料,发现学者们更多关注的是局部敏感性分析,所做的网络中的全局敏感性分析较少.在我们收集到的全局敏感性分析相关文献中,发现下面这万
方数据Muriel.Gevrey提出了PaD2方法n引.这种方法主要是针对前向网络,如BP网络或者多层感知器网络,考察输入变量中两个变量的交互作用对输出变量的影响程度.该方法主要是借助输出变量关于输入变量的函数表达式来做的.设有N-L一1前向网络,网络输出有如下形式:y=f(x。,⋯,zN).通过对该式子求二阶偏导来考察两个变量对输出变量的影响程度.设
1
网络隐层激活函数Y,j,(z)一f^圭;.不失一般性,我
I
C
们考察一下第t个样本上变量zi与z。对输出变量Y的敏感性.
L
L
s幺=5[s∑"Wi,口j,髟(1一E)∑W茸73jl髟(1一E)+
l嚣1
ltl
L
∑Wi』锄睁"j-髟(1一E)(1—2髟)],
(17)
』一l
其中s表示输出层激活函数对其输入的导数,髟表示隐层神经元歹对第t个样本的输出值.
我们将这个结论重新推导了一下,发现该公式有误,正确的公式如下:
L
L
《一52∑啦』砂,,E(1一E)∑%口,,11(1一E)+
』一l
J—I
L
sl∑锄玎铷母移,1髟(1一髟)(1—2E),
(18)
其中s。表示输出层激活函数对其输入的一阶导数,s。
表示输出层激活函数对其输入的二阶导数.
根据5量,可以描绘出以输入变量置与zt为tt变量、sk为因变量的三维立体图.若sk为负值,表明输出帮助我们更好地理解样本点上输入变量对输出的敏感性系数.
一般情况下,对于输入变量z;与。。对输出变量的敏感性系数S;,该文献是借助综合函数一的变形公敏感性系数的稳定性.参照神经网络局部敏感性分析中提到的随机化方法的思路,对本方法中的网络进行Jll练数据,多次重建网络,系数.求其均值,即为这2个变量对输出变量的相对时,这种做法就不现实了,多维变量交互作用的敏感性敏感性分析主要反映了输入变量(条件属性)对输
值在减少;而正值意味着输出值在增加.三维图可以式完成的,用如下的方法可以提高输入变量对输出的修改.随机性修改网络训练i得到一系列关于2个变量结合的对输出变量的敏感性敏感性程度值.在这种方法的基础上,我们还可以考虑3个变量、4个变量甚至更多个输入变量对输出变量的敏感性系数.但是当网络包含了大量的输入变量就很难获得.
种方法比较好用,具有计算速度快、操作简单的特点.
3粗糙集中的属性重要性分析
14
北京师范大学学报(自然科学版)第44卷
出变量(决策属性)的影响程度.条件属性对模型的决策属性的影响程度可以反映出条件属性在模型中的重要性程度.作为一种新的处理模糊性和不确定性知识的工具——粗糙集,也可以用来进行属性重要性评价.粗糙集理论中认为知识是将对象进行分类的能力.属性的重要性是建立在属性的分类能力上的.为了衡量条件属性的重要性程度,可从条件属性集中删除这一属性,考察在没有这个属性的情况下信息系统的分类会产生怎样的变化.如果去掉属性后相应分类变化大,则说明该属性重要程度高,如果去掉属性后相应分类变化小,则说明该属性的重要性低.用C一{c,,⋯,靠)表示一个对象集U的条件属性集,D表示U的决策属性集.条件属性Q关于决策属性D的重要性可用下面公式来衡量:
嘞(ci)=Yc(D)一趾k}(D),
其中
Yc(D):—car—d(—P万os开c(-D‘二aIU~L,,
一)),card(Pose—f,.(D))
%飞}(D)=——赢苟产一,
card(Posc(D))表示D的C正域中元素的个数,Posc一㈨(D)表示D的C一{以)正域中元素的个数,card(U)表示对象集U中元素个数.关予该方法的详细介绍请参看文献[343.
4讨论及展望
现有的敏感性分析方法中,局部敏感性分析方法占了一大部分,而全局敏感性分析方法较少.通过前面所列的局部敏感性分析方法,可以看出其操作便捷.但其还存在一些缺点.缺点一:忽略了变量间交互作用对输出的影响,只考察单个变量对输出的影响.事实上,在敏感性分析实验设计中,对变量间的交互作用的考虑非常有必要[10].缺点二:神经网络中得到的各输入变量对输出变量的敏感性系数缺乏稳定性.神经网络中神经元的连接权值的随机性造成了敏感性分析结果的不稳定性.借用前面提到的随机化检验方法可以增强神经网络中结果的稳定性.和局部敏感性方法相比,全局敏感性分析有它独特的优势.因其考虑了输入变量间共同作用对结果的影响,故而其更符合实际情况,从上面我们提到的一种全局敏感性分析方法——PaD2方法可以看出,这种方法操作方便,计算简单.
基于敏感性分析发展现状,我们提出几点展望:1)国内外学者们提出的局部敏感性分析方法很多,而全局敏感性分析方法比较少,关于全局敏感性分析方法是一个研究趋势.
万
方数据2)对于数理统计中的敏感性分析方法来说,这些方法都要求输入变量的值是连续型。当输入变量的值是离散型时,或者离散型与连续型并存时,方法就不适用了.对于神经网络中的敏感性分析方法来说,当输入变量值类型不同,能否按敏感性系数对其进行排序,还是一个仍需要考虑的问题.
3)我们可以得到输入变量集中单个变量对输出变量的敏感性,但是如何确定哪些输入变量是敏感性因素、哪些是不敏感性因素仍是一个问题.选用什么指标来衡量输入变量的敏感性显著性,还是一个需要深入考虑的问题.应该加强统计方法和智能分析方法的联系.
4)对于神经网络中单个变量来说,我们可以得到该变量在单个样本点上对输出变量的敏感性系数,也就是该变量在取某个值时对输出变量的敏感性.变量可能在某些值处敏感,某些值处不敏感.我们可以考虑一下如何寻找变量的敏感性区间.寻找变量的敏感性区间有很大的实际用途.
5)神经网络中,需要构建一种敏感性分析方法,该方法可以反映出单变量对输出的敏感性系数,也可反映出多变量交互作用对输出的敏感性系数。
6)尽管关于神经网络的敏感性分析方法已有很多,但每种方法对网络都有限定,对网络中神经元的激活函数都有要求.目前还没有一种适用于大多数的神经网络模的敏感性分析方法.寻找一种广泛适用神经网络的敏感性分析方法很必要.
5参考文献
E1]McKayM
D,BeckmanRJ,Conover
WJ.Acompari
son
ofthreemethodsfroselectingvaluesofinputvariablesintheanalysis
of
output
from
a
computer
code[J].
Technometrics,1979,21:239
[2]CukierRI,FortuinCM,ShulerKE,eta1.Studyolthe
sensitivityofcoupledreactionsystems
to
uncertaintiesin
rate
coefficientsI
EJ].TheoryJChemPhys,1973,59:
3873
[3]CukierRI,LevineHB,Shuler
K
E.Nonlinear
sensitivityanalysisofmuhiparametermodelsystems[J].
JComputPhys,1978,26:1
,.
[4]CukierRI,SchaiblyJH,ShulerKE.eta1.Studyofthe
sensitivityofcoupledrea
ctionsystemsto
uncertaintiesin
rate
coefficientsⅢ:analysisoftheapproximations[J].J
ChemPhys,1975,63:1140
[5]SaltelliA,Marivoet
J.Non-parametricstatistics
in
sensitivityanalysisfor
model
output:Acomparisonof
selected
techniques[J].Reliability
Engineering
and
SystemSafety。1990。28:229
第1期
.Factorial[6]MorrisMD
computational33:161
samplingplans
for
蔡毅等:敏感性分析综述
preliminary
sensitivity
criteriafor
tworkschoosingne
with
15
good
experiments[J].Technometrics,1991,
generalization
ability[J].NeuralProcessLett,1995,2:1
[24]Ruck
l
DW,Roger
layer
sSK,Ka.FeatureselectionbriskyM
[73
Sobol
M.
Sensitivity
estimatesfornonlinear
ultiusingmperceptrons[J].Journal
ofNeural
mathematical
models[J].
Math
Modeling
&NetworkComputing,1990,2:40
ComputationalExperiment,1993(1):407[25]Katsuaki
connection
Koike,SetsuroMatsuda.New
modelsof
and
an
ore
indicesfor
use
[8]GarsonGDural-network.Interpretingne
characterizingspatialof
a
depositsbythe
weights[J].AIExpert,1991,6(4):47
[93
JulianD,OldenDonaldA.Jackson:Illuminatingthe
“blackbox”:arandomizationapproachforunderstandingvariablecontributionsEcological
in
artificial
neural
sensitivity
vectorinfluence
factor[J].
Mathematical
006—9030—3
Geology,2006,DOI:10.1007/s11004.
networks[J].
,Zurada,Aleksander[26]JacekM
Perturbation
perceptron
Malinowski,et
inputs
a1.of
Modelling,2002,154:135
methodfordeletingredundant
[103
Muriel
Gevreya,Ioannis
hDimopoulosb,SovanLe
models[J].Ecological
networks[J].Neurocomputing,1997,14:177
Moody
via
the
ctionofinpriablesinthesensitivityTwo-wayinterautvaanalysis
of
neural
network
[27]UtansJ,J.
Selecting
prediction
neuralnetwork
to
architectures
corporate
risk:application
Modelling,2006,195:43bondratingprediction[M].Los
Alamitos,
[11]杨秀芝,贾春梅.投资项目因素敏感性分析[J].边疆经
济与文化,2005(12):35
[12]Borgonovo
sensitivity
E,Peccatianalysis
in
L.Uncertaintythe
evaluation
of
and
global
CA:ProcIntConf1991
Artificial
IntelligenceApplications,
[28]Tchaban
T,Taylor
MJ,GriffinJ
a
P.Establishing
network
investment
impactsoftheinputsinComput
S
feedforwardneural
proiects[J].JofProductionEconomics,2006,104:62[J].Neural
[293
Lu
Applic,1998,7:309
YNYeung,WingWg.Applyingnetworksensitivityanalysis
and
construction
in
iris
[13]徐崇刚.生态模型的敏感性分析[J].应用生态学报,
2004,15(6):1056
Ming,Daniel
undistortedneural
[14]陈太聪.参数灵敏度分析的神经网络方法及其工程应plant
用[J].计算力学学报,2004,21(6):752
[15]夏元友,熊海丰.边坡稳定性影响因素敏感性人工神经
网络分析[J].岩石力学与工程学报,2004,23(16):
2703
classification
productivity
prediction[J].Soft
[30]Wang
Comput,2006,10:68
input
stochastic
neural
ui.AnovelXizhao,ZhangH
definitionandits
of
radial
to
sensitivitynetworks
basisfunction
application
feature
selection[M].
[16]蒋勇.敏感性分析在燃烧毒物和自由基生成机理研究
中的作用[J].火灾科学,2002,11(1):001
[17]Cacuci
DG,I
Berlin,Heidelberg:Springer-Verlag,2006:1352—1358
[31]Wang
Xizhao,Li
wdefinitionChunguo.Ane
applications
to
of
.Acomonescu-BujorMparativereviewof
uncertainty
analysis
of
large-scaleSci
Eng,
BFNNanditssensitivityforR
feature
sensitivity
and
reduction[M].Berlin,Heidelberg:Springer-Verlag,
2005:81-86
systems+II:statistical
2004,147(3):204
methods[J].Nucl
[32]Seardi
S
IL
Identification
andreviewofAnal,2002,22
M,Harding.Developing
an
empirical
modelof
[18]Frey
HC,Patil
phytoplanktonprimary
case
lproductions:aneura
network
sensitivityanalysis(3):553
methods[J].Risk
study[J].Ecol
Model,1999,120:213
[33]Jin
A,ChanK,Scott
E
YoungChoi,Chong-HOChoi
perception
with
.Sensitivityanalysisofactivation
[19]SaltelliM.Sensitivity
analysis
multilayer
differentiable
on
[M].NewYork:Wiley,2000
[20]Hamby
D
functions[J].IEEE
for
parameter
(1);101
Transactions
Networks,1992,3
M.Areviewof
techniques
sensitivity
analysis
ofenvironmental
models[J].Environ1-34]Yeung
analyze
DS,SunX.Unasingfunctiopproximationthe
sensitivity
of
to
MonitorAssess,1994,32(2):135MLPwith
antisymmetric
on
[21]王学武,谭得健.神经网络的应用与发展趋势[J].计算机工程与应用,2003,3:98
ctivationsquashingaNeural
function[J].IEEE
Transactions
Networks,2002,13(1):34
[22]Tchaban
impactsof
T,Taylortheinputs
MJ,Griffin八Establishing
in
a
[35]Shi
Daming,Gao
basis
Junbin,DanielSoYeung,et
a1.
lfeedforwardneura
networkRadial
functionnetworkpruningby
sensitivity
口].Neural
[23]Dimopoulos
ComputeAppl,1998,7:309Y,130urret
P,Lek
S.Use
of
some
analysis[M].Berlin,Heidelberg:Springer-Verlag,
2004
万方数据
16
北京师范大学学报(自然科学版)第44卷
NALYSISONSENSITIVlTYA
CA薹Yil’
(1)schoolofMathematical
SciencesI
XlNGYanl’
Science
anz)HUD
University,100875,Beijing,China)
2)College
ofInformation
ormaland?Technology:BeringN
Abstract
Mainmethodsofsensitivityaasedonstatistic,artificialneuralnetworksandronalysisbugh
status
sets
nddereawerereviewedinthispaper.Theadvantagesaisadvantageswnalysed.Thecurrent
ndprchwerepresented.analysisaerspectivesregardingfurtherresea
ordsKeyw
ofsensitivity
tworkssensitivityanalysis;statisticanalysis;neuralne
’
认知神经科学与学嚣国家重点实验室取得新进展
1月16日上午,我校脑成像中心举行揭牌仪式,该巾心是认知神经科学与学习国家重点实验室的大型技本支撑孚台,泼鞭务予认j藿享孛经科学研究为孩心蚕标,孛心静歪茂运行必3}簪遴一步推动我卺谀絮襻经科学发展并与国际接轨.其设备的先进性、功能的系统性以及研究层次的多样性目前在我国认知神经科学领域处于领先地位.巾心自2007年5月1日开始试运行以来,已经为近40个受国家科技部“九七三”、“八六三”和国家基金委等瑗銎资助的科学{舞究提供扫接浆务,累计熬播对阕毫超过950
h。
同时,脑成像中心与德国西门予公司合作的“北京师范大学——西门子磁共振数据采集与分析技术联合实验室”挂牌成立.该实验室将借助西门子在磁共振领域硬件和软件开发的强大实力,结合我校“认知神经群学与学习国家耋点实验室”的事誉的试翔神经心理学研究经验,与蓬门子进行联合,实现优势互静,推动我国认知神经科学领域的发展.
我校认知神经科学姆学习国家重点实验塞还与美国Banner阿尔茨海默病研究所正式签署了合作协议,双方将在认舞老化纛老年痴呆等方覆开展合佟研究.美隧Banner阿尔茨海默病研究掰是国际颈尖的老年痴呆症研究机构,在老年痴呆症研究方面积累了串富的经验.该研究所利用老年痴呆症的遗传机制和生物基础进行疾病的早期诊断,并鼠研发了能够有效治疗老年痴呆的药物襁干预措施.这两所科研机构的强强联合对我匿老年痴呆瘫的预防、诊断和治疗将起蓟攮动作用,对于解决当翦我国乃至全球所面临的老龄化阕题具有积极意义.
(薛
包)
澄障时阳∞隅
万方数据