系统综合评价指标体系构建方法研究
第20卷 第3期 No.3海军工程大学学报 Vol.20 2008年6月 Jun.2008 JOURNALOFNAVALUNIVERSITYOFENGINEERING
系统综合评价指标体系构建方法研究
邵立周1,白春杰2
(1.海军装备部,北京100036;2.海军工程大学电子工程学院,武汉430033)
摘 要:针对目前指标体系构建存在的问题,以科研工作绩效评估指标体系构建为例,给出了一种构建指标体系的方法。该方法首先利用德尔菲法,提出影响综合评价的因素;在此基础上,引入贴近度和模糊聚类分析的方法,对影响因素进行分层和分类处理,利用效度判断法和稳定性系数判断法对得到的初步指标体系进行优化,最终得到评价指标体系。
关键词:综合评价;指标体系;聚类分析;贴近度
中图分类号:N945.16 文献标志码:A 文章编号-3486(-0048-05
IndexsystemconstructiononSHAOLi2
(1.NavalDept.ofEquip;2.CollegeofElectronicEngineering,
,Wuhan430033,China)Abstract:Anewaimingattheproblemsofconstructinganindexsystem.Firstly,thefactorsaffectingthecomprehensiveevaluationwereproposedbymeansofDelphi.Then,themethodsofassociatingdegreeandfuzzyclusteringanalysiswereintroducedtodelaminateandclassthefactors.Andtheroughindexsystemwasoptimizedbyeffectivenesscoefficientjudgmentandrelia2bilitycoefficientjudgment.Inthisway,theindexsystemcouldbeacquired.
Keywords:comprehensiveevaluation;indexsystem;clusteringanalysis;associatingdegree
由于复杂系统的综合评价问题涉及的因素多,其评价过程中常包含着许多不确定性、随机性和模糊性,因此选择合适的评价指标体系是综合评价的基础,没有一套科学、可行、可信的指标体系就无法客观地开展评估工作[1]。
指标体系建立的方法有两类:专家主观评定和比较判定法及数据统计分析法。第一类方法适用于资料有限、主要依据专家经验知识来确定指标的被评价对象;第二类方法适用于具有定量评价指标的被评价对象。但由于指标的设计者往往片面追求指标的全面性,致使评价指标过多,一方面会引起判断上的错觉和混乱,另一方面也使其他指标权重减小,造成评价失真。同时,由于决策问题复杂,涉及因素众多,加上所需资料缺乏,评价问题在建立复杂系统综合评价指标体系时,主观性较强[1～4],这就导致建立的指标体系不一定能够全面、客观和系统地反映评价目标。针对这些问题,文中提出了一种适用于复杂系统综合评价指标体系建立的方法。
1 影响因素的提出
德尔菲法由美国兰德公司的OlafHelmer和NormanDalkey于20世纪50年代提出,它是以古希腊城市德尔菲命名的规定程序专家调查法,德尔菲法既可用于预测,也可以用于评估。
3收稿日期:2008201201;
修回日期:2008203220。
作者简介:邵立周(1959-),男,高级工程师,硕士,主要研究方向为系统评价,E2mail:[email protected]。
第3期
邵立周等:系统综合评价指标体系构建方法研究 ・49・
该方法的基本原理是以调查征询的形式向选定的专家提出一系列问题,并汇总整理专家意见,每完成一次提问和回答的过程称为一轮。将上轮咨询所得意见的一致程度和各位专家的不同观点等信息,匿名反馈给每一位专家,再次征询意见。如此反复多次(一般情况下为3～4轮),使意见趋于一致。由最后一轮征询得到的专家意见,组合成专家群体的集体意见,即可得到影响因素列表。
2 影响因素的初步分层
统计专家提出影响因素,并请专家根据这些因素对选型评估的实际影响程度,采用5分制进行打分。将打分结果进行聚类分析,并征询专家意见,将影响因素进行分类。经过这一步骤,可以初步将影响因素分层,建立起初步指标体系。
系统聚类的思路 将被评价对象的每一个单元(或样本)看成一个类,通过相似性度量,逐步将类由多变少,或者将全部被评价对象看成一类,通过相似性度量将类由少变多。
系统聚类的原则 首先将被评价的n个个体看成n个类,;按照被评价对象的评价指标体系的特征,选择适当的“距离”;将最小距离的类并为一类,并求出新类与其余类之间的距离,直到所有类归为一类(或几类);在所取“距离”意义下,;按综合评价的精度要求,选择阈值,定义1 设x1,x2,…,xn,xi与第j个样本xj之间建立了一个函数关系
p
dij=d(xi,xj)=1
|xikjk|]p。称函数dij=d(xi,xj)为样本xi与xj间的距离
p
[5]
。
根据专家对各影响因素的评价矩阵,可以对各影响因素进行聚类分析。文中用G1,G2,…,Gr表示r个类,用dij表示i与j的距离,用Dpq表示Gp与Gq的距离,Dpq=mindij,p,q=1,2,…,r;利用dij
i∈Gp,j∈Gq
计算样本两两间距,形成样本距离对称阵,记为D(0)(此时Dpq=dpq);选择D(0)中的最小元素设为Dpq,将Gp与Gq合并为新类Gc,Gc=Gp∪Gq;使用式(1)计算新类与其他类间的距离:
(1)Dck=mindij=min{mindij,mindij},
j∈Gki∈Gc
j∈Gki∈Gp
j∈Gki∈Gq
并用Dck代替D(0)中p,q行与p,q列,得距离对称矩阵D(1);对于D(1),重复上述步骤,直到所有的类归
为一类。如果在D(k)中重复上述步骤时,最小元不只一个,则应将对应类同时合并;在给定聚类阈值T时,当Drk≤T时,聚类过程可以结束。
根据聚类结果,可以将影响因素粗分为几类,初步建立层次结构。以下对维修科研工作绩效评估为例进行分析,限于篇幅,这里仅对①水平、②先进性水平、③创新性水平、④发表论文、⑤适用性5项因素的分层进行介绍。选取8位专家打分,以“对目标的影响很大”“对目标的影响大”、、“对目标的影响较大”、“对目标的影响不大”“、对目标几乎没有影响”5种模糊语言为评价标准。采用五分制评分,将定性打分对应为定量分数:5、4、3、2、1。专家打分量化后结果如表1所示(为方便,表中用代号代表各影响因素)。
表1 专家打分量化后结果
Tab.1 Quantitiveresultofexperts′marks
影响因素
①
②③④⑤
专家1
55534
专家2
53535
专家3
54454
专家4
53345
专家5
54335
专家6
54535
专家7
53535
专家8
54445
采用统计分析软件之一SPSS(statisticalprogramforsocialscience)进行聚类分析运算。文中选择SPSS菜单中的分析—聚类—系统聚类,采用距离表示各变量间关系密切程度。聚类方法采用类间平均
・50・
第20卷 海 军 工 程 大 学 学 报
锁链法,即合并两类的结果使所有的两两因素之间的平
均距离最小。最后得到树形图如图1所示。
该树形图直观清晰地表示了聚类的全过程。它将实际距离按比例调整到0～30的范围内,用逐级连线的方式连接性质相近的因素,直至并为一类。在该图上部的距离标尺上根据需要选定一个划分类的距离值,然后垂直标尺划线,该垂线将与水平连线相交,则相交的交点数即为分类的类别数,相交水平连线所对应的因素聚成一类。若取标尺值为15,则所有的因素分为3类,即在各影响因素中,因素①和⑤所反映的方面类似,因素②和③所反映的方面类似,因素④单独聚为一类,表明该因素与其他各因素所反映的方面差异较大。
图1 聚类分析树形图
Fig.1 Clusteringanalysisfigure
利用该方法,对所有影响因素进行聚类,然后再征询专家意见,即可得到初步指标体系。
3 指标的初步筛选
利用专家会议法,()进行讨论,看是否有明显不适合作为评判指标的因素,,或者第二步建立的层次结构
(影响因素)的层次结构。同时,还可让专家对这些影响因
λλ素进行打分,λ={λ[0,1],当λ1,2,…,n},设取舍权数为λk∈i
指标,否则保留。经过处理,可以得到一个新的指标体系。
权重可根据层次分析法的基本原理求得,仍取上述5个元素进行分析;取λk=0.15对指标进行筛选,利用上述打分结果可知λ从指标体系中筛选掉。4
4 因素的进一步分类
贴近度分析是一种多因素统计分析方法,它以各因素的样本数据为依据、用贴近度来描述因素间关系的强弱、大小和次序。如果样本数据列反映出两因素变化的态势(方向、大小、速度等)基本一致,则它们之间的贴近度较大;反之,贴近度就越小[6]。如果两个待选指标(影响因素)之间的贴近度大于阈值,将只能选取其中一个因素作为评价指标。
定义2 设参考序列X=(x1,x2,…,xn),比较序列Y=(y1,y2,…,yn)。则可以定义关联度如下:设序列X与Y在第m点的贴近系数
ηXY|
则称η=
n
minmin|xi-yj|+0.5maxmax|xi-yj|
m
=
|xm-ym|+0.5maxmax|xi-yj|
i
j
,
nm=1
η∑XY|m为序列Xi与X0的贴近度。
对第三步建立的层次结构中的各层元素进行贴近度分析,看低层因素对上层各因素相对重要性之
K
间是否有很强的贴近性,如果对于任意因素K,其下层任意两个因素i,j之间的贴近系数ηij大于阈值ηλ(一般取ηλ=0.8)时,可以认为这几个因素应为该因素准则下的指标。反复该过程,将得到的结果进行整理,并经过专家会议,可得出一个新的层次结构。
仍以上述因素为例:专家对因素①②③⑤进行模糊评价,得到因素②③对上层各因素①⑤的重要程度评价值如表2所
1
示。则可求得,因素②和③在因素①下的贴近度为η和③在因素⑤下的贴近23=0.81>ηk=0.8,因素②
5度为ηλ。说明因素②和③属于同一分准则下的指标。又根据专家打分情况,可以确定因23=0.875>η
第3期
邵立周等:系统综合评价指标体系构建方法研究 ・51・
素②和③属于因素①下的指标。
表2 各因素对上层因素重要程度评价表
Tab.2 Importantdegreetableofeachfactortoitssuperstratum
上层因素
①
因素②
③②③
专家1
5522
专家2
4343
专家3
5433
专家4
5533
专家5
5533
专家6
5522
专家7
4523
专家8
5534
⑤
5 初步指标体系的优化处理
定义3 设评价指标体系F={f1,f2,…,fn},参加评价的专家人数为S,专家j对评价指标的评分集为Xj=(x1j,x2j,…,xnj),则指标体系的效度系数
n
S
α=(
S
i=1j=1
∑∑
xi-xij)2/)/其中:xi=∑xij/S;Q为指标fij=1
度。该指标绝对数越小,,该评价,。当效度系数小于0.1时,则认为该指标体系的有效性较高。
对评价指标体系进行可靠性和稳定性分析。
假设存在一组评价数据可以完全、真实地反映评价目标的本质,如果采用设计的指标体系得出的评价数据与该组数据越“相似”,则可以认为该评价指标体系得出的评价数据越接近于反映评价目标的本质,该评价指标体系的稳定性和可靠性就高一些。基于这些思想,可以定义指标体系的稳定性系数。
定义4 设专家组评分的平均数据组为Y={y1,y2,…,yn},其中:yi=∑xij/S(i=1,2,…,n)。评
j=1S
价指标体系稳定性系数为
S
n
ij
n
n
ij
ρ=[
n
n
i=1
i=1
j=1i=1
∑∑(x
-xj)/
=1
(x
-xj)
2
i=1
∑(y
i
-y)]/S。
2
其中:xj=∑xij/n;y=∑yi/n。
ρ越大,表明采用该评价指标体系评价出的评价数据的差异性越小,该指标体系的稳定性越高。ρ越小,则表明各专家采用该评价指标体系对于同一评价对象得出评价数据差异较大,其稳定性较差。稳定性系数是对评价指标体系评价结果的可靠性和稳定性的分析。
一般而言,当ρ∈(0.95,1.00),可认为该评价指标体系的稳定性很高;当ρ∈(0.85,0.95)则可认为该评价指标体系的稳定性较高;当ρ∈(0.80,0.85),则可认为该评价指标体系的稳定性一般;当ρ
如果建立的指标体系稳定性高,可选用该指标体系进行综合评价;如果稳定性不高,就重复上述步骤,改变阈值,直到得到一组稳定性高的指标体系为止。
6 科研工作绩效评估指标体系的建立
利用文中介绍的对复杂系统综合评价指标体系建立步骤,可得到科研工作绩效评估指标体系(见图2)。其有效性系数β=0.07,稳定性系数ρ=0.87,说明该评价指标体系有效性好,且其稳定性较高。
・52・
第20卷 海 军 工 程 大 学 学 报
图2 Fig.2 Appraisalindexsystem参考文献(References):
[1] 赵艳萍,[J].商业研究,2007(12):7-9.
ZHAOYan2Guan2xin.VirtualorganizationPPCsystemevaluatingindicatorsystem[J].CommercialResearch,2007(12):7-9.(inChinese)
[2] 李 欣,丁 立.高速公路线形安全评价综合指标体系的建立[J].公路,2005,7(7):154-158.
LIXin,DINGLi.Establishmentofcomprehensiveindexsystemoflinersafetyevaluationofexperssways[J].Highway,2005,7(7):154-158.(inChinese)
[3] 李随成,陈敬东,赵海刚.定性决策指标体系评价研究[J].系统工程理论与实践,2001,9(9):22-28.
LISui2cheng,CHENJing2dong,ZHAOHai2gang.Studyingonthemethodofappraisingqualitativedecisionindica2tionsystem[J].SystemsEngineering—Theory&Practice,2001,9(9):22-28.(inChinese)[4] 何贤杰,吴初国,刘增洁.石油安全指标体系与综合评价[J].自然资源学报,2006,21(2):245-250.
HEXian2jie,WUChu2guo,LIUZeng2jie.Indictorsystemandcomprehensiveappraisalforpetroleumsecurity[J].JournalofNaturalResources,2006,21(2):245-250.(inChinese)
[5] 徐海量,陈亚宁.洪水灾害等级划分的模糊聚类分析[J].干旱区地理,2000,23(4):350-352.
XUHai2liang,CHENYa2ning.Applicationoffuzzyclusteringanalysisintheclassificationofflooddisastergrade[J].AridLandGeography,2000,23(4):350-352.(inChinese)
[6] 邹志云,李 硕.公交综合发展水平评价的灰色聚类分析方法[J].武汉交通科技大学学报,2000,24(1):38-41.
ZOUZhi2yun,LIShuo.Thegrayclusteringanalysisofevaluationfortransitcomperhensivedevelopmentlevel[J].JournalofWuhanTransportationUniversity,2000,24(1):38-41.(inChinese)