项目评价中指标体系选取的有效性及优化

统计数据，而定性指标的评价则由专家根据知识、经验来主观评价。采用粗糙集方

项目评价中指标体系选取的有效性及优化

■◆

云　　　俊　　教授　　　李远远　　博士生（武汉理工大学管理学院　　　武汉　　　４３００７０）中图分类号：Ｆ８１０　　　　文献标识码：Ａ

内容摘要：指标体系的构建是进行项

目综合评价的基础和关键。本文分析了指标体系构建中的问题，并针对指标体系全面性与代表性、精炼性的矛盾，提出指标体系约简的思路；针对指标体系有效性难以测度的问题，及指标体系的稳定性和可靠性难以检验的问题，尝试性提出了解决思路。关键词：指标体系构建　　　约简　　　有效性测度　　　稳定性　　　可靠性

法进行指标约简，能同时兼顾定量指标的客观性和定性指标的主观性，因为粗糙集方法能有效处理不确定、不精确、需要主观判断的问题。

运用粗糙集进行指标筛选和约简，有多种思路：对于指标数量不太大的情形，可以快速约简，从空集开始，一个个地增加指标的个数，每一次选择增加最大分类质量γ（Ｘ）的指标加入当前的指标子集，重复这一过程直到分类质量γ（Ｘ）达到１或等于整个指标集的分类质量；根据指标重要性进行约简，若决策表Ｓ＝（Ｕ，Ａ，Ｖ，ｆ），Ａ＝ＣＵＤ，ＣＩＤ＝φ，Ｃ为指标集，Ｄ为评价结果所构成的集合（决策属性集），则指标ａ∈Ｃ基于依赖度的指标重要性为：ｓｇｆ（ａ，Ｃ）＝ｇ（Ｃ，Ｄ）－ｇ（Ｃ－｛ａ｝，Ｄ），反映剔除了指标ａ时对指标体系分类能力的影响大

指标体系的约简

（一）有统计数据的可量化指标体系的约简

对于量化的、有统计数据的指标体系，可采用统计方法，如条件广义方差极小法、极大不相关法、选取典型指标法等。用条件广义方差极小法进行指标约简，核心是用广义方差ＩＳＩ来反映指标内部的相关性；用极大不相关法进行指标约简，其核心是计算指标Ｘｉ与其它ｐ－１个指标之间的线性相关程度，当大于某临界值时，可以去掉该指标；用典型指标法进行指标约简，其核心是对指标进行聚类，计算类中每一指标与其它指标的相关系数，从而确定典型指标。

针对这类指标体系，挖掘指标的差异性、相关性等，去除区分能力弱、相关性强的指标，具有一定的客观性。但会受到所选取样本数据的影响，而且这类方法过于强调从统计数据中挖掘指标特性，忽略了人的思维的作用，常会得到与事实不相符的指标特性，出现“误筛”或者“漏筛”指标的现象。因此，必须主客观相结合、定性与定量相结合，通过人的思维和定性分析，克服纯粹定量方法的局限性。

（二）定量指标和定性指标并存的指标体系约简

当指标体系中既存在定量指标，也存在定性指标时，定量指标的评价可以依据

定性分析，

建立指标体系竞争模型

对各个指标体系竞争模型制定调查问卷

小；建立区分矩阵Ｃｉｊ来进行指标精简。

，在此基

础上构造区分函数，求Ｃｉｊ中的各个指标的析取及所有Ｃｉｊ的合取，运用吸收律化简区分函数为标准式，所得的蕴含式包含的指标，就是约简后的指标集。粗糙集方法能保证在不降低评价效果和质量的前提下对指标体系进行精简，去除冗余和相关的指标。

（三）无统计数据或统计数据非常有限的指标体系约简

当指标体系不能获得统计数据，如对于新建系统的评价，或者所能获得的统计数据非常有限，需要依靠专家知识来进行指标的筛选和约简，可以采用Ｖａｇｕｅ集方法。建立从原始指标集Ｘ到约简指标集Ｘ｀的Ｖａｇｕｅ集关系Ｒ，指标ｘｉ的重要程度可以表示为（ｔｘ｀（ｘｉ），１－ｆｘ｀（ｘｉ））。其中，ｔｘ｀（ｘｉ）表示ｘｉ隶属于约简指标集Ｘ｀的真隶属函数值；ｆｘ｀（ｘｉ）表示ｘｉ隶属于约简指标集Ｘ｀的假隶属函数值；０≤ｔｘ｀（ｘｉ）＋ｆｘ｀（ｘｉ）≤１。核函数Ｓｘ｀（ｘｉ）＝ｔｘ｀（ｘｉ）－ｆｘ｀（ｘｉ），若　Ｓｘ｀（ｘｉ）≥α（α为重要性标准），则ｘｉ入选约简指标集Ｘ｀。Ｖａｇｕｅ

删除冗余问

题，修改问卷，大样本数据采集

结构方程技术拟合模型、修改、评价，找出最佳指标体系

指

标体系构建中的问题

指标体系的构建是进行综合评价

的基础和关键。然而，在实际的评价研究和项目实践过程中，指标体系的构建主要存在以下三个方面的问题：

指标的全面性和代表性、精炼性之间的矛盾。指标体系的构建者往往希望指标体系能涵盖评价问题的各方面要素，但这样会导致指标数量过多，出现相关指标、冗余指标和重叠指标，这就需要对指标进行约简。

指标体系的有效性难以测度。不同的评价者基于不同的知识、经验、思维，会构建不一样的指标体系，究竟哪个指标体系更科学，得到的评价结论更有效，没有客观的标准来衡量，这就需要建立指标体系有效性的测度方法。

指标体系的可靠性和稳定性检验。不同的评价专家由于对指标的理解不同，特别是某些定性指标易受主观因素的影响，致使评价结果差异较大。因此，需要对评价数据进行差异度分析，差异度越小，指标体系的稳定性和可靠性系数就越高。

本文力求解决指标体系构建过程中的这三个突出问题，优化指标体系的构建。

小样本探索

性因子分析检验问卷的信度和效度

图１　结构方程模型方法测度指标体系有效性的过程

４７

企业管理

集方法充分利用专家知识，表示专家支持、反对和弃权的情况，且方法简单易行。

（四）复杂非线性系统的指标体系约简当评价对象为复杂非线性系统时，难以通过统计数据找出指标间存在的相关性，可以利用神经网络的映射和泛化能力，基于神经网络的权值谱分析方法，将指标值作为神经网络的输入，指标到各个隐层神经元的平均权值即为指标的谱值，

，反映指标对输出结果的影响；

各指标对于输出结果的贡献率为

，其中

即指标对输出

结果的相对变化量；最后选取对输出结果的相对贡献率大的指标，相对贡献率小的指标略去。用神经网络进行指标筛选和约简，建模过程简化且精度较高。

因此，应根据指标体系的特性（定量或定性指标、定量指标的统计数据等）和评价对象的特点（是否为新建系统、是否为复杂非线性系统等），选择相应的指标约简的方法。

Business Management

以验证某种结构关系或者模型。这一方法可以用于指标体系有效性的测度，并且体现出了主客观相结合构建指标体系的思想。结构方程模型方法测度指标体系有效性的过程，如图１所示。

度为：

。

如果依据指标体系所得到的评价数据与“理想数据”的贴近度大于设定的阈值，则该指标体系具有较好的稳定性和可靠性。贴近度越大。以指标ｓ次评价结果均值作为理想值，若专家评分的平均数据组为Ｙ＝｛ｙ１，ｙ２，．．．，ｙｎ｝，

，指标体系贴近

指标体系稳定性和可靠性的

检验

指标体系的稳定可靠性检验，重在考察对某一指标体系的多次评价结果之间的“差异度”或评价结果与理想值的“贴近度”。如采用某指标体系得到的评价数据与“理想数据”越接近，则该指标体系反映评价对象的能力就越强，该指标体系的稳定可靠性就更高。

（一）通过稳定性系数检验指标体系的稳定性和可靠性

若专家组评分的平均数据组为Ｙ＝｛ｙ１，ｙ２，．．．，ｙｎ｝，定性系数为：

其中，

　；

。计算ｓ次评，指标体系的稳

结论

本文围绕指标体系构建中的三个常见问题，给出了解决思路。在进行指标约简时，应当根据指标体系和评价对象的不同特征，选择适用的方法；在测度指标体系的有效性时，可应用经典的效度系数法，也可采用结构方程模型方法测度指标体系的有效性，通过模型拟合找出最佳指标体系；在检验指标体系的稳定性和可靠性时，可应用稳定性系数法，也可通过测度评价结果与理想值间的贴近度来反映稳定性和可靠性。　　　　１．彭军龙．高速公路建设项目综合定量后评价研究［Ｄ］．中南大学博士学位论文，２００６

２．李随成，陈敬东，赵海刚．定性决策指标体系评价研究［Ｊ］．系统工程理论与实践，２００１（９）

３．刘丽莉．评价指标选取方法研究［Ｊ］．河北建筑工程学院学报，２００４（１）

指标体系有效性的测度

如果评价者用某一指标体系对评价对象进行评价时，认识的偏离程度越小，得出评价结果差异越小，说明对该指标体系所具备的评价作用的认识越一致，该指标体系有效性越强。

（一）效度系数法测度指标体系有效性设指标体系为Ｃ＝｛ｃ１，ｃ２，．．．，ｃｎ｝，参加对该指标体系进行评价的专家人数为ｓ，若专家ｊ对各指标的评分集为Ｘｊ＝（ｘ１ｊ，ｘ２ｊ，．．．，ｘｎｊ），指标体系的效度系数：

。其中，

，ｑ

价数据与其平均值的差异程度，从而反映出对同一指标体系ｓ次评价数据的差异性，差异越小，则该指标体系稳定性越高。

（二）通过贴近度检验指标体系的稳定性和可靠性

由多位专家用某个指标体系对评价对象进行评价，用贴近度反映评价数据与“理想数据”之间的接近程度，接近程度越高，

级要素对上一级要素的重要程度（即权重）。

计算综合关联数（见表１）。评价结论。从评价过程可以看出，创业家智慧分出了３个层次：第一层为创业家的直觉和洞察力、摄取机会的能力、动员资源的能力、学习与知识更新的能力；第二层为追求效率、创业家的经验、人格特征、创造新组织机制与新业务能力及管理能力；第三层为创业家的隐性知识、创业激情、内部控制预期、自我校验。

综上所述，创业家智慧模型的构建，是建立在规范性研究和商业实践总结基础上的，这增强了模型的科学性和指导性。而评价尽管与商业实践比较吻合，但是由于采用的是访谈法获得信息，样本受限，在

用商业语言设计问卷后，应结合相关统计软件进行。此外，评价方法的完善，应致力于提高信度与效度，在业内专家参与时，还应确保独立性、客观性等。　　　　１．彭建峰．人力资源管理概论［Ｍ］．复

旦大学出版社，２００５

２．郭会斌，杨青．创业家与企业家的相关内涵思辨［Ｊ］．武汉理工大学学报（管理与信息版）．　２００７（３）

３．亨利・明茨伯格，布鲁斯・阿尔斯特兰德，约瑟夫・兰佩尔，刘瑞红，徐佳宾，郭武文．战略历程［Ｍ］．机械工业出版社，２００２

４．戴夫・马库姆，孙贺影．高效经理人的８个思维原则［Ｍ］．机械工业出版社，２００３

为指标ｃｉ的评语集中的评分最优值。这一效度系数法反映了在用同一指标体系进行评价时不同专家认识的偏离程度，效度系数值越小，则指标体系的有效性越高。当指标体系的效度系数小于０．１时，则该指标体系的有效性较高。这一方法可从多个评价者所建立的指标体系中选取最有效的。

（二）结构方程模型方法测度指标体系有效性

当有条件进行抽样问卷调查时，可采用结构方程模型来测度指标体系有效性。结构方程模型（ＳＥＭ）是一种实证分析模型方法，通过寻找变量间内在的结构关系，