[课题结题成果]科技评价中多属性评价方法基本理论研究

2011-12-02

项目来源：2010年国家社科基金后期资助项目

成果形式：著作

成果完成人：俞立平 郭红 陈郁青 胡冰川 树友林 王小琴

由商学院俞立平教授主持完成的2010年国家社科基金后期资助项目“科技评价中多属性评价方法基本理论研究”， 主要以学术期刊评价为例，从多个侧面对科技评价中多属性评价方法的基本理论问题进行了深入细致的研究。

该课题的研究，丰富了科学计量学和多属性评价理论，有利于改进科技评价方法与技术，保证评价公平，从而调动科研机构和科研人员积极性，推动国家科技事业持续健康发展，促进科技资源优化配置，提高科技管理水平。

一、研究成果的主要内容和重要观点或对策建议

（一）科技评价指标的选取与分类

1.提出三种指标筛选方法

第一种方法：回归筛选法。首先采用非线性评价方法进行评价，然后将评价结果作为因变量，所有指标作为自变量进行回归，筛选出若干不相关和负相关指标，供专家在指标选取时进行参考。

第二种方法：效率回归模型。首先采用DEA方法对科技投入产出进行效率测度，然后将效率作为被解释变量，将所有投入产出指标作为解释变量，运用多元线性回归进行分析，根据科学学理论、统计检验值、拟合优度等对投入产出指标进行调整，直到模型相对稳定为止。

第三种方法：从学术期刊评价机构的视角，从评价机构、期刊社、作者、读者的关系分析入手，兼顾指标的人为操纵水平、指标的相对独立性、宏观和微观对学术期刊评价指标进行选取。认为对于期刊影响力指标要优先选用；对于期刊来源指标可以适当选取平均引文数指标和引用半衰期指标，其他指标不宜选取；对于期刊效益指标可以选取国际检索论文指标和国内检索论文指标，期刊获奖指标适当选用；对编辑质量指标一般不宜选取。

2.科技评价指标的分类

聚类分析与因子分析指标分类：针对部分学术期刊评价指标分类的模糊问题，利用中国科学技术信息研究所的医学期刊数据，采用聚类分析和因子分析进行期刊评价指标分类。指出聚类分析作为一种公认的分类方法，在期刊评价指标分类中并不适用。因子分析由于解释力较强，为学术期刊指标分类提供了一种较好的方法。在指标分类中完全根据数据说话是不完善的，可以根据具体情况在因子分析的基础上进一步进行整合。

3.提出两种单一复合评价指标

第一种方法：从规模、质量、均衡的视角提出了一种新的总量指标数据预处理方法——总量指标复合法，其思路是首先根据总量指标计算出人均指标和均衡指标，然后再将三者加权汇总成为一个复合指标。

第二种方法：提出了一个用来衡量期刊均衡发展的新指标——和谐指数，用某种期刊评价指标的离差率的倒数表示，反映期刊各方面发展的均衡问题。

（二）科技评价指标基础数据处理技术

1.标准化方法

提出科技评价中指标数据标准化方法选择的三大原则，即同一指标内部数据相对差距不变原则、不同指标之间的相对差距不确定原则、标准化后极大值相等原则。根据这三大原则，发现现有所有反向指标标准化方法都有问题。并筛选出一种正向指标标准化方法，提出一种新的反向指标标准化方法。

2.提出两种指标间相关关系消除的方法

第一种方法：相关系数调整法。首先判定指标间是否具有两两相关关系，如果有，用较小的指标乘以拟合优度作为相关部分的估算值，然后采用客观相关系数调整法或权重相关系数调整法对指标相关部分进行修正，并可以采用指标相关优化系数检验调整效果，从而降低指标间的相关性。

第二种方法：综合回归调整法。其原理是首先全面分析所有的指标间复杂的相关关系，绘制出指标相关图，然后利用回归系数和拟合优度估算出相关部分，最后进行指标调整，在此基础上再进行评价。

3.科技评价中标准分的使用

同时采用传统方法和标准分对学术期刊评价指标进行标准化处理，然后采用TOPSIS进行评价，并比较二者的评价结果。研究发现采用标准分与采用传统标准化方法的评价结果相差较大，标准分提高了单个指标的可比性。

（三）权重赋值、效用函数、灵敏度与结果

1.权重赋值

通过实证研究发现，客观赋权法的评价结果无法得到公认，比较适用宏观分级评价。不同客观评价方法对相同指标的权重模拟值相差较大，因此单纯采用客观评价法进行评价结果是不可靠的。随着学术期刊影响因子水平的提高，部分评价指标的相对权重不变，但也存在部分指标权重递增，部分指标权重递减问题。根据证据理论提出了一种对科技评价中专家权重赋值进行优化的方法。

2.效用函数

首先分析加法合成、乘法合成、对数合成、代换合成方法的特点及适用范围，然后利用离散系数、极差比率、高端区分度、低端区分度、高低端汇总比率指标比较各种合成方法的区分度、对较优及较差评价对象打分的强化情况，认为应根据需要选择不同的合成方法。

3.灵敏度分析

在科技评价中通过单个指标与组合指标灵敏度分析发现，单个指标与组合指标的灵敏度分析应该结合使用；在评价对象较多的情况下灵敏度分析的效果一般较差，可以适当选取部分评价对象进行灵敏度分析；单指标权重灵敏度分析的区间变化范围之和可以用来衡量不同权重赋值评价方案的稳定性。

4.评价结果的数据扭曲问题

采用回归分析法将非线性评价转换为线性评价并进行深入分析。研究结果表明，不同评价方法评价结果的用途不同，基于排序的评价其结果不能进行差距比较，线性评价在不同分值情况下改进难度不一样，非线性评价会带来评价对象实际差距的数据扭曲。

5.评价结果分析

评价结果与专家的互动：在分析科技评价要素与外部专家关系的基础上，将外部专家对科技评价的贡献进行分类，进而分析评价者应该向外部专家提供哪些信息，最后就评价者与外部专家互动的注意事项进行了讨论。

科技评价中阿罗的不可能定理：探讨了科技评价中定序评价和定值评价遭遇不可能定理的可能性。认为不可能定理对于定值评价结果几乎没有影响；只有在少数基于排序的定性评价和少数定序组合评价中才有可能遭遇不可能定理。

（四）评价方法创新

1.基于结构方程与面板数据的学术期刊评价

结构方程评价：根据科技评价指标的内在联系，将指标分为影响力、时效性、期刊特征三个一级指标，建立结构方程进行评价。

面板数据评价：采用学术期刊面板数据，根据年度数据之间的动态变化进行指标筛选，然后进行评价。

2.提出三种新的客观评价法

第一种：独立信息数据波动赋权法。首先计算出评价指标的离差系数，然后利用改进的复相关系数计算指标的独立信息率，将二者标准化后相乘再进行归一化处理得到权重。

第二种：指标难度赋权法。用标准分对科技评价指标进行标准化，然后进行加权汇总。

第三种：标准TOPSIS评价是在2次幂下进行的，将标准TOPSIS推广到其他幂次，认为应该根据不同的评价特点选择不同幂次的TOPSIS评价。

（五）科技评价方法的选择与组合

1.提出五种评价方法的筛选方法

第一种：通过回归和数据包络分析筛选指标。

第二种：提出两个新的指标，用来筛选评价方法：首尾一致率和区分度。

第三种：提出评价方法筛选的系统方法——回归调整法，结合岭回归进行指标评价方法筛选。

第四种：总结出九个评价方法的选取原则：高区分度、低灵敏度、单调递增、完全数据、公众接受、主客观结合、高拟合度、指标齐备、评价结果初步认同。

第五种：讨论了在多属性评价值和评价对象真实水平数据发生扭曲的背景下，根据期刊评价目的选择不同期刊评价方法的原则和注意事项。

2.评价结果标准化方法对组合评价的影响

首先确定科技评价结果标准化的原则和方法，提出了一种新的负值评价结果标准化方法——极差标准化方法，分析了标准化方法不同对组合评价的影响。认为对于线性评价结果，一般情况下没有必要做标准化处理，对于非线性评价结果，定序评价方法不存在标准化问题，定值评价方法都要进行标准化。

3.提出三种新的组合评价方法

第一种：共性数据排序选择模型。其原理是，首先用各种可行的评价方法对科技评价对象进行评价，然后将评价结果排序后进行分级，筛选出各种评价方法公认的评价对象，接着采用排序多元选择模型进行回归，得到各指标的回归系数，将其标准化后作为组合评价的权重，最后进行加权汇总得到评价结果。

第二种：基于极值法的组合评价。其原理是，首先选用各种可行的评价方法进行评价，然后将评价结果标准化，将同一评价对象不同评价结果的极大值作为最终评价结果。

第三种：基于结果一致度的组合评价。其原理是通过回归测度出一种评价方法与其他所有评价方法的相似程度，然后根据这种相似程度归一化后得到各种评价方法的权重，最后再进行加权汇总。

（六）专题研究

研究同行评议与指标体系评价结果之间的关系。数据丰富程度影响同行评议与指标评价的一致性；在数据不足的情况下，辅以同行评议进行综合评价是较优的选择；可用回归拟合优度对数据丰富程度进行判断；在数据较为丰富的情况下可以向同行评议专家提供原始数据。

学术期刊来源指标与影响力关系。分析了基金论文比、平均引文数、平均作者数、地区分布数、引用半衰期5个期刊来源指标与期刊影响力之间的关系。发现期刊来源指标较好并不代表期刊影响力就很大。各期刊来源指标与影响力之间存在着较低的相关关系，但是在不同数据段他们的相关程度又不一样。不同期刊来源指标与期刊影响力之间的关系各有特点。

学术期刊影响因子在不同水平下的影响因素及其特点。分析了平均引文数、平均作者数、地区分布数、海外论文比、基金论文比、期刊时效性对影响因子的影响，结果表明，海外论文比与影响因子无关；高影响因子和低影响因子期刊，平均引文数与期刊影响因子无关；高影响因子期刊，基金论文比与影响因子无关。

期刊特征因子与其他文献计量指标间的关系。研究发现：特征因子分值和论文影响分值互为高度相关。即年指标及影响因子与特征因子分值无关，但和论文影响分值正相关。被引半衰期及5年影响因子与特征因子分值负相关，与论文影响分值正相关。总被引频次及期刊论文数量与特征因子分值正相关，与论文影响分值负相关。

不同学科发展的差距。认为学科水平与先进水平的差距取决于其在成长曲线中的位置及成长曲线的特点，弥补这种差距必须动态进行考量。集成系统中不同学科同时存在木桶效应和互补效应。学科分类的大小影响到成长曲线的形状，学科发展也有比较优势和后发优势，应重视新兴学科的发展。

（七）研究展望与思考

1.定性评价仍然是重要的科技评价方法。

2.单一复杂指标的应用前景将越来越广阔。

3.组合评价在科技评价中的应用将更加广泛。

4.组合评价与多属性评价相结合将会取得进展，在科技评价中宜采用客观组合评价方法。

5.基于排序的多属性评价方法由于区分度较低要慎重使用。

6.要注意评价的有效性与简洁性的辩证统一。

二、成果的学术价值、应用价值及社会影响和效益

在科技评价中，人们已认识到主观评价带来的问题，但极少关注到客观评价技术带来的不公平问题。在评价理论和方法上，指标选取技术还不成熟，一些基本数据处理技术也存在不少问题，较少有多属性评价方法与组合评价方法的创新，这势必从根本上制约了中国科技评价的发展。

该成果并不是一本科技评价任务驱动的著作，而是一本基础理论和方法的著作，也就是说，在进行相关评价时，该书可以提供重要参考。

该成果构建了科技评价指标与评价方法选取体系；筛选出一种正向指标标准化方法，提出一种反向指标标准化方法；提出两种降低指标间相关关系的算法；提出两个新的复合指标；提出三种新的多属性评价客观方法和三种新的组合评价方法；在权重赋值、效用函数合成、灵敏度分析、结果处理等多个方面也有很多创新点。改成果丰富了科学计量学和多属性评价理论，有利于改进科技评价方法与技术，从技术上保证评价公平。从而为政府决策提供重要参考，推动国家科技事业持续健康发展，促进科技资源优化配置，调动科技人员积极性，提高科技管理水平。