一种多维综合大学发展评价指标体系的评估方法与流程

本发明涉及科技服务技术领域，尤其是一种多维综合大学发展评价指标体系的评估方法。

背景技术：

既有世界大学排名体系如qs、the、arwu等涉及到的国内大学评价对象有限、评价范围固定，能跻身世界大学排名榜单的国内大学皆为一流大学，大多数国内普通本科院校均未能进入榜单；且目前公认的世界大学排名体系的指标内容维度单一，主要集中在学术科研方面，更多侧重自然科学。

既有国内大学排名体系的指标内容缺乏逻辑一致性，未充分考虑到大学、社会两个系统之间的双向作用和相互影响，对于社会捐赠、社会转化、社会关注等社会性指标的重视较少；国内大学排名的数据来源、评估过程等均不公开透明。且国内大学评价体系的指标遴选仅仅面向大学的基本事实和现实状态，而没有从效益层面体现出大学发展的绩效水平。

技术实现要素：

本发明所要解决的技术问题在于，提供一种多维综合大学发展评价指标体系的评估方法，以多维评价和特色评价为导向，为国内不同地域、不同类型的高等院校提供客观性、多维度、综合性测评以及大学发展个性化特色评估，为高校决策制定、发展策划等提供支持。

为解决上述技术问题，本发明提供一种多维综合大学发展评价指标体系的评估方法，包括如下步骤：

(1)定义指标体系；

指标体系是指由若干个具有内在联系的单项指标所组成的有机体；因而，定义指标体系是指完成指标体系相关信息、概念的定义，指标体系信息记录了指标体系的总体描述信息及创建信息，包括确定评价目的、明确评价维度(一级指标)和定义指标体系基本信息。指标体系的设计原则着重体现：中国高校本土化发展原则，大学建设绩效评估原则，多维综合评估原则，学科生态均衡发展原则，大学个性化特色评价原则，以及社会影响贡献原则；

(2)遴选评价指标；

评价指标的遴选是构建评价体系、进行评价研究的前提和基础，将抽象的研究对象按照其本质属性和其目标评价特征的某一方面标识分解成为具有行为化、可操作化的结构；指标遴选包括两个步骤：以评价维度(一级指标)为牵引构造方案层指标(二级指标)；以方案层指标为牵引构造操作层指标(三级指标)；

(3)构造评价指数；

本发明为一种多维综合大学发展评价体系与评估方法，包括综合评价指标体系和特色评价指数，特色评价指数用于评估高等院校在学科生态、学术增长、创新潜力、校友发展、社会声誉、社会效用等6个维度的水平；评价指数中的变量源自第二步遴选出的评价指标，基于此选择数学计算方法构造相应的评价指数；

(4)设计指标权重；

指标权重的设计以评价目的和评价需求为导向，根据不同的目的和需求，使用德尔菲法给遴选出的指标打分以确定其重要性，然后使用层次分析法计算每级指标的权重，并进行一致性检验以验证所得权重是否合理，若不合理就再进行一轮专家打分，直到通过一致性检验；

(5)确定数据来源；

根据操作层指标(三级指标)内容来确定要采集的数据内容、确定数据来源，并收集数据；本发明的数据采集途径有二，其一为要求全国各类本科高等院校公开填报；其二为发明项目组手动采集第三方数据，如教育部、高校年度统计公报、webofscience数据库、微信微博等第三方网站；后者可以验证前者的真实性与有效性，数据采集的周期为当前时间为准往前倒推的一个自然学年，如目前收集的数据时间范围为2017.09-2018.07；

(6)清洗校验数据；

数据清洗校验是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等；根据实际采集到的数据基本情况，清除重复数据项、无用数据项，处理缺失数据项，统一数据度量标准，使数据具有一致性；

(7)多维评价分析；

本发明包括评价体系和评价指数，评价指数基于评价体系，以体系内的具体指标为基础，采用一系列数学方法设计成特定指数，用以衡量高校的学科生态、学术增长、创新潜力、校友发展、社会声誉以及社会效用水平；因而，多维评价分析采用总分模式，包括两部分内容：综合评价和个性化评价；综合评价即基于构建好的评价指标体系以及采集处理好的学校数据计算每所学校的分值，而后对计算出的所有国内本科院校的综合发展分值进行递减排序，确定大学发展综合排名；个性化评价指根据高校的需求，提供学科生态、学术增长、创新潜力、校友发展等方面的个性化评价实证分析，促进高校的可持续发展。

优选的，步骤(7)中，学科生态指数公式为：

其中，s为本科专业门类数，n为本科专业总数，ni为每个专业门类下设立的专业数量。

优选的，步骤(7)中，学术增长指数公式为：

agi＝(ax+1-ax)/ax+1

其中，ax+1为当年cssci和wos收录的学校论文数量，ax为前一年cssci和wos收录的学校论文数量。

优选的，步骤(7)中，创新潜力指数公式为：

ipi＝hcpor*yp

其中，hcpor为高被引占有率，指当年esi高被引论文的数量与被收录的论文总量的比值，其中理工科为当年esi高被引论文的数量与被收录的论文总量的比值，文科为中国人民大学复印报刊资料收录的高被引论文的数量与被收录的论文总量的比值；yp为青年比，即45周岁以下教师所占比例。

优选的，步骤(7)中，校友发展指数公式为：

adi＝td^r*sd^1-r

其中，td为人才培养，sd为社会捐赠，r为自设权重，td和sd值计算方法使用层次分析法ahp，使用这两个维度的全指标，赋予每个指标权重并打分计算总得分。

优选的，步骤(7)中，社会声誉指数公式为：

sri＝(bci+wci)*ic*0.1

其中，bci为微博传播指数，wci为微信传播指数，ic为传承系数，计算方法为学校建校历史除以学校改名次数；根据微博和微信用户数量的比值进行归一化，bci和wci的数值采用ahp方法计算。

优选的，步骤(7)中，社会效用指数公式为：

sui＝r*st/a+(1-r)*tt/a

其中，st为社会转化数额，a为当年cssci和wos收录的学校论文数量，tt为智库数量，r为自设权重，根据大学的文理科属性设置。

本发明的有益效果为：(1)基于绩效视角，即投入、产出视角，构建大学发展评价指标体系；一级指标内容共分为8个维度，既包括现有大学排名体系一致重视的学术科研，也注意囊括了社会捐赠、社会转化、社会关注等社会性影响因素；本发明相比既有国内大学排名体系，评价内容多维化，评价结果呈现多样性，更能体现大学发展的实际水平及其社会影响力；(2)基于中国国情，采用控制变量，实现大学发展多层多维评价；其中学校地域这一控制变量用以规避经济发展不平衡等固有弊端，凸显地方高校的区域贡献；学校类型控制变量则用以区分文科、理科、综合等不同类型大学的使命差异，弥合文理差距；换言之，本评价体系以更公平的视角测评不同地区、不同类型本科院校的真实综合水平，给予经济不发达地区的“非主流”院校“崭露头角”的机会，因此本评价体系更为精细化，均衡化和合理化；(3)评价数据、评价过程公开透明；两种数据来源，其一为高校公开填报数据；其二为发明项目组手动采集第三方数据，如教育部、webofscience数据库、学校官网等第三方网站上的数据，并公开数据来源和评估过程，评估数据权威客观，排名过程公开透明，排名结果公平公正；(4)扩大评价的学科范畴和学校范围；注重加入可以衡量人文社科领域研究发展水平的成果形态以及揭示大学社会影响的测量指标内容，避免过于侧重以自然科学为主的学术科研，避免产生排名结果出现理工科院校排名靠前、文科院校排名居后的系统误差的可能性；另一方面，将评价体系的测评范围扩大到包含国内普通本科院校，即测评对象除了国内原985/211高校，现双一流高校以外，同样关注众多普通本科院校，让更多普通院校能够通过本大学评价体系，知晓自身高校目前在全国高校中的水平、位置、存在不足以及改进方向；(5)面向高校个性化发展需求，提供多维评价；本发明除了构建了多维综合大学发展评价体系，同时设计了大学个性化发展特色评价指数，用于评估高等院校在学科生态、学术增长、创新潜力、校友发展、社会声誉、社会效用等6个特定维度的水平，助力国内高等教育均衡发展。

附图说明

图1为本发明的评价指标体系设计原则示意图。

图2为本发明的方法流程示意图。

图3为本发明的评价指标体系的结构示意图。

图4为本发明的个性化特色评价指数的内容构成示意图。

具体实施方式

一种多维综合大学发展评价指标体系的评估方法，包括如下步骤：

(1)定义指标体系，围绕全面评价国内高校综合发展水平以及绩效管理水平的目的，根据本发明相关设计原则，构造大学发展评价指标体系，评价维度包括师资力量、学科建设、学生素质、社会捐赠、人才培养、学术科研、社会转化以及社会关注8个方面，其中前4个维度指标隶属于投入性指标，后4个维度则属于产出性指标。指标体系设计原则如图1所示，设计过程如图2所示。

(2)遴选评价指标，根据指标体系的评价维度，确定每个维度下的方案层指标，而后根据方案层指标遴选下级操作层指标，具体指标体系如图3所示。

(3)构造评价指数，评价指数中的变量源自第二步遴选出的评价指标，基于此选择数学计算方法构造相应的评价指数，以评估高等院校在学科生态、学术增长、创新潜力、校友发展、社会声誉、社会效用等6个维度的水平。具体评价指数如图4所示。

(4)设计指标权重，以评价目的和评价需求为导向，确定各个指标的重要性程度，赋予每个指标不同的权重，指标体系内指标的权重不是一成不变的，将根据学校地域、学校类型的差异性进行调整更改。

(5)确定数据来源，本发明的数据来源均为政府、学校与社会公开数据，主要有2种途径，一为高校公开填报，二位手动采集第三方数据，其中后者可以验证前者的真实性和准确性。

(6)清洗校验数据，采用相应的数理统计方法对采集到的数据进行清洗校验，清除冗余数据、无效数据等，保持数据的一致性和可操作性。

(7)多维综合评价，采用总—分模式，包括两部分内容：综合评价和个性化评价。综合评价：即基于本发明构建的评价指标体系以及采集处理的学校数据，计算每所高校的综合得分，而后对计算出的所有国内本科院校的综合发展分值进行递减排序，确定大学发展综合排名；个性化评价：指根据高校的特定需求，提供学科生态、学术增长、创新潜力、校友发展等方面的个性化评价实证分析，促进高校的可持续发展。

实例1：d大学、s大学与y大学；

一种多维综合大学发展评价体系与评估方法，其特征在于，包括定义指标体系、遴选评价指标、设计指标权重、确定数据来源、清洗校验数据、多维评价分析6个部分组成，具体步骤如下：

第一步：定义指标体系；

指标体系是指由若干个具有内在联系的单项指标所组成的有机体。因而，定义指标体系是指完成指标体系相关信息、概念的定义，指标体系信息记录了指标体系的总体描述信息及创建信息，包括确定评价目的、明确评价维度(一级指标)和定义指标体系基本信息。

(1)确定评价目的；

评价目的为测评d大学、s大学与y大学的综合发展水平以及绩效水平，同时意图测评d大学、s大学与y大学在学科生态、学术增长、创新潜力、校友发展等特定方面的水平。

(2)明确评价维度(一级指标)；

评价维度根据本发明的评价目标、评价目的、总体特征创建，因而本发明共创建了师资力量、学科建设、学生素质、社会捐赠、人才培养、学术科研、社会转化以及社会关注共8个维度的一级指标，其中前4个维度指标隶属于投入性指标，而后4个维度则属于产出性指标。

(3)指标体系基本信息定义；

基本信息为指标体系的总体特征描述，包括评估行业、行业领域、评估描述、评价内容和评价目的等。发明人对以上基本信息进行定义，本指标体系的评估对象为高等教育领域内的高等院校，拟从绩效视角评估国内本科院校的综合发展水平，明确高校自身的位置，推进高等教育的均等化发展。

第二步：遴选评价指标；

评价指标的遴选是构建评价体系、进行评价研究的前提和基础，将抽象的研究对象按照其本质属性和其目标评价特征的某一方面标识，分解成为具有行为化、可操作化的结构。指标遴选包括两个步骤：以评价维度(一级指标)为牵引构造方案层指标(二级指标)；以方案层指标为牵引构造操作层指标(三级指标)。

(1)以评价维度为牵引构造方案层指标(二级指标)；

以一级指标为节点，向下构造方案层指标，根据指标体系评价维度的特点和需求，方案层指标的数量不一，即每个层级的指标具有层层递进、越来越详细的特点。

(2)以方案层指标为牵引构造操作层指标(三级指标)；

以方案层指标为节点向下构造操作层指标，根据方案层每个指标的特点和需求，操作层指标的数量不一，即每个层级的指标具有层层递进、越来越详细的特点。

第三步：构造评价指数；

本发明为一种多维综合大学发展评价体系与评估方法，包括评价指标体系和评价指数，评价指数用于评估高等院校在学科生态、学术增长、创新潜力、校友发展、社会声誉、社会效用等6个维度的水平，具体内容如表1所示。评价指数中的变量源自第二步遴选出的评价指标，基于此选择数学计算方法构造相应的评价指数。

表1多维综合大学发展评价指数

第四步：设计指标权重；

指标权重的设计以评价目的和评价需求为导向。根据不同的目的和需求，使用德尔菲法给遴选出的指标打分以确定其重要性，然后使用层次分析法计算每级指标的权重，并进行一致性检验以验证所得权重是否合理，若不合理就再进行一轮专家打分，直到通过一致性检验。

对由不同样本计算的各平均值或方差进行检验。确定在一定显著性水平下各平均值或各方差之间是否有显著性差异，若无显著性差异，则各均值或各方差一致。

第五步：确定数据来源；

根据操作层指标(三级指标)内容来确定要采集的数据内容、确定数据来源，并收集数据。本发明的数据采集途径有二，其一为要求全国各类本科高等院校公开填报；其二为发明项目组手动采集第三方公开数据，如教育部、高校年度统计公报、webofscience数据库、微信微博等第三方网站。后者可以验证前者的真实性与有效性。数据采集的周期为当前时间为准往前倒推的一个自然学年，如目前收集的数据时间范围为2016.09-2017.07。

(1)公开填报；

由d大学、s大学与y大学公开填报，主动提交给发明项目组。

(2)手动采集；

由发明项目组手动采集d大学、s大学与y大学各级指标下的详细数据，以备校验由d大学、s大学与y大学公开填报的数据。

第六步：清洗校验数据；

数据清洗校验是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。根据实际采集到的数据基本情况，处理重复数据项、无用数据项，处理缺失数据项，统一数据度量标准，使数据具有一致性。

(1)清除无用数据项；

s大学每个指标下的数据十分详细，但并不是所有的都是本发明所需要的，属于无用数据项，如在师资力量-头衔维度里，s大学有“发达国家院士”等数据，本发明旨在测评国内高等院校的综合发展水平，尽量减少国外相关因素的影响，因此本发明最终会清除类似与发明评价目的相悖的数据项。

(2)处理缺失数据项；

在人才培养-升学率维度下，d大学的研究生升学率这一项数据是缺失的，由于研究生升学率是衡量学生素质的重要指标之一，因此该数据项不能删除，故本发明对其进行置中位数处理。

(3)数据一致性检验；

检验d大学、s大学与y大学在各个指标维度下数据项的单位是否一致，前后逻辑是否一致。如在社会转化-技术转让收入维度里，数据计量单位为“千元”，因而需将两所大学的数据均改成以“千元”为单位计数。

第七步：多维综合分析；

本发明包括综合评价体系和个性化特色评价指数，评价指数基于评价体系，以体系内的具体指标为基础，采用一系列数学方法设计成特定指数，用以衡量高校的学科生态、学术增长、创新潜力、校友发展、社会声誉以及社会效用水平。因而多维评价分析采用总分模式，包括两部分内容，综合评价和个性化评价。综合评价即基于构建好的评价指标体系以及采集处理好的学校数据计算每所学校的分值，而后对计算出的所有国内本科院校的综合发展分值进行递减排序，确定大学发展综合排名；个性化评价指根据高校的需求，提供学科生态、学术增长、创新潜力、校友发展等方面的个性化评价实证分析，促进高校的可持续发展。

(1)综合评价；

基于上述所有步骤，最终d大学、s大学和y大学每个指标维度的具体得分和总分如表2所示。3所大学的总分分别为86.59、70.62、58.75(均保留两位小数)，显而易见，d大学的多维综合发展水平最高，其后依次为s大学、y大学。此综合结果与3所大学的师资力量、学科建设、学生素质、社会捐赠、人才培养、学术科研、社会转化以及社会关注等方面息息相关，量化高校在每个维度的实际水平，可促进每所高校扬长避短，全面提升综合发展水平，这也正是构建多维综合大学发展评价体系的意义所在。

另外，3所大学的绩效比(投入产出比)分别为1.13、1.42和1.11，可见y大学的投入产出最均衡，而s大学的表现则与另外两所有很大的出入。

表2多维综合大学发展评价

(2)个性化评价；

基于3所高校的基础数据以及6个评价指数，计算得出d大、s大和y大在学科生态、学术增长、创新潜力、校友发展、社会声誉以及社会效用6个具体方面的水平，结果见表3。

3所大学在每个指数下的表现均有所差异，甚至在校友发展和社会效用两项上有着巨大的落差。本发明的6项个性化指数测评结果不仅可以让各个高校凸显特色，而且可以为每所高校提供个性化评估视角，让其明确弱势项目，后续能够以表现好的高校为标杆，实现定标比超。

表3多维综合大学发展评价指数表现