卓越描绘：一种对卓越科学机构进行评价的方法_卓越教育机构

　　[摘要]为实现卓越科研机构、机构在各科研领域热点研究的科学评价，欧洲科学与技术卓越描绘(Errropemapping of excellencein science and technology，简称ME)从科研角度，结合定性定量方法，实施有效的评价。研究ME的内涵和基本思路、评价指标、评价数据和实施过程的特点、实施结果等相关问题，结合其评价体系和结果的反馈情况，提出对我国科学评价的启示，为进一步设计科学评价模型提供理论参考。
　　[关键词]卓越描绘科学评价文献计量
　　[分类号]G311
　　
　　1　背景
　　
　　随着科学评价对象的综合化和复杂化，为确保科学评价的科学性和准确性，科学评价方法逐渐由单纯使用定性或定量评价向定性定量结合发展，各种研究和应用不断展开。
　　由于缺乏完备的评价体系，欧洲科研在2000年以前存在投资少、成果封闭等诸多问题。针对这些问题，欧洲委员会于2000年确立了科学与技术卓越描绘(mapping 0f excel，lence in science and technology，ME)项目。该项目结合同行评议和文献计量、专利分析、声誉评价等方法，从投入、科研成果、声望、知识转移等多个角度评价科研领域的卓越机构和各机构热点研究，为制定科技政策、优化科研资源配置、吸收科研投资等方面提供支持。
　　ME这套跨国家地域的科学评价体系指标丰富，方法灵活，可为扩展传统的基于文献的科学评价提供理论参考，也可为网络科技信息评价提供借鉴，因此有必要深入研究ME评价指标和模式的特点。
　　
　　2　ME总体思路
　　
　　ME对卓越中心的定义是“A structure where research&technological development is performed 0f world standard，interms 0f measurable scientific production(including training)and／or technological innovation”。具体而言，卓越中心需要：有一定数量高水平的科学家和技术开发人员；有独立完善的评价体系；有整合临近领域和吸纳相关技术的能力；编制内科研人员流动性强；立足实现知识增值；具有较高的国际知名度；产学研紧密结合；有合理稳定的科研基金支持和运作条件；有独立于公共基金的科研经费来源。
　　为从不同地域级别(世界、欧盟、国家等)评价各领域卓越中心，ME除采用调查问卷和统计相关科技文献方法外，还突出专利、社会声誉、玛丽居里奖学金和机构数据(structuraldata)等产出在评价中的作用。针对不同领域，ME可灵活调整指标。下文将重点从评价指标、评价数据和评价实施三方面分析此“a modulated indicators-based approach”(基于调整指标的方法)的评价体系。
　　
　　3　ME的评价指标
　　
　　由于不同领域、国家、科研实体在科研体制等方面差异较大，ME综合各类产出特点，基于投入产出，设计出适用于不同领域和国家的指标。
　　
　　3.1　充分考虑科研体制等因素，基于投入产出划分指标来源
　　ME指标来源相当丰富，主要包括：①投入：包括研究人员、研究经费、基础设施等；②产出一：科研成果和社会声望，包括期刊、会议、站点、奖学金、同行评议、国际科研项目等；③产出二：创新能力、技术转移能力和社会经济效用，包括发明专利、与公司企业交换科研人员的数量、产学研合作数量等；④产出三：教育，包括PhD教育、学术项目是否有专门的经费等；⑤产出四：支持社会发展，包括产业服务能力和标准成果等。
　　
　　
　　3.2　以文献计量为核心，针对领域灵活调整评价指标，形成三类评价指标组合
　　实际评价中，ME根据产出、研究对象、研究方法等将整个科学领域分为基础研究、应用研究和社会科学三个领域，针对领域特点构建了不同的指标组合：①针对基础研究领域，选用文献计量和同行评议。这里文献计量指标包括发表论文数P、每篇论文的被引数与领域内论文平均引用数的比值CPP／FCSm等11类指标。②针对应用研究领域，选用文献计量、专利分析和同行评议。专利分析通过考察专利申请数、平均专利与出版物的比例等指标，从应用研究维度发现被文献计量方法忽略的科研实体，减小专利和科技文献绝对数量对评价结果产生的负面影响。③针对社会科学领域，选用文献计量和声誉评价。ME声誉评价充分量化各评价指标，从社会声誉、玛丽居里奖学金、参与欧洲框架项目的情况、机构结构数据(如研究经费、人员)等方面人手，提高社会科学评价的客观性。
　　
　　4　ME的评价数据
　　
　　针对完备灵活的指标，ME设计相应数据收集方法，并构建评价数据库，降低评价成本：①文献计量方面，ME主要利用SCI和SSCI获取相应数据。为保障数据质量，降低连续评价成本，ME利用Web of Science等不断丰富自己的文献计量数据库――CWTS-WoS。该库覆盖了各领域的国际顶级期刊和会议文献。②专利分析方面，ME主要借助国际专利分类、国际专利索引、欧盟自身的专利库和SCI，获得分析所需的专利发明者、申请者等相关信息。③声誉评价主要包括社会声誉、玛丽居里奖学金等。针对社会声誉，ME主要向领域内重要研究者发放问卷，调查他们认为在本国、欧洲、世界处于前十位的卓越研究者。玛丽居里奖学金数据主要由欧洲委员会提供，机构结构数据则由各成员国提供或从各机构网站获取。
　　
　　5　ME评价过程
　　
　　评价中，ME可针对不同领域和科研实体，调整评价指标和方法。其实施过程主要包括构建领域专家组、出版物分析、声誉评价、交叉检查评价结果以及评估小组评估等。
　　
　　5.1　重视组建专家组，及时反馈各国科研发展信息
　　ME实施之初，由欧盟各国代表组成的高级工作组(High-Level Group，HLG)负责组建独立领域专家组。评价过程中，专家组根据其领域知识提供检索意见，并提供各国研究机构的变动情况和发展状况。此外，要求他们在不了解文献计量结果的情况下，提供各自认为的国内外相关学术或产业领域的10个卓越小组，并结合文献计量结果开展评估工作，完善评价结果。
　　
　　5.2合理划分子领域，根据不同科研实体规模设置不同阂值
　　划分科研子领域时，ME以权威期刊目录(如IsI目录等)等为起点，结合专家组意见，选择适当科学文献，抽取出有科学描绘意义的关键词，并针对不同领域实施不同层级的聚类，利用类中最频繁的四个关键词标识研究分支。
　　基于确定的子领域进行文献计量时，考虑到机构的规模，ME提供两类阈值，分别采用不同的文献库分析。根据子领域和其对应的出版物信息，ME可生成高度结构化的领域知识图，增强文献计量结构的可视化程度，描述子领域之间 的亲疏关系以及各自的活跃程度等。聚类产生的研究分支还可进行出版物共现处理，获得领域的层级式主题结构。
　　
　　5.3　重点关注专利发明指标，利用SCI获取发明者机构相关信息
　　ME专利分析着重专利发明和申请数据，尤其是专利发明，借此考察科研实体的应用研发能力及学术界与产业界的联系程度。在专利分析过程中，区分专利发明和申请可更实际地反映非盈利研究机构在专利发明方面的产出，描绘其在技术转移、社会效用方面的卓越贡献，从而吸引更多产业投资。
　　
　　5.4充分量化声誉评价指标，考虑相应指标的动态变化
　　实际评价中一些指标有易变性。分析数据时，ME会采用相应方法尽量减少其影响。
　　?利用卓越研究人员的社会声誉判定机构社会声誉。根据问卷回收数据，ME建立两个数据库：一个存放受调查者推荐的所有卓越科研者信息；另一个存放国际卓越研究者信息。比对这两个数据库，可在一定程度上减少推荐过程中受调查者偏见带来的影响。
　　?重视从相关项目、科研奖励中发掘评价指标，实现科学评价和项目的互动。受欧洲框架计划(Framework Pro―gramme)的启示，ME使用了玛丽居里奖学金和参加框架项目情况这两个指标。玛丽居里奖学金主要面向年轻科研人员，通过该指标可了解机构对年轻科研人员的吸引力，分析科研人员流动的原因。分析参加欧洲框架计划的情况，可考察机构对外合作意愿和研究能力，从而判断机构的卓越程度。
　　?关注人力资源、科研经费等易变性定量指标，并随着科学发展开展动态评价。ME中机构数据是很重要的一个指标，它包括人力资源、科研经费等，可利用已有的科学评价数据构建有评价意义的机构数据库。分析指标时，需充分考虑科研人员的流动性等因素，将科学评价纳入科学发展过程中。
　　
　　5.5　公开透明评价过程和方法，充分调动科研活动的利益相关者
　　ME通过公开评价过程和方法，征集调整方案等措施调动科技界同行、产业个体及社会科学领域科学家参与其中。HLG根据阶段结果，及时开展专家问卷调查，调整评价指标或分析方法。评价结束后，由科技界同行、产业个体组成评估小组，结合评测实施者的建议以及评估小组和HLG的决定，最终确定公开发布的卓越中心名单和各中心在特定领域的学科知识图。
　　
　　6　ME实施情况
　　
　　2002年完成的ME实现了对各领域卓越中心的描绘。以生命科学领域免疫学为例，通过ME，用户可获得卓越中心的基本信息，浏览科研领域知识图，查看相应机构在免疫学各研究分支的具体研究情况，获得领域重点主题、交叉学科发展趋势。表1与图1分别显示了丹麦按CPP排名的免疫学领域卓越研究中心以及丹麦癌症研究中心在免疫学领域的部分知识图谱。图中圆圈大小表示主题当前受关注的程度，圆圈距离则反映主题之间关系的亲疏程度。
　　此外，ME对许多国家、学科领域的评价活动起到了促进作用，而针对这套评价体系本身的研究也方兴未艾。近年来相关科技文献层出不穷，如Michel Zitt等以纳米科技为例，探索了综合利用词典和文献引用情况描绘复杂科学领域的方法。
　　
　　7　ME的不足和对我国的启示
　　
　　评价中，ME充分考虑科研院所、高校、产业部门等研究实体，针对不同领域、国家和科研实体扩展评价指标，设计灵活的评价模型。借鉴ME丰富的评价指标和灵活的评价方法，并充分认识它的不足之处，可为我国设计有效的科技评价模型提供参考。
　　
　　7.1　ME存在的不足
　　尽管ME将各类定性和定量指标有效结合起来，但其评价指标、数据来源和技术实施路线等方面还存在着以下问题：①ME评价指标多样，实施过程复杂，不仅需要庞大的评价数据库，还需要足够的专家支持，高成本的投入是ME的缺陷之一；②多维度量化评价指标加大了数据获取、分析的难度；③在评价过程中，专家的全程监控虽为评价结果的质量提供了保证，但评价效率相对低下。如何协调效率和评价质量之间的矛盾值得思考。
　　
　　7.2　ME对我国科学评价的启示
　　虽然ME尚存在一些问题，但其完整的评价指标体系和实施过程给我们以下启示：
　　?明确开展科学评价的目的，将其作为吸引投资、促进竞争、促进人才流动的一种手段，融入科研发展的过程中，动态监测科研进展和科研分布；同时将科学评价作为促进科研成果社会效益的一种手段，促进产学研的结合，推动科学和社会的有效结合。
　　?充分考虑不同领域的各类科研产出。除传统的科技文献外，还可以利用社会声誉、创新能力、技术转移和社会经济效用、教育等各种科研产出，设计合理的评价指标体系，灵活客观地评价各学科领域和科研实体，确保科学评价指标能够应用于不同地域级别的评价中，保证指标的弹性。
　　?多方搜集评价数据，构建评价数据库。评价数据库可为各类评价指标提供数据保障，降低连续评价成本，提高评价质量。同时，利用不同来源数据为数据清洗提供有力支撑。
　　?重视声誉评价，将多维量化评价指标作为传统同行评议的有益补充，从而更客观地评价社会科学。在获取社会声誉、机构结构数据等指标数据时，要重视网络数据的收集，关注重要的科技媒体、机构网站、基金网站等，从中获取有用的科学评价数据。
　　?关注评价过程，公开评价指标和评价阶段结果，广泛征求各领域专家或社会科研人员的建议，及时调整评价指标和方法，提高评价的真实性和实时有效性。
　　?重视领域专家的作用，借助他们调整评价体系，提高评价质量。建立专家数据库，便于随时组织专家组参与到科学评价的各个阶段。
　　?密切联系重要科研项目、科研奖励和科研经费等科研要素，从中挖掘出定量评价指标，推动评价与科研项目、科研奖励和科研经费等的互动。
　　目前我国的科学评价中仍然存在着较多的问题，这包括评价指标不完备、评价过程不透明等。通过对ME完整的指标体系和评价过程的深入研究，可以从构建指标、方法实施等方面，结合我国科研活动特色，有效开展卓越中心评价工作，准确定位我国各科研领域的卓越科研机构和机构的热点研究，为制定科研政策、促进科研生产提供支持。

相关热词搜索：描绘 评价 机构 卓越描绘：一种对卓越科学机构进行评价的方法 卓越绩效评价的方法和步骤 卓越绩效的理念和方法