科研评估（精选11篇）
科研评估 篇1
科研评估作为科技管理与市场机制相结合的产物,已成为现代科技管理的必要手段和科学决策的重要依据,受到各国政府及科技管理部门的高度关注,也受到众多医院的广泛重视。通过建立规范化的医院科研评估指标体系,对医院各学科的科研情况进行科学的评估,不但可以为医院全面了解各学科科研现状提供依据,还可以更好地为制定学科的科研策略和制度提供参考,最终实现促进学科科研发展、提高医院学科整体均衡发展的目标。
1 科研评估现状
2010年,为全面了解医院科研工作现状,我院开展针对2000年-2010年37个临床和医技科室的医生和技师的科研评估工作,实现对医院科研工作的动态管理。2000年以来,在医院科研工作不断发展进程中,医院获得多项国家级、省部级科技计划项目资助,成功申报国家级科研成果3项,省部级科研成果50余项,发表论文5900余篇。为进一步对医院各科室的科研工作进行评价,以促进院内科研工作的良性竞争与发展,本研究拟建立针对科室的科研评估指标体系,分年度对各临床、医技科室的科研工作进行科学、客观的评价。
2 研究方法
2.1 文献研究法
在中国知网、万方数据库、维普等中文数据库中,及PUBMED、EMBASE、OVID等外文数据库中,检索与“医院科研评估”、“科研评价”、“指标体系”等有关的文献及报告。在此基础上,着重参考《国家临床重点专科评估试点评分标准》科研部分和《北京市临床重点学科评分表》[1],咨询其他综合医院科研评估标准,结合医院科研评价现状和各科室科研情况,形成医院科研评价体系的初步指标库。
2.2 专家咨询法
在相关文献研究和现行的科研评估指标体系基础上,结合医院实际,选取尽量全面的指标,形成初步的指标库,并形成专家咨询问卷。采用德尔菲法,邀请21名专家(包括医院高层管理者、科室主任、医院科研管理工作者及医院管理研究学者)进行两轮匿名问卷咨询,从指标库中确定关键指标。在形成关键指标后,再邀请专家对各指标按照重要性程度进行打分,并对同一维度的指标进行两两比较。
2.3 层次分析法
层次分析法是一种多目标多准则的决策方法。本研究用此方法形成了指标体系的框架及层次指标,确定指标权重并对评估结果进行分析。
3 结果
3.1 咨询专家基本情况
参加德尔菲法第一轮问卷调查的专家共21人,基本情况如表1所示。其中女性稍多于男性,平均年龄为41岁,平均工龄为18.57年,一半以上的专家职称都在副高及以上,52.38%的专家是正高。在教学方面,有5位专家是硕士生导师,占23.81%;6位是博士生导师,占28.57%。17位专家的学历都是硕士及以上,并且绝大部分是博士(11位,52.38%)。专家的专业主要是临床医学、医院管理及科研管理。
3.2 咨询专家权威程度
3.2.1 咨询专家的积极程度。
专家积极程度用专家积极系数来衡量,专家积极系数即咨询表的回收率,其大小说明专家对该项目的关心程度。本研究共进行两轮专家函询,第一轮专家函询发出问卷21份,收回问卷21份,有效问卷21份,有效回收率100%;第二轮发出问卷21份,收回问卷21份,有效问卷21份,有效回收率100%。表明专家的积极程度很高。专家还对部分指标的表述方式提出修改意见,并根据医院的需求,对某些二级指标和三级指标提出增删、修改意见。
3.2.2 咨询专家的权威程度。
预测精度随着专家权威程度的增加而增加,专家的权威程度由专家对方案做出判断的依据和专家对问题的熟悉程度两个因素决定。专家的权威程度是判断系数与熟悉程度系数的平均值。
专家对问题的判断依据是专家在对所调查问题进行判断时所依据的主要因素,包括四个维度,即理论分析、实践经验、同行了解和直觉,每个维度又根据专家判断的影响程度分为大、中、小三个层次。判断系数总和等于1,表明对专家判断的影响程度大,判断系数总和等于0.8,表明对专家判断的影响程度为中等,判断系数总和等于0.6,表明对专家判断的影响程度小。
专家对问题的熟悉程度可用Liker五级标度法分为非常熟悉、比较熟悉、一般、不太熟悉和很不熟悉,分别赋值为0.9、0.7、0.5、0.3、0.1。
本研究根据上述方法对咨询专家权威度进行调查后,按照公式“专家权威程度系数=(专家判断依据系数+专家熟悉程度系数)/2”进行计算,求得咨询专家对二级指标的权威系数如表2所示。
一般认为,权威系数>0.7时信度较好。从以上结果可以看出,咨询专家总体的权威系数为0.79,表明权威程度较高,咨询结果可信。
4 科研评估指标体系的构建
4.1 第一轮专家咨询结果
经文献研究结合医院实际科研工作情况,并经专家会议讨论、修改后,形成第一轮正式专家咨询问卷进行第一轮专家咨询,主要目的是确定科研评价指标体系框架。拟订的指标体系分三级,其中一级指标2项,分别为科研投入、科研产出,二级指标11个,三级指标65个。共发放问卷21份,回收有效问卷21份,有效回收率100%,要求专家根据评分等级对指标进行重要性打分。
4.1.1 一级指标的确定。
对于一级指标的设置,其中“科研投入”、“科研产出”这两个指标,所有专家都认为比较合理,应该保留,因为在市场经济条件下,医院的工作在保持公益性的同时也应讲求效益。对于科研工作也是这样,要用尽可能少的投入获得尽可能多的产出,这样才更有利于科研资源的充分利用,保证科研工作的公平、有效,促进医院科研工作人员的积极性。在医院的不同科室之间、不同学科之间,占有的科研资源是不同的,如果沿用目前科研评价标准,对于不同科室、学科之间的比较只看课题数、论文发表数等产出情况是不公平的,应该在考虑科研工作特点和过程的基础上,将科研投入计算在内,从科研投入与科研产出的比例入手去评价科研工作情况,有利于保证医院科研评价的公平性、科学性和可行性。
4.1.2 二级指标的确定。
对于一级指标下的二级指标的设置,本研究认为,广义的“科研投入”主要包括人、财、物的投入使用,因此,将“人力资源”、“项目经费”、“人才培养和基地建设”三个指标作为科研投入的二级指标能较好地反应科研投入情况。有的专家认为,“项目经费”指标应为“可支配的项目经费”方能表现科研投入的情况。对于“科研产出”指标,研究结合医院实际科研情况和已有的科研评估体系评分标准,设置了“论文”、“著作”、“发明专利”、“技术转让”、“获奖”、“学术组织、期刊兼职”、“团队人才”7个二级指标。对于“论文”一项,有专家认为,应当有时间限定,对于“发明专利”应统称为“专利”,对于“学术组织、期刊兼职”应分开为“学术组织兼职”、“学术期刊兼职”。
4.1.3 三级指标的确定。
根据科研评价指标体系初步指标库的选择设置65个三级指标,进行第一轮专家咨询的结果如下。应增加“横向项目经费数”、“人均科研经费数”、“平均单篇SCI论文影响因子数”、“科技创新团队、个人”;将“软件专利授权数”改为“外观专利授权数”等意见,最终形成了医院科研评价三级指标体系,共69个三级指标。
4.2 第二轮专家咨询结果
在科研评价指标体系中,不同的评价指标在判断评价对象达到预定目标的过程中所起的作用是不同的。为了使每项指标发挥其应有的作用,就必须赋予不同的评价指标以不同的权重。确定权重是构建科研评价体系过程中常用的数学手段,在评价工作中,它能较客观地反映各项指标在达到目标中所起到作用的大小。所以,在确定了医院科研评价指标体系的三级指标后,本研究进行了进行第二轮专家咨询,利用层次分析法[2]进行指标权重的确定。第二轮发出问卷21份,回收有效问卷21份,有效回收率100%。
4.2.1 一级指标权重的确定。
专家按照指标重要性程度对各指标进行两两比较,形成相应的评分矩阵。首先对矩阵进行一致性检验,各位专家对于“科研投入”、“科研产出”这2个指标的判断均通过了一致性检验,矩阵一致性比例CR均小于0.1。将所有专家对指标的打分按照层次分析法计算出每个专家对各指标的评分权重,然后计算各专家评分权重的算术平均值、标准差和变异系数,并将平均值作为各指标的权重。最后计算得出2个一级指标的指标权重。
4.2.2 二级指标权重的确定。
专家按照指标重要性程度对各一级指标下的二级指标进行两两比较,形成相应的矩阵,并对矩阵进行一致性判断,均通过了一致性检验,矩阵一致性比例CR均小于0.1。将所有专家对指标的打分按照层次分析法计算出每个专家对各指标的评分权重,然后计算各专家评分权重的算术平均值、标准差和变异系数,并将平均值作为各指标的权重。
4.2.3 三级指标权重的确定。
专家对三级指标按照重要性程度进行打分。分值从1分~10分,其中分值越高,代表重要性程度越强,如1分代表一点也不重要,10分代表极其重要。计算各位专家评分的算术平均值,并在同一维度下进行归一化处理,得出最终权重(见表3、表4)。
4 讨论
4.1构建科研评估指标体系对综合医院实行科研管理具有重要作用
近年来,综合医院对科研实力的重视程度与日俱增,如何用科学的方法对学科的科研情况进行有效评估是各家医院科研管理部门研究的重点。构建综合医院科研评估指标体系,用科学的方法对学科进行科研评估,旨在用规范、科学的方法完善评估指标,以实现评估结果的可信度。构建科研评估指标体系,有效进行科研评估,能够动态地了解各学科的科研现状和存在的问题,找出差距,确定目标,及时制定整改措施,不断完善和明确学科发展方向。此外,还可以提高各学科从事科学研究的积极性和创造性,实现竞争形势,以点带面,促进学科整体不断发展。构建科研评估指标体系,有效进行科研评估工作,可以为医院学科建设总体规划和具体实施提供客观而强有力的依据。
4.2应定期修改完善科研评估指标体系,科学管理医院科研工作
科研评估指标体系不是一成不变的[3],随着科技不断进步和发展,对评估指标库进行完善和修订是一项长期坚持的工作。医院科研管理部门应定期组织专家对指标体系进行研究讨论,删除典型性不强的指标,增加可以体现科研实力的指标,实现科研评估指标体系的科学性、全面性。采用更多比率性指标,减少数量性指标的应用,更加能够体现医院科研情况的长期发展变化。此外,研发科研评估信息系统软件可以简化评估流程,提高科研评估工作的质量和效率,减少人力、物力和财力的浪费,为医院科研评估的持续动态研究工作创造条件。
4.3 科研评估指标体系在医院科研管理工作中具有良好的应用前景
通过构建综合医院科研评估指标体系,提供评价标准和方法,可以分年度对综合医院各科室、各层面甚至具体到某个医务人员进行深入的客观分析和研究,为医院有效地分配和利用科技资源提供依据。在医院科研管理工作中应用以信息技术为支撑的评估体系,有助于改善和提高科研工作的效率与决策水平,有利于转变医院科研工作的管理模式、方法和观念,建立科学规范的科研管理运行机制。同时也可做到对科室科研人员的考核,实现对各临床与医技科室科研工作的目标管理,进一步建立学科发展的创新机制,为科研工作的发展规划提供有力的数据支撑。
摘要：目的:从科室层面构建某三级甲等综合医院科研评估指标体系,为医院开展科研评估工作奠定基础。方法:通过文献研究法、德尔菲法及层次分析法,确定科研评估指标库与指标权重系数,进而建立医院科研评估体系。结果:通过对咨询专家权威度进行调查后,得出咨询专家总体权威系数为0.79,权威系数较高,咨询结果可信;经过两轮专家调查,最终形成一套三级科研评估指标体系,其中包括2个一级指标,11个二级指标和69个三级指标,同时赋予各自权重系数。结论:以科研投入和产出模式构建出的科研评估指标体系具有可行性,可为同类医院开展相关工作提供借鉴。
关键词：综合医院,科研评估,指标体系
参考文献
[1]陈凌,肖晖,苏洁,等.建立科研评估指标体系促进学科建设与发展[J].中国医院,2009,(13)5:66-68.
[2]叶茂.层次分析法在医院临床科室综合绩效评价中的应用和评价[D].上海:复旦大学,2004.
[3]梁公文,王丹蕾,王兵,等.医院学科科研绩效的多角度评估体系构建与应用[J].中国医院管理,2010,(30)1:43-45.
科研评估 篇2
对高校科研项目评估的思考
按科学有效的`评估手段适时对科研项目进行分类评估,是加强高校管理的重要手段.高校科研项目评估应坚持科学性、公正性、可操作性和反馈性原则,要具备新的评估指标体系设计理念.评估的主要内容包括科研项目的立项评估、中期检查评估和验收结题评估.
作 者：吴跃 作者单位：辽宁教育研究院,辽宁,沈阳,110032刊 名：辽宁教育研究 PKU英文刊名：LIAONING EDUCATION RESEARCH年，卷(期)：“”(10)分类号：G644 G649.21关键词：科研项目评估 指标设计理念 评估内容
荷兰高校科研评估的特点及启示 篇3
[关键词] 荷兰 高校科研评估
高校科研评估是检验高校已有科研水平和成果的重要手段,是发现科研组织和制度中存在问题的必要环节,科研评估的结果为规划和制定未来科研策略和发展方向提供了有力的佐证。荷兰是较早建立高等教育质量保障体系的国家之一,虽然其进行高校科研评估的时间并不长,但在整个完善的高等教育质量保障体系的支撑下,荷兰的高校科研评估也形成了自身的特点,对其他国家制定科研评估制度提供了一定的借鉴。
一、荷兰高校科研评估概述
1985年,荷兰发布了《高等教育:质量与自治》政策白皮书,自此荷兰开始逐步建立起高校自主参与的质量保障体系。在荷兰的高校评估体系中,高校负责内部评估,高校的自我评估之后由荷兰大学质量保障署(QANU)组织外部评估,评估包括教学质量评估和科研质量评估。政府下属的官方机构高等教育视导团(IHO)负责进行元评估。荷兰高校评估的目的除了对高校的教学质量和科研质量进行评估和监督之外,还为改进高校内部质量提供建议。
1. 科研评估体系
在荷兰高校科研评估的各相关组织中,政府、高校和评估机构各司其职,在独立性原则下履行着各自的职责。政府负责元评估,由高等教育视导团对整个评估体系和环节进行引导和监督,而不直接参与评估过程。高校负责其内部科研评估,自主选择外部评估机构,并为外部评估提供必要的帮助和支持,体现了院校自治。所有公共资金资助的科学研究每6年接受一次外部评估,每3年进行一次自我评估,自评既为外部评估做前期准备,也是一种内部的中期评估。荷兰高校的外部科研评估由荷兰大学质量保障署负责,在高校的自我评估之后进行。荷兰大学质量保障署于2004年成立,它接替了荷兰大学协会(VSNU)在2004年以前开始但尚未完成的质量保障方面的工作。
荷兰自1993年开始进行科研评估,目前所依据的标准是由荷兰大学协会制定的《公共科研机构标准评估协议(2003-2009)》。这一质量评估体系的主要目标是改进科研质量和公共责任,既针对提高科研机构的科研质量,也致力于改进科研机构的管理水平。公共资金资助的科研项目中,公共责任应该是在科研中体现的一个必不可少的要素,因此公共责任在这一目标中被重点强调,对公共责任的评估已经成为改进科研质量过程中一种惯用的评估手段。评估的关注点除了科研项目和科研人员之外,还包括领导的管理水平、机构的战略规划和政策科研工作的组织情况。除了科研本身,评估还涉及科研对社会经济的影响,并对多学科和跨学科的科研项目加以关注。依据该评估体系进行的科研评估既是总结性回顾,也是前瞻性分析,在了解过去的基础上来规划未来,重点是对未来的预测和分析。
2. 科研评估标准
《公共科研机构标准评估协议(2003-2009)》对适用于不同科研机构的共同标准进行了规定,这些共同的标准必须能够全面反映出不同领域各科研机构的整体情况及其未来的潜力。主要的标准有以下四个方面:质量、生产力、关联性和生命力及可行性。其中质量是指国际上的认可度和创新的潜力;生产力是指学术上的产出;关联性是指学术影响和对社会经济的影响;生命力和可行性指适应性、管理和领导能力。这几项主要标准只是评估的基础标准,在对具体的高校和科研项目进行评估时,可根据实际情况对评估标准进行必要的补充。在对主要标准做出判断时采用五点量表,分为优秀、非常好、好、满意和不满意五个等级,分别从被评估的科研机构或科研项目在国际或国内的地位,对本学科领域的影响程度和在学术界的声望这几个方面做出判断。(每个等级对应的标准详见表1)
一般在对四项主要标准进行评估之前会先对被评估科研机构及其科研项目进行整体评估,评估协议中也提供了具体的指标。在对质量、生产力、关联性以及生命力和可行性这几项主要标准进行评估时,每一项标准也对应详细的评估指标,根据上述五个等级的判断标准做出总结性评价,对每项指标打出相应的分数。(评估标准和指标详见表2)根据荷兰高校科研评估的主要标准及其指标,在对高校的科研机构或科研项目进行整体评价时,关注的是自身的一些软硬件条件和与社会的关系。考量科研质量时侧重的是创新性、前沿性、一致性以及科研工作人员和科研成果的情况。对生产力的评估注重的是科研成果的数量以及成果在工作团队中的分布状况,以被评科研机构的工作人员数量为前提,而不仅仅看重绝对数量。针对科研机构和科研项目的评估标准是相似的,只是在广度和深度上有所不同。机构强调的是科研策略和科研组织,项目强调的是科研结果、质量以及未来发展。
3. 科研评估程序
科研评估的具体程序是评估的核心要素,荷兰的高校科研评估程序是由荷兰皇家艺术科学研究院(KNAW)、荷兰科研组织(NWO)以及高校经过慎重考虑后制定的。具体的步骤有九步,分别是:为所有参评的科研机构制作评估计划和日程,为每一次具体的评估草拟补充协议;协商具体的外部评估;选择评估委员会主席和成员;准备自评报告;准备评估委员会的工作方案;完成评估报告;得出结论;公布评估结果;元评估。所有被评高校都可以在权限内自主制定外部评估和自评计划,并公布日程安排。被评高校还要在标准评估草案的基础上草拟补充协议,主要内容包括背景文件的清单、专家意见纲要以及向评估委员会所提问题的列表等。被评高校需慎重选择适合的评估委员会,确保评估委员会能够开展独立、合法且被认可的评估。高校在进行自评后将被审核过的自评报告交给评估委员会,接受评估委员会的访问,开展外部评估。外部评估结束后评估委员会需得出评估结论并完成评估报告,评估报告会返还给被评高校进行核对。高校根据评估报告中的意见和建议得出未来科研发展方向和整改结论,并将内部评估和外部评估的结果以年度报告的形式公布,评估结果与能否获得政府资助没有直接关系。
4. 科研评估后的自我分析
全部科研评估程序的完成并不意味着评估结束,在荷兰高校的科研评估中最后一环也是关键性的环节是自我分析。这既是对评估中反映出的现状的总结,也是对业已存在问题的反思,更重要的是对未来前景的展望。在一般情况下,使用SWOT分析法,这是一种对实力(Strengths)、缺点(Weaknesses)、机遇(Opportunities)和挑战(Threats)的分析。标准评估协议中提供了自我分析的框架,主要包括对自身科研优势和弱势的摘要,以及针对科学和社会发展对被评科研组织可能产生的积极影响和消极影响的分析。在SWOT分析后应得出结论,结论应着重关注如何对科研目标和策略做出必要改进。自我分析和反思中还应包括调整后科研目标和策略,目标应是可以长期应对自身优势劣势以及面临的机遇和挑战,策略则是可以替代现有策略直接实施的。
二、荷兰高校科研评估的特点
1. 充分体现高校自治的评估形式
荷兰整个高等教育评估的最大特点就是内部评估与外部评估相结合,高校的科研评估也不例外。自我评估的目的不仅是为同行专家的现场评估做准备,更重要的是激活高等学校内部评估的管理体制[1]。高校科研评估的初衷是改进科研质量,为未来的科研找准方向。如果只是建立外部监督和评价机制,势必会忽视高校作为科研主体的作用。在自评的基础上进行外部评估,使得高校对自身的科研现状先有完整清晰的认识,才能对外部评估和最终的评估结果有更深刻的理解,才能有针对性地总结和反思。
2. 统一灵活的评估标准
在荷兰,整个高校科研评估的过程都是以荷兰大学协会制定的标准评估协议为核心,不论是被评机构的自评,还是评估委员会的外部评估都要以该协议为基本准则,这体现了评估标准的一致性。但是,标准评估草案只是科研评估的基准,在对具体的科研机构或科研项目进行评估时,可根据被评对象的实际情况和特点进行补充,而不会单一地依据标准评估草案,这体现了评估标准的灵活性。有了统一且灵活的科研评估标准,既能保证评估的合法性和公正性,又能使得评估有目的地针对被评对象,能够有效改进科研质量,这也符合荷兰高校科研评估的目的。
3. 注重评估后的总结与反思
高校仅仅参与评估是不够的,将评估的结果转化为现实可行的策略,从而在根本上达到科研评估的初衷——改进科研质量才是评估中最关键的,否则评估就失去了意义。荷兰在结束完整的高校科研评估程序后,设置了高校自我分析环节,这具有非常现实的意义,它将整个科研评估的落脚点放在高校自身,使评估真正成为改进高校科研质量的有效措施,而不仅是形式。在反思时以评估结果为依据,以自身优势劣势为基本出发点,将落脚点放在面临的机遇和挑战上,最终得出调整后的目标和策略。这样使得评估成为一次有效改进科研质量的活动,确保评估的有效性。
4. 民间中介评估机构参与评估
荷兰高校的科研评估工作在2004年之前由荷兰大学协会负责,2004年之后由荷兰大学质量保障署接手,目前科研评估依据的是荷兰大学协会制定的《公共科研机构标准评估草案(2003-2009)》,科研评估全程的组织则由荷兰大学质量保障署负责开展。大学协会是由大学管理和组织的中介机构,大学质量保障署是由荷兰与弗兰德地区认证组织(NVAO)授权的民间质量评估机构。由此可见,民间中介评估机构在荷兰高校的科研评估体系中发挥了重要的作用。大力发展民间中介评估机构,不仅搭起了连接政府、高校和社会的桥梁,还有利于建立评估市场,使评估机构之间形成良性竞争,以提高评估自身的水平和质量。
三、荷兰高校科研评估的启示
1. 应给予高校更多自主评估权
在学校内部对影响高校科研质量的所有因素进行控制是高校自身的责任。这种质量控制活动是通过不断自我评估、自我改进和自我提高来实现的[2]。因此,应重视高校自身在评估中的作用,给予高校更多的自主权,提高自我评估在整个评估体系中的地位,建立内外结合、相辅相成的评估模式。如果忽视了高校内部质量保障的强大作用,只依靠外部机构控制高校科研质量,将会使科研评估流于形式,而不能达到真正改进高校科研质量的初衷。
2. 评估应体现高校的特点和个性
将每所高校都建成全面发展的研究型大学是不符合高等教育发展规律的,每所高校的科研定位不同,优势学科和重点发展学科也有所不同,这一点应当体现在高校的科研评估中。因此,科研评估在对高校的科研整体实力进行测评的同时应关注每所学校的特点,必要时应根据高校的科研特点来制定科研评估计划,并对评估标准进行补充。尤其在对指标进行量化时,不能单纯依据绝对数量,还要结合科研组织的规模和内部实力分布情况。这样才能有效解决目前评估中存在的单一化、形式化和“一刀切”的弊病,才能从评估中发掘不同高校各自的科研优势和潜力,也能使高校更加明确自身的科研定位,规划更符合自身条件的发展战略。
3. 评估的初衷——回归高校
评估的目的是为了使高校在总结已有成果和经验的基础上更好地明晰未来的发展,外部评估力量的介入只是为了更好地引导或是监督,最终的评估结果还是要与高校的战略规划和措施实施结合起来。因此,高校在评估结束后进行总结和反思,即自我分析,是十分关键的。在我国高校,评估后的总结虽然是必然的,但还未将其纳入评估程序,各高校也是各行其是,这样就容易使原本最重要的一个环节流于形式,或是只有总结没有反思和展望,这样的评估效果只会使高校原地踏步。为了使评估成为高校进一步发展的助推器,建议高校在评估后多寻找自身的缺点和面临的瓶颈,少吹捧已有的优势和成果;多关注未来的机遇和挑战,为新的发展做好准备。
4. 正确定位政府及高校在评估中的地位和角色
荷兰高校的科研评估工作主要是由高校和大学质量保障署来承担的,荷兰大学质量保障署是由荷兰与弗兰德地区认证组织授权的民间质量评估机构,政府对评估并未直接干涉,而是建立了政府引导和监督评估的制度——元评估,由专门的官方机构高等教育视导团和教育部负责。在我国,要建立民间评估机构公平竞争的评估市场不是短期内可以实现的,政府仍将会承担高校评估的主要工作,因而,如何定位政府和高校在评估中的作用是至关重要的。政府可以尝试给予高校更多的评估自主权,提高自我评估的权重,使高校对评估的态度从疲于应付转为自觉参与。政府应逐渐由评估的实施者转变为引导和监督者,通过制定法律法规和指导性政策,对评估机构的评估过程和结果加以认证,从而对评估质量进行监督和管理。当然,这种转变还需要一个发展过程。
四、结语
荷兰高校的科研评估体系对于建立一个完整有效的高校科研评估系统有很大的借鉴意义。制定核心的科研评价基本体系并不断修正更新是基础,荷兰《公共科研机构标准评估草案(2003-2009)》就起到了基准和核心的作用。在此基础上,注重高校自评的内部质量保障和评估机构的外部质量控制相结合,政府则扮演着指导和监督评估机构的角色,这样就在高校、评估机构和政府之间建立了互相关联而又互相制约的关系。各方都独立行使自己的职责,但是又与其他方有着不可割舍的关系。主导模式运行的已不是单一的力量,而是国家权力、市场与院校自治这三种力量在起作用[3]。但是其他国家在学习借鉴时还是要根据本国的国情,取其精华,建立适合本国高等教育发展形势需要的科研评估制度和系统。
参考文献:
[1] 张艳敏,梁东荣.荷兰高等教育质量保证制度的发展现状探析及其启示[J].高等教育研究,2006(3).
[2][3] 谢晓宇.荷兰高等教育质量保障制度研究[D].东北师范大学,2008.
[4] 田恩舜,杨丽丽.从控制到合作:荷兰高等教育质量保证模式的改革[J].中国高等教育评估,2005(4).
[5] 严芳.荷兰高等教育外部质量保障新机制探析[J].高教发展与评估,2006,22,(1).
[6] 祝怀新,潘慧萍.荷兰高等教育质量保障机制探析[J].中国高教研究,2003(10).
(作者单位:刘蓉洁,上海交通大学高等教育研究院;赵彩霞,青岛滨海学院)
科研评估 篇4
公益性科研机构是以提供社会公共服务为主,从事农业、林业、水利、医疗卫生、资源环境、灾害防治、气象、测绘等领域科研工作的科研机构 [1]。公益性科研机构提供的公共产品或服务在消费上具有“非竞争性”、“非排他性”和“广泛的社会服务性”,是一个直接产生强社会效益的“集合体”[2]。同时,公益性科研机构具有产出内容非物质性,受益对象非特定性、实现过程非市场性及获益效果滞后性和非标准性等特点,因此针对公益性科研机构的评估是一个投入产出多元化的复杂评估过程,其不同于企业的评价, 不能通过产品的市场销售利润与生产成本的比率来衡量。本文通过综合确定公益性科研机构投入、产出、发展潜力评价指标体系,分析其产出绩效、发展潜力与综合投入的匹配关系来评估公益性科研机构的科研能力提高和后续发展动力情况。
1.1 评估指标体系的确定
评估指标体系的确定遵循科学性、系统性、实用性的原则。①科学性原则。评估指标体系应能反映评价对象的特征,指标的概念要正确, 涵义要清晰, 尽可能避免或减少主观判断, 对难以量化的评估因素应采用定性与定量相结合的方法来设置指标;②系统性原则。指标体系全面系统反映评估对象, 不能遗漏或有所偏颇,而且指标体系中各指标之间不应有很强的相关性, 不应出现过多的信息内容涵盖而使指标内涵重叠;③适用性原则。指标体系应精炼简明、易于理解并在满足评估目的的前提下, 应尽可能采用相对成熟和公认并且容易获得的指标。
基于德尔菲法[3],笔者选择与公益性科研机构业务工作相关的科研及项目管理相关专家若干名,经过反复征询、归纳、修改,最后汇总确定评估指标体系,再参考了各级主管部门调查科研院所设定的指标体系和其他一些科研机构的评估指标体系[4],综合确定综合投入、产出绩效、发展潜力的评估指标体系。
1.2 评估指标体系的内涵
公益性科研院所发展壮大所需要的投入主要包括人、财、物三个方面,因此,综合投入可分为评价科技活动时间段内的人才投入、经济投入、资产投入。其中人才综合投入的可体现在人员的学历高低、职称高低、年龄大小三个方面;经济投入可体现在科研项目投入和非科研项目投入,资产投入可体现在科研仪器设备资产投入、非科研仪器设备资产投入。
公益性科研院所综合产出主要表现在科研项目、科研成果和研究开发经营效益三个方面。其中科研项目可分为人均申请获得的各级项目的项目经费额;科研成果表现为人均论文著作、科研报告、获奖成果等;公益性科研院所一般无经济收益和利润,研究开发经营效益可体现在人均总收入、技术合同收入占总收入的比例。发展潜力可分为人才潜力、经济潜力和资产潜力等方面。在科研活动中,具有良好的技术、创新性强的人才一般是年龄介于31～50岁之间(处于事业发展与成熟期)或具有高级职称或具有硕士以上学历的人员,因此人才潜力可体现在从事科技活动人员硕士以上比例、从事科技活动人员高级职称以上比例、从事科技活动人员31～50岁之间的比例以及人才和流动状况和培训比例。评估指标体系详见表1。
2 综合评估计算
评估计算步骤如下:
第一步:计算研究时间段内各年各个指标层要素的指标值Pi;
第二步:将指标指进行归一化处理。确定各类指标的最大值、最小值,采用直线型无量纲指标度量法[5]中的正指标确定方法将各个指标进行归一化处理;
式中:Pi——第i个指标值;
ri ——归一化处理后的第i个指标值
第三步:采用层次分析法(AHP)[6]确定中间层要素、指标层要素的权重Wi;
第四步:确定综合评估值Z。
式中:Wi——各i个指标权重。
第五步:分析比较计算结果。将综合产出评估值、发展潜力评估值分别除以综合投入评估值,根据最终结果的变化趋势分析综合产出评估值、发展潜力评估值与综合投入增长的匹配程度。
3 评估实例
某准公益性科研机构,随着“十一五”以来国家对科技投入的加大,新增国家投资科研项目修缮购置经费、科研条件建设经费急速增加,科研环境和条件得到了较为明显的改善,创新机制逐步建立,科技创新能力和行业科技水平持续提升,重大成果不断涌现,人才培养初见成效,综合实力明显增强。但在投入大幅度增加的情况下,其产出绩效如何,未来的发展潜力如何,是否与其科研投入匹配,亟待回答。
在广泛收集2000年～2008年该科研机构基础资料的基础上,利用上述评估模型对该科研机构进行了评估。为了消除资料系列短、成果效益滞后的影响,采用前后三年评估值的算术平均值作为当年的最终评估值,评估结果如表2、图1。
假设综合投入、产出绩效、发展潜力的增长具有线性关系,将图中的曲线添加趋势线,并进行回归分析,得到综合投入、产出绩效、发展潜力的斜率分别为0.09、0.04、0.08,从图1中可以看出综合产出、发展潜力的增长速率小于综合投入的增长速率,即该科研机构的综合产出与发展潜力相比综合投入略显不足。将综合产出、发展潜力指标分别除以综合投入,得到表3、图2。
从表3、图2中,可以看出,在投入大幅度增长的情况下,其相应的综合产出评估值呈现缓慢增长趋势;发展潜力评估指标值呈现先增后降趋势,即综合产出与发展潜力变化变化不稳定。
通过实际分析发现该科研机构存在着自身科研实力、市场竞争力比较弱,高层次人才匮乏,科研成果多但质量亟待提高等问题,而且科研经费来源不稳定,受国家政策和市场形势变化影响较大,从而导致了综合产出与发展潜力增长缓慢且不稳定。实例评估说明了该评估方法具有较好的合理性。
4 结语
在分析公益性类科研机构特点的基础上,本文构建指标体系、确定评估模型,选择评估方法,对公益性科研机构的综合产出与发展潜力进行了评估。通过评估实例说明该评估模型和方法具有较好的合理性。公益性科研机构综合产出及发展潜力评估有利于全面了解科研机构的科研能力建设情况;有利于总结经验,发现不足,对将要做的工作实施引导和督促,使得科研机构能够既要着眼于当前业绩的创造,也要加强基础、重视后劲、改善管理,增强科研机构活力,保证自身的可持续发展。
参考文献
[1]张庆阳,王亚光,胡英.我国公益型科研机构结构调整初步分析[J].科学管理研究,2002(2):50-53.
[2]邓曼.基于平衡记分卡的公益类科研机构创新绩效评价指标体系研究[J].湘潭师范学院学报(社会科学版),2008(9):91-93.
[3]吴建南,白波,RICHARD WALKER.中国地方政府绩效评估中的绩效维度:现状与未来——基于德尔菲法的研究[J].情报杂志,2008(10):1-5.
[4]韩月娥,孙丽萍.国防科研院所综合评价的总体设计[J].中国软科学,1999(11).
[5]陈红.堤防工程安全评价方法研究[M].南京:河海大学,2004.
科研评估 篇5
令大多数科学学术工作者头疼，没有明确的评估标准所以很多人无法有针对性的对评估做充分准备以至于在这部分耽搁很多时间，小编要跟大家分享一些论文评估技巧供论文作者参考以提高工作效率。
选题讲究“三新”，新问题，新见解和新的解决方法，选题越有新意越能吸引审稿人的阅读兴趣，文章被接受的可能性就更高。其次就是论文实验数据的充分度，这里的充分并不是指让大篇幅的引用数据，要合理恰当的引用有代表性的数据，要做到“让数据说话”。第三个要注意选择的期刊是否符合自己的论文风格，与杂志社研究方向不符合也会作为退稿理由。对于投稿人来说，只要有一丁点能发表文章的可能就要动用身边所有资源把这种小概率的成功无限放大。
类得文章之前也有写过，推荐给大家做参考SCI论文进行评估》，《揭秘SCI论文免费评估》。
科研评估 篇6
摘要:介绍了农业科研机构自主创新能力指标体系的设计原则、构建过程及对指标体系的评价方法,并以天津市农业科学院为例进行了实证研究。
关键词:农业科研机构;自主创新能力;指标体系
中图分类号:F204文献标识码:A文章编号:1006-6500(2009)01-0077-06
Study on Evaluation Index System of the Independent Innovation Ability of Agricultural Research
Institutions
JIA Feng-ling1,LI Jin1,LI Shu-de1,LIU Geng-chun2,HUO Wen-juan2,ZHENG Biao-wei3
(1.Tianjin Institute of Rural Economy Regional Planning,Tianjin 300192,China;2.Research Management Department,Tianjin Academy of Agricultural Sciences,Tianjin 300192,China;3.Human Resource Department, Tianjin Academy of Agricultural Sciences,Tianjin 300192,China)
Abstract:Design principle, establishment process and evaluation method of the innovation system of the agricultural research institutions were introduced. And demonstration by taking the example of Tianjin academy of agricultural sciences was done.
Key words: agricultural research institutions;independent innovation ability;index system
创新(innovation) 一词起源于拉丁语,具有更新、创造新的东西、改变等含义。创新作为一种理论,最早是由经济学家约瑟夫·熊彼特在1912年出版的《经济发展理论》中提出的。在他看来,所谓“创新”就是“建立一种新的生产函数,把一种从来没有的关于生产要素和生产条件的新组合引入生产体系”[1]。自主创新是相对技术引进而言的,即创造出拥有自主知识产权的新技术、新产品以及新品牌等,包括原始创新、集成创新和引进消化吸收再创新。党的十六届五中全会通过的《建议》提出,自主创新能力是科学技术发展的战略基点和调整产业结构、转变增长方式的中心环节。
在自主创新能力评估指标体系方面,我国现阶段对企业层面的技术创新能力指标体系研究较多[2-6],还有些学者对科研机构自主创新能力指标体系的建立也进行了研究[7],但目前在国内尚未见关于农业科研机构自主创新能力评估指标体系的研究报道。笔者以天津市农业科学院(以下简称天津农科院)为例,通过对学科、实验室和科技人才三大创新主体自主创新能力指标的设置,使自主创新能力水平得以量化,形成了展示农业科研机构自主创新能力水平的重要依据,以促进农业科研机构自主创新能力建设,增强核心竞争力。
1 农业科研机构自主创新能力评估指标体系的设计原则
1.1 系统性原则
系统性要求把研究对象视为一个系统,以系统整体目标的优化为准绳,协调系统中各分系统的相互关系,使系统完整、平衡。因此,在本研究的指标体系设计过程中,要树立系统观念,根据农业科研机构学科、实验室、科技人才所具有的特征,正确处理整体与局部、当前利益与长远利益、主要目标与次要目标的关系。
1.2 科学性原则
科学性原则主要体现在树立科学的决策思想、遵循科学的决策程序、运用科学的决策方法和建立科学的决策体制上。只有这样,整个决策才可能是科学的。自主创新能力评估研究的过程也是一个科学决策的工作过程,在思想、程序、方法、体制等方面是互相联系、不可分割、缺一不可的。
1.3 可比性原则
指标体系设计要从农业科研单位具体实际出发,考虑不同研究部门和个人的具体情况,使不同部门、个人纵向、横向之间具有可比性。
1.4可操作性原则
自主创新能力评估是一项复杂的工程,使评估具有可操作性是构建指标体系应坚持的原则,主要应注意以下两个方面:一是构建的指标体系不能过于复杂,以免实际测评无法进行,同时又不能过于简略,以保证所选指标体系能最大限度地反映实际情况;二是测评方法应尽可能简化,以保证实际操作的可行性。
2农业科研机构自主创新能力评估指标体系的建立
2.1指标体系的构建方法
农业科研机构自主创新能力评估指标体系是对农业科研机构自主创新能力的综合反映,体现了农业科研机构自主创新能力的现状和水平。指标体系的构建方法是:首先,确定体现自主创新能力的领域,主要为学科、实验室、科技人才三大领域;其次,确定此三大领域的类指标及具体指标的内容;再次,通过对各研究部门学科、实验室及科技人才的调研,按照指标体系的具体指标对3大领域进行评估;最后,通过相应评估办法对评估结果进行评级工作,确定出重点学科、重点实验室、优秀科技人才。
2.2 指标体系的构建
按照指标体系设计的基本原则,在分析、借鉴国家及地区学科、实验室、科技人才等指标体系的基础上,根据农业科研机构研究的内容和特点,建立了农业科研机构自主创新能力评估指标体系,包括重点学科评估、重点实验室评估和科技人才量化考核三大指标体系。
2.2.1 重点学科建设评估指标体系的构建 学科建设评估是对学科发展状况进行的综合评估,主要包括学科发展方向、学术队伍水平、科研内容及成果、科研环境条件及学科建设创造的效益等方面内容,因此,对重点学科评估指标体系设计了学科方向、学术队伍、科学研究、科研条件、创造效益等五大类指标,包括19项具体指标。
(1)学科方向类指标。主要是评估学科各研究方向与学科内涵相关程度、学科特色、研究水平等。
(2)学术队伍类指标。是评估学科建设主体实力的,同时评价人才队伍组成结构的科学性、合理性。包括学科带头人和学科梯队两方面内容,其中学科带头人主要是评价其学术影响力和学科团队的组织管理能力。评价学科带头人的影响力主要是从“千百万人才工程”候选人、“131”人才培养工程、授衔专家及特贴专家等方面进行评价。组织管理能力是指组织管理者的知识、素质等基础条件的综合表现,包括计划、组织、协调、控制、应变等能力。在本指标体系中,学科带头人组织管理能力主要是从主持各类科研项目方面进行评价。学科梯队主要包括职称结构、学历结构和年龄结构等指标,职称结构是正向指标,但并非职称越高越合理,因此设计了职能结构,对职称结构标准起到补充作用。职能结构取区间值,在固定的区间使职称结构趋于合理化。职称结构是用我院高级职称研究人员占研究人员总数的比例来表示,学历结构是用硕博士以上学位研究人员占研究人员总数的比例来表示,年龄结构是用45岁以下的科技人员占科技人员总数的比例来表示。
(3)科学研究类指标。是学科建设的中心内容,主要包括科研项目、成果及获奖、知识产权、发表论文及专著、学术交流等指标。科研项目主要以主持国家级科研项目、市创新资金、市重大(点)项目、市一般科研及各级推广转化项目进行评价,成果及获奖主要以获得科研成果数量、获得国家级、省部级、市级和院级奖项的数量来评价,知识产权主要以申请专利、授权专利及品种权的数量来评价,发表论文及专著主要以发表的核心论文数量来评价,其中著作评价的标准为两万字相当于一篇核心刊物,学术交流指标主要以承办及参加国内外学术会议人次数量来评估。
(4)科研条件类指标。是指学科建设的基础设施条件,包括硬条件和软条件,其中硬条件主要包括科研基地、仪器设备和科研经费等内容,软条件主要包括图书资料及网络、经费管理等内容。科研基地主要是从学科建设基地的稳定情况进行评估。仪器设备主要是从设备总体完好率、总体利用率、配套条件是否满足实验要求等方面进行评估。科研经费是指因承担和完成各类科研任务和技术服务性工作而获得的并用于开展科研和技术工作的经费。图书资料及网络是从与学科相关的图书资料及相关杂志拥有量、网络接入终端情况等方面进行评估。经费管理是从专款是否专用、使用是否合理、经费配套等方面进行评估。
(5)创造效益类指标。是指学科建设最终产生的效益,包括直接效益和间接效益,直接效益是指一定时间段内本学科所取得的科研成果转化产生的经济效益,间接效益是指一定时间段内本学科所取得的科研成果转化产生的社会效益。农业科研成果的转化及土地的利用是农民增收的基础条件,因此,用全国范围内适宜推广面积来表示社会效益,具有最直接的代表性。
重点学科建设评估指标体系构建的基本框架见图1[8]。
2.2.2 重点实验室建设评估指标体系的构建 重点实验室建设评估是对实验室发展状况进行的综合评估,主要包括仪器设备条件、管理状况、运行状况和产出等内容,因此,对重点实验室建设评估指标体系设计了条件建设、管理、运行状况、产出等四大类指标,包括13项具体指标。
(1)条件建设类指标。是指对实验室运转所需仪器设备进行的评估,主要包括实验室现状和为学科提供服务两方面内容。仪器设备是物质基础,决定研究成果的水平层次,因此现状主要以仪器完好率和仪器水平进行评估。仪器完好率是指完好的仪器占仪器总数的比率,仪器水平以国内领先仪器和国际先进仪器占比情况进行评估,为学科提供服务以仪器满足学科需求、支持常规科研工作、仪器支撑项目等情况进行评估。
(2)实验室管理类指标。主要以实验室除仪器外的软环境进行的评估,主要包括实验室规章制度建设情况、维护实验室仪器正常运转情况和实验室操作人员工作技能培训等内容,因此设计了规章制度、维护运转投入和人员培训3个具体指标。其中规章制度主要以规章制度是否健全、分工是否明确,责任是否落实到人等方面进行评估。维护运转投入主要以每年实验室维护与实验材料投入金额或每年实验室维护投入占固定资产的比例来评估。人员培训主要以实验室各岗位人员是否配备齐全、仪器是否全部配备专人熟练操作和每年是否定期对工作人员进行培训等方面进行评估。
(3)运行状况类指标。是实验室建设的核心内容,主要涉及仪器的共享与对外服务,设备的利用及实验室能够支撑的各类项目等情况,因此设计了对外服务、对内共享、重点设备利用率和科研项目等4项具体指标。其中对外服务主要以大型仪器设备(5万元以上仪器,以下同)的对外技术服务、协作研究、条件共享等年批次进行评估。对内共享主要以院内各所共享程度或院内年共享大型仪器设备批次进行评估。重点设备利用率主要以5万元以上仪器中60%仪器每年运转时间或使用次数进行评估。科研项目主要以主持国家级科研项目、市创新资金、市重点项目、市重大项目、市一般项目等的数量进行评估。
(4)产出类指标。是对实验室产生的成果进行的综合评价,反映了实验室运行的成果、创造的价值等,主要表现在品种、产品、技术等或接受外面检测服务产生的直接效益、获得的科研成果及奖项、专利申请及授权情况、发表论文情况等方面,因此,设计了服务、成果与奖励和知识产权等3项具体指标。其中,服务主要以品种、产品、技术等或接受外面检测服务金额进行评估。成果与奖励主要以实验室获得科研成果项数、获奖项数等方面进行评估。知识产权主要以申请、授权专利或品种权项数、核心期刊年发表论文数等方面进行评估,其中著作按2万字折合1篇核心论文计算。
重点实验室建设评估指标体系构建的基本框架见图2[9-10]。
2.2.3 科技人才量化考核指标体系的构建科技人才量化考核指标体系主要针对科学研究岗位的科技人才设置的指标,不包括管理岗位及开发岗位的科技人才。科技人才量化考核指标体系设计采用定性与定量相结合的方法,由业绩考核、能力考核、态度考核等三大类指标构成,以业绩考核为主。定量指标是针对业绩的考核,共设计12项具体指标,包括承担项目、成果获奖、获名牌产品、本年申请专利、本年授权专利、品种审定、成果登记、标准、开发检测技术及仪器研制、著作及译著、发表论文和参加学术交流与培训等。定性指标是针对难以量化的能力和态度的考核,对这样的指标,先定性再定量,共设计10项具体指标,其中能力考核主要包括知识技能、理解力、创新力、计划力、沟通力、执行力等,态度考核主要包括积极性、责任感、协作性、纪律性等。
科技人才量化考核指标体系构建基本框架见图3[11-12]。
3 农业科研机构自主创新能力评估指标体系的评价方法
3.1参考标准值的确定
本研究以天津农科院为例,参考目前该院及其他单位的有关标准,结合该院的发展现状和“十一五”期间预测学科、实验室、培养引进人才等将要达到的目标和要求,以近几年该院学科、实验室、科技人才的统计数据为基础,确定三大指标体系具体指标的参考标准值。
考虑到各学科及实验室建设水平不同,将重点学科和实验室建设评估指标体系中的每项具体评价指标分为A、B、C、D4个级别,依次设置不同的参考标准,分值依次为5分、4分、3分、2分。
科技人才量化考核指标体系是根据每项指标的类别制定相应的标准值。定量考核部分主要是依据国家、天津农科院及其他农业科研单位的相关标准,把所有指标以统一的标准进行总排队,使各项指标按级别大小以分值的形式来体现。定性考核部分设置A,B,C,D,E5个选项(A为非常优秀,理想状态;B为优秀,满足要求;C为基本满足要求;D为略有不足;E为不满足要求),分值依次为10,8,6,2,0分,考评者根据定性指标对被考评者在其单位的具体表现进行打分,个人自评与直线上级考评加权处理后,即为定性指标得分。
3.2 评价指标权重的确定
目前,确定指标相对权重系数的方法主要有经验性权数法、因子分析权数法、信息量权数法、独立性权数法、秩和比(RSR)权数法和层次分析权数法等6种[13]。本研究采用经验性权数法,由具有丰富经验的专家和主研者一起以会议的形式根据评价指标的重要性,确定出重点学科和重点实验室建设评估指标体系各具体指标的相对权重系数值。指标体系满分按100分制,单项指标最高分为5分,因此指标体系总权重为20。根据专家组讨论,首先确定出类指标权重,再依据各指标重要程度进行单项指标权重系数设计。权重系数设计结果见表1、表2。
3.3 建立综合评估模型
(1)重点学科与重点实验室建设评估模型
指标体系的评估结果为各项指标分值与权重
乘积的累积之和,因此,采用加权求和的方法,建立重点学科和重点实验室建设评估模型,运用统计数据,计算出综合评估分值,从而较为准确地把握农业科研机构学科、实验室自主创新能力的状态。模型为:
式中:Y为综合评估分值;Pi为第i项指标的权重系数;yi为第i项指标的分值;n为指标总个数。
(2)科技人才量化考核模型
在科技人才量化考核指标体系中,对于定量指标,设计出量化标准对各项指标进行核算,得出定量指标分值;对于定性指标,通过科技人才的直接上级和学术委员会综合评分,作为定性部分得分,最后通过定性与定量加权求和,计算出综合考核分值。模型为:
式中:Y为综合考核分值;yi为第i项定量指标的分值; yj为第j项定性指标的分值;m,n分别为定量、定性指标总个数。
4 实证研究
4.1重点学科建设评估实证分析
在重点学科建设评估指标体系的基础上,分别对天津农科院的农产品保鲜、黄瓜育种、农村经济与区划、动物营养与饲料、农业资源与环境等五大学科开展了实证调查,通过对统计数据修正处理,计算出各学科综合评估分值为:农产品保鲜86.5分,黄瓜育种85.5分,农村经济与区划51.3分,动物营养与饲料78.4分,农业资源与环境58.4分。
根据“学科办法”规定,农产品保鲜和黄瓜育种两个学科符合一级重点学科标准,确定为一级重点学科。动物营养与饲料学科符合二级重点学科标准,确定为二级重点学科。农村经济与区划学科、农业资源与环境学科未达到二级重点学科标准,确定为一般学科。
4.2重点实验室建设评估实证分析
在重点实验室建设评估指标体系的基础上,分别对天津农科院的农产品采后生理与贮藏保鲜实验室、植物分子生物学(番茄)实验室、农产品加工实验室、作物所(农作物遗传育种)4个实验室开展了实证调查,通过对统计数据的修正和处理,计算出各实验室综合评估分值为:农产品采后生理与贮藏保鲜实验室86.5分,植物分子生物学(番茄)实验室60.5分,农产品加工实验室61分,作物所(农作物遗传育种)实验室58.75分。
根据“实验室办法”规定,农产品采后生理与贮藏保鲜实验室符合重点实验室标准,确定为院重点实验室。植物分子生物学(番茄)实验室、农产品加工实验室、作物所(农作物遗传育种)实验室均为院一般实验室。
4.3 科技人才量化考核实证分析
在科技人才量化考核指标体系的基础上,分别对天津农科院的保鲜中心、作物所、植保所、区划所开展了科技人才自主创新能力抽样调查,被调查者包括正高、副高、中级、初级等职称,共计15名。因调研样本的限制,现只对副高、中级职称科技人才进行分析,其中副高级科技人才共7名,用Ⅰ,Ⅱ,Ⅲ,Ⅳ,Ⅴ,Ⅵ,Ⅶ表示。中级科技人才共5名,用Ⅰ,Ⅱ,Ⅲ,Ⅳ,Ⅴ表示。计算结果如下:
副高级职称科技人才中,I的得分为238分,II的得分为193分,III的得分为210分,IV的得分为171分,V的得分为251分,VI的得分为230分,VII的得分为198分,根据“人才办法”规定,I,V,VI为称职人员,II,III,IV,VII为基本称职人员。中级职称科技人才中,I的得分为109分,II的得分为190分,III的得分为219分,IV的得分为117分,V的得分为248分,根据“人才办法”规定,V为优秀人员,II,III为称职人员,I,IV为基本称职人员。
5结 论
农业科研机构是农业可持续发展的重要保障,提高农业科研机构的自主创新能力是提高我国综合国力的重要基础条件。但是目前我国尚无关于农业科研机构自主创新能力指标体系的研究报道,针对上述问题,笔者通过对农业科研机构自主创新能力评估指标体系的设计原则、评估指标体系的建立、评估指标体系的评价方法等方面进行研究,提出了农业科研机构自主创新能力的评估模型。最后以天津农科院为例进行研究,结果表明,笔者提出的农业科研机构自主创新能力的评估模型原理简单、实用性强,能够对农业科研机构自主创新能力进行准确的评估,具有一定的理论意义和实用价值。
参考文献:
[1] 许曦,刘方.熊彼特的创新理论及其现实意义[J].商业时代,2004(30):18-19.
[2] 曹崇延,王淮学.企业技术创新能力评价指标体系研究[J].预测,1998(2):66-68.
[3] 胡恩华.企业技术创新能力指标体系的构建及综合评价[J].科研管理,2001(4):79-84.
[4] 孙健,康旺霖,魏修华.电子行业的企业创新能力评价指标体系研究[J].当代财经,2007(2):76-80.
[5] 甄峰,黄朝永.区域创新能力评价指标体系研究[J].科学管理研究,2000(6):5-8.
[6] 张义梁,张山禺吉吉.国家自主创新能力评价指标体系研究[J].经济学家,2006(6):28-34.
[7] 徐欢,庄宇.科研院所技术创新能力评价指标体系研究[J].燃气涡轮试验与研究,2006(1):59-62.
[8] 云南省教育厅.云南省省级重点建设学科评估指标体系[EB/OL].http://www.ynjy.cn/UpOcx /Upfiles2006421104738129.
doc,2006-09-10.
[9] 教育部科技发展中心.国家重点实验室评估指标体系及其说明[EB/OL].http://www.cutech.edu.cn,2006-04-15.
[10] 福建省科技厅.省级重点实验室综合评估指标(试行)[EB/OL].http://www.fjkjt.gov.cn/news/info/image/22133.doc,2006-07-08.
[11] 易经章,胡振华.科技人才测评指标研究[J].湖南工程学院学报:社会科学版,2003,13(1):8-12.
[12] 翟忠和.科技人员科研水平评估的研究[J].系统工程理论与实践,1999(11):51-54.
关于科研绩效评估的思考 篇7
关键词：科研管理,绩效评估,内涵,原则,设计,建议
2010年, 党中央、国务院相继印发《国家中长期人才发展规划纲要 (2010—2020年) 》和《国家中长期教育改革和发展规划纲要 (2010—2020年) 》。人才规划纲要明确提出, 要围绕提高自主创新能力、建设创新型国家, 努力造就一批高水平创新团队;教育规划纲要对培育跨学科、跨领域的科研与教学相结合的团队等也作了重要部署。在这样的特殊历史背景下, 如何做好科研绩效的管理与评估, 已成为科研管理工作中亟待解决的问题, 科研管理水平的高低, 对一个单位的科研进展、成果获得、经费使用、效益高低都会产生直接影响[1]。对科研绩效作出公正的评价, 有利于培育创新团队的发展成效;有利于管理部门对科研人员的工作有一个科学的了解, 为科研项目的管理和连续资助等提供科学依据;有利于表彰优秀的科研团队和个人, 保持奖励的权威性和公正性;有利于发现高素质人才;也有利于创造一个公正的学术发展氛围, 减少科研上的不规范行为[2,3]。通过绩效评估使科研单位和科技人员对单位和自己重新定位, 及时调整科技计划和研究机构的方向, 提高管理水平和科学研究的效率。有利于表彰优秀的科研团队和个人, 保持奖励的权威性和公正性;有利于发现高素质人才, 积极推进创新团队建设, 加大学科带头人的培养力度。
目前我国尚未形成一个完善、统一、科学的科研绩效评估体系, 对于科研绩效的评估基本还是以同行评议为主。在同行评议中, 如果所选专家正确, 且专家能够实事求是地表达意见, 同行评议是完全可以信服的。但现实工作中, 由于科学的高度分化与高度综合, 同行评价也受到诸如专家知识结构、学术视野、学术偏好、人情关系和非学术因素的影响, 而使同行评议的科学性和公正性受到越来越多的质疑。因此, 搞好科研绩效定量评估, 并以此作为同行评议的补充, 将提高同行评议的准确性, 准确、量化的考核体系对科研绩效评估工作至关重要。
尽管科研绩效评估已逐渐从尝试阶段走向成熟推广阶段, 从局部应用向整体应用推进, 然而由于科技劳动及其成果表达形式的复杂性和无形资产的多变性, 至今未形成较为公认的评估体系。
1 科研绩效评估的内涵
科研绩效评估是指在科研活动完成后, 对照预先设定的目标, 对科研活动的完成情况、实施过程、实施效果及影响所进行的系统、客观、公正的分析, 并为今后的投资或决策提供意见或建议[4]。科研绩效评估的单元包括研究项目、科技人员、研究机构等。
1.1 研究项目评估
科研活动类型的传统划分方法将科研活动分为基础研究、应用研究、技术开发等三大类。基础研究成果强调其学术价值, 即重在对科学共同体的影响, 其绩效表现形式主要为科学论文和学术专著, 因此对基础研究成果绩效的评价实质是对其产生的科学论文和学术专著进行评价;应用研究是针对具体的实用目标, 提供新产品、新技术、新方法和新流程的研究, 主要以应用前景为评价标准, 即强调其技术性, 其绩效表现形式以技术论文、技术专著和专利为主, 但一般情况下, 应用研究专利形式比论文形式更能体现其技术特征;技术开发研究是对实验室成果进一步扩大或具体化所做的工业性中间试验, 主要以商业价值为评价标准, 即强调其实用性基础研究为应用研究提供基本原理和方法, 应用研究为技术开发研究提供技术支持, 技术开发研究将所遇到的问题又反馈给基础研究和应用研究。这三类研究既有分工, 又有联系, 构成整个科研活动。由于学科特点的不同, 特别是当今科学技术的飞速发展, 对有些研究很难明确地区分是基础研究、应用研究还是开发研究, 因此其科研绩效表现形式也是多种多样的, 在定量时应综合考虑。
科研绩效评估通过对科研项目的绩效进行跟踪、评估和反馈, 达到优化资金分配, 调整科技计划和研究机构的方向, 提高管理水平和科学研究效率的目的。它有4个层面的作用:一是通过公正、严格的评价, 将政府的有限资金集中在可行的重点研究领域;二是通过对工作绩效的恰当评价, 建立能够充分发挥研究人员创造能力的开放、灵活和竞争的学术环境;三是从整体上引导科学研究的发展方向、发展模式、塑造科学研究的机制观念;四是积极公布评价结果, 使公众理解和支持政府的科研投资, 强化对政府能力的信任。
1.2 科技人员评估
科研绩效评估通过对科技人员的绩效进行跟踪和评估, 并对其结果进行反馈, 从而促进科技人员绩效的提升和科研管理水平的改善, 达到优化单位人力资源配置、全面提升本单位整体绩效水平的目的。它有2个层面的作用:一是及时发现科研院所中每位科技人员的客观绩效, 让科技人员明晰并认可自己的成绩和存在的不足, 从而为其他管理活动提供依据;二是让科技人员了解单位对自己的评价, 明晰自己在单位所处的位置, 使科技人员对自己有准确的定位和自我评价, 以调动其积极性, 激发其工作潜能。
1.3 研究机构评估
根据研究机构的性质划分为科研型研究所、公益型研究所、科技型企业三大类。科研绩效评估通过对科研院所绩效进行跟踪、评价和反馈, 培养和造就一支具有创新意识和创新能力的高素质科技人才队伍, 提高知识创新的能力和效率, 促进科研事业的可持续发展[5]。它有3个层面的作用:一是通过公正、严格的评价, 对研究所的科研实力和综合能力给予正确评价;二是通过工作绩效的考核, 对研究所的发展潜能和团队建设进行恰当评价;三是通过绩效考核, 改善研究所的内部管理能力。
2 科研绩效评估的原则
2.1 鼓励创新原则
“创新是一个民族的灵魂, 是一个国家兴旺发达的不竭动力”。当前绩效评估存在的一个明显的问题就是强调数量而轻视质量, 结果造成由于创新的难度较大而导致数量的产出较低。相反一些平庸的“成果”由于创新难度和投入的成本较低, 出现了一些泡沫绩效。因此, 在绩效评估中要坚持“鼓励创新, 减少平庸, 拉开档次, 计量有据, 褒贬分明”的原则。
2.2 公开公正原则
所谓公开原则是指在绩效评估当中一定要公开其权重设计的依据。公开是公正的基础, 也是改进绩效考核的唯一前提。公正、公平、实事求是地进行评价, 并接受监督, 才能使人们对考评产生信任感, 自觉接受考评结果。
2.3 分类分层管理原则
应根据不同研究类型、不同岗位和层次, 分别制定不同的绩效管理体系, 确定不同的考评内容和标准, 采用不同的考评办法。评价指标要体现可比性, 标准要统一。评估指标体系是整个评估工作的核心, 指标体系选取必须建立在对额定的科研活动特征深入分析的基础之上。如同样是“绩”, 对管理人员是以其管理和服务的效率、质量和满意度来衡量;对科技人员是以其主持和参与课题的等级、课题经费、发表论文的水平、科技成果等来衡量, 对科技开发人员是其研发新产品的能力、成果推广能力及所创造的经济效益等来衡量。
2.4 定量定性相结合, 量化易操作原则
在制定绩效管理评估体系时, 既要针对不能量化的内容设置定性考核评价标准, 又要有针对能量化的内容设置定量考核标准, 所有的考评项目和考核指标清晰明了, 易于采集, 便于操作, 尽量减少主观干扰。科研院所的考评应以其定量考核为主, 定性考核为辅, 充分体现考评的客观公正。
3 科研绩效管理体系的设计
3.1 绩效评价指标的确定原则
确立科学、合理的评价指标是科研绩效评估系统的基础。选取评价指标应遵循以下原则:一是科学性。评价指标的科学性是评估结果真实、可靠的基础。因此, 在选取评价指标时, 要严格按照农业科研研究的规律和特点, 结合单位实际, 尽量选取能真实、准确反映客观实际的指标, 科学确定其权重。二是引导性。科研绩效在一定程度上体现了科研能力, 主要有以下表现形式:承担科研项目、科技论文、专利和科技著作、奖励成果、合作交流、人才培养、科研基础条件建设等。对获得高级别的科研项目、奖励成果、高层次的论文等给予较高的评估分值, 引导科研人员投入到高层次的科研活动中。
3.2 构建绩效评估指标体系
绩效评估指标体系的制定是绩效管理的起点, 指标体系的制定要适应现代科研管理和人力资源管理的需要, 突出以人为本的管理理念, 把科研院所的发展与科研人员的发展有机地结合起来, 立足于科研院所的战略经营计划和对科技人员的工作进行岗位职责分析, 并予以界定与说明[6]。因此, 优化评估指标, 完善评估内涵非常重要。
3.3 绩效考核的实施与管理
绩效考核的实施与管理主要是对科研机构和科技人员的工作过程进行跟踪。绩效考核的实施是一个动态过程, 一般按年度进行考核评估。科研单位应坚持科研、开发、精神文明并重的原则, 绩效评估围绕科研绩效考核、开发创收和精神文明等方面分别进行考核。科研绩效在一定程度上体现科研能力。结合工作实际选取科研项目、科研成果、科研论文、专利和专著、人才培养、学术交流等为一级评价指标;二级指标逐级细化。科研项目根据项目级别和到位经费设置不同的量化系数;科研成果划分为国家级、省部级、地市级;科研论文划分SCI论文、核心期刊和普通刊物;专利按申请与授权的不同, 设置不同的当量。
3.4 绩效评估
绩效评估对科研机构来讲, 一是以其科研实力、发展潜能和科研团队建设为主要内容。因此, 对项目进行评价是非常有必要的。二是对科研团队进行评价。科研团队是完成课题的重要保证。三是是对合作交流和人才培养进行评估。这关系到科研资源的综合利用和科研水平的整体提升。四是对研究成果进行评价。绩效评估对科技人员来讲是以科技人员的工作过程中的行为、努力过程和工作态度为主要内容, 注重培养和发展组织的核心竞争力, 从而保证科研院所的可持续发展。
3.5 绩效反馈及结果应用
绩效反馈是绩效管理中一个不可缺少的组织部分。绩效管理必须对影响绩效提高的因素进行深入分析, 分析问题存在的原因, 寻求解决问题的办法, 使其工作得以改进。通过绩效反馈, 促进管理者与科研单位和科技人员之间的沟通, 从而有效地提升科研院所的绩效管理水平。
绩效考核结果的应用关系到整个绩效管理的成败与否。绩效考核的目的是为了提升科研机构的创新能力和效率, 培养和造就一支具有创新意识和创新能力的高素质科技人才队伍, 建立科学、合理的科研绩效评议制度和评价方法, 形成符合现代科研院所管理要求的制度体系, 必须通过后续的评估结果反馈和绩效改进, 才能确保评估的结果能产生影响, 使评估结果能得到贯彻落实。
通过绩效评估使科研单位和科技人员在绩效评估中对单位和自己重新定位, 及时调整科技计划和研究机构的方向, 提高管理水平和科学研究的效率。有利于表彰优秀的科研团队和个人, 保持奖励的权威性和公正性;有利于发现高素质人才, 积极推进创新团队建设, 加大学科带头人的培养力度。
4 建议
4.1 不断完善以创新和质量为导向的科研评价办法
绩效评估应充分考虑科研机构属性上的差异, 采取灵活、渐进的推进方式。在实施过程中应根据出现的问题不断修改、补充和完善绩效评估指标体系, 使绩效评估的结果更加科学、客观、真实, 具有说服力。
4.2 绩效评估与科研机构战略规划和人才培养计划相结合
以长期效益为重, 避免科研机构追求短期成果或表面效果。科研活动具有探索性、长期性、风险性和累积性的特点, 因此, 在对科研机构的绩效考核中, 如果只关注即时可见的短期成果指标, 致使科研机构倾向于研究风险小、时间短、见效快、容易出成果的短平快项目, 这对国家科研事业的长期发展极为有害。单纯地统计发表论文数量等, 只能鼓励研究人员去追求发表文章的数量而忽视对真正有价值研究的投入;对科研成果经济效益的强调则可能导致忽视对研发人员能力的培养。评价不应只看一年的绩效, 而应往前滚动若干年, 看过去几年的累积表现。
4.3 采取定量定性相结合的考核方式
重视专家评议机制的使用。科研绩效要力求可衡量和量化, 但对科研绩效完全量化是不现实的, 必须与定性的专家评审结合起来。量化可以得到一些客观的数据, 但量化指标无法完整呈现研发成果, 因为科研工作的产出指标都不具备均一的价值, 因此结合专家评审是一个比较适合于研发绩效考核的方法。只有采取定量和定性相结合的方式, 依目标结果管理模式, 由各方面专家参照其定位及研究方向, 通过定量和定性指标, 以及对科研机构的深入了解, 才能对科研机构的绩效作出综合的判定。
4.4 提倡互动、参与式考核
使考核过程最大程度地得到研究所和科技人员的理解、支持和配合。打破传统的“自上而下”的考核方式, 采用自评估与专家考核相结合, 加强考核专家与受评单位科技人员之间的沟通, 让考核专家与科研机构负责人能一起研究前期的工作总结、成绩和不足以及未来的战略规划与目标, 提出意见, 这样有助于考核结果的反馈利用。
4.5 建立完善的科研机构绩效管理体系
以科研机构绩效考核为核心, 建立完善的科研机构绩效管理体系, 特别是建立严格的考核结果反馈机制, 从机制上保证绩效考核得到实效。
参考文献
[1]李庆贺, 崔凯.绩效评估方案在高校科研管理中的应用[J].中国基础科学, 2010, 12 (3) :52-54.
[2]刘莺.关于区域教育科研管理绩效评估的思考[J].教育测量与评价:理论版, 2008 (9) :17-18, 29.
[3]彭博文, 何涛.高校科研绩效评估的现状、矛盾及解决原则[J].中国高校科技与产业化, 2010 (4) :52-53.
[4]吴伟.绩效评估——高校科研管理工作的重要手段[J].东南大学学报:哲学社会科学版, 2008, 10 (3) :114-117.
[5]田在兰.优化中国高校教师的科研绩效评估体系研究[J].经济研究导刊, 2009 (18) :238-239.
科研立项评估系统设计与实现 篇8
随着申报项目的日益增多,立项评估部门的工作量也随之增大,传统人工评估管理方式所带来的弊端也随之日益显现出来。例如,评估过程中不可避免地存在着各种人为因素的干扰,以及因工作量增加所带来的数据管理等问题。如何建立一套科学、客观、完备、高效的评价体系和符合评估人员评估流程的立项评估系统变得日趋重要。
在对立项评估的实际需求进行分析的基础上,结合基于层次分析法与聚类分析相结合的立项评估模型,设计开发出了适用于立项评估部门的科研立项评估系统。评估人员使用本系统可以方便快捷地对各申报单位进行评估,提高了评估人员的工作效率,同时也大大降低了人为因素的影响,使管理方式上升到先进的信息化和智能化水平。
1 系统设计
1.1 系统设计目标
系统设计要以立项评估人员的评估流程为中心,影响科研立项评估结果的各因素为操作对象,并需要具备以下特点:
(1) 符合用户的思维方式,界面友好,操作方便快捷,体现交互性;
(2) 对用户要有权限限制,以确保系统的安全性;
(3) 信息统计详细、全面,可以对一些信息进行查询、添加、删除、修改等操作,方便用户对相关信息的管理和更新,使评估人员能根据系统提供的各方面信息作出更新更有效的管理决策。
1.2 开发设计思想
(1) 尽量采用现有软硬件环境及先进的立项评估方法,从而达到充分利用现有资源,提高系统开发水平和应用效果的目的;
(2) 系统应符合评估人员的评估流程,满足评估人员的实际工作需要,并达到操作过程中直观、方便、实用、安全等要求;
(3) 系统应具备数据库维护功能,及时根据用户需求进行数据的添加、删除、修改等功能;
(4) 系统应具备安全管理机制,具有密码保护功能和权限管理功能。
1.3 系统的主要功能模块
系统功能模块如图1所示。
(1) 综合评估模块
专家选择界面提供了可供选择的专家,用户可以根据需要选择进行评估的专家。评估数据包括评估指标维护和评估指标设置两部分。评估指标维护实现的主要功能是在配置列表中添加待评估的单位名称,从评估指标中选择所需要的指标,构建评估指标体系,设定各指标的标准评分和标度,填写指标描述、指标评点描述等相关信息。同时可以实现对新构建的评估指标体系中的各指标进行添加子指标、删除、修改和保存等功能。评估指标设置中显示的指标体系即为评估指标维护中构建的指标体系,选择评估该项目所需要的指标,并进行保存。综合评估是专家对各个单位的评估指标进行打分,通过使用基于层次分析法与聚类分析相结合的立项评估算法计算出各单位的综合得分,然后将综合得分进行排序,并用柱状图显示。
(2) 评估结果查询模块
可以按日期对评估结果进行查询,同时可以对评估结果进行浏览。
1.4 系统评估流程
用户登录后,通过身份验证获得相应的使用权限,系统的具体评估流程如图2所示。
2 系统实现
2.1 评估指标的设计
在理清科学项目立项评估系统中各要素之间的逻辑关系的基础上,根据软科学立项评估的基本程序建立了如图3所示的科研立项评估指标体系。
2.2 界面设计
应用程序除了具备完备的功能之外,界面友好、操作方便快捷也是必不可少的,使用C++Builder的优势在于它是由Borland公司推出的基于C++语言的快速应用程序开发工具,具有快速的可视化开发环境:只要简单地把控件拖到窗体上,定义一下它的属性,设置一下它的外观,就可以快速地建立应用程序界面。
C++Builder的集成开发环境(IDE)使程序员可以利用一组窗体、菜单和其他组件,并使用可视化的方式来设计应用程序的界面,将代码和事件与界面中的某一元素建立联系,并对整个应用程序进行调试。科研立项评估系统的综合评估界面如图4所示。
2.3 数据库设计
数据库的设计包括数据库概念结构设计和数据库逻辑结构设计,数据库结构设计的好坏将直接影响到系统的效率和功能的实现。
数据库概念结构设计 在需求分析的基础上对系统涉及到的信息进行整理,为数据库逻辑结构的设计打下基础。设计的数据库信息包括评估指标配置信息;评估单位配置信息;待评估指标配置信息;用户信息;专家信息;评估结果信息;指标权重信息;指标分划信息。
数据库逻辑结构设计 根据以上功能模块的分析,针对科研立项评估的具体情况和特点,采用Microsoft Access 2003进行具体数据库的设计。该管理系统共使用8张数据表,如表1所示。
为了存储指标的相关信息,每新建一个配置都会建立一个以这个配置加特定后缀命名的指标配置表,指标权重表,指标分划表。具体功能如表2所示。
2.4 系统实现关键技术
本系统前台使用的是C++Builder 6.0,后台数据库系统使用的是Microsoft Access 2003数据库。Microsoft Access已经成为世界上最流行的桌面数据库管理系统,为了充分利用Microsoft Access的强大功能,C++Builder提供了多种数据库访问技术,主要包括ODBC、BDE、SQL驱动程序、ADO,或直接通过TClientDataSet组件进行连接,根据其功能和特点,现在采用ADO数据库访问技术访问Microsoft Access数据库。
2.4.1 在C++Builder 中采用ADO数据库编程
ADO(ActiveX Data Object)是DAO/RDO的后继产物,是微软最新的数据访问组件(微软数据访问组件简称MDAC)的一部分。ADO是基于OLE DB之上的面向对象的数据访问模型,OLE DB是Microsoft开发的一种高性能的、基于COM的数据访问技术,其作用是向应用程序提供一个统一的数据访问方法,而不需要考虑数据源的具体格式和存储方式。本系统中采用ADO组件页中的ADOQuery控件下达SQL命令,使用ConnectionString属性来设置连接数据库。
2.4.2 树状结构的实现
系统使用树状结构表示层次分析法中各指标的递阶层次关系。指标的树状结构和对指标的相关操作是通过Win32组件页中的TTreeView控件和树状数据结构算法实现的。实现具体功能的函数如表3所示。TTreeView是树形视图组件,表示一个显示项目分层列表的窗口,用于建立一个多层次关系的树状显示,如同Windows中的目录显示一样。使用TTreeView可在窗体中添加树状视图窗口,树形视图组件中的节点是由一个标签和一定数量的可选位图组成的。每个节点都有一个与其相关的子节点列表,用户单击节点,可扩展或压缩与子节点相关的列表。
在程序设计的过程中,为了便于对指标树中各节点进行操作,创建了名为TNodeDataTree的类,将与节点紧密联系的元素及相关操作组织在一起,这些元素包括节点编号、节点所在层次、节点的父节点编号、节点的字段类型、节点的字段大小、节点的AHP评分值、节点的AHP标准评分值等信息。TNodeDataTree类中变量定义如表4所示。
3 结束语
该系统的开发、设计符合评估人员的评估流程,能为科研立项评估部门作出决策提供科学合理的评估依据。实现了科研立项评估工作的规范化和信息化,提高了评估人员的工作效率,同时也大大降低了人为因素的影响。此评估系统界面友好,实用性强,适宜在科研立项评估中推广应用。
摘要：在科研投入不断加大,科研立项申报项目日益增多的今天,科研管理部门以往所采用的手工评估管理模式已无法满足现在评估工作科学、公正、高效的需要。针对上述问题,在C++Builder和Microsoft Access环境下,采用层次分析发和聚类分析等数学分析模型,设计出一套科研立项评估系统。详细介绍系统的设计方法和具体实现过程。该系统可以提高项目评估人员的工作效率,减少评估过程中人为因素影响,具有较高的推广价值。
关键词：科研立项,评估系统,C++Builder,Microsoft Access
参考文献
[1]唐炎钊,孙建国.地方软科学研究项目立项评估流程和评估方法研究[J].科技进步与对策,2005,6.
[2]张静,董英斌.C++Builder中基于ADO的数据库访问方法[J].气象与环境科学,2007,9.
[3]Donghoon Oh,Soon Cheon Byeon,Young-I1 Park,et al.A Study onthe Architecture of Performance Evaluation System of Nation R&D Pro-grams in Korea[C].PICMET2007 Proceedings,2007,8.
科研评估 篇9
我国高校的教育教学评估体系和科研体系在不断的探索、实践过程中逐步得到发展, 经过多年的努力, 逐渐形成了比较符合我国高等教育特点而又有别于其他国家的教育评估体系。通过教学与科研评估, 建立起一套比较科学、系统的教育评估系统, 对于我国高等教育的发展、教学质量的提高有着重要的意义。
乌兰察布市高校与我国其他地区高校大致一样, 有着相同的高校教育教学与科研评估体系。每年四所高校有成千上万名学生进入学校, 也有成千上万的学生走向社会。他们主要流向乌兰察布的工厂、企业、医院、学校和其他技术性服务行业等, 为乌兰察布地区经济的发展注入了活力和生机。但是, 这四所高校的发展也面临着不少问题, 如何在世界经济复苏、中国经济新常态下的国际国内大背景与整个内蒙古和乌兰察布面临产业发展转型的地区发展背景下, 使这四所高校为日益趋于多样性的市场提供大量有用人才而在教学评估和科研评估这两大反映高校水准的基础性工作上做相应的改革, 是急需探讨的课题。
二乌兰察布市高校的教学科研评估方法
第一, 实行多元化管理评价。即建立教育主管部门、学校、教师、学生、社会等共同参与的评价机制, 使管理评价过程逐步科学、民主、公平、公正。
第二, 采取点面结合的考评办法。通过听汇报、查资料、问卷调查、实地查看、现场测评等方法进行检查。
三结果与分析
教育主管部门制定各项评估细则, 一方面有利于加强管理, 不断提高教学质量, 另一方面更是教师从事教学活动的导向。乌兰察布各高校实施的教学质量评估体系表现出各校教学管理部门的行政能力虽有差异, 却都具备如下普遍性: (1) 教师教学质量评估大都由教务处具体实施; (2) 学生信息员由班级学习委员或学习部长担任, 按要求定期组织本班学生填写评教卡, 直接交教学评估单位; (3) 把院校领导、中层管理人员听课作为评估教师教学质量的补充手段; (4) 教学评估结果与教师个人利益直接挂钩, 比如教师评优、评职称、评级别等。
第一, 教师教学评估方面存在的问题: (1) 学校各系的学科教师教学层次变化大, 学生有二本、三本、专科之别, 由于学生不同、专业不同、课程不同、系不同, 学生给老师打出的分数要在一起评比, 这样的分数可比性不会很高。 (2) 教师是教育者, 学生是受教育者。学生的心理和思想价值观尚欠成熟, 不可能担任教师教学质量的唯一“判官”。 (3) 部分学生不配合、不支持老师的严格要求, 导致要求严格的老师得分并不高, 这样势必挫伤一些老师的积极性, 老师的教学要求也难以全面实施。
第二, 科研评估方面存在的问题: (1) 在不同专业、不同领域使用同一计量评估方法, 很难精确地评判成果中的精神价值和思想含量。 (2) 人事部门在教师职称评审中, 重点是看论文的级别和篇数, 这种评审导向成为高校科研导向和科研评价的唯一准则和唯一标准, 损害了具有不同特点的学科的个性, 损害了学科的发展。
四结论与讨论
乌兰察布市在高校教学和科研评估方面的成绩突出, 其主要经验概括为:
第一, 无论是教学评估, 还是科研评估, 评估的初衷都是为了提高教学质量和激励创新, 评估委员会在评估后对每所被评估院校提出改革意见, 并设定时间去改善办学条件和教学质量及增加科研投入等, 这样具有建设性的改革评估取得了更好的成效。
第二, 就评估而言, 要改变教学评估和科研评估的目的。教学评估不是评估不合格就取消教师资格, 而是在评估后, 如果不合格, 应采取相应的措施去改进、完善教学工作, 明确目标, 依据各位教师的优势充分发挥其特色。科研评估也是如此, 就本质而言, 科研评估的初衷是激励科研人员的创新, 科研评估变形走样了, 会在一定程度上伤害创新者。科研评估不是为了评估而评估, 要依据各高校的条件有差别地对待。对创新能力不足者, 应给予更多的指导和支持。
第三, 对教学评估和科研评估进行改革, 改革要符合国家经济社会发展和当地社会经济的需求。教育要面向世界, 面向社会, 也要面向市场。教育要树人, 也要教会学生适应市场经济需要, 发展特色专业和对口专业, 更新教学课程。就乌兰察布而言, 是一个欠发达地区, 地区经济发展需要大量的创新型技术性劳动力, 就要求地区高校根据经济社会发展和地区发展需要改革教学和改善科研平台, 为地区经济输入更多人才, 而不至于供需脱节。
第四, 学生是高校教育的受众, 要参与评估, 但不是唯一评判者。有学者对发达国家高校教学和科研做了有益的探究, 借鉴国外经验, 发展中国教育事业。欧美一些国家采用学生参与的办法来评估教学和科研是可取的。旧的教学评估方法中, 学生没有受到足够重视, 在一定程度上忽视了学生参与评估的权利, 这是高校教学评估中存在的一个突出问题。学生是高等教育质量保障的一支重要力量, 他们在评估过程中应该享有合法和平等的地位, 同评估专家一起参与评估工作。教师可以根据教学评估的过程和结果, 了解自身的教学成果和学生的接受情况, 根据实际情况调整教学进度和教学手段。教师的课堂教学是高校最主要的教学方式, 课堂教学质量的好差将直接决定学生学习的兴趣和成效。从教育的实际情况来讲, 学生是教学的受众, 更是科研创新的新鲜力量, 应该在教学评估和科研评估中倾听学生的声音。但是, 由于一些因素的制约, 学生不应该成为唯一评判者。高校要实现科学化的管理, 必须强化教学质量监控, 提高教师的教学水平, 激励学生学习的热情。
第五, 建立适合本地区本校发展需要的教学评估体系和科研评估体系。高校教学质量评估必须坚持目标性、科学性。始终围绕培养符合社会需要的高素质人才这一目标, 乌兰察布三所职校和一所本科院校每年为社会输入了大量劳动力。如何科学合理地制定符合教学、科研评估要求的制度去改进教学和科研工作, 促进自身发展, 这就需要做大量的实地调研工作, 如劳动力市场就业率情况、毕业生从事职业的发展状况、企业的技术人才需求、其他类似职校的专业设置等等, 在找差距、找不足中制定乌兰察布地区教学评估和科研评估制度, 并督导各高校具体实时反馈, 以更好地改进工作。同时, 请求上级教育部门的帮助, 来制定真正激励学校改革, 使学生受益的高校评估制度。
第六, 利用网络采集教学评估和科研评估信息。网络已经成为我们必不可少的一种交流手段。教学评估体系网络化, 能够让领导及管理人员及时、准确地了解教学过程的信息, 了解教学工作当中存在的问题, 从而及时调整教学计划、完善教学目标、攻克教学难题。通过教学评估反馈的信息, 提高教师在教学过程中的责任心和积极性, 切实提高教师自身的知识水平和综合素质, 促进教学方法的改善, 打造一个学生满意的课堂。而科研评估信息, 通过网络也可以了解学生的科研兴趣点, 及时地对学生研究给以指导, 师生互动, 促进双方朝着正确的方向发展、创造。互联网的发展趋势, 要求高校采用现代化的方式对教学质量进行全方位的评定, 充分利用高校内部的现有网络条件, 将传统的评估方式演变为网络化的形式, 通过互联网、校园网进行教学信息的采集、传输及评估结果的发放, 实现网络教学质量评估体系和科研评估体系的建立。因此, 高校教育评估体系进行信息化改革和建设势在必行, 而且要步入快车道。
摘要：无论是教学评估, 还是科研评估, 评估的初衷都是为了提高教学质量和激励创新。本文通过对乌兰察布市高校教育教学评估体系和科研评估体系的研究与分析, 对该范畴得出一个综合的科学实证性评价, 并以其指标建设内容的方法, 推广经验模式, 加强学校标准化建设, 提高教育教学质量, 促进高校教育事业实现快速发展、科学发展和跨越式发展。
关键词：高校,教学评估,科研评估,研究
参考文献
[1]马哲伟等编著.高校科研评估[M].大连:东北财经大学出版社, 2007
[2]刘波.加强科研平台建设, 提高大学科技创新能力[J].复旦教育论坛, 2004 (6)
[3]王洪斌、鲁婉玉.我国高校科研成果评估的现状及发展趋势[J].评价与管理, 2010 (3)
[4]徐涌金.试析高校教师激励机制的完善与强化[J].中国高教研究, 2005 (7)
[5]李欣.大学“学生评教”的现状分析与准确定位[J].教育发展研究, 2005 (6)
科研评估 篇10
一、英国大学科研评估的创新
英国第一次科研评估是由当时的大学拨款委员会于1986年组织进行的，当时称为“研究选择评估”(Research Selectivity Exercise，简称RSE)。如今则由创新、大学与技能部(DIUS)负责的、半官方性质的英国高等教育基金委员会承担科研评估的具体工作。英格兰高等教育基金委员会(Higher Education Funding Council for England，简称HEFCE)是高校科研评估的组织者，它出面组织和联合苏格兰高等教育基金委员会(Scottish Higher Education Funding Council，简称SHEFC)、威尔士高等教育基金委员会(Higher Education Funding Council for Wales，简称HEFCW)和北爱尔兰就业与学习部(Department of Education and Learning，简称DEL)实施评估活动。英格兰高等教育基金委员会有专门的评估工作组负责评估的各项事务。科研评估(RAE)每4～5年(RAE2008与上次评估间隔为7年)举行一次，采用以学科为基础的同行专家评价方法，即聘请在各研究领域的著名专家对本领域内同行的工作水平进行评估，对英国高等教育机构递交的不同的科研成果形式进行评价，并将评估结果分为不同等级，高等教育基金委员会根据评估结果分配次年的高校科研经费。
随着实践的发展，评估结果也开始被英国其他评估组织或机构(例如研究委员会和慈善基金会等)所用。自从1986年英国大学拨款委员会实施第一次科研评估以来，至今英国高等教育的评估活动共进行了六次，分别是1986、1989、1992、1996、2001、2008年评估(评估以结果公布的年份命名)。
科研评估对英国高等教育的影响逐年扩大，最初的两轮评估(1986年、1989年)仅涵盖拥有“大学”地位的机构，数量十分有限。作为1992年教育改革法案的一个结果，许多以前的多科技术学院、专科技术学院和其他类似的高等教育机构也被冠以大学的名称，使得英国大学的数量大大增加，科研评估的评估范围也得到了相应地拓宽。RAE1996的评估规模有了更大的扩展，收到了来自191所高等教育机构2893份评估材料，参加评估的学者达55000人。到RAE2001时，评估组收到了2598份评估申请，来自于约200个高等教育机构的近80000名科研人员参加了评估。[2]
在RAE1986至RAE2001的几轮评估中，评估组是以学科为评估单元的(Unit of Assessment，简称UA，相当于我国的学科点)。在RAE2008中，首次创造性地实行了“双层结构”评估组的组织结构。即，将前几轮评估中的评估单元定为次评小组(共67个)，在次评小组之上设立15个主评小组，负责统领同一母学科为基础聚集起来的3个或以上的次评小组。此外，RAE2008还设置了特别专家小组，辅助次评小组进行评估，主要负责跨学科、交叉学科以及次评小组无法准确评估领域的评估工作。科研评估的评级不断变化，开始是5级(1～5),RAE1996和RAE2001是7级，即1、2、3b、3a、4、5、5*，RAE2008是4级(1*～4*)。
二、大学科研评估活动的影响
英国大学的科研评估实行了23年，是英国高等教育现代化过程的重要组成部分，成为对学术机构影响最大的制度之一。[3]具体来说，RAE对英国大学的影响主要在于以下四个方面：
（一）英国大学的研究质量得到提高
实行科研评估之后，英国大学的科研质量普遍得到了提高。[4]从表2-1可以看出，1996年和2001年的科研评估，评估单位分别减少了347个和642个;而且评级越低的评估单位，消失得越多，1996年1级单位消失了11个，2001年陡然消失了173个，而最高5*级的评估单位消失得很少，1996年消失了13个，2001年消失了11个。这充分说明英国高等教育的研究质量有了很大的提高，不仅表现在研究评级低的学科越来越少，而且还表现在高评级的学科比较稳定，具有很高的连续性和可比性。
（二）英国大学出现资源积聚效应
一份名为《选择性作用和研究卓越》的分析报告表明，1986年引入科研评估后，拥有医学院的大学(一般是比较古老、规模较大的研究密集型大学)在10年之中得到的研究合同和项目拨款的比例更高了，从74%到80%，提高了6个百分点。同时它们的研究生和专职研究人员的比例也相应地提高了。[6]
摩根(K·J·Morgan)的研究发现，在2001年的科研评估中，英格兰每所大学的学科评级差别很大。在声望很高的牛津大学、剑桥大学和伦敦大学(指其最著名的帝国理工、大学学院和政治经济学院)联盟(Loxbridge Group)，几乎所有的学术人员都是研究活跃型的，90%的学科领域都达到了5级或5*级，有1/2以上达到了5*级;其他老大学[7](除了牛津大学、剑桥大学和伦敦大学联盟)的5级和5*级的比例是大约60%，其中1/4达到了5*级，90%的学科领域都达到了4级、5级或5*级。而与之形成鲜明对比的是，在新大学[8]只有40%的学术人员属于研究活跃型，仅有7%的学科领域达到了5级或5*级，尽管1/4的评估单元都达到了4级、5级或5*级。同时，研究质量高、投入大的学科领域，如医学、科学、工程学等学科都集中在老大学里，研究基金显然也主要分配给了老大学。摩根发现，科研拨款和研究合同拨款是这样分配的：老大学占94%(牛津大学、剑桥大学和伦敦大学联盟占35%)，新大学占6%。另外，1992年以来，除去学科重组、合并造成的评估单位数量减少之外，老大学评估单位的数量减少了5%，而新大学评估单位的数量同期增长了10%。[9]
由此可见，随着英国科研评估的开展，高等教育资源出现了更加明显的集聚效应，虽然科研评估并不是导致该效应的唯一因素，但其推波助澜的作用不可小觑。那么，除了名牌大学的学科优势之外，导致各大学科研评级差别较大的其他原因是什么呢?
Stephen Sharp和Simon Coleman认为，英国大学类型和是否拥有科研评估小组成员对学科评级产生了较大影响，是造成学科评级差异显著的重要因素，见表2-2。
表2-2中组平均值的差别很显著。老大学比新大学的评级平均高1.28分，拥有评估小组成员的比没有评估小组成员的评级高0.92分。尽管如此，一般来说，即使没有评估小组成员的老大学仍然比拥有评估小组成员的新大学的评级高0.32分。这可能要归结为名牌大学的“光晕效应”。在近1/2(68个中的31个)的评估小组中根本没有来自新大学的成员，仅在2个评估小组中有1/3的成员来自于新大学，即使在那些新大学占据优势地位(参与评估的人员比例达3/4以上)的评估单元例如艺术与设计、图书馆与信息等，其评估小组的成员仍然被老大学把持着(占70%以上)。而且与它们以前的评级相比，拥有评估成员的大学比没有评估成员的大学的评级要高。[10]
注：表中的数据为样本数据。
综上所述，英国的科研评估明显偏向历史悠久、蜚声海内外的名牌大学。无论从科研评估小组的人员构成和科研评估中获得的研究质量评级，还是从高等教育基金会获得的科研拨款以及从研究委员会争取到的合同和项目经费，一流大学群体都是最大的受益者。在英国大学的研究质量不断提高、研究评级上升很快但经费增长幅度比较缓慢的情况下，为了保证对卓越者的资助，拨款机构不断提高获得拨款的基准，甚至不惜“拆东墙补西墙”，把原本应该给予新大学的研究拨款划拨给了名牌大学。[10]在最新的2009～2010年英格兰高等教育基金会的年度拨款计划中，只有在RAE2008中获得2*级(即研究质量达到世界水平)的评估单元才能获得标准基数的拨款，而最高的4*级学科所获得的拨款是2*级的7倍。[13]这反映了国家大力支持高等学校科研水平达到国际先进的指导思想，一般水平的学科不再获得科研拨款的资助，这种导向也必然造成高等学校高水平研究力量和优势科研领域的重新组合和进一步集中。
（三）英国大学出现“管理文化”
20世纪80年代后期以来，英国大学里的研究管理工作明显呈现出不断加强的趋势。《英格兰选择性研究拨款模式的影响与结果》的调查表明：过去15年来，英国大学的研究管理系统不断发展，而且越来越被公认为是高等教育研究文化(research culture)的一部分。大学研究管理的重点因研究历史、能力和使命而不同。[14]具体来说，大学的主要政策出现了相应的调整，成立了研究管理部门，改变了管理结构及方式，包括研究规划和资源分配机制;学系等部门加强了研究管理工作;学术人员认同并接受了对研究进行管理，认为科研评估对于优秀的大学管理是必不可少的。这些变化看来都是由周期性的科研评估引起的。[15] Ted Tapper和Brian Salter认为，大学被迫制定研究战略并负责实施，而这种转变是由外部推动的而不是自主选择的。[16]
影响研究绩效的最大因素是研究文化的转变及其对研究人员的间接影响。大学的文化转变之所以影响研究绩效，是因为人们认可并接受了研究管理要更加聚焦和更富战略性的理念，心甘情愿接受评估。[17]McNay的研究发现，英格兰的科研评估影响了组织文化。[18]Keiko Yokoyama考察了科研评估下英国大学治理、管理和领导方面的变化。她指出，2001年科研评估引起了城市大学和新大学普遍的文化转变，使得这些大学的管理特色更加明显，更以研究为导向。虽然科研评估给不同大学的文化和学院制与管理主义的平衡带来了程度不同的影响，但是它使得大学为了提高科研评级，努力加强科研战略管理。同时，科研评估的实施还在研究积极分子与以教学为主的人员间引起了冲突。[18]
在“新公共管理”思想的影响下，英国科研评估具有并强化了大学中的管理主义。这不但表现在大学更加关注研究机会且建立了专门组织，例如20世纪90年代早期大学里形形色色的“研究委员会”及更复杂的绩效监控等机构的出现，而且大学中已经逐渐形成了“管理文化”。对研究绩效的关注和学系、研究人员对于研究管理工作的认可与接纳，表明科研评估业已影响大学行为和个体的思维方式，这势必对英国传统的大学自治造成巨大冲击。
（四）RAE对大学、学系和研究人员的影响
由于目前英国高等教育基金会根据科研评估结果分配大学次年的科研经费，所以英国大学、学系和学术人员对科研评估都非常重视，纷纷采取应对措施。尽管Norma Morris认为，与管理研究的政策相比，研究委员会规定了研究内容的政策对研究者的影响更大，但是绩效拨款确实加快了大学文化变革的速度，使大学做出了更快的反应，把资源分配给了卓越的研究者。[20]
有证据表明，各大学在管理方面针对选择性拨款模式所采取的应对措施并不相同，这部分程度上造成了他们研究成绩的差异。[17] Heather Rolfe的研究发现，研究型大学通常把战略重心放在提高质量上，这是他们赢得声誉的基石;而新大学则总是把重心放在增加收入上，这是其维持基本活动的保障。[22]由于高等教育基金委员会依据科研评估结果为大学而不是学系拨款，因此为提高科研评估成绩，有些大学已经关闭了评估成绩不佳的学系或者将它们与评分较高的学系合并。然而，对于那些虽然评级不高但是却有潜力提高成绩(如有从3级上升到4级的潜力)的学系，大学会给予战略性的资助，其结果是成绩不佳的学系消失了，平均评级提高了。同时，大学还更加注重资源配置方面的管理工作，建立了目标更明确或者是定向的战略性资助机制，而且对人员补充及管理工作也进行了调整，目前大多数大学都启动了个体绩效与评估系统。[17] Mary Henkel在分别从大学、学系和个人三个层面探究了科研评估对学术职业的深远影响之后发现，大学参与科研评估更普遍的做法是决定哪些人员可以参与评估，不过她认为这样做是对学系文化的挑战和学术人员角色定位的威胁。[24]
另外，科研评估对不同的研究者造成了不同的影响。它对中等水平研究者的影响更大，虽然他们的研究质量提高了，但是在目标选择上却出现了风险规避趋势。风险规避行为可能造成学科的保守性而且使研究者竭力远离跨学科研究。但是，卓越的研究者在很大程度上可以依照兴趣工作，在选择研究目标时受到的影响较小。[25]有学者认为，科研评估使得人文社会科学学系作为组织集体的特色愈益突出，并且因其影响学系获取资源的能力，故而RAE对自然科学家职业认同的影响很可能要比对社会科学家和人文学者的影响更大。[26]
虽然Mary Henkel指出，科研评估业已充分改变了大学的科研管理和学系文化，它扰乱了大学、学系、学科和学术人员的关系网，已影响了学术人的专业身份和研究职责，[26]但是英国科研评估所具有的评判英国大学学者的研究质量以及将大部分国家资助分配给公认具有国际水平研究者的两大功能[28]却不容忽视。
三、RAE创新与发展带来的启示
尽管英国RAE具有评估过程的公开性、评估成员的广泛性、评估指标的合理性、评估方法的科学性、评估结果的竞争性[29]等特点，而且增加了研究环境和研究设施管理的灵活性;促进了高校的学科发展和高校科研人员结构的调整;提高了研究训练水平和高校教师的研究效率与质量;有助于促进高校整体研究实力和高校科研拨款效率与科研绩效的提高。[30]但是RAE产生的一些副效应也不能忽视，最主要的问题是大学准备进行评估的成本过高;科研水平评估对于论文发表的强调，造成了大学教师在发表研究成果时的急功近利行为，例如，倾向于提前发表成果，而且成果的形式倾向于较短的一系列文章而不是较长的文章等;使得科研人员的工作量大增，工作时间更长，且还要承受科研工作以外的各种压力;一些大学为了得到科研基金，加大对科研的关注和资金投入而忽视了教学;各大学研究投入加大，赤字上升，收益递减;妨碍学术自由，带有惩罚色彩，这对于英国传统的学术文化和学术本身是一个沉重的打击。同时，有研究表明：在一个以前没有进行选择性拨款的体制内，以质量为基础的选择性研究拨款模式在刚出台的时候会影响研究质量，但是随着研究水平的提高，其影响逐渐衰退。[31]另外，Aldo Geuna和Ben·Martin的研究发现：同其他的方式相比，绩效拨款模式的初始收益确实大于其成本支出，但是随着时间的推移，其收益逐渐递减，这就引出了是否继续使用的问题。[32]
科研评估 篇11
科学研究是高等学校三大任务之一,高水平的科学研究可以支撑高校内高水平的教学,同样的,高水平的科学研究也是促进先进生产力发展、增强大学社会服务功能的重要保证。
高等学校科研评估是衡量高等教育办学质量的重要环节之一,以评促改、以改促进也是对高等学校科研水平提高的一个重要途径。为全面了解全国高等教育机构的研究质量,找出卓越研究领域并在此基础之上提供高质量科研的奖励,新西兰政府在2003年、2006年分别启动了两次绩效科研基金(Performance-based Research Fund,PBRF)评估项目,其目的是为了能更好地了解各高校的科研状况,并以此为基础提供一定的科研经费。该项目的实施对新西兰国内的高校科研以及教育方面都产生了积极的促进效果。我国目前在高等学校科研评价体系方面还存在部分缺失,分析探讨新西兰的绩效科研基金项目的运行以及特征,对于构建制度化的高校科研评估体系具有很高的参考价值。
1 绩效科研基金的由来
早在1997年,新西兰政府就预想构筑研究经费的新系统,并任命了一个专家小组以协调相关工作。2001年,为了协调高校与政府教育部门之间的关系,由工党联盟政府任命了高等教育咨询委员会(the Tertiary Education Advisory Commission,TEAC),建议将绩效科研基金作为高等教育创新资助体系中的一个核心组成部分。2002年中,政府成立了由奥克兰大学数学系的Marston Conder教授领导的部门专家工作小组,与教育部以及临时高等教育委员会将绩效科研基金评估正式引入到高等教育体系中。
绩效科研基金的目的是:增强研究的平均质量,确保研究继续支持学位与研究生教学;确保研究生和新研究人员有经费使用;提高研究产出的质量;防止资金过度集中,从而将削弱研究支持所有学位或妨碍新进研究人员,以及巩固高等教育研究现有的部门优势。
该项提案其实也是新西兰参考国外各种科研评价资助体系分析整合的产物,包括英国和香港科研评估体系(Research Assessment Exercise,RAEs)以及澳大利亚(Research Quality Framework,RQF)和以色列(Israeli research funding model)科研资助模型中的绩效衡量。与RAE不同的是,新西兰的绩效科研基金评估是将每个科研个体作为评估的单元,而非科研机构的整体,其特点就在于:一是该评价以个人的学术研究项目为基础进行考量,没有过多考量院、系等单位的总体产出;二是对研究项目的评价强调创新和卓越,强调质量,而不是看成果的数量多少。其整个过程由高等教育委员会负责监督和执行。
目前新西兰所执行的拨款机制是依据1989年教育法案(Education Act)的S195L制定的。依据该法案的159B部分,研究经费通过高等教育机构向高等教育委员会递交申请书,批准后通过高等教育委员会途径分配出去。新西兰政府教育投入经费的25% 均被用于绩效科研基金的投入(其他的部分用于每个学生的教学费用)。
2 绩效科研基金评估的评判标准和运行程序
新西兰所有的学位授予的高等教育机构、全资拥有的新西兰的学位授予的专门教育机构均有资格参加绩效科研基金评估,但如果符合绩效科研基金评估资格的高等教育提供者如选择不参与本次的评价,则在此次评估周期内没有资格要求绩效科研基金评估的研究基金支付,要到下一次参与质量评估后才有机会。
每个机构均需要递交参评个体的情况,并将所有的研究活跃的成员计算在内,由12个评审学科小组进行评定,每个参评个体将会获得评级:A—世界级、B—国家级、C—较有质量级、R—不活跃和NE—新进人员(2006年开始在评估中加入了NE-新近人员的一项),将所有个体的得分平均后将会作为本科目/本机构的得分(如表1)。在2006年的评估中,包括12个小组主席和3个主持人的监督小组中有包括主席和成员在内的174个人员参与了评审工作,这其中有41位来自新西兰之外;此外,还有51名专家协助这些成员对项目进行监督评审。
而对大学的科研水平进行评估,主要看三个指标,即科研的质量(60%)、科研成果的完成水平(25%)以及来自研究成果转化的收入(15%)。与之相对比的是澳大利亚从1990年就开始的研究尺度评价(Research Quantum)也是由上述三个部分组成,但是这三个指标所占的比例分别为80:10:10。有学者认为澳洲的研究度量重数量而忽视了质量的比重,所以在新西兰的绩效科研基金评估中引入了更多的科研成果完成以及有关转化方面的问题。
另外,所有的参评内容是由每一个科研活动的主体提供,包含三部分的内容:提名的研究成果(最多4个)占70%;同行评价的证据(奖项等)占15%;对科研环境的贡献占15% 。不同的学科会获得不同的评分标准(如表2)。
新西兰2003年的评估中,有22个参与评估的高等教育机构,12个专家评审团,41个专题领域以及310个指定学术单元;而在2006年,有31个高等教育机构参与评估,专家评审团数目仍为12个,但增加到了42个专题领域以及336个指定学术单元。
3 绩效科研基金评估的评价结果与反馈
在新西兰2006年的评估中,有8 671位符合条件的人员参加评估,其中有630位(7.27%)获得了A级,有2 168位(25%)获得了B级,这两项指标均比2003年有了很大的提高,而不活跃人员的总数有了大幅度的减少。这说明三年的绩效科研基金评估在一定程度上带动了科研人员的工作质量提升并吸引了很多人员重视科研。评价结果对比如表3所示。
新西兰共有八所大学,全部为公立大学(新西兰没有私立大学):奥克兰理工大学(Auckland University of Technology,AUT)、奥克兰大学(University of Auckland,UA)、怀卡托大学(University of Waikao,UW)、梅西大学(Massey University,MU)、惠灵顿维多利亚大学(Victoria University of Wellington,VUW)、坎特伯雷大学(University of Canterbury,UC)、林肯大学(Lincoln University,LU)和奥塔哥大学(University of Otago,UO)。在630个A级获得者中,只有三个不是来自上述八所高校,而这一数字在2003年的评估中为1个。另外,通过对数据统计分析可以看出,33.3%的A级科研工作者来自奥克兰大学,近68%来自三所高校:奥克兰大学、奥塔哥大学以及坎特伯雷大学。更重要的是,这几所高校中不活跃的人员数目也较少,例如坎特伯雷大学只有11.4%人员是不活跃科研工作者。这几所大学所获得的拨款情况可以在表4中获得。
通过统计不同学科的情况,以下5个学科中A级最多:生物医药、口腔医学、哲学、心理学以及纯粹和应用数学,每个学科都拥有15%以上的A级;而低于2%的A级学科有:通讯、新闻和媒体研究,设计,护理和体育等四个学科。
分,%
FTE:Full-time equivalent,全职工作人员
另外,在新西兰2006年的评估中,符合绩效科研基金评估的参评标准的8 671人中有2 996人是在2003年获得过评价定级的,在2006年的评价体系中可以“转结”到此次评价中并自动确认;同样,在这种情况下另外的没有参评的1143人被自动标记上“R” 或 “R (NE)”,剩余的4 532人通过12个小组的42个指定领域的专家进行同行评议。
此外,经过2006年评估后,从2007年开始,新西兰每年的绩效科研基金评估拨款会按照近三年所获得的外部经费的多少来测算并确定下一年度的绩效科研基金评估拨款定额。预计到2012年,此投入将达到2.31亿美元(根据2007年的预测),并且加上每年新西兰联邦政府的额外投入,预计每年会将有6 300万美元投入到绩效科研基金评估奖励基金之中。
4 绩效科研基金评估给我国科研评价制度的启示
高等学校科研质量评估与政府财政拨款相结合,在一定程度上会促进高校科研效益以及教育科研水平的提高,我们从新西兰政府的评价体系中可以很明显地看出这一点;同样的,合适的高校科研评价体系除了能很好地调动科研工作者的工作热情,同时还可以在一定程度上对其科研成绩进行肯定并进一步推进其科研项目。有研究表明,目前我国的科技评估的导向作用并没有充分发挥,存在评估体系分类不明确、重数量轻质量、专家评议制和信誉制度不完善等方面的问题,在一定程度上影响了评估工作的客观性与公正性。新西兰绩效科研基金评估将会在以下几个方面给我国的高校科研评价体系带来启示。
(1)考量标准强调“以研究人员为本”。
新西兰绩效科研基金评估是将每一位研究人员的相关情况进行汇总,并且要求提供不多于4项研究成果,这与在科研质量考核中单纯追求成果数量的做法有着很大的不同。新西兰绩效基金评价标准中研究成果一项就会占到总分评定的70%,这对于研究者而言,高水平的科研是其科研评估得分提升的重要手段。另外,同行评价的证据和对科研环境的贡献同样重要,这在充分肯定个人贡献的同时也要看该个体对周围科研氛围的贡献,以此来综合评定研究人员的水平。
(2)对青年拔尖人才的培养。
绩效科研基金评估项目的构建目的之一就是要争取通过评估,使科研不活跃型的研究人员数量能达到比较小的水平。这一点在上述8所高校中非常明显,R级的人数与其他15所参评科研机构相比很少。而该项评估的另一项措施是将创新与晋升挂钩,强调研究中的创新表现,以科技创新作为晋升职称的最好标准。研究成果质量提升的同时,其职位也会得以较快提升。
(3)评估专家的来源。
为保障评估的效果以及公信度,新西兰绩效科研基金非常重视参加评审人员的筛选,力求使专家委员会、评估委员会的人员来源广泛,能代表大多数人的利益,且制定了严格的选择条件,并由相关的法规来规定评议人员的义务与权利。
(4)绩效科研基金评估的不足。
有部分研究者的分析表明,虽然绩效科研基金体系会较好地分析与评价理科、工科、医科以及部分人文学科的研究,但对于其本土的毛利研究以及其他方面的研究该评价体系有待改善。究其原因是数据库的使用问题。该评估主要依靠Scopus作为其数据来源,这在一定程度上限制了其他来源的信息。另外,有评估内部的人士认为,该项评估有着以下问题需要得到解决:评估投入经费昂贵、没有得到普遍欢迎,且更重要的是没有相应的教学质量评估。所有这些不足,将会在下一轮的评估中尽量改进完善。
新西兰的绩效科研基金评估将于2012年开展新一轮的评估,目前委员会正在积极筹备。如何能在数据翔实的同时真正体现科研工作者成果的价值是2012年度评估的重点。同样,我们也可在其评估中取其精华,完善我国自己的科研评价体系。
参考文献
[1]Tertiary Education Commission.Performance-Based Research Fund-Evaluating Research Excellence,The 2006 Assessment[R].Tertiary Education Commission,2006
[2]Tertiary Education Commission.Performance-Based Research Fund-Evaluating Research Excellence,The 2003 Assessment[R].Tertiary Education Commission,2003
[3]Ministry of Education.How the PBRF has shifted research funding,Ministry of Education[R].Ministry of Education,2008
[4]Tertiary Education Commission.Performance-Based Research Fund-Annual report 2007[R].Tertiary Education Commission,2007
[5]Tertiary Education Commission.Performance-Based Research Fund-Annual report 2004[R].Tertiary Education Commission,2004
[6]Tertiary Education Commission.Performance-Based Research Fund-Annual report 2008[R].Tertiary Education Commission,2008
[7]张莉.国外科技评估发展现状及对我国的启示[J].产业与科技论坛,2009,8(12):253-256
[8]TOM ROA,JACQUELINE BEGGS R,JIM WILLIAMS,HENRIKMOLLER.New Zealand’s Performance Based Research Funding(PBRF)model undermines Maori research[J].Journal of the Roy-al Society of New Zealand,2009,12(39):233–238
【科研评估】推荐阅读：
科研能力评估05-09
中医药科研三级实验室评估工作总结提纲05-11
农业科研单位科研探讨07-18
科研项目及科研经费09-12
科研助理个人总结-个人科研总结06-27
科研立校科研兴校09-06
科研项目个人总结-科研人员个人总结06-06
科研06-04
科研制度06-04
科研专题06-04