随着各国政府对科研的日益关注,基金资助机构正面临着如何更好地理解其项目产出的压力,这一压力不仅体现在如何更加有效且高效的进行项目管理,更体现在对不同的人群多角度的阐释资助带来的影响力。
目前很多国家的政府都通过设立法规,规范经费的分配,同时定期进行项目评估,英国的研究卓越框架(REF)、澳大利亚的杰出研究计划(ERA)都是政府自上而下对科研进行管理的典范。美国的经费来源虽然遵循一种自下而上的模式,但近年来的一系列问责举措也在逐步打破这一传统局面。例如美国行政管理和预算局(OMB)在2012年5月就公布了名为“证据与评估在2014预算案中的运用”的备忘录。在这份文件中,OBM的负责人敦促联邦机构通过使用项目评估为预算、管理和政策决策提供证据,并加强机构评估能力。
科研管理人员在项目设计初期即提出评估框架
为了更好的评估科研活动,科研管理人员在项目设计初期即提出评估框架以作为后续评估活动的指导就显得尤为重要。逻辑模型(logic model)能够为项目评估者提供这样一个框架,通过这个框架使评估者更好的了解纳入评估体系的不同要素。逻辑模型可以用于识别进行有效评估所需的信息类型,其中包括在年度总结以及项目中期或收尾时进行的问卷调查中应收集的附加信息。识别需要收集的数据对项目评估尤为重要,因为如果基金资助机构没有获得足够的信息或没有统一记录、保存数据,会使后期跟踪项目的成果带来巨大的挑战。因此,确立评估框架能够帮助我们:
1.通过逻辑模型更好的确立项目目标
2.在项目初期与中期识别数据收集需求
3.建立评估的实施策略并确立指标
4.与评估项目影响力相关的对标分析
逻辑模型通常由投入、产出与成果三部分组成

科睿唯安为国立癌症研究所(NCI)Provocative Questions initiative项目设立逻辑模型
科睿唯安与美国国立卫生研究院(NIH)这一主要聚焦基础性研究的基金资助机构紧密合作,基于其NIH的需求为其量身定制逻辑模型助力其项目评估。例如,通过与NIH下属国立癌症研究所(NCI)的战略科学项目中心的工作人员的紧密配合,科睿唯安数据与分析团队为其Provocative Questions initiative项目设立了完整的项目逻辑模型。这一项目旨在向社会征集能够解决癌症研究领域挑战性问题的研究。设计这一项目的逻辑模型需要工作人员明晰项目目标,这一过程使NCI的工作人员与管理人员共同探讨如何评估与测度项目最终的成果。这种以预期成果为导向的过程鼓励项目管理人员更加全面的考虑项目期望实现的影响力以及成果、为实现预期成果而需要调整的步骤、能够促使变革的活动以及支持这些活动所需要的资源。
下图揭示了项目评估设计中各个环节之间的关系。在逻辑模型的框架下,项目目标又可以进一步划分为测量直接效果的短期目标和评价更为广泛的长期目标。尽管项目目标的最终实现标志着一个项目是否成功,中期评估是监测和确定项目有效性的最便捷的手段,一系列的问题的提出能够帮助我们决定如何最好的评估项目是否成功以及评估过程中需要收集的其他信息或数据。
产出是那些能够体现项目有效性的活动,因此能够在项目持续期间为评估人员监控项目实施进度以及表现提供信息。 产出也可以作为指标来监测有助于实现短期和长期目标的项目要素,以及那些为了实现预期效果而可能需要修改的要素。产出应该反映项目的最终目标, 其可测度性十分重要,因为只有这样评估人员才能够对项目参与人的产出与对比组成员进行比较从而判断项目的中期效果并及时发现项目政策是否需要调整。
国立癌症研究所(NCI) 职业发展(K)奖励计划逻辑模型
又如NCI的另一项职业发展(K)奖励计划采用了如下的逻辑模型(如下图)。3NCI的这一奖励计划历史悠久,其宗旨在于解决癌症研究人员随着时间推移而发生变化的需求。然而学术界对K计划的价值观点不一,主要的质疑来自K计划为处于职业生涯早期的科学家或临床医师提供3-5年的资助,以期帮助他们在癌症研究领域的职业发展或更好的向独立研究人员过渡,一些未经证实的观点认为K计划延迟了研究人员首次获得R01资助(NIH代表独立研究的黄金标准)的时间。
通过对K计划进行全面的评估,结果表明K计划的受资助人获得后续NIH基金资助的比例更高,发表的论文数量更多,同时首次获得R01资助的时间并未受到影响。对于那些没有继续从事科研的K计划受资助人,也更倾向于从事与科学相关的工作。这些结果表明K计划不仅对于受资助人的生物医学研究生涯,乃至对于科技企业的发展都产生了正向的影响。
总之,研究和开发项目的评估是一项艰巨的任务,但是应该尽早启动以确保项目与预期目标一致。评估框架的确立对于明确项目目标、定义项目产出与成果、确定需要收集的数据信息以及设计评价指标具有重要的意义。结合前瞻性的项目评估,评估框架能够使项目目标清晰化,同时使科研工作和评估工作中的投资获得最大化的收益。
参考文献:
1.http://www.whitehouse.gov/sites/default/files/omb/memoranda/2012/m-12-14.pdf
2.Jordan, G.B., (2010) ‘A theory-based logic model for innovation policy and evaluation’, Research Evaluation, 19(4), 263-273
3.Mason,J.L.,Lei,M.,Faupel-Badger,J.M.,Ginsburg,E.P., Seger,Y.R.,DiJoseph,L.,Schnell,J.D.,Wiest,J.S.,(2013)‘Outcome Evaluation of the National Cancer Institute Career Development Awards Program’,Journal of Cancer Education,28(1),9-17

关于科睿唯安
科睿唯安(Clarivate Analytics)是全球专业信息提供与分析服务领域的领导者。我们致力于帮助全球的开拓者们,将奇思妙想转变为颠覆性创新,加速创新与国际化的进程。通过提供全面的知识产权与科技信息、决策支持工具及服务,我们为全球客户的创新与国际化提供强大助力,帮助政府、学术界、出版商和企业:发现新想法,保护创新,直到最终实现商业化。科睿唯安旗下拥有诸多业界知名品牌,包括Web of ScienceTM平台( 含科学引文索引, 即Science Citation IndexTM, 简称SCI)、InCitesTM平台、Derwent InnovationTM平台、德温特世界专利索引(Derwent World Patents IndexTM,简称DWPI)、CortellisTM、CompuMarkTM、MarkMonitor® 以及TechstreetTM 国际标准数据库等。更多信息,请访问科睿唯安中国官网Clarivate.com.cn。
长按识别关注“科睿唯安”公众号


