大数跨境
0
0

我们在评估论文时过于青睐精英科学家了

我们在评估论文时过于青睐精英科学家了 学术头条
2017-07-13
1
导读:这就好比让博尔特在比赛中先出发10米一样不公平。

我们可以准确量化短跑巨星博尔特比仅次于他的运动员快了多少。但要说谁才是最优秀的科学家就要难得多了,更不用说最优秀的科学家比仅次于他的科学家好多少了。要决定谁应该享有盛名,至少在某种程度上说属于价值判断。


在我最乐观的时候,我愿意相信,尽管存在一些干扰,关于这个问题仍有一个可靠的信号:我们大多数情况下都在努力发表文章,去资助和雇用做出更高质量研究的人。作为编辑、同行评议人和经费申请的审查人员,我要花几个小时对他人的工作成果作出相应的评价和选择。要是别人认为我用抛硬币的方式做出决定,对我来说无疑是令人沮丧的事。


在我更悲观的日子里,我会担心科学家们对能否区分出真正优秀的人才显得信心过度。我们经常假设获得更多研究经费和奖励的、发表文章数量和被引用数较多的研究人员一定比其他人更优秀。而我认为,对于特定成就、职位或奖励,我们现在将其看得过于重要了。


我不否认最杰出的科学家们非常擅长他们的工作。但我同样认为成千上万的科学家大部分的工作都是晦涩难懂的。科学是困难而重要的,我们应该承认那些做得出色的人。但是,只是集中让少数几位科学家名声鹊起可能是不合适的,这可能会危害到科学本身。


为了有效辨别出卓越人才,必须要对什么是卓越人才做出准确的判断。事实证明,关于什么是卓越人才是很难判断的(参见go.nature.com/2qalo2l)。对于哪些论文可以接受,应该将经费拨给哪个项目、招聘哪些候选人,经常存在激烈的分歧。作为一本期刊的编辑,我曾经处理过一篇文章,所有的审稿人都认为不适宜发表,因为缺乏新颖性。我认为这篇论文是科学的,无论如何应该发表。令我感到惊讶的是,该文章比该期刊的几乎所有其他文章都受到的关注还多。这篇文章被数十家新闻媒体报道,在六个月内被下载了数千次。


事实上,将低质量的研究与坚实的研究区分开来,要比区分前5%的高质量研究与次5%的高质量研究更为直接,而后者这5%的差别经常导致产生论文能否成功发表的决定。鉴于这一困难,关于什么样的研究能获得奖励的决定不能单靠质量决定。那么还有什么其他因素呢?


科学家也是人,因此容易受到偏见的影响。影响力最大的是偏见之一是地位偏见。即部分科学名望的获得是基于过去的名望(所以,如果一位科学家以前曾有过不错的论文发表记录,他的新论文也更有可能成功发表)。这基本上是科学社会学家R.Merton近半个世纪前所描述的“富人更富”现象或“马太效应”。


当杰出成果集聚时,系统中的噪声就会被放大。最终获得最大成功的人有运气的成分,而且这个运气是可以以自身为基础累加的。


即使地位偏见并不存在,其他个人偏见也会影响到决策。当没有客观依据来选拔合格的候选人时,人们自然会回到主观偏好上来。选拔委员会可能会有意无意地偏向某些研究课题、团队甚至是个人。由此开始,过去获得的奖项会增加在未来获奖的机会。这会加剧不平等现象的产生。


在评估论文和经费申请时对精英科学家的青睐,就好比让博尔特在下一场比赛中先出发10米一样,原因是他过去5次比赛中都获胜了。这一现象会促使科学家尽可能展现自己和他们的成果的最好的一面,降低研究的透明度,以避免招致批评。这些倾向都会助长研究的可重复性问题。


对此有什么解决方案吗?我们不可能抹去名望的作用。有一个方法可以解决部分问题,即干脆承认对杰出成果的判断通常是主观的。从那里,我们可以进行一个更艰巨的任务:而不是依靠启发式,如大学的声望,或以前的认可,让我们阅读人们的工作,并根据其优点对每个研究或提案进行评估。


我用来避免身份偏见的一个窍门是,尽可能不去知晓文章作者的身份,这也是许多期刊社会学和和个性心理学领域的期刊采用的策略。在尝试了这个方法后,我意识到自己已经利用作者的身份走了不少捷径。在作者信息未知的情况下去评估论文是很令人紧张的事情,因为我知道自己可能会严厉批评著名学者的文章。但我仍然认为,这是评估科学研究质量的最好方式。


无论何时,科学界都应该尽可能地对那些做出坚实、有广泛区分度研究的科学家进行奖励,同时避免就“谁是最出色的科学家”这个问题猜来猜去。事实上,有几位生物医学研究人员提出,经费申请的审查人员应该只确定哪些申请项目属于最优秀的五分之一之列,然后由随机抽取来决定最终奖项。


要想完全消除地位偏见可能是不现实的,但我建议大家向着这一目标努力尝试。让我们将目光从少数卓越科学家身上移开一些,更多地去关注不那么引人注目的严谨的研究。


【声明】内容源于网络
0
0
学术头条
致力于学术传播和科学普及,重点关注大模型、AI4Science 等前沿科学进展。
内容 1019
粉丝 0
学术头条 致力于学术传播和科学普及,重点关注大模型、AI4Science 等前沿科学进展。
总阅读605
粉丝0
内容1.0k