“ 针对一次心理学会议同行评审人的实验表明，他们确实更喜欢有显著差异的结果，这可能会导致发表偏倚。
在科学的交流和发表方式方面，人们最关心的问题之一就是发表偏倚（publication bias），即证实某一假设的结果往往比不证实某假设的结果更容易发表。
发表偏倚的出现有许多原因，但同行评审过程被普遍视为一个关键的驱动因素。人们普遍认为，同行评审人更喜欢“阳性的”结果（有统计显著性差异）。
但审稿人对阳性结果的偏好是真实存在的吗？最近发表的一项研究表明，这种偏好确实存在，但对研究发表的影响并不是很大。
研究人员玛尔特•艾伦（Malte Elson）、马库斯·赫夫（Markus Huff）和索尼娅•伍兹（Sonja Utz）进行了一项巧妙的实验，以确定统计显著性对同行评审结果的影响。
这些作者是 2015 年一个会议的组织者，参会的研究者要提交摘要，随后这些摘要会经过同行评审。
艾伦等人创建了一个虚构的摘要，并将这份虚构的“投稿”与真实投稿放在一起，给会议的同行评审人评审。
每个评审专家被随机分配到这个摘要的一个版本，要么有显著差异性结果，要么没有显著差异性结果；在其它方面，这项虚构研究的细节是相同的。这项研究最终的样本量为 127 名评审专家（n=127）。
作者们还在文章中讨论了这个有点不寻常的实验的伦理问题。
这项研究发现，具有统计显著性差异的摘要版本比不具有统计显著性差异的摘要版本获得了更高的“总体推荐”分数。在满分为 10 分的情况下，两者之间的差异约为 1 分，具有统计显著性差异，尽管差异不大（p=0.039）。
论文作者总结：
我们观察到一些证据，表明（审稿人）对有显著差异性的结果有较小的偏倚。不过，至少就这次会议而言，其影响似乎并没有大到足以对该摘要的接受率产生可见的影响。
该实验还测试了审稿人对原创性研究和重复性研究的偏好（所以总共有四个虚构的摘要版本）。
结果表明，审稿人对这两种研究没有偏好。
因此这项研究表明，至少在这次会议上，审稿人确实更喜欢阳性结果。但正如作者提到的，很难推断该结论是否适用于其它情况。
例如，这次会议的摘要被限制在 300 个词以内。
在其它情况下，特别是在期刊文章评审中，审稿人可以获得更多信息，以作出更全面的判断。
在仅有 300 个词的情况下，本研究中的审稿人可能会更关注结果，因为没有太多其它东西可以作为评判参考。
另一方面，作者指出，2015 年那次会议的与会者可能对发表偏倚问题有高于常人的认识，因此更有可能对阴性结果给予公正的评判。
开展本研究的会议背景也值得一提，该研究领域分支（及其当时的领导）在开放科学的理想和实践方面可以说是相当进步的。
这是事实。毕竟笔者作为一个使用化名的博客作者，也受邀到会议上进行演讲，仅仅因为写过关于开放科学的文章。
以前只有少数研究使用类似的实验设计来调查同行评审的偏倚，而且发现的偏倚通常更大。
1982 年的一篇论文发现，一份心理学杂志对显著差异性结果存在很强的偏倚，2010 年对一份医学杂志的研究也得到了同样的结果。
作者总结，他们提交虚构摘要的方法可能在同行评审研究中有用：
我们希望这项研究鼓励心理学家，作为个人和在机构层面（通过协会、期刊、会议），对同行评审进行实验研究，我们使用的实验方法可以作为这类研究的蓝图。
我们认为这类研究是逐步建立一个严谨的同行评审过程知识库的必要过程。
2020年必备科研论文写作之数据绘图全套教程
点击文末阅读原文，更多精彩等你来看！