几周前，一群志愿者召开了一次电话会议，讨论一项完全不算是秘密的项目：开发用于评估学术期刊的一种新型指标。 是的，我知道，亲爱的读者，你们以前就听说过这种项目，但在你们移开目光、去查收电子邮件之前，麻烦再往下看一段吧。我保证后文会有转折。
这个项目起于二月份召开的一次研究人员-读者会议。当时，Tasha Mellins-Cohen, Mike Taylor和我组织并主持召开了一次关于衡量期刊标准的研讨会。大家在会议期间认识到，显而易见的一点是，这个世界不需要更多的评估期刊、文章、某个研究人员或研究机构质量的框架标准了。这样的标准已经有很多，尽管由于影响因子的统治地位，其他众多标准很难获得发展。 于是我们从其他地方入手，着眼于评估出版商提供的服务的质量。
从许多方面来看，学术出版商的角色都在发生着变化。过去，出版商的工作是选择最有趣、精心设计的研究，这些研究有可能会获得最大的影响力，出版商将它们进行增值、包装，并分发给世界各地的对感兴趣的各个团体。虽然现在这些仍然是出版商工作的重要组成部分，但已并非是它们唯一的价值了。此外，出版商属于通信服务提供商。他们的客户是研究人员这些人在寻找最佳的研究平台，以提高他们的学术声誉。随着资助经费变得越来越少，发表论文的需求变得越来越紧迫，作者所能享受到的服务变得比以往更加重要。
这显然是出于对所谓“掠夺性出版商”提供的服务质量的担忧。本文的大多数读者都知道Jeffrey Beall在引入“掠夺性出版商”一词上取得的成果和他的广为流行又充满争议的“黑名单”期刊博客。许多研究人员利用Web of Science，Scopus等索引服务作为事实上的白名单。还有得克萨斯州的Cabell，也列出的一份期刊索引，实际上可以当作期刊的“白名单”，或着是发表文章的较好选择。Cabell也计划在本月底推出黑名单。同时，那些有机会接触学术网络的人往往依靠个人知识，以及与编辑和学术圈的关系。实际上，我们靠着一种零碎、有争议的体系，来判断学术出版服务的质量。
最近，一些贸易组织和出版商一直在开展一场名为“思考、查验、再提交”（Think.Check.Submit）的信息运动，其目的是为了让作者了解其中的风险，并帮助他们做出判断。这种教育作者的方法很有效。Cupcake项目旨在进一步以公正公平的方式提供可用的数据和具体信息，帮助研究人员在知情的情况下得出自己的结论。
我们在这里拿蛋糕厂来打个比方，（坚持看下去，马上就能明白了）。如果您是一家将糕点制作外包给一家工厂的公司，您可能想要了解产品的制造方式。您需要保护公司的声誉，并确保您的收获物有所值。你可能想知道面糊制作的效率是多少，蛋糕的库存时间不要太长而过期。你可能会问，在蛋糕上结的那层霜究竟是什么，是真正的草莓风味优质糖霜，还是只是含有粉红色染料的糖浆。凡此种种，你懂的。
同样，研究人员对他们的文章得到了怎样的处理也非常感兴趣。研究人员想知道，他们把自己的成果发给出版商，后者是不是真的进行了同行评议。他们可能会问，平均每篇文章有多少位审稿人，平均一篇文章要审几轮？他们可能关心文章的接受率或拒收的回应时间，想知道他们的文章可能需要多长时间才能发表，要多久才能出现对自己和在本学科有重要影响的索引列表中。他们可能会关心期刊的排版质量，以及出版商在排版过程中出现错误的频率。在更多的技术性学科中，机器学习输出结果的适用性可能是有意义的。记录下期刊参与了哪些行业内的活动和举措，也可能是有帮助的。具备DOI，拥有OASPA成员资格DOI、支持ORCID，三者可能都是衡量质量和高实用性的有用指标。
尽管有不少出版商会至少提供上述信息中的一部分，但并未整理并提供所有的信息，而且这些信息是未经验证的。
Cupcake项目正处于起步阶段，我们不知道项目的终点在何处。我们的初始目标是，以白皮书、出版物或报告等形式，总结出一个潜在的框架，分析收集所需数据的可行性。除此之外，时间会证明一切。如果我们最终使项目产生了有形的东西，它可能不会是一个单一的标准或标志，而是一套指标，可以为研究人员提供决策所需的信息。
在第一次电话会议中，我们开始研究两个问题。一是研究人员想要了解出版商的哪些信息，二是如何收集数据。我们探讨了是利用与出版商的关系来收集这些数据，还是通过为研究人员提供信息反馈的渠道来收集数据。
然而事实证明，在我看来，出版商与利益相关者之间的交互情况正在发生变化。具体来说，就是作者正在从一种资源转变为一类主要客户。我和其他许多作者已经写了文章，讲了我们需要做出改变的方式，或者说，是补充了我们评估研究人员的新方式，以满足这些新现实的需要。也许我们也应该对发表他们研究成果的期刊进行同样的一番思考。
如果您想加入我们的cupcake活动，请发送邮件至：projectcupcake2017@gmail.com。
原文链接：https://scholarlykitchen.sspnet.org/2017/05/22/project-cupcake-designing-new-type-journal-metric/