第一作者：徐彦恒
通讯作者：朱熹教授
通讯单位：香港中文大学（深圳）
论文DOI：10.26434/chemrxiv-2024-689vs
本研究探讨了人工智能（AI）对学术出版的变革效应，重点关注创新的蜘蛛矩阵系统。设计用于公众使用的这个平台使用户能够评估研究论文并识别开创性的方面。它应对了日益增长的出版物数量所带来的挑战，以及在学术交流中保持质量的必要性。本文强调了人工智能在增强同行评审过程中的关键作用。通过蜘蛛矩阵案例研究，本文展示了人工智能在评估学术论文和专利在原创性、稳健性和影响力等各个维度上的实用性。这个系统超越了传统的引用计数等指标，提供了立即的、公平的评估，基于每项工作的内在质量。它对不同学术领域和专利分析的适应性强调了它在提供更公平和全面的学术评估框架方面的多功能性和有效性。此外，该系统以能够从重要的评估结果中产生创新思路而闻名。本文强调了人工智能在改革学术指导、出版以及创新思路产生方面的潜力，与对更有意义和实质性研究影响指标的不断增长的需求相一致。最终，这将导致更高质量的研究成果。
在过去的二十年中，学术出版经历了前所未有的增长。论文和期刊的数量激增，开放获取模式促使了这种增长。虽然这使知识传播更加民主化，但也带来了一个关键问题：出版物的激增常常掩盖了一个重要问题，即真正创新性研究思想的稀缺。学术界现在充斥着大量的论文，尽管数量众多，但在提供开创性思想或方法方面贡献甚微。
学术研究的根本目的是推动知识前进，提供新的观点、理论或解决方案。然而，当前学术出版的趋势往往更看重数量而不是质量。这导致了一个局面，其中许多出版物重复利用现有思想或做出渐进式贡献，未能实质性地推动其领域的发展。这些出版物的数量之多可能掩盖了真正创新性研究，使得开创性工作更难获得应有的关注和认可。
此外，频繁发表论文的压力，通常被称为“发表或灭亡”，激励研究人员不断产出大量论文。这种环境可能会抑制花费必要的时间来发展新颖思想或进行有风险、有可能开创性的研究。相反，更安全、渐进的项目更受青睐，可能会产生更可预测的结果和出版物，但并未显著推动知识的边界。较不创新性的论文的饱和也使同行评审系统不堪重负。审稿人被大量投稿所淹没，可能没有能力充分评估每篇论文对领域的贡献。这可能导致已发表研究的整体质量下降，并使真正创新性的工作难以识别。
为了应对这一趋势，学术界需要更加强调研究思想的独创性和潜在影响，虽然已经提出了一些工具。在过去一年，像ChatGPT这样的大型语言模型（LLMs）广泛应用后，它们对科学研究的影响已经深刻。此外，尽管存在争议，但审查过程中的人工智能工具可以帮助识别和优先考虑创新性研究思想，确保它们在众多出版物中脱颖而出。此外，重要的是指出，研究的目标不仅是增加可用信息的数量，还要丰富我们对知识的理解，并为知识的推进做出有意义的贡献。从某种程度上说，这可以被视为从通用生成AI到科学AI的转变。虽然科学AI通常用于加速研究过程，但我们认为它的影响是根本性的，不仅改变了科学工作流程的速度，还改变了其本质。我们的开发，蜘蛛矩阵，就是这种变革的典范。作为一个为普遍使用而设计的开放和可访问的文章标记系统，它显著重塑了评估学术文章质量的系统，促进了科学研究中的创新思维。通过推崇开放获取和包容性方法，蜘蛛矩阵民主化了学术评估的过程。它使来自不同背景的用户能够参与并理解最新的研究，促进了更加包容的学术环境。这个平台不仅提供了评估文章质量的结构化方法，还作为一个通向学术景观更深层次理解的门户，帮助所有人理解一篇文章在更广泛研究范围内的地位和重要性。这最终将使所有研究人员更广泛地了解研究，而不是局限于自己的领域。
1. 学术出版的挑战：文章首先提出了学术出版领域面临的挑战，包括出版物数量激增、重视数量而不是质量、出现创新性思想稀缺等问题。
2. 大型语言模型的影响：文章强调了大型语言模型（LLMs）如ChatGPT等对科学研究的深刻影响，尤其是在过去一年的广泛应用。
3. 人工智能工具在审查中的潜力：文章讨论了人工智能工具在学术审查过程中识别和优先考虑创新性研究思想的潜力，以解决出版物数量激增的问题。
4. AI for Science的概念：文章提出了“AI for Science”（科学AI）的概念，强调其对科学工作流程的根本性改变。
5. Spider Matrix的开发：文章介绍了Spider Matrix的开发，这是一个开放和可访问的文章标记系统，旨在重构学术文章质量评估系统，促进科学研究中的创新思维。
6. 促进学术评估的民主化：文章强调了Spider Matrix的开放获取和包容性方法，民主化了学术评估的过程，使更多人能够参与和理解最新的研究。
7. 提高研究质量：最后，文章突出了文章标记系统的目标，即提高研究的质量，以便更有意义地推进知识的进展。
图1. 显示了一个双阶段文章评分系统（Spider-Martix）的概述，该系统可以查找和评分新文章，通过元数据、引用关系和语义分类进行全面评估。最终的评估是基于五个分开的维度进行的。
图2. 特征提取和文章之间相似度计算方法。(a) 示范了摘要的提取，随后将其向量化为一个1536维的嵌入，并与MatSciBERT14生成的稀疏关键词集成。密集嵌入和稀疏特征的结合形成了一个综合的表示，颜色渐变表示相似性分数，有助于精确识别和比较学术文章。(b) 展示了为学术文章生成综合相似性特征矩阵的过程。摘要被向量化，并与引用网络数据一起使用张量图网络进行组合。标量相似性度量通过张量收缩进行丰富，考虑了内容和引文上下文。来自共同作者或期刊发表的偏差通过上图右上角指示的缩放机制进行调整，得到一个经过精炼的、多维度相似性矩阵，包含了概念和上下文学术关系。
图3. 训练大型语言模型（LLM）在论文评分与评估报告特定任务中的示意图。(a) 为审稿人评估研究文章制定了一份综合性问卷，包括基本元数据、内容摘要以及与类似作品的比较。问卷采用1-10的评分系统，涵盖新颖性和方法等各个维度，具有直接与先前确定的文献进行比较的标准。最高分数被平均用于最终评估，该过程有助于对专门领域评分的语言模型进行微调。(b) 展示了创新评分和报告机制的详细生成过程。它包括数字分数和五维创新分析，与相关文章的相似性是决定分数的关键因素。输入和输出中的相关词汇以相同颜色标记，而引用则在五维分析报告的相关部分生成。仅支持开放获取出版物。
图4. 从文章评估到创新思路的路径。(a) 展示了处理多篇文章输入到创新思路点，最终到详细步骤的过程。以引入不同配体的反应为例进行了说明。(b) 展示了如何在每篇文章的研究思路之间进行新思路生成的详细信息。Spider Matrix旨在以交互方式找到它们可能的交集并进行输出。
图5. 评估分数与JIF之间的结果和比较。(a) 该图呈现了来自50个领域的1000多篇文章的JIF与质量得分之间的相关性。分数通常随着JIF的增加而上升，表明JIF超过10的期刊中的文章质量较高。值得注意的是，JIF为3-9范围内的文章显示出差异，突显了在物理学和计算机科学等领域与材料科学相比的质量评估差异。(b) Spider Matrix系统对高维学术评估的全面方法。将其与当前的引用和基于JIF的系统进行对比。它展示了一个从深入理解背景开始的层次结构，然后进行个别论文分析，最终进行作者和主题评估。这一模型承诺为学术界评估创新和稳健性提供更加公平和科学稳健的框架，有可能彻底改变学术成功的标准度量。
将人工智能融入学术出版的Spider Matrix系统，标志着学术作品和专利评估方式的重大变革。它提供了一种全面的、多维度的分析，考虑了新颖性、稳健性和影响力，可在各种学科中灵活应用。不同于传统的指标如JIF，Spider Matrix根据论文的内在价值进行评估，提供即时的质量见解，避免了与期刊声誉相关的偏见。这一系统不仅用于评估，还有潜力激发新思路，展示了在学术文章和专利分析方面的多样性应用。它确保了在管理快速发布和质量保证挑战方面采取平衡的方法。Spider Matrix在不同领域的适用性表明，学术界和知识产权领域有望建立更加公平和科学稳健的评估框架。设计用于广泛使用，它适应多样化的输入，有助于研究人员开发创新思想。
XU Y, Ye S, Liu R, Shao L, Zhu X. Spider Matrix: Towards Research Paper Evaluation and Innovation for Everyone. ChemRxiv. 2024; doi:10.26434/chemrxiv-2024-689vs This content is a preprint and has not been peer-reviewed.
朱熹教授：朱熹教授于2006年从中国科学技术大学少年班学院获得应用物理学学士学位，并于2010年在新加坡南洋理工大学获得博士学位。目前朱教授的研究方向为元宇宙以及智慧实验室在研发以及工业产业的应用。
邵岭教授：邵岭博士是国际知名人工智能科学家, IEEE Fellow、国际模式识别协会Fellow、英国计算机学会Fellow 及IET Fellow。自2022年4月起，邵岭博士担任特斯联首席科学家、特斯联国际总裁。被授予阿联酋至高科学奖。
本文仅用于学术分享，不做盈利使用，如有侵权，请联系后台小编删除
欢迎关注我们，订阅更多最新消息
“邃瞳科学云”推出专业的自然科学直播服务啦！不仅直播团队专业，直播画面出色，而且传播渠道多，宣传效果佳。
“邃瞳科学云"平台正在收集、整理各类学术会议信息，欢迎学会、期刊、会议组织方择优在邃瞳平台上进行线上直播，希望藉此帮助广大科研人员跨越时空的限制，实现自由、畅通地交流互动。欢迎老师同学们提供会议信息（会有礼品赠送），学会、期刊、会议组织方商谈合作，均请联系王女士：18612651915（微信同）。
投稿、荐稿、爆料：Editor@scisight.cn
