GPT-6-Astra在理论物理基准TheoPhysEval中解出了50道未公开研究计算题中的49道,准确程度达到顶尖领域专家水平,单题成本为2.40美元。这项测试考察的是AI智能体完成理论物理计算的能力,而非选择题作答或公开习题复现。
测试中,一些最初被判定为智能体出错的案例,经复核发现是专家编写的参考解答存在错误。这让评估不再只是将模型答案与标准答案对照,也涉及重新检查计算过程和参考解答本身。
研究人员认为,物理学尚未出现类似数学领域的AI突破,关键在于智能体缺少研究“品味”:完成给定计算,与判断什么问题值得研究,是两种不同能力。此次49道题的成绩体现了执行具体研究计算任务的能力,研究方向的选择则是他们强调的另一项要求。
研究人员仍判断,能够自主开展顶尖水平研究的AI或将在不久后出现。他们也已看到这类工具对青年物理学家培养方式、以及研究机会公平性的影响:当高水平计算能够以较低成本完成,训练研究者的重点和获取研究能力的方式都将面临变化。据The Decoder报道。

