AI在湿实验预测上的能力正面临一次严峻考验。UniPat AI牵头推出的全新基准测试Science Prediction Universe（简称SPU），不再让AI单纯刷题，而是要求其基于给定条件自主研究并预测真实实验结果。
测试涵盖116个任务、4207个湿实验，涉及化学、材料科学、生物和医学四大领域。尽管配备了H20显卡及8小时运行时间，包括Claude Opus 5.5和GPT-6 Astra在内的前沿模型表现均远未达标，距离实现可靠的湿实验预测仍有较大差距。
SPU基准：从解题到预测的范式转变
湿实验预测是科研流程中极具价值的环节。准确的预测能帮助科学家筛选研究方向，节省昂贵的试剂成本与时间投入。传统的基准测试如BrainBench或ScienceAgentBench，多侧重于直接判断结果或在既有数据上分析，缺乏对AI自主研究过程与预测能力的综合考量。
SPU填补了这一空白，其核心特点在于：
- 任务构成：包含100个来自近期论文的公开任务和16个未发表的私有任务，覆盖32个子领域。实测结果对模型隐藏，有效防止数据泄露。
- 筛选机制：剔除简单趋势排序及数值差异过小的问题，保留高区分度的复杂任务。
- 运行限制：模型每次运行限时8小时，配置为8核CPU、16 GiB内存及一块H20 GPU，允许联网检索及使用科研软件。
- 评分标准：采用Spearman相关系数评估预测排序与实测结果的一致性，并引入随机排序阈值以排除运气成分。
△ SPU的任务覆盖与来源
评测结果：前沿模型集体遇冷
首轮评测覆盖12款前沿模型的13种配置。整体而言，所有模型的表现均未达到理想水平。
整体表现与梯队分化
Claude Opus 5.5以0.486的平均分位居榜首，但仅有一半任务超过随机水平阈值。其他配置中，仅有34%至52%的任务表现优于随机猜测。模型可分为领先组（6个）和落后组（7个），前者平均分高出后者约0.15分，且在错误预测的比例上显著更低。
△ 领先组和落后组的行为对比分析
学科与任务的差异性
不同模型在各学科表现各异：化学领域Opus 5.5领先，材料科学Fable 5.1表现最佳，生物学和医学则分别由GPT-6 Astra Medium和Opus 5占据优势。
私有任务测试进一步揭示，模型性能高度依赖具体测量目标。例如在电解液任务中，预测离子电导率时各模型表现优异（相关系数0.89-0.95），但在预测电化学窗口时得分普遍低于随机水平。这表明评估模型时需细化至具体的实验条件与测量指标。
△ 各模型在16个私有任务上的预测表现
算力与工具使用的误区
评测发现两个反直觉现象：
- 推理强度并非越高越好：GPT-6 Astra从中等强度调至最高强度，耗时增加4.8倍，成本增加5.3倍，但得分几乎无变化。记录显示，模型往往在早期已得出初步结论，后续计算仅为微调。
- 工具调用重在精准：尽管部分模型频繁调用蒙特卡洛采样等高级工具，但若未将其用于关键物理量的计算，对最终排序帮助有限。GPU使用率不足20%，且多数调用未转化为有效的预测依据。
△ 科学计算工具调用情况
此外，各配置单次运行成本差异高达300倍，SPU提供的成本效益分析为科研团队部署模型提供了重要参考。
展望：构建可量化的科研智能评估体系
SPU的出现标志着AI for Science（AI4S）评测进入深水区，从单纯的执行能力转向对科研判断力的量化评估。这不仅有助于研究者识别适合特定任务的模型，也为模型开发提供了明确的改进方向，如增强对错误假设的识别能力及优化算力分配策略。
作为UniPat AI系列评测的一部分，SPU联合了斯坦福、哈佛、北大等多所高校及行业专家，通过公开与私有任务结合的方式，构建了严谨的协作评测生态。目前，相关数据集与代码已开源，未来随着更多真实实验数据的纳入，AI在科研实践中的角色边界将日益清晰。