11月5日,月之暗面创始人兼CEO杨植麟、图灵奖得主姚期智等人共同署名的一篇论文在arXiv公开。
研究团队推出了TCSExam,选了100道理论计算机科学研究题,考察大模型能否证明定理、写出可用的求解程序,或给出比已有结果更好的数学构造。
团队从近几年的论文里选出20个定理,让模型在没有证明提示的情况下写出完整证明。
GPT-6 Astra证明了14个,成功率70%;Kimi K3.1 Pro以38.3%排在第二,其余六个参评系统最高只有11.7%。
两款模型也给出了超过已有参考结果的构造。
Kimi K3在124个点之间连出了630条边,比此前公开的构造多一条,同时满足图中没有三角形和四边形的要求。
GPT-6 Astra则改进了一套量子纠错码,让它能够检测的错误从最多涉及4个量子比特扩大到5个。
目前,TCSExam已在GitHub开源,论文同时公开了各参评模型与Codex、Kimi Code、Claude Code、Grok Build的搭配和运行配置。
01
把论文里的问题,
变成机器能判的题
团队从2023至2026年的论文中选取定理,从公开竞赛和实例库中选取求解器题。
数学构造题要有可比较的已知结果,开放猜想则要能写成明确的形式化命题。
选题之后,研究者用一个Agent辅助编写题面、提交接口和评分程序,再用另一个Agent对照原始文献,检查题意有没有走样、验证器能不能正常工作。
试跑中暴露出的问题会退回修改,最后由相关领域的研究者审查。
题目从选取、编写到试跑和复核的流程
这100道题分成四类,每类要求模型交出不同的东西。
(一)20道定理证明题,交一份Lean 4证明
研究团队设置了三档提示。
第一档只给定理、定义和假设,第二档补上中间引理的陈述,第三档再给证明思路。
(二)30道求解器题,交一段可复用的程序
模型可以用公开实例开发和调试,最终交上来的程序要在隐藏实例上运行。
比如逻辑综合题,检查器先确认生成的电路功能正确,再看它用了多少个与门。
(三)20道数学构造题,交一个具体对象和验证材料
一张图、一套量子纠错码,都可以成为答案。
先检查对象是否满足约束,再比较它达到了什么指标。达到参考值计100%,超过参考值还能拿到更高的分数。
(四)30道开放猜想题,交出完整证明或反驳
每道题在Lean里预留两个证明位置,一个用来证明猜想,一个用来证明它的否定。
找到反例也可以,但必须证明这个反例确实推翻了原命题。特例和阶段性结果会另行记录。
四类研究任务及它们之间的关系
02
证明题拉开分差,
构造题考出了另一面
在完整版定理证明测试里,GPT-6 Astra每题尝试一次,20次成功14次。
Kimi K3.1 Pro每题尝试三次,60次成功23次,覆盖9道不同的定理。
其中有一道关于概率可检验证明(PCP)的题,Kimi三次都做出来了,Astra的那次尝试没有完成。
完整版逐题成绩,左侧面板是定理证明结果
数学构造题里最直观的结果,是那张 630条边的图。题目给定124个点,要求尽可能多地连线,同时不能围出三角形或四边形。
论文采用的参考构造有629条边,Kimi K3交出的630边构造通过了独立检查。
Kimi K3还提交了一套量子纠错码。
在同样用25个物理量子比特编码7个逻辑量子比特的条件下,它把参考码的最小距离从5提高到6。GPT-6 Astra也达到了这两项构造指标。
左图是Kimi K3的630边图,右图是它提交的量子纠错码
四项合计,GPT-6 Astra以71.9分拿到完整版第一,Kimi K3.1 Pro以57.4分排第二,Kimi K3以46.8分排第三。
只参加轻量版的Opus 5.5以72.3分拿到该版本第一。
完整版榜单
轻量版榜单
03
两道猜想题得了分,
答案从哪来?
OpenAI近期公开的一批数学研究手稿,让AI能否产出新数学结果再次受到关注。
TCSExam里的开放猜想得分,恰好展示了另一面:一份证明通过验证,还要追溯它用到了哪些已有成果。
完整版收录了30道开放猜想题,其中只有两道收到了通过验证的完整提交。
研究团队选题时,OpenAI还没有公开这两道题的相关结果,等到Kimi和DeepSeek参加联网评测时,反例和Lean证明已经可以在线查到。
Kimi K3.1 Pro利用OpenAI公开的成果完成了Ryser猜想题,三次尝试中有一次通过验证。
DeepSeek V4.1 Flash 1017则在Ryser猜想和修正整数取整猜想两道题上都有提交通过验证。两款模型都把已有结果改写成了符合题目要求的证明。
其余28道猜想题没有收到通过验证的完整解。
不过,GPT-6 Astra在尝试证明Alon–Jaeger–Tarsi猜想时,把一个五元有限域上的特例从此前报告的8维推进到了9维。这份证明通过了独立的Lean验证。
由于整道猜想仍未解决,这次尝试在该题上记了零分。
GPT-6 Astra提交的九维特例证明证书
论文把这份证明单独列了出来,接下来,研究者可以沿着这份证明,看看同样的方法能不能用到十维。
END
关注+星标,获取AI前沿进展与开源一线动态

