AI4S 正在越过论文检索和模型问答，进入假设、实验、反馈和认知迭代。但当 AI 能够规划并调用真实工具，安全也必须进入同一条行动链。
7 月 17 日下午，我在上海人工智能实验室新园区听完了 2026 WAIC 科学前沿论坛。
现场发布了很多项目，蛋白质、大气预测、材料、空天飞行器、芯片设计，一张张 PPT 翻过去，从下午到傍晚，台上的问题一直在往同一个方向收拢：AI 何时才不只是帮人干活，而是真的进入发现未知的过程？当它能够规划、调用工具，甚至操作设备以后，我们又如何降低它带来的风险？
周伯文提出：Research is the Next Coding
周伯文的演讲题目是《AGI 的下一程：迎接科学元认知时刻》。他开场做了一组很直观的对比。一边是 Coding，过去一年多，AI 编程能力持续提升，不少常规基准逐渐接近饱和；另一边是 Science，端到端科研任务完成率不高，专业科学能力没有同步增长，真正从零到一的发现更少。
我们已经有了一批很会解题的模型，可科学前沿最缺的从来不是再解一道有标准答案的题。周伯文把下一步概括为 Research is the Next Coding，并进一步提出：AGI4S 不是通用人工智能的一项应用，而是人工智能的终极考题。
这句话不能简单理解成「科研会像写代码一样被 AI 接管」。编程通常发生在已经定义好的框架里，代码可以运行，测试能够及时反馈，出错了很快就能修改。科研的反馈可能要等几个月甚至几年，大部分尝试最后什么也没发现。更麻烦的是，失败究竟来自假设、数据、实验装置，还是我们问错了问题，本身就需要判断。
一个进入科研的 AI，不能只模仿成功样本。它需要与现实世界交互，接受漫长而稀疏的反馈，还得学会使用失败。失败有时会否定假设，有时会暴露测量方法的问题，有时也会把研究带向原来没有想到的方向。
现场展示的「书生·端砚」，就是沿着这条路搭建的一套科研工作台。它从科学问题定义开始，规划研究方案，调度模型、数据、专业软件和实验设备，完成干实验与湿实验，再把结果、过程和失败样本带回来，作为下一轮研究的起点。官方资料显示，平台已进入生命科学、关键材料、半导体、核聚变、量子和地球气象六个领域。
「书生·端砚」从科研任务闭环走向认知闭环
过去谈 AI4S，常见的画面是科学家坐在电脑前向模型提问。现在，模型后面开始连接世界模型、专业软件、实验机器人和真实仪器，AI 给出的也不再只是一段答案，而是一组可以执行、验证和继续迭代的动作。
蛋白质的案例最能说明变化。传统蛋白质改造高度依赖专家经验，还要面对巨大的序列组合空间。现场展示的 AMix 蛋白质大模型能够读取和生成蛋白质序列，再接上高通量湿实验平台。公开论文显示，AMix-1 设计的转录调控蛋白 AmeR 新变体，相对野生型活性最高提升 50 倍，相对此前最好结果约提升 77%。
模型提出候选序列，实验平台完成验证，结果重新回到模型，系统再据此启动下一轮迭代。AI 开始走进实验室了。
类似的结构也出现在基因、大气、空天和芯片设计里。官方稿披露，基因组世界模型 CENO 的抗菌物质挖掘成功率达到人类专家的 90 倍；端到端大气世界模型 Earth-o1 的预报技巧超越传统数值模式 15%；「书生·扶摇」把 AI 代理模型、CFD 仿真和风洞实验接起来；芯片设计智能体 AgenticDTCO 则能够调用 EDA 工具并运行 SPICE 仿真，现场公布其尺寸调优效率提升 5 至 10 倍、MAC 电路能效提升 90%。共同变化已经清楚：模型正在从生成内容走向调用工具、执行流程和接收真实反馈。
2026“与书生共创”科学智能联合创新成果发布
听到这里，很容易顺着技术演示继续兴奋下去。第一场圆桌却适时踩了一脚刹车，把问题重新拉回科学研究本身。如果 AI 能读完人读不完的论文，处理海量数据，还能完成大量标准化实验，科学家会不会被替代？
几位科学家都承认，文献整理、数据处理和标准化实验会越来越多地交给 AI，一部分重复工作确实不再需要那么多人完成。但科研最难的部分，并不只在这些工作里。
中国工程院院士、苏州实验室副主任 孙宝德讲了液态金属的例子。金属凝固之前，液态结构中的原子怎么排布、彼此怎么作用，仍有大量未知。AI 可以从数据中找规律，可关键数据怎么测，实验装置怎么设计，温度和状态怎么控制？在 AI 能够自己突破数据边界并取得关键观测之前，人仍然站在科学发现很靠前的位置。
数据不会凭空出现。
昌平实验室副主任金勤献谈到 AlphaFold 时补充了另一块背景。蛋白质结构预测的突破，前面站着几十年的领域知识，还有从 1971 年开始持续积累的 Protein Data Bank。没有这些高质量数据和对问题的深入理解，再强的模型也无从下手。
崂山国家实验室副主任吴能友则提到了「科学品位」。AI 已经能够从数据中组合假设，有时还能找到可解释、可检验的数学表达式。但颠覆性发现还需要提出新概念，在不同范畴之间建立类比，并判断一个问题是否值得投入昂贵的真实观测。海洋研究中，AI 和数字孪生可以先筛选大量假设，但最后哪些值得派船、花钱、承担风险，仍需要科学家决定。
所以，科学家不会简单消失，但位置会变。过去大量时间花在亲手完成每一步，未来更重要的工作可能是选择问题、设计反馈、判断研究价值，并为科研伦理和社会后果负责。
这也是我理解的「科学元认知」。一个会做科研的系统，不只要给出答案，还要知道自己为什么相信它，缺少什么证据，哪一步可能出错，下一步又该如何验证。今天的模型距离这个目标还有明显差距，但模型、智能体、数字孪生和实验设备已经开始被接进同一条链路。
“迈向下一代科学范式”圆桌讨论
问题也恰恰出在这里。如果说论坛前半段在问「AI 怎样才能真的做科研」，后半段讨论的就是「它真的开始行动以后，怎么证明它没有把事情搞砸」。一段错误文本可以重新生成，但智能体发出的操作指令、已经执行的网络攻击，或者已经完成的生物实验，不一定还能撤回。
能力、应用与风险同时加速，传统“安全贴片”开始失效
MIT 物理学教授、未来生命研究所（FLI）创始人 Max Tegmark 把 AI 的未来画成两条路径。一条是 Replacement AI，尽可能替代人；另一条是 Pro-Human AI，让 AI 保持为人服务的工具，并保留人的能动性和最终控制权。他给后一条路径定了三个要求：Helpful、Tool、Trustworthy。能力可以很强，但作用范围要能控制，行为要能审计，关键结果要能验证。
Max Tegmark：Replacement AI 与 Pro-Human AI 两条路径
Tegmark 讲到的 Vericoding 是一个很具体的例子。Vibe Coding 允许人用自然语言描述需求，再由 AI 生成代码，门槛很低，隐藏错误也难以避免。Vericoding 则要求人先给出形式化规格，AI 同时生成代码和数学证明，再由证明检查器完成验证。官方稿披露，相关验证成功率已提升至 96%。它未必适用于每段日常代码，但在医疗、金融、交通和基础设施里，不能只让 AI 说「应该没问题」，还得把可验证的证据一起交出来。
高自主、高通用、高智能交汇时，Tool AI 必须保留可控边界
论坛后半段，上海 AI 实验室发布了「书安」AI 安全基座平台。平台由孪生演练平台、智能验证矩阵和数据进化飞轮三个模块构成，目标是形成可复现、可评估、可进化的全链路安全验证体系，目前已在国际物流供应链、金融和进出境等领域试点。它代表的方向，是把安全从模型外部的一层「贴片」逐步放进系统内部。
「书安」AI 安全基座平台现场发布页
同一环节还发起了 AI 安全基础模型联盟，希望让模型研发方、研究机构和应用方进入共同的安全协作网络。现场没有公布完整章程，本文也不根据启动合影推断成员名单。
AI 安全基础模型联盟发起现场
图灵奖得主、蒙特利尔大学教授、国际人工智能安全报告负责人 Yoshua Bengio 随后通过远程视频发言。他刚参加了 2026 年 4 月的伦敦国际 AI 安全对话，那次会议把 AI 赋能的网络攻击和生物滥用列为近期需要共同应对的风险。Bengio 提醒，不能只拿今天的模型能力评估明天的风险。高风险开放权重一旦扩散，很难像云端服务一样统一召回，也无法保证每个副本都得到修补。因此，危险能力测试必须放在发布之前。
最后一场圆桌把「外挂式安全为什么会失效」讲得更具体。西安电子科技大学党委副书记、校长高新波归纳了四种情况：模型会推理，就可能理解防护盲区并针对性越狱；模型会规划，就可能在静态测试中表现正常，之后再绕过约束；模型能调用工具，单次无害操作也可能在复杂调用链中产生危险副作用；这些能力叠加后，开放环境中的行为空间急剧扩大，靠发现一个漏洞再补一个洞，很难防完。
复旦大学副校长、特聘教授姜育刚用了一个很生活化的类比。人从小接受道德和法律教育，但社会仍然需要警察。AI 也一样，内生安全和外部监管并不冲突。每一步都让人审批，智能体提高效率的价值会被削弱；完全无人监管，又无法承担现实风险。更可行的组合，是由人制定规则和责任边界，评测系统持续监控，异常情况再由人介入。
香港科技大学（广州）协理副校长、讲座教授熊辉则把安全分成「不敢为」「不能为」「不欲为」。外部法律和惩罚让系统不敢做，权限与形式化约束让系统不能做，把价值和安全进一步放进目标函数与模型架构，则是希望系统自己不去追求危险行为。他同时坦言，目前大部分投入仍集中在过滤器和 Safe Guard，从目标函数、数学底座和架构内部构建安全的研究远远不够。
英文讨论又把问题推到了生物领域。SecureBio AI 研究负责人 Jasper Götting 提到，同一套生物知识可以帮助疫苗和抗病毒药物研究，也可能降低危险实验的门槛。软件漏洞通常还能修补或回滚，生物实体一旦被制造并进入环境，后果就很难逆转。但全面封锁生物学也不现实，更可行的做法是围绕高风险病原体、实验能力和具体任务精细划界。
SecureBio 建设的 Virology Capabilities Test 包含 322 道多模态题目，用来测试 AI 对真实病毒学实验问题的判断和排错能力，同时排除了研究者认为过度危险的内容。安全评测也有自己的边界，不能为了测试模型，反而公开一套可以直接滥用的危险知识。
论坛之后还有一场 星启·少年说活动，来自清华大学姚班、上海交通大学 ACM 班、中科大少年班和上海 AI 实验室浦江书院的学生，围绕AI时代下的科研范式、青年成长、智能演进、价值重塑等议题，而是它已经怎样改变学习、科研和职业选择。
圆桌讨论很热烈，总而言之：当任务足够明确时，AI 能把原本一两周甚至一两个月的代码与调试压缩到几天；但面对宏观目标和 OOD 新问题，任务拆解仍需要人类专家。进入物理世界后，真机成本、硬件状态、网络波动和仿真到现实的差距，又让反馈远慢于数字智能体。AI 加速了执行，却还不能替研究者决定什么值得做、实验结果能不能信。大学和 PhD 的价值，也因此不只在知识本身，更在于训练人在不确定性中判断、协作和承担结果。
回看整场论坛，科学智能和 AI 安全看似是两组议题，其实都在回应同一种变化：AI 正从输出内容走向完成行动链。科研需要把假设、推演、实验和反馈接成闭环，安全也要覆盖同一条链，在发布前测试危险能力，在运行中控制工具与权限，在行动后保留审计与追踪。
这可能是论坛留给我最清晰的判断。AGI 的下一程，不只看模型能回答多少问题，也要看它能否在真实世界中形成可验证、可追溯、可约束的行动闭环。AI 能否成为真正的科学伙伴，最终取决于我们能否把发现未知的能力和守住边界的能力，同时写进这套系统。
