大数跨境

Anthropic 开源"AI 公证处":单卡 H100 给 4000 亿参数模型公证,每秒110个 token,你的笔记本17秒验完

Anthropic 开源"AI 公证处":单卡 H100 给 4000 亿参数模型公证,每秒110个 token,你的笔记本17秒验完 AICUG人工智能社区
2026-11-17
0
导读:Anthropic 开源"AI 公证处”FlashProve:单张 H100 给4000亿参数模型出密码学证明,每秒110个 token,证明仅19MB,笔记本 CPU 17秒验完——此前唯一能证同一

11 月 2 日,Anthropic 的 Frontier Red Team 发了一篇不太像安全研究的研究:给模型的每一次回复配一张密码学"公证函"——证明这批 token 确实出自声称的那组权重,而不是路由服务偷偷换的小模型,也不是攻击者半路改过的流。

系统叫 FlashProve,Apache 2.0 开源。当天的账面数字:对 Llama 4 Maverick 这个 4000 亿参数的混合专家模型,单张 H100 以每秒 110 个 token 的速度出证明,每份证明约 19 MB;验证端不需要 GPU、不需要权重,24 线程 CPU 上 17 秒验完。

官方博客头图:四联链条。承诺(commitment)就像链子——锁死一环,后面每一环都跟着锁死。

给个参照:此前世界上唯一能证明同一个模型的系统 VerInf,证 1000 个 token 要 14.3 小时,证明文件 93.6 GB,验证接近一天。从 14.3 小时到每秒 110 个 token,从 93.6 GB 到 19 MB——这一句话,就是这次发布的全部故事。

先问一个没人答得上来的问题:回复你的到底是谁

你跟朋友当面说话,有很多办法确认对方是他本人:看得见、听得见、握得了手。你跟一个模型说话,这些办法一个都没有。

你看到的只是一串 token。你排除不了三种可能:路由服务为了省钱,悄悄把请求转给了一个更小的模型;服务器被攻破,攻击者往 token 流里夹了私货;或者更科幻一点——一个更强的模型顶替了被授权的那个,伪装成弱模型跑,好绕过本来盯着它的分类器和监控。

靠输出质量判断没用。便宜的模型也能答得很好,被改过的流也能读起来很顺。

更麻烦的是验证在物理上不可行:前沿模型的权重是私有的;就算把权重给你,跑一遍 4000 亿参数需要数据中心级的算力。普通用户验不起,普通评估者也验不起。

这就是"可证明推理"(provable inference,PI)要解决的问题:让一个没有权重、算力有限的用户,也能验证回复确实来自他点名的那个模型。

一张"公证函"必须同时满足四件事

用的工具叫 zkSNARK(零知识简洁知识论证)。名字唬人,要求其实可以列成四条:

完整性:诚实的证明永远被接受。可靠性:伪造的证明几乎必然被拒——除非有人把底层密码学攻破。零知识:证明除了"这份回复确实出自这个模型"之外不泄露任何东西——不泄露权重,不泄露中间值,甚至不泄露每一层跑了哪个专家。简洁:被证明的对象是一个量化后约 232 GB、跑在 H100 上的 4000 亿参数模型,而证明只有约 19 MB,24 核 CPU 上秒级验完。

证明系统必须同时满足的四条:完整、可靠、简洁、零知识(技术报告原图)。

前两条是任何证明系统的本分,后两条才决定这东西能不能落地。没有零知识,没有公司敢用——证明等于泄露权重;没有简洁,没有用户用得起——验证退化成自己重跑一遍模型。

四个信任挑战:这不只是密码学家的问题

博客把 PI 的用途列成四个场景,每个都对应一个现实里的信任窟窿。

1. 发展节奏(pacing)。有监管提案要求提供者把硬件专用于推理、不许偷偷训新模型。怎么查?让提供者提交覆盖一段时间内全部推理请求的证明。作者也泼了冷水:这只能证明硬件在伺候声称的模型,不能证明它没在隔壁偷偷训练。

2. 篡改检测。推理服务器是高价值目标:偷权重、投恶意响应、或者上面说的"强模型装弱模型"。Anthropic 在 Frontier Safety Roadmap 里有过一句公开承诺:2026 年 9 月 30 日前做出可证明推理原型,给模型输出"签名",使其可归因到一组特定权重。这个承诺兑现了——通过一个平行项目(给推理流量签名 + 可信服务器重算);10 月 19 日的更新里,目标改名叫 inference verification:可证明推理是通往它的路之一,不是唯一那条。

3. 文本出处。开发者声称"我的库被前沿安全模型扫过漏洞",怎么自证?聊天记录可以伪造。有了 PI,提供者可以开一张"失败证明":这个模型在这个补丁上花了至少 100 万个 token,没找到 bug。

4. 模型审批。监管要求只许获批模型上线。证明把每个请求和所用模型绑死,偷换未获批模型,验证直接失败,而监管者不需要重跑任何请求就能抽查。

还有一段旁注值得单独说:此前这个方向的主流路线是可信执行环境(TEE),押注硬件厂商造出防篡改芯片;FlashProve 走纯软件密码学路线,安全性押在计算问题的困难性上——哪怕硬件、操作系统全被攻破,伪造证明依然不可行。两条路线互补,不是二选一。

FlashProve 怎么跑:先承诺,后证明

系统里只有两方:模型提供者(证明者)和用户(验证者)。流程分两段。

离线阶段:提供者对权重发布一个承诺——一段短指纹,锁死一组精确的权重,同时把权重本身藏住。每个模型只跑一次,约 39 分钟;客户端要下载的承诺、离线证明加链接证明一共 6.24 MB。一个承诺可以撑约 1600 万个请求。

在线阶段:对每个请求(一个 1024 token 的窗口),提供者出一份证明,陈述只有一句:"被承诺的模型,在这个输入上,产出这些输出 token。" 任何持有承诺的人都能在 CPU 上秒级验证。

密码学地基只用了哈希函数(BLAKE2),不碰椭圆曲线和格——所以"貌似抗量子",且哈希可换(技术报告原图)。

地基朴素得反常:不依赖椭圆曲线,不依赖格,只依赖哈希函数(BLAKE2 的压缩函数) behaves like a random function。好处是后量子——量子计算机对哈希函数没有已知的结构性捷径;而且 BLAKE2 是可替换的,哪天它被削弱,换一个就是。构造走教科书三步:先建交互式预言证明(IOP),用 Merkle 承诺压缩交互,再用 Fiat–Shamir 变换把交互坍缩成一条消息——和 Starknet、Mantle 这些以太坊 L2 用的是同一套配方。

在线阶段:四个条件归约成线性声明,最后由一次"带线性约束的邻近测试"一锤定音(技术报告原图)。

在线阶段要验四件事:(a) 每一步计算都正确;(b) 每个专家层里跑的那个专家,确实是 router 打分最高的;(c) 所有中间值都在范围内——这样整数算术才等于有限域算术;(d) 每个被检查的 token 确实是模型的贪心选择。这些条件被批量归约成线性声明,最后交给一次邻近测试:验证者只抽查编码里的少数位置,而不是全量。

一个请求要跑约 2000 次 sumcheck 协议,占全部交互轮数的 90–95%。非线性操作(softmax、SiLU)走查表:每张表只有 2 的 16 次方个输入,SiLU 超出部分截断、softmax 的指数小到一定程度直接记零。

查询预算与 link proofs:一个承诺下挂多份新编码,任何一份都不被读超预算,于是一个承诺撑 1600 万个请求(技术报告原图)。

有个细节值得单独讲。零知识编码有"查询预算":被读的位置超过一定数量,权重就可能泄露。可一个承诺要撑 1600 万个请求,每份证明都要读权重编码,预算早就不够。FlashProve 的解法是 link proofs:第一份编码一次性证明 well-formed,之后不断发新编码(带新随机数),每份附带一个"我与第一份持有相同权重"的链接证明;所有请求证明只读新编码,任何一份编码都不超预算。思路借自哈希签名:一把一次性钥匙用树状结构挂到同一个根上,就能当多次性钥匙用。

为什么 MoE 模型是"天选之子"

MoE 结构:每个 token 只动用 4000 亿权重里的约 170 亿;trace 用指示向量把"跑了哪个专家"对验证者藏起来(技术报告原图)。

Llama 4 Maverick 每层 128 个专家加 1 个共享专家,每个 token 只激活约 170 亿参数。FlashProve 的证明者工作量与实际跑了的专家成正比,而不是全量 4000 亿——这是单张 H100 能扛住的根本原因。

更巧的是藏选择这一步。"哪个专家被选中"本身就是关于权重的信息,必须藏。办法是:trace 里把每层的选择记成一个横跨全部专家的指示向量,验证者检查的是"按向量加权的全体专家之和"——它对权重的查询与哪个专家被选中无关。选择藏住了,计算也验完了。

这也直接解释了一条局限:系统假设被服务的模型是 MoE。稠密模型吃不到这个红利,架构还可能本身就是商业机密——隐藏架构被留给了未来工作。

账本:离"能用"还有多远

证明端(单张 H100 + 24 核 CPU):离线 39 分钟,一次性;在线一批 24 个请求 223 秒,合每秒 110 个 token,每份证明 18.78 MB。权重 232 GB 放在主机内存里,80 GB 显存的 GPU 分段流式读入、一次只持有一段 trace。如果不成批、单个请求单独证:58 秒出证明,但吞吐掉到每秒 17.6 个 token;成批模式下,单个请求从批次开始到证明发布约等 5 分钟。

验证端(纯 CPU):承诺等文件一次性下载 6.24 MB;验一份证明,24 线程 17 秒,单线程 21 秒。

成本:对照 vLLM(同模型 FP8 版、8 张 H100),按每张 GPU 算,证明一批 24 个请求比直接跑 prefill 慢约 72 倍(多次运行 66–77 倍),vLLM 拉到最高负载时约 94 倍。作者的总结是:开销约两个数量级,"远低于此前的预期"。

把时间轴拉开看更清楚:2021 年 zkCNN 证 VGG-16(1500 万参数),每份证明 88.3 秒;2024 年 zkLLM 证 LLaMA-2-13B、2048 token 输入,GPU 上约 15 分钟,批内合每秒约 2.5 个 token;2025 年 zkGPT 把 GPT-2 压到每 token 21.8 秒;2026 年同行评审的 SOTA DeepProve,GPT-2 每秒 2.9 个 token、Gemma 3 每秒 1.4 个、分布式 31 个;商业公司 Attestable 报出单 H100 上 Gemma 4 31B 每秒 53–77 个 token,但没开源。而 VerInf——此前唯一证过 Llama 4 Maverick 的系统——是每秒约 0.02 个 token。

同一个模型,0.02 对 110,5500 倍。证明从 93.6 GB 缩到 19 MB,验证从接近一天缩到 17 秒。可证明推理这条线,过去两年从"论文里的玩具"走到了"工程上的原型"。

浮点模型与整数模型:线上 FP8 回复与受证整数回复可能在某个 token 分叉;统计检查负责区分良性数值噪声与篡改(技术报告原图)。

还有一笔账必须说清:被证明的是"整数模型"。浮点推理天然不确定——不同芯片、不同批次、不同累加顺序,logits 就会漂。所以 FlashProve 证明的是发布权重的精确整数版本,断言每个被检查的 token 是该整数模型的贪心选择。线上浮点回复即使没被篡改,也可能在某个位置和整数模型分叉。作者的对策是统计方法:得分接近的偏差算良性噪声;被检查的 token 在整数模型里得分很低,才判为疑似篡改。

信任链:哪些是机器担保,哪些靠人自觉

Lean 形式化的信任链:定理陈述与协议机器可查;C++ 代码由 AI agent 从 Lean 翻译而来,等价性尚未证明(技术报告原图)。

密码学代码出了名的脆。Anthropic 的答法是把整套安全分析放进 Lean:推理关系 R、三条安全属性(完整性、可靠性、零知识,各带一个具体误差上界 ε1、ε2、ε3)、协议本身(证明者与验证者函数),全部机器可查。主定理一句话:该协议在随机预言机模型下是 R 上的论证系统,三类误差分别不超过 ε1、ε2、ε3。

但注意信任链分三层。Lean 验证器慢,却是"形式化可靠"的——它只接受可靠性定理里那个验证者会接受的东西;日常用的 C++ 证明器和验证器,是 AI agent 从 Lean 表示翻译生成的,与 Lean 规范的等价性尚未证明;最终你必须信的东西被压缩到四样:定理陈述、协议编译器、Lean checker,以及(若你跑 Lean 验证器)Lean 编译器。作者给了一个交互式可视化器 STATEMENTS.html,声称专家几个小时就能审完顶层陈述。

这里的不对称是故意的:可靠性只依赖验证器——信了验证器,就可以完全不信证明者。所以证明器代码出错,可能伤完整性(诚实证明偶被拒)、可能伤零知识(不小心漏信息),但伤不到可靠性。这是整条信任链里最硬的一环。

还有一个坦率到少见的细节:仓库里另有一份更长的协议规范文档,作者直接写明——那份文档是 AI 生成的,我们没有仔细审,经过仔细审阅的论文后续再发。相比之下,这份 23 页技术报告是作者本人写的。

局限:作者自己列的清单

1. 快速代码没有形式化保证。Lean、论文、快速可执行代码三者不保证完全一致。

2. 证的是整数模型 + 贪心解码(或固定种子采样)。浮点实现或采样解码的回复,可能在某个位置偏离被证明的计算。

3. 不隐藏架构。藏权重、不藏架构,且假设 MoE;隐藏架构留给未来。

4. 侧信道不在范围内。证明本身不泄露权重,但测量出证明的时间这类侧信道,本次发布不处理。

5. 上下文只有 1024 个 token。对比前沿模型几十万到百万级的上下文窗口,这只是个零头。

6. 事后证明(post-hoc)。回复先发给用户、证明事后在独立证明服务器上重算生成(重算只占证明者工作量的 1–1.5%)。它拦不住用户收到错误回复,只能保证篡改事后必被发现——所以它只能是纵深防御的一层,不是全部。

我的几点想法

1. 这次发布最值钱的数字不是 110 tok/s,是 70–95 倍。行业此前的共识是 zkSNARK 开销巨大——报告附录自己写:即便是专门的 SOTA 证明器,也比被证明的计算慢 200 倍以上。FlashProve 把"证明税"压到两个数量级,而且作者明说还有大量已知优化没做。这个倍数决定可证明推理是论文选题,还是基础设施选题。

2. 它把"信任"从公司信用问题改写成工程审计问题。以前信一个模型服务商,靠的是品牌、合同和公关稿;现在理论上可以靠一份 19 MB 的文件和 17 秒 CPU 时间。信任一旦变成可计算的东西,监管、评估、保险、诉讼都有了新的抓手。

3. "C++ 代码由 AI agent 从 Lean 翻译"这个细节比看上去重要。顶层机器担保、底层 AI 翻译、中间等价性证明缺席——作者没有藏着掖着,而是把缺口直接画在图上(那个虚线框:equivalence to Lean spec: not yet proved)。形式化验证 + AI 代码生成的组合,缺的正是中间那一环;谁先补上,谁就把"高保证软件"的门槛再降一档。

4. 对监管而言这是一块拼图,不是银弹。pacing、模型审批、文本出处都有了技术抓手,但作者自己泼了两次冷水:证明不能证明硬件没在偷偷训练;事后证明只能事后发现篡改。工具归工具,治理归治理。

5. 对普通用户,这项技术短期的直接意义接近零——你不会自己去验 Claude 的回复。但把时间轴拉长:一旦"输出可归因"变得便宜,偷换模型的路由、造假的评测、被攻破服务器上的权重外泄,就都有了同一个技术对策。道德风险变成工程问题,而工程问题,是可以被解决的。

2026 年 9 月 30 日的承诺兑现了,10 月 19 日目标改了名,11 月 2 日代码开源。Anthropic 这次没有发模型,发的是一个让"模型说的话可以作数"的机器。

参考资料:

[1] Anthropic 博客: Progress on provable inference for large language models (2026-11-02). https://www.anthropic.com/research/provable-inference

[2] 技术报告: Rinberg et al. "FlashProve: an open-source library for provable inference." November 2026. https://assets.claude.com/8e1d181a83015078581c92d896757041713f0160.pdf

[3] 代码仓库(Apache 2.0): https://github.com/anthropics/FlashProve

[4] Lean 定理交互可视化器: https://github.com/anthropics/FlashProve/blob/main/lean/STATEMENTS.html

推荐阅读

1.20K-40K!深圳扬奇医芯招双目结构光算法工程师

2.AI教父Hinton诺奖演讲首登顶刊!拒绝公式,让全场秒懂「玻尔兹曼机」

3.GitHub没了?CEO辞职,微软接管,开发者天塌了

4.AI颠覆数学研究!菲尔兹奖得主、华裔数学家领衔11篇顶刊论文|陶哲轩转赞

5.AI OS,下一个二十年的超级平台

6.全球首个IMO金牌AI诞生!谷歌Gemini碾碎奥数神话,拿下35分震惊裁判

【声明】内容源于网络
0
0
AICUG人工智能社区
专注于AI、智慧医疗、智能制造等产业化前沿技术分享。2018年发起于杭州,19年在硅谷设立分部。累计在北京、杭州、上海、硅谷多地举办近百期沙龙,连续三届举办千人规模AI Pioneer 大会。覆盖全球上万名技术开发者。
内容 587
粉丝 0
AICUG人工智能社区 专注于AI、智慧医疗、智能制造等产业化前沿技术分享。2018年发起于杭州,19年在硅谷设立分部。累计在北京、杭州、上海、硅谷多地举办近百期沙龙,连续三届举办千人规模AI Pioneer 大会。覆盖全球上万名技术开发者。
总阅读9.2k
粉丝0
内容587