在硅谷和大厂的算力江湖里,有一群极度稀缺、年薪动辄数百万的技术极客。
他们不搞花哨的产品设计,也不去卷前端界面,每天只干一件事:给英伟达显卡写底层的 CUDA 内核(Kernel)。
他们的工作,就是像钟表匠一样,把数以万计的 GPU 核心、纳秒级的内存搬运以及复杂的算子指令,手工压榨到硬件的物理极限。
正是这门常人难以企及的“底层手艺”,构成了黄仁勋脚下最坚不可摧的铁壁护城河,你买得起天价 GPU 没用,没有顶尖的 CUDA 专家写优化,你的千卡集群可能连 30% 的算力都发挥不出来。
但就在最近,一项来自中国的研究在这面看似牢不可破的高墙上凿开了一条巨大裂缝。
▲ 字节跳动 Seed 团队与清华大学智能产业研究院(AIR)联合实验室 SIA-Lab 发布 CUDA Agent 项目
由字节跳动 Seed 团队与清华大学智能产业研究院(AIR)联合研发的全新大规模智能体强化学习系统,CUDA Agent 悄然面世。
在权威 GPU 算子生成基准 KernelBench 的残酷考场上,这个 AI 彻底杀疯了:面对 PyTorch 官方潜心迭代多年、被全球无数工程师视为默认加速神器的编译器 torch.compile,CUDA Agent 创下了惊人的 96.8% 胜率(Faster Rate),综合几何平均加速高达 2.11 倍!在最具挑战的 Level-3 高难度任务中,它的优化胜率更是直接甩开 Claude Opus 4.5 与 Gemini 3 Pro 约 40 个百分点!
消息传到海外,X(推特)瞬间掀起滔天巨浪,连夜刷屏:
▲ 海外博主激烈讨论:AI 正在反向重构使英伟达硬件强大的核心软件栈
“支撑英伟达的第二根支柱,正在崩塌吗?”
“年薪百万的底层调优专家,难道真要被 AI 批量取代了?”
这一切究竟是怎么发生的?
一个 AI 凭什么能在极度严苛的芯片底层代码上,打败人类最顶尖的编译器?
01. 终极硬骨头:为什么写好 CUDA 是人类天才的“玄学手艺”?
要理解这项突破有多震撼,可以用最通俗的语言,聊聊现代 AI 硬件究竟在面临什么困境。
如果把一块价值数十万元的顶级 GPU 比如 NVIDIA H100/H20 想象成一个拥有数万名工人的巨型超级工厂,那么:
- GPU 算力
,就是工人们挥汗如雨的双手; - CUDA
,则是英伟达为这个工厂量身定制的“生产调度语言”; - CUDA 内核(Kernel)
,就是一张张极其严密的“工序执行单”,它必须精确安排这一万名工人,谁负责去仓库搬数据、谁负责做乘法、数据怎么在工人的手提箱(共享内存)里暂存,才能保证每一秒钟都没有工人在发呆。
▲ 清华 AIR 通报指出:GPU Kernel 优化是深度学习基础设施的“最后一公里”
过去几年,哪怕是最先进的大模型,写 Python、写 Web 网页手到擒来,但一碰到底层 CUDA,立刻原形毕露。
因为底层的世界容不得半点玄学与忽悠:
- 错一个字节就崩溃
:显存越界、内存死锁、数值精度微小漂移……大模型只要产生一丝幻觉,程序当场编译失败或直接死机。 - 正确只是及格,跑得快才是王道
:即使代码算出来的答案完全正确,如果你不懂 GPU 微架构,随便一个“共享内存冲突(Bank Conflict)”或者“寄存器溢出”,程序就会慢上十倍甚至上百倍。 - 传统编译器有天花板
:PyTorch 官方自带的 torch.compile固然强大,但它依赖的是静态的规则与通用算法。对于极其复杂、跨多步骤的复合算子,它常常无法做出最极致的融合作业。
以往,想要榨干这些算子,必须靠经验极其老道的人类 CUDA 架构师,通宵达旦地对着 Profiler 性能图谱一点一点抠代码。
而 CUDA Agent 的出现,直接宣告了“手工业时代”的终结。
02. 它在真实 GPU 上完成了数万次“残酷进化”
为什么 CUDA Agent 能做到连 Claude 和 Gemini 都做不到的事?
字节与清华团队彻底摒弃了那种靠 Prompt “碰运气”或微调死记硬背的传统套路。
他们把大模型放进了一个高度逼真的硬件实战闭环中,用强化学习(RL)硬生生练出了“硬件直觉”。
整套系统的运作,堪称一场教科书级的硬核工程奇迹:
▲ CUDA-Agent 仓库展示出相对多种前沿大模型的显著加速优势
第一步:合成 6000 道从未见过的“复合魔鬼考题”
为了防止模型背题作弊,团队从 PyTorch 和 Hugging Face 的真实库中抓取基础算子,并用算法将它们层层叠加,合成了 6000 个复杂的融合算子任务(CUDA-Agent-Ops-6K)。
这些任务不仅涵盖各种奇葩计算结构,而且全部经过严格的自动化过滤,确保没有任何常数作弊与数据泄漏。
第二步:冷酷无情的“代码斗兽场”(Agent Loop)
团队为模型打造了一套标准的工具沙箱:
- Profiler 剖析
:先用工具诊断原始 PyTorch 代码的性能瓶颈; - 手写内核
:模型自行编写 .cu底层代码和 Python 绑定; - 真机编译与严苛验证
:立刻推送到实际的英伟达 GPU 上编译运行,输入多组复杂数据校验数值精度; - 性能对比与重构
:只要编译失败、数值对不上,或者跑得没有 torch.compile快,模型就会收到冷酷的负反馈,被迫重新分析性能报告、改写代码,直到彻底跑赢官方编译器至少 5%。
第三步:128 张大算力芯片上的极限长程强化学习
以拥有 23B 激活参数 / 230B 总参数的 Seed1.6 为基座,整套系统在 128 张 NVIDIA H20 组成的集群上狂暴运转。
在高达 128k 的超长上下文中,模型经历了多达 150 到 200 轮的试错与自我博弈。
▲ AI 分析师认为,这项成果来自真实硬件反馈闭环下的强化学习
在这个魔鬼训练营里,CUDA Agent 逐渐自悟出了一系列人类顶级专家的“独门绝技”:
- 代数降维打击
:遇到对角矩阵乘法,它不再傻傻地构造大矩阵去做笨重的 GEMM 运算,而是自动将其化简为逐行缩放,直接带来几十倍的性能飞跃; - 极致算子融合
:把多段原本频繁读写显存的零碎算术操作,全部塞进同一个计算内核,彻底干掉中间显存搬运的开销; - 硬件底牌全开
:智能识别场景,主动调度 Tensor Core 硬件核心与深度优化的 cuDNN 底层库。
最终,这个模型已经蜕变成一个深谙英伟达芯片每一寸微架构脾气的终极调优大师。
03. 跑分狂飙!让全球工程师屏息的数据真相
在 GPU 内核领域最权威、包含 250 个真实机器学习算子挑战的 KernelBench 基准上,CUDA Agent 交出了一份令人倒吸一口凉气的答卷。
我们来看论文中最核心的一组真实对决(加权综合表现):
|
|
|
相比 torch.compile 胜出率 |
相比 torch.compile 实际加速比 |
|---|---|---|---|
| Seed1.6 原始基座 |
|
|
|
| Gemini 3 Pro |
|
|
|
| Claude Opus 4.5 |
|
|
|
| CUDA Agent | 98.8% | 96.8% | 2.11× |
看懂这组数据,你就会明白为什么硅谷为之震动:
- 战胜了“死记硬背”的通用大模型
:像 Claude 和 Gemini 这样的顶级前沿模型,写出的代码 Pass Rate(正确率)虽然高达 90% 以上,但能在性能上干掉官方编译器的只有不到七成。而 CUDA Agent 达到了惊人的 96.8%! - 攻克最高难度堡垒(Level-3)
:在涉及最复杂计算图的 Level-3 顶级任务中,通用前沿模型的胜率普遍跌落到 50% 上下,而 CUDA Agent 依然保持了 90% 的胜率与 1.52 倍的实质加速,硬生生拉开了 40 个百分点的鸿沟! - 从“拖后腿”到“超神”
:没有经过强化学习特化的基座模型,写出的代码往往是一堆慢如蜗牛的废柴(相对编译器只有 0.69 倍速);而经过 RL 淬炼后,直接飙升至 2.11 倍。
04. 冷静拆解:开源的到底是什么?英伟达真的慌了吗?
随着事件在全网疯狂发酵,各种惊悚的标题党开始满天飞:“英伟达帝国崩塌!”、“CUDA 被彻底击溃!”
面对铺天盖地的狂欢,我们必须保持足够的清醒,厘清事实的边界。
澄清一:开源内容是一份“顶级食谱”
很多围观群众误以为字节和清华直接把完整的模型权重丢到了网上。
但只要你点进 GitHub 仓库就会发现:
团队公开的是:
-
包含 6000 条训练任务的高价值数据集 CUDA-Agent-Ops-6K; -
完整的智能体工作目录架构、验证沙箱逻辑与 SKILL.md指令规范。
未公开的是:
-
内部超大规模模型 Seed1.6 最终微调后的模型权重。
海外技术博主将其称为 Open Recipe(开放配方),模型权重并未开放。
这份配方降低了全行业的门槛,任何拥有算力储备的实验室和企业,都可以照着它在自己的基座模型上复制出一个专属的 CUDA 优化专家。
澄清二:英伟达的护城河到底有没有塌?
答案既是肯定的,也是否定的
它没有动摇的:是 CUDA 本身的生态底座。
CUDA Agent 生成的代码依然是 标准的 CUDA-C,底层依赖的依然是英伟达的硬件架构、驱动指令集与厂商库。
它的作用是让 CUDA 变得空前易用、空前高效。
它击碎了高不可攀的“人工调优门槛”
过去,英伟达的护城河由两根柱子支撑:一是极其强大的硬件,二是全球只有极少数人精通的底层软件优化经验。
很多中小团队即使买了显卡,也因为请不起千万年薪的专家团队,只能任由算力闲置浪费。
而 CUDA Agent 证明了一件事:AI 正在把这种极其稀缺的人类专家手艺,转化为可无限复制、随时调用的自动化流水线。
同时,经济学上的“杰文斯悖论(Jevons Paradox)”可能再次上演:当底层内核调优的成本骤降、每一张 GPU 的运行效率翻倍时,单次计算成本会随之下降,企业也可能由此解锁更庞大、更疯狂的 AI 模型训练与推理任务!
05. 终局洞察:当 AI 开始亲手锻造下一代 AI 的地基
把视线从单篇论文的跑分上移开,这件事情背后所折射出的宏大趋势,才是最让人感到背脊发凉的。
长期以来,科技界都在探讨一个终极假想:AI 什么时候能够开始自我进化?
过去,这个设想常被视为科幻小说里的空话。
但看看 CUDA Agent 正在做的事情吧:人类训练出一个顶尖的 AI Agent -> 这个 Agent 没日没夜地给底层的 GPU 编写更极致的内核代码 -> GPU 的计算效率提升了 2.11 倍 -> 人类用这批效率翻倍的硬件,去训练能力更恐怖的下一代大模型!
AI 参与建造下一代 AI 基础设施的自加速闭环,已经实质性地闭合了。
时代的风暴一旦刮起,就绝不会为任何人停下。
算力世界最核心的命脉,正在从“谁拥有最多的人类专家”,悄然蜕变为“谁能让 AI 更快地榨干芯片的每一滴潜能”。
而这本已经公开的普罗米修斯食谱,已经静静地摆在了每一个造轮子的人面前。

