大数跨境

从 CUDA C++、Triton 到 Agent,GPU 算子开发怎么学、怎么做?

从 CUDA C++、Triton 到 Agent,GPU 算子开发怎么学、怎么做? AI大模型智能体前沿
2026-11-09
7
导读:Agent 能写 CUDA 后,新手怎么学、已有经验怎么做项目?沿开发方式的演进,分清四阶段入门与实际开发流程。

导读新手可以借助 Agent 学习 GPU 算子,有经验的开发者则可以直接从项目瓶颈开始。 CUDA C++、Triton 和 Agent 的发展,改变了代码怎样实现,却没有省去正确性与性能验证。本文先讲这段演进,再分别给出四阶段学习路线和实际开发流程,说明什么时候可以从练习走向项目。

本文 2613 字,阅读约 7 分钟能写 CUDA,与写好内核还有多远?从人工 CUDA C++,到 Triton 和 Agent新手入门:用四阶段练习建立判断能力已有基础:按项目瓶颈推进开发从练习走向项目

能写 CUDA,与写好内核还有多远?

让 Agent 生成 CUDA 代码,已经不是唯一值得关注的能力。更有意义的问题是:生成的实现,能否既正确,又比成熟实现更快?

2026 年 11 月 2 日公开的 KernelSeek 提供了一个例子。作者报告,在 H200 的 182 个注意力计算场景上,生成的前向 CUDA 实现通过正确性检查,相对 FlashAttention-3 达到 1.16 倍几何平均加速。

注意力用于计算序列中不同位置的信息关联。FlashAttention-3 是专家团队针对 Hopper 架构 GPU 优化的高性能注意力实现,涉及计算与数据搬运的精细配合。它是有竞争力的性能基线;不过,换成逐场景最快的可用实现、包括 cuDNN 后,优势缩小到 1.10 倍。测试测量的是同一 GPU、相同输入的调用耗时,部分收益来自调用路径,研究过程也有人类引导。

这说明 Agent 已能在指定任务上挑战专家优化的实现。能编译、算得对、跑得快、接进项目后有收益,仍是不同的门槛。

从人工 CUDA C++,到 Triton 和 Agent

2006 年,NVIDIA 推出 CUDA,将 GPU 的并行能力开放给通用计算。C/C++ 接口成为直接编写 CUDA 内核的重要路径。内核,也就是 kernel,是提交给 GPU 并行执行的计算函数。

过去学 CUDA,通常先学线程、线程块、索引、显存和同步。比如把自己写的逐行求和搬到 GPU:哪些行独立?一行由多少线程合作?局部结果怎样合并?这些决定需要落实到代码里。

高性能开发比写出语法正确的代码难,在于计算方式必须适合硬件。线程很多,却频繁等待显存;多个线程同时修改同一个结果;为了复用数据占用过多寄存器,都可能造成错误或拖慢执行。

2021 年 7 月,OpenAI 公开发布 Triton 1.0。它让开发者用 Python 风格语法描述一块数据上的计算,由编译器承担更多底层线程映射。写逐行求和时,可以描述加载一块元素、把多个值规约成一个和、再写回。实际运行的是编译后的 GPU 代码。

2025 年 2 月,NVIDIA 介绍了与 OpenAI 合作、为 Triton 加入 Blackwell 支持的工作。更高层的编程方式也能用上新硬件能力,但分块大小、数据布局、越界处理仍需要设计。

到 2025 年 9 月,Sakana 已公开介绍生成、验证和优化 CUDA 内核的 Agent 工作流。再到 2026 年 11 月的 KernelSeek,讨论进一步涉及如何在指定场景上超过成熟实现。Agent 可以写代码,也可以调用工具,根据运行结果反复修改。

这几种方式如今并存:CUDA C++ 和 Triton 是实现路径,Agent 可以参与其中任何一条。 cuBLAS 等优化库和自动编译工具也在承担加速工作。使用 Agent 不意味着必须先经过 Triton;选择 Triton,也不意味着性能一定低于 CUDA C++。

接下来需要分清两件事:新手怎样建立基础,以及已有基础后怎样做一个真实项目。

新手入门:用四阶段练习建立判断能力

Agent 从第一阶段就可以参与,包括生成初版代码。四阶段按计算定义、分块实现、性能分析、底层对照逐步加深,可以围绕同一个小任务练习。并行硬件原理贯穿其中:先理解数据怎样分配和访问,再理解瓶颈与线程协作。实际编译、运行和调优需要可用的 GPU 开发环境。

第一阶段:定义计算,准备正确性检查

选一个自己能理解的小任务,比如逐行求和。保留可运行的 CPU 参考实现,写清输入形状、数据类型、输出含义和允许误差。

让 Agent 帮忙分析数据依赖、补测试,你负责确认计算要求。先覆盖单元素、全零、正负混合;后续确定分块方案时,再补行长度不能被块大小整除的情况。浮点累加顺序变化可能影响结果,要区分合理误差与算法错误。

这一阶段留下参考实现、输入输出约定和测试用例。候选代码交给独立测试检查,不以 Agent 自称“已正确”为验收依据。

第二阶段:用 Triton 理解分块与访存

先做向量加法:tl.program_id 确定块编号,tl.arange 形成块内偏移,tl.load、tl.store 负责读写,mask 保护尾部越界访问。把索引与实际地址对应起来,理解张量步幅怎样影响访存,以及每块输出是否有唯一的写入者。

再让 Agent 实现逐行求和,你对照代码确认:每一块处理哪些元素,怎样合并,输出写到哪里。修改输入尺寸,观察原来的分块能否继续使用;一行太长时,可能需要多阶段规约。

接着选 Softmax,学习如何先减去最大值来保持数值稳定,以及把多步计算融合、减少中间数据读写。阶段产物是能解释数据访问、并通过多组尺寸检查的基础 kernel。

第三阶段:学习性能分析

从第一个 kernel 起就练习基本计时,到这里再系统学习性能分析。

GPU 通常异步执行,CPU 函数返回不等于 GPU 已完成。先固定设备、尺寸、精度和布局,排除首次编译干扰,预热后重复测量,使用 GPU 事件或正确同步后的计时方法。

用 Nsight Systems 的 nsys 看搬运、启动和计算的时间线,再用 Nsight Compute 的 ncu 深入目标 kernel。结合显存带宽、计算吞吐和寄存器占用等信息,判断下一步该减少搬运、增加数据复用,还是调整分块。让 Agent 提出可检查的假设,并给出修改及前后数据。

阶段产物是一份解释瓶颈的实验记录:改了什么、为什么改、结果是否支持原判断。失败的尝试也要保留。

第四阶段:用 CUDA C++ 做小规模对照

用 CUDA C++ 实现同一个练习,理解线程索引、共享内存,以及线程合作时为何需要同步。已有 C++ 基础的读者,可以把这一步提前。

让 Agent 生成对照实现,你比较两种表达:Triton 隐去了哪些安排,CUDA C++ 又让哪些控制变得直接。先形成基本理解,高阶 Attention 和量化矩阵乘可以在具体任务中继续学。

阶段产物是能读懂并验证的简单 CUDA 实现,不要求把全部练习再写一遍。

已有基础:按项目瓶颈推进开发

已有 Python 或 C++ 基础,能理解待迁移计算、检查 GPU 结果并可靠计时,可以从项目瓶颈开始。学习按知识递进,项目按实际问题推进;所选实现涉及的索引、数据依赖与同步仍需看懂并验证。

先测原程序,再明确加速任务

先分析整套程序的耗时,找到值得迁移的计算片段。读取文件、复杂业务控制可以留在 CPU;能调用现成优化库时,先把它作为候选和基线。

给 Agent 提供原实现、代表性输入、目标 GPU、数据类型、布局和误差要求。如果继续用逐行求和,就要告诉它真实的行数和行长度、输入原本在 CPU 还是 GPU,以及后续结果由谁使用。

选择实现路径,编写调用接口

已有 C++ 工程和 CUDA 构建环境,直接让 Agent 写 CUDA C++ 往往更顺。Python 中的数组、张量计算,可以先评估 Triton,按任务选择工具。

交付要求要包含 kernel、调用接口、测试和计时脚本。若 Triton 版本不够快,先定位原因,再判断是否需要 CUDA C++ 的控制能力,避免把换语言当成性能保证。

用验证结果推动优化

先检查真实输入范围内的结果,再进行性能比较。让 Agent 根据分析数据提出假设,保留每次修改、测试与计时结果;你根据计算要求和实验结果决定采用哪个版本。

测量还要区分数据已在 GPU 上的内核耗时,与包含分配、传输和调用的任务耗时。否则,可能把搬运成本排除后得到漂亮数字,接回程序却没有收益。

接回程序,验收整体收益

比较修改前后的完整任务:结果是否正确,总耗时是否下降,常用输入是否都覆盖,中间结果能否留在显存供后续计算复用。

小输入可能被启动和传输开销拖慢;只占很少时间的 kernel,即使加速明显,对整体也可能帮助有限。为未覆盖的尺寸或无收益的情况保留原实现,让调用端选择适合的路径。

最终交付应是可接入的实现、正确性记录、整体性能结果和回退办法。

从练习走向项目

四阶段练习完成后,可以选择一个范围明确的小项目,把验证过的 kernel 接回原程序,检查完整任务的收益。也可以在掌握前三阶段的基础后,先用 Triton 迁移一段简单计算;第四阶段的 CUDA C++ 对照继续补足底层理解。若任务本身需要编写 CUDA C++,就先掌握对应的线程协作与同步要求,再扩大实现范围。

从练习走向项目,增加的是对真实输入、调用成本和整体收益的责任。已有经验的开发者可以从这些问题开始,新手则用小任务逐步积累判断。Agent 始终可以参与,项目范围随着你能理解和验证的范围扩大;遇到暂时解释不了的结果,先缩小问题、补足知识并重新验证,再决定是否采用。

参考资料 上下滑动

•NVIDIA:CUDA 入门与编程模型: https://developer.nvidia.com/blog/cuda-refresher-getting-started-with-cuda/•OpenAI:Triton 1.0 发布介绍: https://openai.com/index/triton/•NVIDIA:Triton 的 Blackwell 支持: https://developer.nvidia.com/blog/openai-triton-on-nvidia-blackwell-boosts-ai-performance-and-programmability/•Sakana:CUDA 内核生成、验证与优化: https://sakana.ai/ai-cuda-engineer/•KernelSeek:论文全文,2026-11-02,v1: https://arxiv.org/html/2611.03517v1•Tri Dao:FlashAttention-3 技术介绍: https://tridao.me/blog/2024/flash3/•Triton:向量加法教程: https://triton-lang.org/main/getting-started/tutorials/01-vector-add.html•Triton:融合 Softmax 教程: https://triton-lang.org/main/getting-started/tutorials/02-fused-softmax.html•NVIDIA:CUDA 性能优化指南: https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html•NVIDIA:Nsight Systems 文档: https://docs.nvidia.com/nsight-systems/UserGuide/index.html•NVIDIA:Nsight Compute 文档: https://docs.nvidia.com/nsight-compute/NsightComputeCli/index.html

THE END

文章仅做学术分享,如有侵权请联系删除,非常感谢!

【声明】内容源于网络
0
0
AI大模型智能体前沿
分享AI大模型智能体前沿知识,探寻多元应用,洞察未来趋势,带你一路 “卷” 赢行业!🔥
内容 1191
粉丝 0
AI大模型智能体前沿 分享AI大模型智能体前沿知识,探寻多元应用,洞察未来趋势,带你一路 “卷” 赢行业!🔥
总阅读31.2k
粉丝0
内容1.2k