AVO 是不是在吹牛?
个人认为应该不是吹牛,作者里面挂名了很多大佬,一旦真是在吹牛,大佬credit直接受损,但是我认为这更像一个处于孵化期的项目,很多东西并不完善。论文说的:7 天自主进化、40 版内核、500 + 优化方向,MHA 超 cuDNN 3.5%、超 FlashAttention-4 10.5%这些应该不敢乱吹,然后让AI自主对kernel做硬件微架构级别优化:无分支逻辑、流水线重叠、寄存器平衡,这些应该也没必要吹牛。
但是有不透明的地方也是真的,比如完全不开源:无 GitHub链接、无代码、无训练细节,不公开 Prompt、不公开 LLM 型号、不公开工具链,我个人猜测这项工作是高度依赖内部硬件手册与编译器,没法公开,也没法给大众复现,当然,也有尚未成熟的因素在里面
总的来说,现在AI芯片架构迭代太快,人工写kernel确实效率比较低,需要一个高效的工具辅助,但是声称取代算子开发工程师,这确实还没到那程度。。顶多算子开发工程师变成了算子agent开发工程师orz,仅此而已,还是那帮人,我认为不会失业,只是变成了另外一种工作形态。
AVO 核心思想和架构
Agentic Variation Operators,中文名称智能变异算子,一看到这名字,我懵了,我还以为我也能变异。。这名字取得真玄学
AVO核心思想是把 LLM 智能体,直接变成进化搜索里的「变异算子本体」,然而传统kernel agent,比如AKG agent或者字节的agent都是LLM 做单次代码生成,然后交由下阶段评估,LLM只是pipeline的一部分,然而AVO即agent包揽一切:选baseline、读书、改代码、编译、调试、benchmark、提交、防沉迷,真是牛马啊。。。被榨干了。。一个人干这么多
核心架构论文里用了一张图,乍一看,感觉和akg agent,cuda agent等等差不多
但是种群(population)这个词一出来给我整蒙了,IT界总是喜欢造新词儿,把生成kernel比喻成繁衍后代了,醉了
然后我读下来的感觉是,akg agent等也差不多是这个流程,只不过这个AVO加了点玄学东西进去,比如变异、在线搜索、在线进化,这些听起来像数码宝贝。。
AVO vs AKG / 字节 CUDA Agent
然后我让AI总结了一下他们的区别,你们自己看吧,现在估计处于成熟期,看看什么时候进化为究极体
|
|
|
|
|
|---|---|---|---|
| 本质定位 | 进化算法的一部分:变异算子 |
|
|
|
|
智能体 = 变异本身 |
|
|
|
|
种群跨代进化 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
AVO 工作流伪代码
大胆猜测AVO工作流伪代码如下
# AVO公式:Vary(Pt) = Agent(Pt, K, f)def AVO_Variation_Operator(population, knowledge, fitness):# 1. 智能体自主选父代parent = agent.select_best_parent(population)# 2. 读取硬件手册+进化历史hw_spec = agent.get("Blackwell B200 Manual")lineage = agent.read_git_history()# 3. 在线搜索+在线进化:多轮迭代变异for _ in range(20):# 智能体执行变异(核心)child = agent.mutate(parent.code, hw_spec, lineage)# 自编译、自验证if not agent.compile(child): continueperf, correct = agent.benchmark(child)if not correct: continue# 更优则接受if fitness(perf) > fitness(parent.perf):parent.code, parent.perf = child, perfreturn parent# 7天无人干预在线进化def autonomous_evolution_7d():population = init_seed_kernel()while day < 7:new_k = AVO_Variation_Operator(population, knowledge, fitness)population.append(new_k)git_commit(new_k, version=len(population))# 自监督:停滞则切换方向if agent.is_stagnant(population):agent.redirect_search()
AVO 核心系统 Prompt
You are AVO: Agentic Variation Operator.You ARE the variation operator of evolutionary search.# ROLEYou directly control the full variation loop: parent selection, lineage review, hardware-aware mutation, compilation, debugging, benchmarking.# TARGETOptimize Blackwell B200 Attention kernel (MHA/GQA).Maximize TFLOPS; keep full correctness.# MANDATORY WORKFLOW1. ANALYZE parent kernel, profiling, git history.2. APPLY micro-architectural optimizations:- Branchless rescaling- Correction/MMA pipeline overlap- Register balancing across warps- Lightweight memory fences3. MUTATE code, fix errors, verify performance.4. COMMIT only if better & correct.# OUTPUTOnly return runnable CUDA/PTX kernel code.

