赵晨阳参与开源推理系统 SGLang 的开发,也是 RadixArk 的创始成员。从本科阶段的科研训练,到赴美读博,再到把更多精力投入工业界,他越来越希望看见自己的工作被真实地使用。一个模型训练完成之后,怎样才能高效、稳定地服务用户?一个开源项目,又怎样成为别人可以依赖的基础设施?
赵晨阳反复强调评估的重要性:生成一个实现越来越容易,证明它正确、可靠,并承担后续维护的责任,仍然代价高昂。如果实验所依赖的框架本身出了问题,建立在它之上的结论还成立吗?
同样的问题,也出现在论文与审稿中。当成果的形式越来越容易生产,认真做事的人如何得到可信的反馈?赵晨阳用「礼崩乐坏」描述他的担忧。而聊到自己的工作与生活,他又说起「悲欣交集」:AI带来了便利,也改变了工作的节奏;那些花了很长时间形成的手艺,已经成为自我认知的一部分。技术继续向前,我们如何安放这些经验,以及创造性劳动曾经带来的快乐?
本文为播客实录,可以选择点击文末「阅读原文」或这里收听播客:对谈RadixArk赵晨阳丨开源推理引擎、AI的评估与信任,「礼崩乐坏」且「悲欣交集」
从读博到工业界
希望研究被真实地使用
君泽(主播):你说你更愿意待在工业界,这是为什么?
赵晨阳:我原本对自己的设想是,博士毕业之后,去一个能把前沿研究带进实际使用的团队。以前读博的时候,大家会想,如果我的工作最后被 Meta、被 DeepMind 采用了,那就说明我的研究真的有人用。我后来经常问自己:我都希望我的工作得到工业界的认可了,为什么不直接加入工业界,让它被用起来?
到 2025 年 6 月,我发觉自己想要的训练和反馈,在全职工作里会更密集。我已经知道自己想做什么,也遇到了愿意一起做的人。我的导师、我的家人都支持我,所以我愿意把这段时间更完整地投进去,加入 RadixArk。
君泽:你当时为什么选择去清华读计算机?你也是竞赛生吗?
赵晨阳:我高中学的是化学竞赛,跟我现在做的事很不相关。我很坦诚地说,我选计算机,是因为当时觉得这个专业会让我有不错的收入,过上比较体面的生活。对一个刚从高中走出来、又没有得到多少择业指导的人来说,我觉得这是个不错的保底选择。我大一开始学编程,觉得很痛苦,甚至一度怀疑:真的要在这个系熬四年吗?到大二,专业课多了,也遇到了好老师。清华计算机系的邓俊辉老师教我们《数据结构与算法》。那门课我拿了本科最低的绩点,但邓老师对我的影响非常大。
君泽:在 CMU 的那段暑研,你具体做了什么?
赵晨阳:那个暑假我们做了一个项目,叫 Prompt2Model。当时觉得,每个任务都把 prompt 发给 GPT,成本很高。如果你每天都要用同一个 prompt,能不能基于它训一个小模型?我在那里开始学怎么写单元测试、怎么发版,什么是 CI/CD,怎么写一个小的 PR(代码合并请求),让别人方便审查,怎么把自己为什么这么改解释清楚。这些事直到后来我加入 SGLang,都对我帮助很大。
「礼崩乐坏」:论文与审稿
还能提供可信的反馈吗?
君泽:最近有一些AI 领域的老师,发起了一个联合信,提倡「慢科研」。你作为一个跳出科研圈的人,怎么看?
赵晨阳:我没有跳出科研圈,我现在也做科研项目,我觉得科学研究是一种态度。有人给我交了一个 PR,同时改了两个变量,跟我说这个 PR 变好了。我问:是变量 A 导致的,还是变量 B 导致的?他说不清楚。这个问题做不做研究、发不发论文,都会遇到。
一个人要审五六篇稿件,我很难想象大家完全不用 AI 辅助审稿。从另一个角度看,一个博士生自己投的是这个小圈子的论文,审的也是这个小圈子的论文。给别人的分数高了,自己的相对优势是不是就变差了?大家都这么考虑,就变成了零和博弈。我说的「礼崩乐坏」,就是有这层担心。AI 可以帮你很快组织一篇文章,也可以帮你生成一大串看起来很专业、但似是而非的审稿意见。但一个实验是否可靠,一个问题是否真的成立,还是要花时间,要靠经验,还得自己去跑代码。投稿规模在爆炸式增长,可靠的判断不可能按同样的速度增长。文字变多了,能够确认的知识没有同步增加。
如果论文这个公共信号变得很难判断,大家就会更多地依靠熟人推荐,靠长期合作积攒信誉。那不就倒退回了九品中正制,甚至举孝廉吗?如果只有受信任的人,他的作品才能被看见,刚进这个领域的人根本负担不起这个门槛。我自己受益于这样的信任关系,但我觉得这是很危险的一件事情。我自己也用 AI。它可以帮一个负责任的人把事情做得更好。可如果一份审稿意见是 AI 帮我写的,里面的判断我自己认不认同?这个问题还是得我来回答。
我经常用「礼崩乐坏」这个词。我担心的是,我们越来越擅长生产成果的形式,却越来越难给认真做事的人一个可信的正向反馈。我觉得学术是一个很珍贵的承诺:一个人还没有名气,他也有机会凭自己做出来的工作,让别人看到他的观点。我担心我们正在失去这个东西。
模型训练好了
为什么还需要推理引擎?
君泽:我想先问个基本问题:只要把模型训练好了,有足够的显卡,它就可以跑了。那中间 SGLang 的作用是什么?
赵晨阳:我本科上课时,第一个任务是训一个卷积神经网络,识别手写数字。那个任务只在乎训练,达到一定的分数就停了,模型根本不会投入使用。你再看车企的自动驾驶模型:训好以后,它要部署到数十万台车上,不断地在路上跑。这就是推理。一个模型一生中很长的时间,都花在被使用上。SGLang 想解决的问题,就是让模型推理得更快、更稳,支撑更大的规模。
君泽:当时是个什么样的项目,需要你用到 SGLang?
赵晨阳:我和导师当时做的是 agent memory,智能体前面已经走过一段了,我们要回到它已有的上下文里找东西,有些内容要剪掉,有时候还要从前面某一步分出去,试另一条路。这种检索、删减、分叉要做很多次,当时跑起来效率不太高。我就上网找,有一天看到了 SGLang。我那个项目正好需要做剪裁,就拿它来试。用上以后,我的第一反应是:这玩意儿怎么这么快?
从前缀树到开源开发
发现一个缺少的功能
然后把它做出来
君泽:智能体有时候要退回去,换一条路再试,在这种情况下,SGLang 为什么能跑得这么快?
赵晨阳:在一棵树上做搜索,经常需要回退、分叉。SGLang 的创始者判断,这类操作会很频繁,光靠 PagedAttention 很难轻松解决,所以要用树状结构重新组织 KV Cache。一棵前缀树,就是 SGLang 后来的原点。我当时想用 SGLang 做 embedding,发现我想用的模型还没有支持。我就去联系 Ying Sheng 和 Lianmin Zheng博士,我当时想得挺简单:他们做机器学习系统,我在用他们的东西,要不发个邮件问问,能不能跟他们一起做一段时间?
他们给了我一个小任务,让 SGLang 支持一个 embedding 模型。做完以后,他们问我:「你真的想要严肃来做这个事情吗?」我说想。我就被拉进了开发者群,当时群里只有七个人。
君泽:你很早就参与了 SGLang 的开发,哪些技术变化或者事件,明显推动了它的发展?因为感觉开始它有一点像一个 hobby project。
赵晨阳:第一个节点是 DeepSeek 系列模型的爆发,第二个是强化学习对推理系统的恐怖需求。DeepSeek-V2 出来的时候,远没有到现在这个水平。但到了DeepSeek-V3的时候,彻底引爆了整个领域,这是 MLA,对推理系统提出了很多有意思的新问题,它改变了注意力相关信息的表示和缓存方式,要求我们把模型设计和底层实现放在一起考虑。等到 V3 和 R1 发布,我们以前为这个架构做的优化,就给团队带来了很大的帮助。
第二个节点是 R1 发布后,强化学习一下子火了起来。DeepSeek 展示了长思维链能做什么,也公开了它是怎么训练出来的。大家开始做这类训练,推理系统就有了很大的用武之地:模型每做一轮强化学习,都要自己生成答案,根据反馈更新权重,再用更新后的模型去答下一轮的题。光是「让模型答题」这件事,就要反复做很多次。
这也是我当时做的两项工作。一项是让模型答题更快。我们把训练和推理解耦,两边可以各自优化。另一项是让刚训练好的参数尽快传回推理引擎。好比学生刚学完一轮,下一轮就得让学会了的那个学生去做新题。SGLang 早期的参数更新功能,第一版是我写的,后来又有了更多贡献者。
君泽:那你为什么现在会押注多模态这个领域?
赵晨阳:我们在 SGLang-Omni 做的,是支撑交互式模型运行的基础设施。以前跟 GPT 聊天,我输入一条,按回车,它回复一条。可你和我说话,我一边听,一边就在判断你的意思。看到对方有点困惑,人会主动解释,也会追问一句:「你刚才指的是不是这个意思?」
具体到模型,什么时候该开口,什么时候该接着听,声音跟画面怎么同步?这些细节都会影响体验。比如说像我父母,我刚刚还跟我妈通电话,她说家里路由器坏了,就打开豆包视频,让豆包手把手教她,真给修好了。我父母可能完全不知道什么是 Transformer,但他们会用豆包,这也是一个非常好的interactive model 例子。还有的人甚至会批评说多模态不是智能的本质,我并不太愿意去进行这些哲学层面的批判,但是我个人觉得它是一个非常好的产品入口。所以我们 SGLang-Omni 在这段时间做的重要目标,就是去优化 interacting 系统,让研究整个开发者能够更加方便的尝试。
开源项目走向职业化
协作、选择,以及真实的犹豫
君泽:大家是什么时候意识到,SGLang 的开发维护需要由一家公司来做?是发起人的想法,还是开发者们已经有了共识?
赵晨阳:大概是 2025 年 4 月形成的共识。R1 带来的冲击很大,我们一下子火了。新的模型不断发布,新的需求不断涌进来,根本来不及支持。有人愿意来,但能持续做这件事的人没那么多。商业化倒不是重点,更多是职业化。以前有的朋友在微软,一个比较卷的组里,一天工作八小时,下班之后还要再干四小时。他老婆都要问:「你晚上干吗去了?」这个事情就很尴尬。职业化之后会好了很多。
君泽:那么就是随着 SGLang 的发展,然后还有 RadixArk 成立。就是说像你们的协作方式发生了什么变化。像你刚说团队更职业化了,具体到每天的工作,有什么变化?
赵晨阳:以前大家白天都有工作,碰到一个新模型,我们想尽早支持它,或者一个问题要连续跟进,就得先协调各自的时间。现在有了全职的同事,可以由一个人长期负责。一个功能被写出来只是开始,新的用法、新的硬件,还会不断带来谁都没想到的情况。后面要是没人愿意稳定地把它接住,别人是不敢放心用它的。持续的工程投入转化为大家能够使用到的工具和经验,让更多有资源的团队可以往前探索,让更多资源缺陷的人能够找到入门的位置来学习。我希望我们做的工作能够让更多的人顺利的走进来,并且愿意长期留下来。
君泽:现在也有一些开发者一直在给 SGLang 做贡献,但他们并不是 RadixArk 的员工,对吧?是不是也有开发者交上来的 PR,质量其实挺差的?
赵晨阳:对,这样的开发者我们永远欢迎。只要他能肩负起自己的责任,我们就会给他相应的权力。顶尖工程师和顶尖 AI 写出顶尖代码。垃圾工程师和顶尖 AI 写出毁灭性代码。2024 年的时候,垃圾工程师也很多,但那时候没有顶尖 AI,毁灭性代码还不多。到了现在,要是我们不仔细审查,这样的代码真的太多了。
如果强化学习框架本身有问题
实验结论还成立吗?
君泽:你说,做基础设施的一个原因,是想先把实验依赖的系统做可靠,再去研究算法。系统和算法是什么关系?
赵晨阳:很多强化学习论文给出的结论,都建立在开源社区的强化学习框架上。我参与了一整年的开发,看到很多很厉害的人在里面辛勤付出,但框架里还是有很多问题。就像做化学实验,如果试剂都用错了,实验结果还是对的吗?我审稿时会问:「如果你们采用的框架本身实现就有问题,你们的结论还对吗?」我从来不会因为这个理由扣别人的分。但我期待有人能给我一个很好的解答。很遗憾,没有。我认识的一些朋友,本来做算法研究,最后绝大多数时间反而花在基建上。他们想先确定,接下来要做的算法有一个正确的基础。我非常佩服这样的人。
君泽:你刚说算法和系统越来越依赖彼此,经常有人提 co-design,也就是协同设计。具体指什么?
赵晨阳:就像硬件决定这些计算怎么样去分布执行,软件再把它们组织起来,每一部分都有他们自己的约束,最终达到什么样的效果,这些连接是非常重要的。比如模型研究者想保留更多历史信息,这可能有助于完成任务,但也增加存储和读取的成本。系统工程师可以把问题带回来:哪些信息真的要一直保留?能不能换一种方式,分层处理?反过来,系统提供了一个高效实现,模型研究者也会想:以前那个不敢试的想法,现在是不是敢试了?一个人更清楚希望模型做到什么,另一个人更清楚让它跑起来要花多少钱。模型研究者能够更了解能力目标,系统工程师能够更加去探索运行中的实际成本 ,把这些信息综合在一起,大家才能做到更好的可行解。这里面需要非常多的细心和团队协作。一个设计需要反复调整,才能找到最好的位置。
RSI 离我们多远
AI 能写代码之后
为什么验证仍然昂贵?
君泽:你怎么理解 RSI,也就是 AI 的递归自我改进?
赵晨阳:如果定义是完全脱离人类、模型自己优化自己,那 RSI 还远没实现。如果定义是模型已经大量参与到我们优化模型的工作里,那它已经来了。以前在 SGLang 里接一个新的模型,要花很多工夫。现在我要接入一个新的语音生成模型,大部分步骤和以前做过的都很接近。我可以把接口、代码风格、验证要求写清楚,让 agent 帮我完成一部分。但模型能不能正确运行?生成的音频怎么样?我要自己去听。边界情况处理好了没有?仍然要我来验证。
我认为即使用 agent 写代码,具体负责的人仍然要在场。为什么需要这个改动,怎么证明它有效,以后谁维护?这些问题总得落到一个具体的人身上。
君泽:在整个RSI 领域,从 infra 开始切入是一个比较主流的选择,为什么就是大家会先盯上 infra,尤其是像算子开发这样的一些相关的事情呢
赵晨阳:比如写一个 kernel(算子),拿矩阵乘法来说,数学上有正确答案。结果算对了,你还能比较它跑得有多快。换成让 AI 去写作,什么样的文学作品算好?你得花很多人力去评估。我觉得这种事离 RSI 就很远。另一个角度,即使验证标准是客观的,验证成本也很高。有个系统跑了 80 个小时,服务了上百万条请求以后,才出了一个问题:你的回答进了别人的 KV Cache,相当于你可以读到别人的缓存。非常危险。可要把这么极端的情况复现出来,可能就得再跑上百万条请求。
君泽:假设 AI 真能把实现和验证新架构的成本降下来,你觉得未来 infra或者模型研究会发生什么变化?
赵晨阳:很多想法其实都因为高昂的成本被放在一边,我们能更快把想法变成实验。但我一下子有了十个可以跑的实验,训练和测试用的算力,又不会跟着我的想法一起增加。有限的计算资源投给哪几个?哪些问题可以先用小实验验证,哪些值得放大规模去做?这时候,设计实验的经验反而更重要。
「悲欣交集」:一场技术变革
以及舍不得放下的手艺
君泽:你会担心 AI 替代你的工作吗?
赵晨阳:我希望 AI 替代我的工作。但退回来想,如果 AI 替代了我的工作,我靠什么生存?我还是希望自己保留一定的谋生能力。如果 AI 能把我现在做的这些工作都接过去,我倒有件一直想做的事:研究社会学。等手头的工作做到自己满意,时间和经济上都有了余量,我想去看看,人是怎么合作、怎么建立信任的,不同的人又是怎么得到机会的。做 AI 之后,这个兴趣更具体了。我看得到这些工具会怎样改变社会,也会去想,那些没有机会用上它的人会怎么样。
君泽:你觉得 AI 对你的生活改变大吗?
赵晨阳:我记得弘一法师圆寂的时候,留下了四个字,叫「悲欣交集」。我觉得这就是我对 GPT 的一种态度。AI 对人类社会的影响真的是太过庞大,以至于我觉得这是一次工业革命。
君泽:刘胜与写过一篇《我不得不把才华埋葬在昨天》。跟你聊的时候,我总想起这篇文章。自己热爱的手艺,事情依然重要,却已经不需要自己亲手去做了。你会有这种感受吗?
赵晨阳:我觉得写代码、做工程,把它当作一件艺术品,当作自己的事业,这也是一种创造性劳动。以前我可以连续几个小时深入思考一个问题。现在大多数事情做得都很快,我也愿意用 AI。但没有人会因为你解决问题的速度变快了,就让你只解决一个问题。我得不断切换上下文,交代新任务、检查结果。我完成的事情更多,专注度却大大降低了。那种长时间沉浸在创作里的感受,我很怀念。我们花了很长时间形成的手艺,也会成为我们自我认知的一部分。
写作对我来说仍然宝贵。我可以用 AI 帮我整理句子,但我经历过什么,对什么有感情,我想表达什么判断,这些事还是得我自己解决。就像今天坐在这里接受采访,我愿意花时间把自己的经验想清楚,诚恳地讲给大家。
君泽:我不知道你有没有这种感觉:AI 替我们干了一些活,确实方便。可是以前那些得自己费点劲的地方,有些恰恰是乐趣所在。
赵晨阳:我记得《何为良好生活》的副标题叫「行之于途而应于心 」。我应该过怎样的生活,这个问题会跟着人一辈子。最初选了哪条路是一回事,往后怎么走,走的时候清不清楚自己在做什么、合不合自己的心意,也值得一直问。
君泽:那最后一个问题,你喜欢 AI 吗?
赵晨阳:悲欣交集。
阅读更多
🤝 知乎 AI Researcher Club 招募:
知乎联合 10+ 家媒体、创投孵化合作伙伴发起「AI Researcher Club」共创计划,长期支持支持 AI 前沿研究者,让重要的研究被看见、被讨论,让研究者找到彼此,也让新的合作由此发生。点击了解 >> AI Researcher Club
🚀 知乎 AI 社群:
如果你对 AI 共识、AI 活动感兴趣,欢迎扫码加入知乎社群↓,我们将每周送上知乎 AI 周报,分享社区内的 AI 讨论与共识,并不定时送上 AI 各类活动报名。
知乎AI情报站
让一部分开发者先走起来
🚀 知乎科技账号 @ZhihuFrontier 正式登陆 X
👉🏻 https://www.zhihu.com/project-square,上传你的 Vibe Coding 项目,在知乎遇见更多可能。

