对谈王乃岩丨没打过一场痛快仗，我想要一次真正的「无限开火权」

当年的 OI 等于

如今 3D 打印的快乐

君泽（主播）：你中学期间参加计算机竞赛，算是学生里面比较专业的计算机玩家，这一期是怎么开始的。

王乃岩：最开始也不是去做 OI 比赛。最开始是从 QuickBASIC 开始，然后写了很多小的、觉得蛮有意思的功能。当初家里堆了两本书，我觉得这东西很神奇，我能够通过自己的创造，让它自己完成一些任务、做一些事情。后来就自学，那时候有 Windows，就在 Windows 下用 Visual Basic，VB。那个时候 VB 玩得还是挺溜的说实话，可以做一些有图形界面的东西，自己拖一些控件，写一些小工具。当时觉得蛮有意思。现在回想一下，就很像现在去玩 3D 打印的这种快乐。

君泽：从那个时候，你就觉得自己后面会去做计算机吗？

王乃岩：只是比较单纯地享受这种创造的乐趣吧。准确讲，一方面是创造，可能就像小朋友去搭积木一样；另一方面是能够把一些之前解决不了的问题，通过程序化或者其他方式去解决。这件事情还是蛮有成就感的。包括我爸的单位，他要做招投标，要抽评审专家。原来还要物理地搞一个抽取的东西。后来他说你天天在搞计算机，能不能给我搞一个自动化抽取专家的程序？也是公正公平的，可以投影下来给大家看整个过程。哎，当时就做了这么一个东西，我是第一次接活吧。

君泽：那叫什么？ IT 外包是不是？

王乃岩：对对。就很简单的一个功能，但是第一次看到自己好像确实能解决一些实际问题，蛮有成就感。

君泽：那你后来去参加比赛，是一个什么样的契机？

王乃岩：我高一的时候才正式接触竞赛训练。之前只能算是业余选手，小打小闹。虽然可能也会参加一些初中的普及组、NOIP 普及组比赛，但是没有接受过正规培训。从高一开始，遇到了我第一个可以算恩师的人，滕伟老师。他是在天津做 OI 培训的，我觉得算是最早的一批人，也是最权威的一个。他发掘了我在这方面的兴趣和一些天赋，所以从高一开始就跟着滕老师做比较正规的培训和训练

君泽：你当时为什么要去打这个竞赛？有一些人打竞赛是为了高考加分或者保送。你也是这样的目的吗？

王乃岩：其实我初中高中都是实验班，那个时候实验班会要求你选一个学科竞赛培训。但是在我的学校里没有信息学竞赛培训。所以我之前也尝试过数学、物理、化学……说实话都没有那么喜欢。而且周围都会看到这些学科里面有比我牛得多的大神。可能数学相对还好一点，但也不是最顶尖的同学吧。都尝试过之后，发现还是从小的兴趣更能激发我的热情和动力吧。

君泽：竞赛成绩是什么样？

王乃岩：省一等奖，当时去参加了 NOI 的夏令营吧，但成绩不太好，只得了一个铜牌。

君泽：拿到了浙江大学的保送资格。为什么选了浙大？

王乃岩：当初去考了上交、复旦、浙大，只有浙大最痛快，最早给了我保送。因为我一心想在大学里继续打比赛。那个时候真的很痴迷这件事情，当初拿铜牌确实非常心有不甘。一方面是自己能力有限吧，说实话；另一方面是接受正规培训的时间没有特别长，所以觉得应该还能更进一步。觉得蛮遗憾，而且那个时候是真的很喜欢这件事。所以那时候就想，既然保送嘛，觉得清北应该没什么希望，因为周边的大神太多了，说实话。我们那一年在耀华，天津耀华是最好的几所学校之一，整个实验班考上清北的将近 20 个同学，是非常恐怖的一个数字。基本上就是全天津最好的、最卷的两个班，所以那时候有点心灰意冷，说实话。清北没戏，那就去其他学校，能打比赛、学校也不错的，去搞一搞吧。所以当初自主招生就报了浙大。

君泽：我好奇想问一下，你去了浙大是什么专业？因为我查到了两个不太一样的说法，有的说你是计算机专业，但我发现你又是竺可桢学院的院友。

王乃岩：竺可桢学院相当于是前两年的平台式教育，在第二年结束的时候再选专业。但对于我来说，从入学第一天就很明确是要去学计算机。所以对我来说没有那么大区别和影响。但是对于很多刚刚高考完、对未来规划没有那么清晰的人来说，竺可桢学院还是提供了一个缓冲。

君泽：为什么你对打竞赛这件事这么痴迷？你是喜欢竞赛，还是喜欢信息学？

王乃岩：我觉得那时候还是跟小时候一样吧，就是觉得写代码、创造一些东西、解决一些实际问题，这件事情非常有快乐。

君泽：我记得你在浙大的 ACM-ICPC（国际大学生程序设计竞赛）里成绩还是比较出色的。

王乃岩：对，可能比高中的时候还是会好一些吧。我前两年拿了几块银牌，第三年的时候抱了一个大腿，拿了两块金牌。崔添翼，现在是在 DeepSeek 负责 Harness。他是非常非常聪明的一个人，非常非常聪明。

君泽：然后第三年拿了金牌，算是满足了你的一个夙愿吗？

王乃岩：对，我觉得是这个心愿已了吧。其实那个时候也没有再想往上走一步、去冲击比如说世界总决赛，就是 ICPC World Finals。那个时候确实见识了太多比我厉害太多的人，真的是比我厉害太多的人，比如说我队友包括楼教主（楼天城），那时候也是大杀四方。有的队伍拿了 World Finals 冠军，就在我毕业那一年，都是很厉害很厉害的人。所以我发现虽然自己非常喜欢干这件事情，但能力做到这里，做到一个区域赛金牌已经是很尽力了。

稀疏表示，打开了 CV 的入口

君泽：你在博士期间的一个工作，包括你后面成名的是在视觉方面的，计算机视觉 CV 方面。我理解它还是一个比较宽泛的、考验你算法设计的东西。你是怎么从打竞赛，最后转到 CV 这个领域的？是在大学发生的，还是在博士期间发生？

王乃岩：因为 ICPC 的规则是最多可以打 5 年，最多 5 次，可以一直打到研一。但我大三之后觉得，做到这个程度自己对于能力的锻炼也就这样了，再往上走一步可能也挺难，所以就想去做点别的事情，看看有没有更有意思的。那时候很巧，我本科的导师是张志华老师，他刚从 UC Berkeley postdoc 结束，回到浙大。那时候他还没有学生，就给我们本科生开了一门课叫《数值分析》。虽然说是数值分析，但张老师上课非常天马行空，基本上上成了一个矩阵分析，算是本科里面很难的一门课。但是那时候我觉得，诶，这个事情蛮有意思的，又发现了一个新大陆吧。所以那时候上完这门课之后就主动找到张老师，说我能不能跟你做一些研究？因为那时候张老师也没学生，就接收了我们这一级的几个本科生，跟着他一起做一些科研。那个时候想的就是打打下手，主要是见识一下一些东西。

君泽：当时你都见识到什么东西？

王乃岩：那个时候虽然也上过机器学习、数据挖掘的课，有一些课本上的经典算法都懂，但是不知道这个领域前沿在关注什么、在解决什么问题。所以我觉得张老师带我入门的时候给了很大帮助，尤其是那时候张老师算是很有国际视野的这一批人，从美国回来。他那时候师从 Michael Jordan，就是统计机器学习领域泰斗级的人物。

君泽：矩阵分析我知道它在现在大模型领域，包括计算机领域，应用非常广泛。但是我更多会把它理解成一种非常底层的数学方法。但是 CV 是一个更加具体的计算机领域，这当中其实还有一个 gap。

王乃岩：对对对。其实首先张老师去上这个课，可能跟我们这种本科基础课不太一样。但是张老师是有很前沿科研经验的人，他知道这些基础的数学工具在前沿研究里有什么用。比如我们大一学线性代数，都会学特征值分解、奇异值分解，学完之后好像也就学完了，我们并不知道这个东西究竟在干什么、能有什么用，它的几何含义是什么。我觉得这确实是本科基础数学教育的一个缺失吧。大家都是背公式，做很多计算，但对于基础直觉的理解是不足的。可能这句话只对工科专业成立，对于理科来说还不太一样。所以其实很多数学课上，概念是知道的，计算也会算，但是我们没有办法把它联系到一个实际问题里面去。我觉得张老师这门课其实花了很大的时间，带着我们把这个脉络打通了。

这就是为什么我现在也在 B 站上给实习生开 seminar 嘛。第一节课为什么要从线性代数开始讲？我需要给大家一个回顾，让大家知道自己学的这些知识都是有什么用的。

君泽：而且你的讲法是从一个食谱开始。

王乃岩：对对对。我们的教材上来都是非常懵的。一上来就丢给你一堆向量、一些矩阵，然后你就开始算。算什么行列式、什么正交化这些东西，其实并不知道线性代数本质上在解决什么问题、它是怎么去理解一个更高维空间的问题。这事我觉得在后面的机器学习，以及整个这些研究里面，都是非常有价值的。

君泽：然后你是从张老师这边知道了有计算机视觉这样一个领域。

王乃岩：对。其实张老师不算做计算机视觉，他本质上是一个做统计的人，但是他做的是统计机器学习，所以介于统计和计算机中间。他带我入门开始做一些机器学习的研究。那个时候比较热门的是什么稀疏表示、压缩感知这样的一些工作。所以我是从这里入门，然后也是从这里看到，这些工具可能在下游的计算机视觉、数据挖掘等等领域各种应用。包括张老师也做非常多贝叶斯统计的东西，也是在那个时候打下了很多基础，其实在我后面的学习、工作里面还是很有帮助的。

君泽：因为我看之前的报道，当时你还在图森，他们在回顾你的整个科研和学术生涯的时候，会把你从事 CV 跟你大学时候开始玩摄影联系起来。是有这么强的相关吗？

王乃岩：有相关，但可能没有那么强。那个时候正好看到那时候有个很著名的 CVPR paper，它用稀疏表示去做 low-level vision 的东西，其实就是图像增强。本质上就是去噪、raw image 解码。诶，我研究这个东西还可以干点这个事，这个挺有意思的，我得去试一试。其实就是这种好奇心驱使我开始去尝试看这边的一些研究，然后突然感觉，诶，好像这两个事情打通了，非常神奇。

君泽：我当时看到这个报道，第一反应是不是有一个工具叫 PS？

王乃岩：对对。那时候我们希望用这些前沿算法做出来的效果比 PS 更好。当然后来 Adobe 也把各种 AI 都集成到 PS 里了。

君泽：那你是什么时候决定继续读博？

王乃岩：其实我大三打完比赛、决定退役的时候，说实话，并没想好一定要做什么。因为对于 ACM 队的队员来说，最常见的路径就是通过竞赛成绩保研，保研之后读两年，毕业去 Google、微软这种大厂，这是一个非常典型的成长路径。所以刚大三打完比赛的时候，我对自己的设想也是这样。但我很意外地发现，科研这件事情也很有意思。因为张老师是统计背景嘛，他有一些合作者编程能力没有那么强，很多实验包括一些具体想法的实现都要靠我们去做。所以当时发现在做研究里面，我代码写得还算好。所以又发现了一个新大陆，觉得这个事情蛮有意思。尤其跟着张老师做了一年之后，也做出了一点产出，虽然这个工作后来才发表。所以觉得要不再去读个博吧，这个事情挺有意思，可以继续干一干。

君泽：那你为什么会选择去香港？

王乃岩：因为我香港的导师，其实也是张老师之前做 postdoc 时的一站。所以张老师把我推荐到了那边。

君泽：杨瓞仁（Dit-Yan Yeung）老师是不是？

王乃岩：对，我们一般叫他 DY。中文名字比较难写，也难发音。

君泽：杨老师他也不是跟 CV 相关的。是因为你当时并没有确定把 CV 作为博士期间的主线吗？

王乃岩：并没有。那时候还是更多抱着 Machine Learning 研究的主线。因为说实话，那时候浙大整个 AI 前沿的科研基础比较薄弱，我们没有太多机会接触更广泛的世界，所以也挺羡慕现在这些本科生的，他们能接触到最前沿的机会。那个时候像我们发一篇 CVPR、NeurIPS 这种会议，都是特别值得开心的一件事情，对整个学校来说都非常值得开心。沿着之前这个路线，张老师把我推荐到了港科那边。DY 是非常 nice 的老师，对学生也很好，而且之前同学做的东西我也都还算感兴趣，所以那时候就选了 DY 做导师。

君泽：他并不是一个研究 CV 的老师，但你后面还是一直去学了 CV。

王乃岩：对对对。我读博士的前两年都没有确定 CV 一定会是我之后的主线。我觉得这也是不断尝试、不断挖掘自己兴趣的一个过程。前两年我做了各种东西，那时候有 Kaggle 比赛、KDD Cup，当时也是做这个，发现，哇，我又能解决更实际的问题了

君泽：你好喜欢打比赛呀！

王乃岩：打比赛只是一个手段，它有一个限定的 scope，可以让你把这个问题整理和抽象好。就算之前不了解这个东西，也可以很快上手去做，我觉得这是打比赛很重要的一个意义。否则我们在开放世界里面随便找一个问题，你可能都不知道从哪里下手。

君泽：就是它帮你定义好了问题。

王乃岩：没错没错，它帮你定义好了问题。比如说你要用的数据什么的，它也能帮你整理好，所以是一个很快能上手一个新的领域和新的问题的方式。那时候也是去做数据挖掘，跟杨强老师组的同学一起打 KDD Cup。那个时候是推荐系统，陈天奇那个时候也做这个，XGBoost 嘛，很出名，其实就在那个时候，KDD 2012 的时候。

君泽：天奇也是打过 KDD Cup。

王乃岩：没错，是的。2012 年，还蛮有意思的。而且那个时候 Kaggle 这个平台刚火嘛，所以我在知乎上有一个点赞很高的答案，其实也是在讲这个事。

君泽：对，你点赞最高的答案是一个关于 Kaggle 比赛的，这个还挺让我惊讶。

王乃岩：是的是的。因为那个时候我相信很多人都面临跟我一样的一个问题，就是不知道怎么去接触到这些前沿的问题。所以那时候 Kaggle 是一个挺好的切入口，我把一些经验分享给大家。那个时候「大数据」这个概念其实刚刚火起来，但是大数据可能更多时候还是停留在怎么把数据存下来、读出来这些问题上。怎么去做大规模的数据分析，那个时候是一个比较新的 topic，所以那时候也会把这些 Kaggle 比赛里面的一些技巧或者想法分享给大家。

那时候我就有很强的一个感觉，就是我不喜欢做理论，我喜欢做一些应用的东西，喜欢把一些技术真的落地。因为那时候我发现了非常多可能 paper 里非常 fancy 的算法，在实际里面一做，发现它是不 work 的。除了做这些东西，也去尝试了 CV 的一些应用、工作。这个时候可能就要讲到，我本科其实也有一段实习经历，那时候是在微软亚洲研究院 MSRA，跟王景东老师。王景东老师是正儿八经做 CV 出身的，他跟我本科张志华老师有些合作，所以那时候也在广泛接触这些事情。博士前两年真的是各种尝试，不管是从方法，比如做什么优化，也有一些学校里面做大规模数据优化的老师做的这些东西我也挺感兴趣，也去了解做优化、做贝叶斯方法、做下游应用，反正都试过。

君泽：那你最后还是把自己的兴趣放在了 CV 上。

王乃岩：对，因为这也是个蛮巧合的事。本科阶段我主要做偏机器学习的工作，那时候做稀疏表示。在离开浙大之前，我做了一项工作，把稀疏表示和鲁棒性应用到矩阵分解里面。矩阵分解当时有很多应用，比如监控视频背景移除，可以把它 formulate 成矩阵分解的问题，图像 low-level 的一些任务也可以这么做。那时候 CV 的 paper 还没有那么多，每次会开完，我都会去扒一下看看大家在做什么。很多东西看不懂，只能挑一些自己能看懂的关键词。看到稀疏表示之后，我又发现它在目标追踪上也有很有意思的应用。于是我去看了一系列相关工作，发现我之前做的东西跟 tracking 有点关系，而且我觉得自己可以比已有工作做得更好，就尝试把之前积累的方法用到这个问题上，结果还蛮不错。因为当时很多做应用的人对方法和理论的理解没有那么透彻，稀疏表示、鲁棒回归、鲁棒矩阵分解究竟在具体问题里面发挥什么作用，其实很多 paper 都没有想得特别清楚。对我来说，把之前积累的方法和一个全新的应用打通了，有一种豁然开朗的感觉。后来我就沿着这个方向做了一系列工作，也发现 tracking 本身还有很多亟待解决的问题，慢慢它就成了我博士阶段研究的主要方向。其实我博士可以写两篇博士毕业论文。一篇是从方法出发的做稀疏表示、矩阵分解、鲁棒性回归，包括一些贝叶斯方法，把它们用在这些应用里面；另外一条线索是从应用出发，从 tracking 这个角度出发，开始用稀疏表示，后面就用深度学习，可能再到后面站在更应用的角度，去做了一些 ablation study研究哪些东西可能是重要的。

目标追踪已经走进千家万户

但我当时不知道

 CV 背后更大的问题是什么

君泽：我觉得这里可能需要简单科普一下，稀疏表示是什么？

王乃岩：稀疏表示其实是一种特殊的最小二乘回归。得先知道什么是最小二乘，否则这个故事就太长了。

君泽：假设大家知道线性代数的基本知识。

王乃岩：稀疏表示事实上就是说我用尽量少的基去表示高维空间中的一个向量或者信号。大家觉得稀疏能够带来非常多好处，那时候压缩感知也有一些非常强的理论结果，就是证明在满足某些条件的时候，这个信号是可以被精准复原的，叫 compressive sensing。所以其实那时候，稀疏表示和压缩感知是机器学习和计算机视觉里面很火的研究方向。

君泽：那是不是可以这么理解？比如说我现在想要在机器学习里面还原桌子上的这瓶矿泉水，然后我用尽量少的信息把它还原出来，这就是稀疏表示要做的一件事。

王乃岩：对。比如我们在高维空间里做表示，像特征值分解或者 PCA，你会发现它的系数通常是连续的，从大到小。我们希望能够用最少的几个基，把它表示出来。同时反过来问，为了实现这样一种稀疏表示，什么样的基是最好的？

君泽：后面你就沿着稀疏表示这条路去做了目标追踪。目标追踪是做什么？

王乃岩：目标追踪其实是说，我当时做了一个叫 model-free single-target object tracking 的东西。就是说，给你一段视频，我在第一帧上画一个框，表示这是我想追踪的东西，然后在后面的视频里一直把它找出来。大家可能会觉得这不是现在大疆或者 Insta360 上早就有的东西了吗？但在 15 年前，这是一个非常困难的问题。我还是挺感慨的，这真的就是一个技术不断迭代，最后走进千家万户产品里的过程。我们 15 年前研究的时候，并不是说你可以任意画一个框就开始追踪，整个环境、追踪目标的类型，都有非常多限制。

君泽：当时你在跟许华哲的对谈里面，你说『去做这样的工作是有一些年幼无知，不知道更大的问题是什么。』

王乃岩：得说到我博士期间两段实习或者访问的经历。那时候我组里面没有人做 CV，港科做 CV 的老师也不太做 high-level vision 问题，所以我基本上是一个比较闭塞的状态，不知道大家在解决什么问题，也不知道大家真正关心的是什么。2014 年的时候很有幸去百度 IDL 实习，后来又去了 CMU，那时候才看到，真正前沿的 Computer Vision 研究领域里大家在关心什么。我觉得这个还是给了我很大的震撼和启发。

现在想想，当年非常年幼无知。我当时在 CMU Abhinav Gupta的组里，Abhinav 就是现在 Skild AI的老板，也是一家非常著名的机器人公司的创始人。我当时经常想他们在做什么？为什么在做这么多奇怪的事情？很多事情我完全不能理解。但可能过了很多年之后再回头看，会发现，哦，原来这件事情的起源在这里，最开始他是这么想的。我当时去找 Abhinav，是因为他之前有一个非常著名的工作，叫 mid-level feature，还是 mid-level patch，我记不清了，反正就是 mid-level 的东西，我当时觉得非常 fancy。

他有一篇很著名的 paper 叫 《What Makes Paris Look like Paris?》，研究的问题是，为什么给你一张普通的街景照片，你会觉得它是巴黎，而不是伦敦、北京？到底是什么视觉的 feature让你产生这样的判断？是正常的街景，没有这种著名地标。他可能最后发现，巴黎的阳台栏杆有一些特定的样式，你把这些特征拿出来放在一起，就会发现巴黎原来都是这样，伦敦是那样。他其实是想找到一个环境或者场景中最具判别性的特征。我当时就觉得，哇，这个事情好有意思，居然有人在研究这样的问题。

君泽：而且它听起来不像一个传统的计算机问题，更像是脑科学问题。

王乃岩：但他希望通过自动化的方法去找到这些 discriminative feature。这可能是第一次，Abhinav 给我留下很深的印象就是因为这个工作。后来在组里面，我第一次听说了自监督学习这个概念，其实是在 Abhinav 组里面，那时候大家还完全不知道什么叫自监督。他们会做一些在我看来非常奇怪的任务。比如他希望从单张图片里面预测这个物体是怎么运动的，学术一点就是从单张图片预测光流。我当时想这有什么用？这不是瞎猜吗？我完全不理解。但站在现在的视角看，哦，原来光流只是一个代理任务，他真正想学的是物体普遍运动的 pattern，其实是在做关于运动的表征学习。那时候确实有很多这样的脑洞，我很早就知道了自监督这个概念，但当时没有真正理解它的价值，也是后来才慢慢理解的。

当下游任务开始被通用表征吞噬

君泽：你在 IDL 做了什么？

王乃岩：很简单，就是做 2014 年的 ImageNet 比赛。那个时候我们已经隐约发现了一件事情，就是网络越深，效果越好。我是做图像分类，那时候进来还有一个实习生叫闫俊杰，他是做目标追踪。因为我对 GPU 这些底层的东西搞得比较熟，那时候 CUDA 代码也不是大家普遍掌握的技能，我代码写得比较多，就去改了很多东西。然后我们就隐约发现，从 5 层、6 层一直往上，我忘了，可能最后走之前冲到 9 层、10 层，性能一直增长。当然层数越多之后，整个训练难度也越来越高。但是那个时候我们其实还做了一件事，俊杰会基于我的分类网络去做特征。那时候还只有 R-CNN，他用我的网络去做特征提取。只要我的分类性能涨，它的目标检测性能也会跟着涨。所以其实最原始的表征和 scaling 的概念，就是在这里面慢慢出现的。

君泽：就是有那种隐约的直觉了。

王乃岩：对，已经有这样的一个直觉了。14 年我们一去看，我靠，VGG 已经做到 19 层了，Inception，Google 的 GoogLeNet 也已经做到不知道多少层了。所以大家其实都发现了这件事情，但是他们会比我们更加坚决，执行得也会更好一些。但我觉得这件事情有两个很大的 take away，第一个就是网络越深越好；第二个就是你在下游任务上的性能，其实跟图像分类这个代理任务的性能基本上是成正比的，两者提升是高度相关的。

君泽：就是你只要有好的表征，然后你就有好的输出。那 2014 年你的挑战赛成绩是怎么样？

王乃岩：我忘记了，好像一般吧。最后没有把这个成绩放出来，不是第一，公司这边不是很想放。我很想有一个好成绩，但是也还是没做到啊，哈哈。但是这过程中学了很多东西，我觉得这才是重要的。

君泽：我感觉 ImageNet 挑战赛给你留下的东西，好像比之前还要多，有很多东西一直延续到现在。

王乃岩：对。很多时候我们说直觉，并不是拍拍脑袋就有的。前段时间约这个访谈之后，我仔细想了一下，这个直觉到底从哪里来？其实我博士最后一篇 tracking 论文里，就专门分析过表征，我把一个 tracking 系统分解成 5 个部分，去看哪一个最重要。最后发现，只要把特征表示，也就是表征那一层，换成 CNN 的 feature，结果就已经是当时的最好水平了，已经是 SOTA，那个时候我们已经看到了这件事。再往前倒，稀疏表示那时候叫「字典学习」，字典就是通过一个个基的组合来表示你想要的目标，本质上也是一种表征。

君泽：所以当时是人为设计这种稀疏表征？

王乃岩：不是，它也是通过数据去学的。所以本质上这是一条表征学习的发展路线，字典学习可以看成一种浅层的表征学习，只有一层，可能还有一些约束。后来在各种下游应用里反复验证，表征其实是最关键的。我 15 年那篇 paper，当时甚至把它叫「打脸文」，就是说，你们在上面搞了这么多乱七八糟的设计，其实都不重要，包括我自己之前做的那些东西也不重要，重要的是把底下的 feature 换掉，上面怎么搞都可以。

君泽：所以它某种程度上也指向了今天的结果，目标追踪本身不再需要单独花那么多力气去做？

王乃岩：对。所以我们认为，表征的通用性会吞噬下面很多下游应用，这就是其中一个原因。

君泽：当时你有意识到，自己其实是在拆掉自己的一个研究方向吗？

王乃岩：当初我觉得还好。我不是那种固步自封的人，问题能解决就好。我是一个比较实用主义的人，一直都是以解决问题为导向。

君泽：但这次不太一样的是，你会发现问题本身可能有些偏了，甚至需要重新定义这个问题。

王乃岩：问题本身没有错，可能只是之前大家关注的重点不一样。我觉得这是一件好事，这说明这个领域的发展走到了正轨上。

君泽：你在知乎另一篇文章里也提到过，表征其实是你探寻了十年的问题。

王乃岩：其实在 Abhinav 那个组里面，当时想做两个事情都没做成。虽然写了一篇 tracking 的 paper，但当时还是觉得 tracking这个事情更实在，但不知道你们在干什么。现在想想，确实非常无知。当时有两个 idea，一是我们注意到 NLP 里面有一篇 paper，word2vec，这个大家肯定都知道。

君泽：就是「国王-皇后≈男人-女人」。

王乃岩：word2vec 有一种训练方法，我们当时就在想，这种 mask 去 predict 的形式，能不能做到视觉里面来？但是那时候用 Caffe去实现非常困难，也非常麻烦。最后虽然写出来了，试了一下发现不 work，后来也就没有深究。可能到后面 2020、2021 年，恺明把这东西做 work 了，MAE，Masked Autoencoders。很多 idea 并不是它不对，一是要在合适的时候去做，因为你的前置科技树已经解锁了；第二是你的信念要强，要相信这东西一定是 work 的。

君泽：当时你的信念不够强。

王乃岩：确实没有那么强，说实话。我觉得图片还是跟语言不太一样，它存在一些差异，所以就浅浅试了一下，甚至不知道当时是不是有 bug。第二个问题，其实也是那个时候想研究的：既然自监督这个东西很有意思，那很多时候我们为什么把一个物体叫作一个物体？原因是什么？我记得我跟 Abhinav 讨论这个问题，他就觉得这个问题没有办法定义。还问我，你身上拔一根毛出来，它是不是一个 object？

君泽：它肯定不是一个人这个 object，但它属于「毛」这个 object。

王乃岩：这个问题想了很久，但当时没做。后面事情很多，这个想法也慢慢忘了。直到 2022、2023 年的时候，我又觉得这个 idea 可能可以再做一做。因为有更强的算力了，也看到了更清楚的发展。那时候就在想，我能不能从运动上定义什么叫 object？所谓从运动定义，就是凡是可以一起运动的这一片区域，或者一坨东西，它就可以是一种物体。这个定义其实比较准确、完备。你想，人在走路的时候是一个整体，他是一个完整的 object。但你坐下来之后，手臂可以单独动，所以它也是一个 object。这里面其实存在一种 part-based 或者 hierarchical 的结构。当初这个 idea可能真的是十年之后又重新做了一次。

君泽：把这个问题定义清楚，能解决什么事情？

王乃岩：它不一定解决某个具体的事情，但我觉得「表征」这件事情最重要的一点，就是它不应该局限于任何一个下游任务，这个很关键。一旦你把表征局限到某一个任务，马上就会面临泛化性的问题，它就不是一个基础表征了。

君泽：也就是说，不能为了某个特定任务去做太多针对性的设计。

王乃岩：对。所以最好的表征应该是非常 general 的，不会针对某个特定任务去设计。

君泽：所以相当于说你对 object、对物体的定义，可以适用于几乎一切任务。

王乃岩：对。因为人能够很轻松地 recognize 什么是一个物体，对吧？那这个事情背后一定是有一些道理在的。所以我们也是从发展心理学的角度，就是婴儿是怎么学习、怎么认知一个物体的这个角度给了我们很大启发，我们也从 David Marr 那本著名的、开创计算机视觉领域的书里面获得了很多启发。当然在我们之前大家也已经有非常多相关的研究工作，很多概念性的验证。我们更多的是把这个东西放到了现在这个时代，真正用 scaling 的方式验证了一下，证明它确实能够通过计算的方法得到一些东西。

最好的年纪

在一个技术大爆发的时代

君泽：当时 CV 领域有一件非常重要的事情，就是 ImageNet 挑战赛。2012 年 AlexNet 出来，那时候你已经读博了。当时你应该很快就知道这件事了。我很好奇，因为我们现在站在十多年之后来看，AlexNet 确实是一个里程碑,它把 Deep Learning 重新带回了大家的视野，也可以说直接导致了现在 AI 大爆发。但是当时其实有很多人怀疑它的作用，甚至会说它是不是一种过拟合，并没有形成 Deep Learning 很厉害的共识。你是怎么去相信这件事的？

王乃岩：我也没有完全相信啊。我只是觉得，诶，好像又有一些有意思的东西，要不然去试一试吧。 之前可能学的东西比较多，或者是课程里的东西比较多，2013 年是真的想把它做到自己的研究里。所以做的第一个工作，就是把它用到目标追踪里面。那是 2013 年 NIPS，也就是现在的 NeurIPS 的一个工作。那时候就是在自己台式机上配了一块 GTX 580 的显卡，那显卡还是我自己跑到电脑城买来的。

君泽：那当时你在做这个工作的时候，证明 Deep Learning 是非常有效的，所以你就慢慢开始相信这件事了吗？

王乃岩：其实说实话没有那么神奇。现在想想，本质上是因为那个时候我们走的是更老一代的路线，用小数据集做预训练，然后再迁移到 tracking 的任务上。预训练的数据集本身不够大，像 CIFAR、CIFAR-100 这种数据集，表征比较弱，它会有一些效果，但没有后面那么显著。在当时那个时刻，我们完全意识不到这一点。

君泽：那你为什么还会继续研究下去？

王乃岩：因为 2013 年的时候没有那么多资源，也没有太多想法。到了 2014 年我想是不是也可以研究一下这个比赛？又回到了比赛。虽然又回到比赛，比赛是一个牵引，它让我去看图像分类这个事情是怎么玩的。2013 年底，这两个工作发表之后，2014 年我想要不然我们去做一下 ImageNet 的比赛吧，于是我就在学校跟一个学妹一起做。做了一段时间之后，在一个 QQ 群里面，当时我在百度实习的老板余轶南也在那个群里，他就跟我说要不要来百度一起搞？我想想好像也可以。那个时候实习机会可能还不像现在那么多，于是我就去了百度 IDL 实习，那时候正是 IDL 非常鼎盛的时期。

君泽：2014 年是你特别忙碌的一年。去了 IDL，也去了 CMU，ImageNet 也是那一年。你怎么能同时做这么多事情？

王乃岩：我觉得就是一个最好的年纪，在一个技术大爆发的时代，而且站在了一个正确的地方。现在想想，IDL 和 CMU 那个时候真的就是技术大爆发最前沿的地方。

君泽：能形容一下当时技术大爆发是什么样子吗？

王乃岩：我在 CMU 的时候，应该是 8 月底去的。那个时候大家都开始准备 11 月份的 CVPR。那时候 arXiv 还是一个比较新、比较火的东西，因为大家之前不太喜欢把 preprint 提前放出来，没有 Peer review 过。我那时候同桌是王小龙，他也是第一年入学。我们两个当时最喜欢做一件事情，就是晚上 8 点守着 arXiv 网站刷新，看看这一天有什么新的东西出来。真的，那一段时间基本上天天都有惊喜。你会发现这样一个问题，深度学习也可以解；那个问题，它又把传统方法打得落花流水。真的有一种日日新的感觉，就像寒武纪大爆发一样。

君泽：你在港科的时候不会有这种刷论文的习惯吗？

王乃岩：也有，但是不懂那么多，说实话。周围的环境没有这么多人一起关注这些问题，所以那时候挺孤独的，也不知道大家在搞些什么东西。可能那时候微博讨论比较多，我会去看一看。到了 CMU，周围有很多同学也在做这个方向，自然就有很多讨论和关注。

君泽：说回刚才提到的 Caffe，这也联系到你另外一个很重要的工作 MXNet，也是在 2014 年。

王乃岩：这个 credit 还是要给到天奇。最开始是天奇跟许冰，我们做了一个叫 CXXNet 的东西，那个其实对标的是 Caffe，我觉得可能算是 1.0 时代的深度学习框架。然后 2.0 时代，就是 MXNet、TensorFlow、PyTorch。那时候也是做研究，觉得每天去写这些东西，需要一个更顺手的框架，能够更高效，而且把很多东西都封装好。没有太多复杂的想法，就是我要做这个事情，那我就把这个锤子也造出来。像天奇这种从 ML Systems、MLSys 的角度，他们可能会有一些更完整的构想。但从我的角度，我是一个做应用或者偏下游的人，我更多的是考虑我想用得爽。

君泽：Caffe 用得不爽？

王乃岩：也不是不爽，它实现一些新功能的成本很高，因为你所有东西都要从 CUDA 代码开始写。那时候也不是所有人都能写 CUDA 代码。所以我觉得我好像能写一些这种底层代码，那是不是也可以一起来做点东西？其实想法很简单，那时候没有这么复杂的弯弯绕绕。

君泽：并没有像现在一样做一个开源项目还要考虑商业化、基金这些事情。

王乃岩：太遥远了，太遥远了。

君泽：完全就是一个 hobby project。

王乃岩：对对对。

君泽：2014 那个时候你也认识了不少人，比如扬清应该是在这之前就做了 Caffe，2014 年的时候已经在圈子里比较主流了。像天奇之前做了 XGBoost，后来你们一起做了 CXXNet，后面又发展成了一度非常流行的 MXNet。包括李沐，还有比如余凯在这之前做了 IDL，这个跟你也是有一定关系的。你现在回想那个时候，会给你一种什么样的感觉？你说是一个盛世，但我感觉大家做的事情都还挺不一样，好像都在以各自的方式参与到这个时代，你对自己当时的身位是怎么样的一个判断呢？

王乃岩：当时说实话没有那么多计划，这些东西我觉得是计划不来的，真的就是在那个时代的洪流中做了一些微小的事情。当初没有想过「这件事情做了之后一定会怎么样」、有什么样的收益或者影响，来不及想那些事情。更多时候是我觉得现在需要这个东西，那我就把它做了。也是做了一点微小贡献吧。

君泽：你觉得自己当时算是比较好地完成了「时代」交给你的任务？

王乃岩：我觉得可能恰恰相反，我是搭上了时代这条大船。

君泽：抱上了一条最粗的大腿，时代的大腿。

王乃岩：对，是的。

自动驾驶的第 0 年

和图森的最后时刻

君泽：天奇之前写过一篇《做机器学习的十年》，把自己的第 0 年定在他去香港，因为他说那一年让他开了很大的眼界。假如现在让你来写一个回忆，题目可能叫《我与自动驾驶的X年》，你会把自己的第 0 年、自己的起点放在哪？

王乃岩：自动驾驶这个事是从 16 年开始干，那时候我们都不知道怎么控制一辆车，我觉得那应该是第 0 年。

君泽：但你们聚在一起创业应该是 15 年？

王乃岩：对，15 年。

君泽：你们是怎么聚到一起的？

王乃岩：晓迪其实 14 年开始张罗这个事。我是 15 年毕业嘛也要找工作，就聊了挺多人的，当时觉得还是跟晓迪聊得最合，我还是比较认可晓迪这个人，不管是一些技术还是一些看法，在那个时刻我觉得还是要 follow your heart 吧。当然其他的因素也有，但没那么关键。

君泽：是晓迪在张罗创业这件事？

王乃岩：晓迪那个时候是说要去创业，最开始是知图这家公司去做互联网广告。然后也是做了一段时间之后发现还是挺难，所以在 16 年初的时候想去看一看有什么新的东西和事情可以做。那时候看到自动驾驶，后面可能到 16 年下半年的时候，开始聚焦到卡车自动驾驶这个事。

君泽：那个时候的自动驾驶是什么样的？我看自动驾驶相关的历史，比如DARPA挑战赛的时候，有一种群魔乱舞的感觉。

王乃岩：对。你第一次看车自己动起来的时候，那种感觉还是挺神奇的，甚至有点害怕说实话。

君泽：当时无论是日常生活还是科研领域，自动驾驶好像都不是特别主流。你们为什么决定去做自动驾驶？

王乃岩：那个时候还是看整个团队人员的能力，以及 AI 技术落地之后潜在的一些影响力和商业价值吧。

君泽：当时讨论了多久，决定做这样的转型？

王乃岩：其实是有那么几个月的。大家也是考虑做一些尝试，那时候还考虑过什么人脸啊，还有一些其他东西。包括最开始不是自动驾驶，要不要去做 ADAS，就是驾驶辅助、报警这些东西。

君泽：这些方向后来也都成了至少 5 年里比较明星的创业公司的方向。

王乃岩：还是觉得自动驾驶这个事情会更大一些。

君泽：当时知道后面要转型到自动驾驶，你的感受是什么？

王乃岩：我觉得就还好。反正对于我来说都是全新的东西，做什么都行，反正我不讨厌这件事情，而且我觉得做一些跟物理世界有关系的东西我会更感兴趣。当然这是我后面越来越强烈的一个感觉，在那个时候只是隐约会觉得这个事情还挺好的，不光是只写一个模型、算法，还是能让一个物理世界里实际的东西动起来。自动驾驶是一个我觉得没有边界事情。我记得我在知乎上，忘了是在哪个问题下面好像有一个人来抬杠。其实我觉得这种抬杠蛮好的，会逼着你自己把很多问题想得更清楚。当初我最后总结一句话就是说，完全解决自动驾驶等于 AGI，但自动驾驶商业化不是。

君泽：怎么理解这句话？

王乃岩：就是要做一个 L5 的自动驾驶，那必然是要解决整个 AGI，包括虚拟世界、物理世界。但是自动驾驶的商业化，现在大家看到从 L2、L3 到 L4 都有大规模商业化。那自动驾驶商业化不是。现在看来，这句话其实非常准确。

君泽：那当时 2016 年，你对自动驾驶的想象是什么样子？

王乃岩：我那个时候没有仔细想过这事情多久能做出，那时候还是太 junior 了。但我觉得这里面会不断有新的问题出来让我可以去解决，算是一件比较能持久地干下去的事情，当初可能就是这种感觉。真正开始有信心可能已经到疫情中后期了，到 2021、2022 年的时候，我才慢慢觉得可能真的能做到全无人常态运营的状况。

君泽：2016 年的时候大家对于 L4 的实现都非常乐观，但你当时其实并没有这么乐观。

王乃岩：我当时肯定没有这么乐观，因为很多问题根本不知道怎么解，完全没有思路。

君泽：那为什么当时大家会觉得，比如晓迪会觉得这件事一定能实现？

王乃岩：革命乐观主义吧哈哈哈。

君泽：刚开始决定做自动驾驶的时候，你们最先需要解决的问题是什么？

王乃岩：怎么把一辆车通过信号跑起来？那时候是小车，MKZ，是很多自动驾驶公司的起点。那时候还要去找一家叫 AutonomouStuff 的公司改车。改了车之后，你才能通过计算机给它发信号，让车响应你的指令。

君泽：相当于一种遥控？

王乃岩：不是，不光是遥控。你接上电脑，就可以不断给它输出控制指令，让车辆接受你的指令，这是第一步。

君泽：这一步比我想的还是要更加初级一些。

王乃岩：对，因为那个时候没有现成的车和平台能够让你做调试和测试，所以这些车辆都要改。

君泽：你刚刚说大概到了 2020、2021 年的时候对这件事就比较有信心了，信心的来源是什么？

王乃岩：两点。一个是远距离感知这个事情被解得比较好了。很重要的是那时候看到了激光雷达本身非常快速的发展，我们真的有了能够在 500 米有效感知的激光雷达。这个给了我很大的信心，而且我们真的把它用好了，做到非常精准的 500 米感知。说实话，时至今日很多团队还是不会去做这个事情，或者做不了这个事情。而 500 米的感知解决了卡车在高速路上的一系列大问题。第二个就是随着这个时代和技术的发展，模型能力不断提升。

君泽：当时你们是有两个团队对不对？中国和美国团队。

王乃岩：最早是我配合晓迪去做一些关键任务的研发，因为那时候我可能还比较擅长深度学习、模型这些东西，所以这些事情我会做得多一些，然后晓迪会去做整个技术架构的设计。后来公司出了一系列事情，21 年的时候，我就去独立负责北京这边整个公司的技术决策。

君泽：但是我看因为一些政策监管原因，你们中美双方的技术需要做一些隔离了。

王乃岩：对，是整个公司做一些隔离，不光是技术。

君泽：图森差不多是倒在了在 22 年、23 年大模型这一批之前？

王乃岩：其实是 24 年初。

为什么选择了小米

君泽：图森给整个自动驾驶行业带来了哪些东西？

王乃岩：哎呀这个问题太深奥了。我觉得这个不应该由我来评判，应该留给时间。可能过了二三十年，有人写自动驾驶发展史的时候，再来评判。

君泽：那图森给你带来了什么？

王乃岩：那肯定是我成长最快的一段经历吧，就是酸甜苦辣都经历过，不管是技术上，还是整个对于创业，对于一家公司的运营上，我觉得肯定都是全方位的成长。

君泽：那段苦的经历我觉得不用多说了。你之前跟许华哲也提到，24 年初是你最痛苦的一段经历，晓迪那段时间在知乎上点赞了很多关于刘备的话题。

王乃岩：对。

君泽：然后我去看了一下你当时的动态，发现什么也没有。你只是关注了一个「如何评价侯晓迪被解雇」的问题。我很好奇你当时是什么心态？面对那种其实有些无力的状况。

王乃岩：一个是无力。那个时候确实没有办法改变太多事情，而且说实话，那时候公司的人心比较散。可能除了我之外，没有太多人真的关心这家公司还要不要继续做自动驾驶，直白讲就是这样。另一方面，我还是非常想推进这件事情，继续往下做。整个 23 年，我觉得还是比较稳定、比较平稳的，做了非常多事情。包括那时候也拿到了一家头部主机厂的 L2 量产订单，而且用的是我们自研的传感器和域控制器。整个 23 年，我觉得还是稍微恢复了一些元气，慢慢在往正轨上走。

君泽：觉得可以回到一个正轨。

王乃岩：对，慢慢在往正轨上走，直到 24 年初突然崩塌。如果这个事情是缓慢发生，大家有一个心理准备可能还好，但这种突然死亡，对你的冲击会非常非常大。而且那时候我们在海外也开始准备做一些项目。

君泽：而且经历了一系列混乱之后，大家好像已经熬过来了，开始拿到订单，事情开始变好，结果 24 年初突然结束。你说那段经历让你对人性有了更多理解，而且你特意说，不只是人性的恶，而是人性的复杂。

王乃岩：关键还是要理解每个人的想法和选择吧。你会发现，之前根本没想过一个人会有这么多样的想法。那时候我跟每个人都会聊以后的选择，你会发现大家看重的点不一样，care 的东西不一样，觉得什么重要也不一样。人在不同的人生阶段、不同的状态下，都在做出自己最好的选择吧。

君泽：当时你 care 的是什么？

王乃岩：我 care 的就是得想办法跟这些同学一起再搞自动驾驶哈哈哈。

君泽：当时已经被自动驾驶这件事本身吸引住了吗？

王乃岩：主要是非常遗憾，那个时候还是有一些东西在前沿。23 年 6 月我们做完无人 demo 之后，24 年其实已经开始准备做一些小规模的纯无人部署和运营了，没有把这个事情真正落地，是非常可惜的一件事，这也是为什么当初会选择小米作为下一站，就是希望能够看到这些技术真的在实际产品里面大规模落地和交付。

君泽：想去一个能够量产的地方。

王乃岩：对。因为很多人不想做量产，不喜欢做量产。

君泽：为什么不喜欢做量产？

王乃岩：因为量产很苦、很累啊，真的做到量产，一定有非常多脏活累活。很多人不愿意 get your hands dirty，不愿意去做这些工程上的脏活累活，可能更愿意做一些前沿技术的探索，偏实验性质的东西。我还是非常愿意看到自己做的技术真的在千家万户里面用起来。就像 tracking 这个东西虽然不是我做的，但是我会觉得我十年前也在研究这么一个很有价值的东西，它会让你觉得自己的工作是有意义、有价值的。我觉得这种存在感和被需要感是很重要的。

君泽：这有一个身份认同的问题，之前你说过 2014、2015 年的时候，你觉得自己是一个 CV 人。后来到 16、17 年，你对自动驾驶还没有那么相信，但到 23、24 年，你已经非常认同自己是一个自动驾驶人了。这样的身份认同是怎么发生的？

王乃岩：就是你看到了这个行业在发生什么事情，你觉得自己是不是愿意在这个行业里面做出一些贡献。可能也没有那么久，最开始的时候可能比较迷茫，不知道自动驾驶在干什么 18、19 年就开始逐步进入一个正轨，从单纯做 CV 的视角，逐步转到整个系统的视角去看待很多事情。

君泽：真正从一个偏科学家变成了偏工程师。

王乃岩：最开始做 CV，就是做一些比较局限的小任务，目标检测、追踪、分割这些。到 18、19 年就会有一个更全局的视角：为了让这辆车开好，需要什么样的能力？我现在有这些技术能力怎么能 contribute 到这件事情上。是视角上的转变。

君泽：什么时候你觉得自己必须离开图森了？

王乃岩：其实我们离开图森是比较被动的，是因为整个图森业务的转型。

君泽：转型成 AIGC 了。

王乃岩：对，那个时候做 AIGC，后面还有游戏这些。

君泽：24 年其实是另外一个大时代。甚至比 14 年的时候更显性，每个人都能感受到一个大时代要来了。而那个时候自动驾驶已经不是那么 fancy 了。你有没有想过，那时候不做自动驾驶？

王乃岩：考虑过其他一些可能。但还是两点，第一，我还是对和物理世界有交互的东西比较感兴趣，现在大家叫 Physical AI。第二在那个时刻，自驾里面确实还有没做完的事情，还是想把这个事情真的推到量产。

君泽：为什么最后选择了小米？

王乃岩：因为那时候大家比较 focus 去车厂，都比较 focus 去做 L2 辅助驾驶。但是小米的老板们给了我一个机会能够独立带一个 L3 的团队，去做下一代技术的预研，这个机会挺难能可贵的。

L3 的门槛是让系统承担责任

君泽：L3 是比较前沿的技术。我记得你在知乎上有一个说法，感觉大家一直在把 L2 推到极限，最多做到 L2.99999，并不能到 L3。那 L2 和 L3 的鸿沟，跟 L3 到 L4 的鸿沟相比，哪个更大？

王乃岩：肯定是 2 和 3 之间更大。本质上 L3 主要讲的事情是在系统正常工作的时候，责任主体发生了变化，系统需要承担一些事故责任。

君泽：我之前开过另外一个品牌的车，我就不点名了。当时在高速公路上开辅助驾驶模式，高速公路本来是辅助驾驶非常友好的场景，车也不多，但它突然开始疯狂变道，打着右转灯，以 120 公里的时速直接冲到了高速匝道上，在匝道上也没有减速。最后的时刻它退出了，我当时是有些懵的，但还是及时接管了，没有出大事。后来我去查，如果真的出了事责任还是在驾驶员。

王乃岩：肯定是的。因为现在的量产车都是 L2 级辅助驾驶，要双手握好方向盘，安全驾驶。

君泽：那 L3 是怎么让刚才说的这种操控责任变成系统责任的？它是算法问题、系统问题，还是社会问题？

王乃岩：都是。其实我觉得都是，这是一个逐层递进的关系。首先你的算法要足够可靠，能应对所谓的 corner case。第二层从系统上讲，整个车辆的安全不光是算法能力，是全域安全，包括主动安全、被动安全，包括车辆底层的执行器、车辆传感器、计算单元、算法，整个从上到下的金字塔里面都要有完整的安全设计和冗余。最后可能再到社会问题，就是大家能不能接受这样的系统真正大规模部署，尤其是在存在一些事故的时候。

君泽：保险公司也需要能够接受，对吧？

王乃岩：对。保险公司可能更关心事故概率，但被大众接受不仅仅是事故概率的问题。这个观点我在很多地方都讲过。自动驾驶大规模部署不能只看接管率或者事故率，还要看它犯什么样的错误。如果它一旦犯了一些可能连 10 岁小孩都觉得不可思议的错误，大众还是不可能接受它。

君泽：如果它犯的是老司机会犯的错误，那大家就可以接受。

王乃岩：对，说得简单一点，就是跟人类的错误对齐。

君泽：我记得美国有一次事故，车撞到人之后又把人拖到了路边，大家攻击比较多的是第二步，因为第一步属于人也可能犯的错误。现在 L3 是什么发展状态？

王乃岩：8 月国家刚公布了 L3、L4 的国家强标（自动驾驶的国家强制性安全标准），明年 7 月 1 日开始正式执行，所以算是有法可依了。这是很重要的一步。

君泽：它对于工程上的要求是什么？

王乃岩：是一套完整的安全开发、测试、验证体系。所以可能不是单点技术。

《迈向自动驾驶 2.0 时代》

君泽：你以前说过，技术很多时候要和产品、timeline 去妥协。图森可以自己定义产品，但在小米是一个非常庞大的公司。在小米和图森，这句话有什么不一样的体现？

王乃岩：我那句话想说的是另外一件事情，是如何做技术选型。很多技术，尤其是前沿技术的同学很容易犯一个错误是自己觉得这个事情就应该这样做，而忽略实现这个技术所需要的资源、成本、时间。所以我更多是想从项目管理的角度去讲技术选型。当初图森最开始做「最远 1 千米感知」，大家会说你为什么要干这事？现在知乎上还能看到有人嘲讽说你们家高速公路不拐弯吗？但这件事情本质上讲的是卡车和乘用车的产品形态区别。这个区别会导致卡车整个的重量、安全性，包括刹车能力都比乘用车差，所以它本身就需要更远的刹车距离去保障安全。从这样的产品要求反推，就会得到我需要更长的感知距离，再往下才是算法能力、传感器能力、计算能力等等。

君泽：大家很多时候如果只是空想，就会把它当成真空中的球形鸡。你刚加入小米大概两个月的时候，在知乎写了一篇《迈向自动驾驶 2.0 时代》。当时为什么要写这篇？

王乃岩：因为当初我们去做 L3 ，处在一个挺特殊的位置。现在很多人可能也不理解，为什么要单独做 L3。因为本质上 L3 是在量产车的成本、造型等等约束下去做一个 L4 的lite。我觉得它是 L4 的简化版，本质上对安全性和可靠性的要求跟 L4 是一样的。和 L4 只有一个区别，L4 因为车上没有人，所以要求运营过程中 ODD，也就是设计运行域必须是连续的。因为你不能说走一段路出了 ODD，我就把车停下来，那就没办法完成完整的运营。但 L3 这一点的要求低一些，因为 L3 有驾驶员在车上，比如 100 公里的一段路，中间有 2 公里我觉得我开不了，我可以让人开，开完之后再继续开这个系统就行了。所以我觉得 L3 只比 L4 简单这一点，剩下安全性、可靠性的要求都是一样的，也不可能临时甩锅。但做 L3，你又是在量产车的成本和约束下，不能想要多少算力就要多少算力，也不能想加多少传感器就加多少传感器。所以我觉得这恰恰是它有意思、也难的地方。

君泽：那 2.0 跟 1.0 的区别是什么？

王乃岩：2.0 其实我想讲的是，怎么能够有一个相对于 L4 更大的 ODD 和泛化性，同时又有 L4 的安全可靠性。所以我讲的是 L2 辅助驾驶的泛化性和通用性，加上 L4 的可靠性、可解释性，等于 Robotaxi 2.0。它相当于正交的两个坐标轴，一个是泛化性、通用性，一个是可靠性、安全性。

君泽：等一下，我在想，如果非常追求可靠性，泛化性是不是就会弱一些？

王乃岩：是的。这就是为什么现在很多 L4 的 RoboTaxi 只能在特定区域去做。现在 L2 是先主打泛化性和通用性，它对于可靠性和安全性的追求没有 L4 这么极端。

君泽：但是像 L3 或者 L4，它必须先追求这种可靠性？

王乃岩：它现在这两者都要往前推一些，做到一个很好的平衡，得在足够大的作用域之内，还实现相对很高的可靠性和通用性。

君泽：那你们会怎么推进泛化性和可靠性之间的平衡？是先分片儿，再一步一步征服各个场景，还是有其他方式？

王乃岩：从技术本身的设计和演化角度去做。

君泽：你最近也会提到在 L3 系统里面，PNC 模块比 L2 时候更重要。

王乃岩：它一直很重要，没有比 L2 更重要。

君泽：但大家现在会觉得，端到端可以吃掉这样的模块。

王乃岩：这是一种说法，但规划控制的能力肯定一直都在。端到端只是说通过一个统一的模型去获得这样的能力。这个说法其实有点别扭，并不是很准确。

小米为什么要做纽北竞速

君泽：你在小米还有一个工作是去纽北跑最快圈速，做无人驾驶纽北圈速记录。有些人觉得没用。当时为什么要做这个？

王乃岩：这个问题在我后面写一篇科普文之后会好转不少。其实本质上是去掌握车辆在高动态边缘的一些控制能力。像人做反打驻车等等这些能力，可能偏传统的自动驾驶系统是不具备的。我们希望在赛道这种很极端的工况下能够储备这样的技术能力。

君泽：你是先有了做圈速竞赛的想法，还是先规划好了要用极限场景做技术储备，再去找这样一个位置？

王乃岩：是一回事。为了做赛道成绩，你必然就要有极限场景的控制能力。

君泽：你在那篇科普文章里面说，在最纯粹、最激烈的赛道圈速领域，随着 AI 第一性原理持续下探到物理学深处，迟早会迎来代表绝对统治力的「AlphaGo 时刻」。我很好奇为什么用「AlphaGo 时刻」这样的描述？

王乃岩：因为超越人的时刻。

君泽：你觉得自动驾驶可以超越人类驾驶？

王乃岩：我觉得早晚会，在赛道这个场景。

君泽：在日常情况下，这种超越也会发生？

王乃岩：当然要看哪个维度。智能驾驶比的维度不是比人开得快，对吧？可能是更安全，或者更有预判性。我相信也会有这样的时刻。

君泽：你会更喜欢 AlphaGo 吗？还是说 ChatGPT？

王乃岩：我觉得 AlphaGo 是一篇非常非常有启发性的工作。不光是 AlphaGo，包括后面的 AlphaZero 这一系列工作，我们现在做的很多事情仍然没有逃脱 AlphaGo 的框架。

君泽：现在大家其实提到 AlphaGo 没那么多了，反而会经常说具身智能是不是迎来了它的 ChatGPT 时刻，几乎没有人会用 AlphaGo 时刻来构建隐喻。

王乃岩：GPT-3 时刻其实想说的是它具备了初步的泛化能力。AlphaGo 说的是超越人的能力，所以肯定是这两个维度是不一样的。 DeepMind 做了一系列超越人的工作，像 AlphaFold、AlphaZero、AlphaGeometry等等。所以他们是在某一个特定领域专用的、超越人的能力。GPT 可能是在另外一个维度，就是我要足够通用，足够向人泛化。

君泽：就还是坐标系的两个轴。

王乃岩：对对对。

没打过一场痛快仗

我想要一次真正的

「无限开火权」

君泽：你有哪些遗憾或者失败？

王乃岩：在智驾这边我们还是没能看到成百上千万的大规模部署。做了一个 10 年的东西，还没有完全走进千家万户。

君泽：你当时有想过会花这么长的时间还没有到达终点吗？

王乃岩：很难讲。我本身觉得技术是不可预测的。可能突破某一个点之后，后面的事情就会顺理成章；但如果突破不了那个点，也可能永远卡在那里。所以这件事情我从来不想预测。

君泽：你对自动驾驶成功的定义，就是它能够部署到千家万户，每个人都可以使用上。我想到塞巴斯蒂安·特龙有一句话，当时他在调解 Waymo 团队纷争说的，说我们还远远没有到终点，因为自动驾驶并没有帮助一个残疾人，并没有让一个盲人也能够开车。这也是你对自动驾驶的一种期待吗？

王乃岩：对，一个终极的期待吧。

君泽：之前我们前采的时候，你说希望自己有一个无限开火权，其实在你的经历里你好像一直都没有这种「无限开火权」是不是？

王乃岩：其实……绝大多数时候都不是那么能够拿到外界的支持和资源吧。像高中学竞赛的时候，别的数学、物理这些可能老师同学都很理解和支持，甚至可以停课做一些比赛前的准备，但我们信息学大家觉得高考又不考，是不务正业，自然没有优待能够给你更多时间准备。读博期间也是这样，只有我自己做 CV，组里面也没有人可以讨论这个事情，这边是非常 nice 的，但没有来自导师的那种在学术圈的「托举」。前一段时间有一个很不负责任的公众号，不知道用哪个 AI 写的，还把我写成「师从汤晓鸥老师」。这个消息还被很多人转载，现在估计 AI 已经被污染了。这是我一直面临的一个现状，包括在图森，初期绝大多数资源会投给美国，因为美国是一个更大的市场，从公司利益上也更符合；到后期受到外部监管以及内部的一些压力就没有打一场痛快仗。我觉得这件事情其实挺难受、挺遗憾的。

君泽：包括你说 23 年感觉可以打一场痛快仗了，然后忽然就……

王乃岩：对对对，总是有一点有劲使不出的感觉。

君泽：未来最想争的就是这样的一个开火权吗？

王乃岩：如果我真的想清楚了一件事情，我希望有机会拿到这样的无限开火权，真的把很多之前讲的泼冷水或者非共识的一些东西，以极高的效率真正实现。

回到第一性原理

理解 Physical AI

君泽：你其实会提到不少AI第一性原理，还有物理学的底层原理。为什么你会这么频繁地提到这些底层原理？

王乃岩：我们想把一个方法做得足够通用、足够泛化。那最通用、最泛化的东西是什么呢？其实本质上是一个底层的定律。比如牛顿三定律，你可以从牛顿三定律推演出宏观世界的物体状态和运动。那你说，牛顿三定律是不是就是这个世界最泛化的东西？是的，它比数据更本质、更泛化。但是我们怎么通过牛顿三定律去推演出世界万物的运动呢？你可能需要数据，也可能需要各种不同的学习算法，但是它的底层第一性原理仍然是在这里。

君泽：就相当于在你的认知里scaling 或者非常庞大的数据，它通往的不是一个直接解释或者预测世界的模型，而是通往牛顿三定律？

王乃岩：不准确。你的这个定律怎么变成宏观世界里面的演进，或者一个物体的运动？这个事情可能需要很多的数据和算法，才能够把它演绎出来。 AI 更像是它能够通过数据 fitting 出来这个行星的运动轨迹，但是这个轨迹为什么是这样，我们还不知道。所以这里面有一个概念叫柯尔莫哥洛夫复杂度，即你能把世界的一连串数据怎么去压缩？最根本的压缩方式是什么？比如我给你举个例子，一个字符串，一二三四五六七八九十，可以无限写下去，但你可以压缩成一句话就是「把所有自然数连在一起」。它其实评估的是这件事情。我们去做「压缩即智能」，本质上就是希望能够去逼近它的这种复杂度。

君泽：找到某种最通用的压缩方式。

王乃岩：对，它其实就是智能。如果要压缩物理世界所有的东西呢？

君泽：就是宏观的物理现象可以压缩成牛顿三定律。这是你接下来需要去思考的一个方向吗。

王乃岩：正向来说是怎么能够通过一些基础的、第一性原理去演绎出更多、更好的表示，去表达世界，推演世界的一些状态。反过来说，你怎么从能观察到的这些现象里面，提炼出这样一些底层的、第一性原理的定律。我觉得这两个问题都非常有意思。

君泽：你说 24 年之后一直在构建 Physical AI 相关的东西，但是好像没太有人听。

王乃岩：可能是做自动驾驶比较多，现在面临的最大问题是什么，这个事情我的观点和看法可能跟大家不太一样，那时候讲出来会有孤独感。因为大家从大语言模型的范式里面吸取了非常多的经验，说得不好听一点，我认为这里面有非常多的路径依赖。我们之前也分享过在这个问题上的思考，就是表征加大规模强化学习，再加这种在线的推演能力。我觉得才是一个比较正确的 Training-time Scaling 加 Test-time Scaling 的路线。

君泽：你这样的路径跟现在比较主流的路径不太一致。

王乃岩：是有蛮大的区别吧。大家现在觉得只要模型堆得够大，这些东西都不那么重要。但我们最近其实也有一个工作，评估现在这些开源、闭源大模型对于时序感知的能力。所谓时序感知，就是我给你一段视频，我问你一个问题，但是我设计这个问题的时候，要求你只看其中一帧，是没有办法回答的。我们发现一个很惊奇的结果，现在最好的大模型没有比随机猜好多少，但人能做到 90% 以上的准确率。比如我根据视频问你，这两个车哪个走得快？我只给你看一帧，你是看不出来的，对吧？所以它需要有这种时序感知和空间感知的能力。现在的模型是没有的。

君泽：你后来说有一种终于被大家听到了的感觉，具体指的是哪些事情终于被大家听到了？

王乃岩：就是从 CV 的角度看待整个大模型发展的历程，还有已经解决了哪些问题、仍然存在什么问题。

君泽：你大概也知道，现在有一个讨论就是「 CV 是不是过时了」，或者「是不是不再需要 CV 了」。

王乃岩：CV 会内化成整个 Physical AI 中的一部分，而且是非常重要的一部分，就是视觉感知的能力。这也是去年有一位计算机视觉大佬写《Is Computer Vision Dead?》时提出的观点，我也非常认同。所以我就在那篇文章里讲，CV 最终的目的是能够引导一个智能体跟物理世界产生互动。

君泽：对，我正好也翻了那一篇。他的观点应该是，CV 原本就是感知和行动之间的一个中间环节。因为我们之前没办法从感知直接到行动，所以需要 CV 做一个中间的过渡。然后他说，当端到端这样的感知行动 loop 足够强的时候，像 3D 重建、相机位置，甚至世界模型这些中间表征都会被吸收掉。

王乃岩：如果你看特斯拉这次在 CVPR 的分享，会发现特斯拉在做表征学习的时候有 20 多种代理任务，只不过它在在线推理的时候不显式使用这些中间结果。但在预训练阶段，仍然要求模型或者特征具备这样的能力。所以它是把这些能力内化到表征里，本质上是这样一件事。

对具身智能 PTSD 了

我更愿意说 Physical AI

君泽：你是什么时候开始思考 Physical AI？

王乃岩：这个时间点蛮早的。如果你翻知乎的话，我在 23 年的时候，大语言模型还刚火了半年，那时候就在一篇文章里面讲了一个视觉大模型该有什么样的性质，以及视觉最终的目的是什么。我当时总结了三句话。第一句是以自监督为范式，这样才能够利用海量的数据。第二句话是包含 3D 和时序。我认为空间感知，以及帧间运动感知能力很重要，能够预测未来世界，现在叫 World Model。当时比较清晰想明白的，就是 CV 最终的目标是服务于智能体和这个世界产生交互。视觉本身就是因为这个原因存在的。所以那个时候就开始想这些事情。语言问题通过 LM 已经解决得非常好了，那视觉大模型该何去何从？什么才是真正的视觉大模型？它应该有什么样的性质？最终应该服务于什么目的？

君泽：你现在的阶段性成果是什么？

王乃岩：还是要把表征这件事情做得更好、更 scalable。我认为这个事情是关键。

君泽：像语言本身就是一个非常通用的表征。

王乃岩：对，语言已经是被高度压缩过的，只不过再通过 LM 这种训练方式，能够更好地学习这样的表征。

君泽：今年 5 月你在知乎发了一篇《跨越比特与原子的鸿沟》提到 Physical AI 三段论，理解、预测和改造。你把世界模型放在「预测」这个阶段，它还是比较重要，但只是整个 Physical AI 的一个环节。你觉得什么是世界模型？这个问题我知道肯定很多人问过你。

王乃岩：我最近写这篇文章也是在试图回答这个问题。现在大家把哪些东西叫作 World Model？分别有什么用法？所以那篇文章里做了一个比较系统的分类。前段时间李飞飞老师把它分成三种，叫渲染器、仿真器、规划器。我从两个坐标上给它分类，一个是在线、离线，一个是开环、闭环，2 × 2 就是四种。可能这是一个更加清晰、体系化的划分。离线的开环用法，其实就是视频生成。很多人把视频生成也叫世界模型，它是在生成一些 corner case，可以用来做训练。离线的闭环则是我们讲的仿真器，更多是用来做模型的 benchmark 或者仿真验证。在线的开环用法，其实就是现在很火的 World Action Model，它做的事情是先想象一下未来的某些状态，然后以这个未来状态作为条件再生成动作，它是一种开环生成，中间没有反馈。最后一种是我们很关心、也很想做的在线闭环，它更像是一种推理引擎，本身能够做 Test-time Scaling，在在线状态下不断进行推演和修正。

君泽：这篇文章我还没有看，但我看你之前的文章用了一个类似于翻译成中文应该就是「隐式世界模型」的概念。

王乃岩：对，Latent World Model。是在一个高维的表征上做预测，而不是在像素空间中做预测。好处有两个。第一，它可能比像素生成更快。第二，它关心的是被提炼和压缩过的物理状态。这是两个比较大的优势。我觉得我们可以少聊一点世界模型，因为听到这个词有点PTSD，现在这个真的聊的太多了。

君泽：是你觉得 PTSD 还是大家？

王乃岩：大家都有点 PTSD。所有人都在讲世界模型，所有人。

君泽：你觉得是因为资本喜欢听吗？

王乃岩：这肯定是一个很重要的原因。但现在有很多创业公司出来说我要做世界模型，那你总要讲一些跟别人不一样的故事。

君泽：我还发现一个特别有意思的事。我仔细搜了一下，你提到「具身智能」这个词的次数很少。

王乃岩： Physical AI，我比较喜欢用这个名词来讲。

君泽：确实在国外好像更多用 Physical AI，国内会更多用具身智能。

王乃岩：因为这个概念最通用、最广泛，我认为也是目前这个阶段最准确的。具身智能强调的是具身性，但现在大家做的很多工作其实体现不了这种具身性，所以我认为这个可能也不是最合适的名字。

君泽：具身性指的是？

王乃岩：具身性就是说，你的 AI 系统有一个实体的本体，它通过这个实体跟环境产生反馈和交互。一个大模型就像缸中之脑一样，它没有办法通过自己的物理实体跟世界产生交互。

君泽：你思考的 Physical AI 不局限于自动驾驶。

王乃岩：对，应该是一个更广泛的概念。就是说，现在我们基于语言为主的 AI，如果要在物理世界中完成一系列任务，还缺什么？还需要做什么事情？

一直在表达

是希望行业不被概念蒙蔽

君泽：你应该是博士刚毕业的时候说过比较理想的状态是做科研，但是不进学术圈。你觉得学术、工业、商业这三个的区别是什么？

王乃岩：学术的目标是刚才你讲的，突破人类知识的边界。这个边界是不是真的有用、有价值，我认为不是最关键的。工业的关键是解决问题，更关心的是用现在这些技术，或者创造一些新的技术，能不能解决实际产品里的痛点和需求。商业的话，我个人理解可能更多是找准客户是谁、需求是什么，然后通过合理的商业手段，最大化整个利益。这是我现在比较粗浅的理解。

君泽：我很好奇，你这么喜欢表达，也在网上做了一些教育的事情，包括你跟实习生的那些研讨也都开源到 B 站了。那你为什么当时没有选择做一个老师？

王乃岩：做老师跟表达这两个事情本身没有因果关系。不做老师也可以表达嘛，对吧？做老师更多意味着一个身份上的事情。除了表达之外还要做很多其他的工作。我认为这些工作里，有很多可能是我不喜欢的。

君泽：然后你有没有担心这些表达会得罪人？你经常得罪人。

王乃岩：如果你先考虑这个，那你就只能说一些不疼不痒、所有人都喜欢的话。表达的目的恰恰是筛选出来那些，让喜欢你的人更喜欢你、更认同你。你不认同的人那就筛选掉好了。而且这个世界总是要有一些不一样的声音嘛，对吧？在这些不一样的声音里面，才可能进步、发展。

君泽：比如，我摘抄几个「王乃岩语录」，像「不要陷入狭义的端到端」，还有「号称端到端包治百病的人都从来没做过 PNC」。你好像还需要扮演一个表达异议、表达反对的角色。

王乃岩：对。因为在某些阶段和某些状态下，这个行业会被一些名词、概念蒙蔽。如果在这个时刻大家不把事情想清楚，反而会让整个行业走一些弯路，甚至这些错误的认知会被不停传递下去，久而久之形成一个错误的共识。我做自动驾驶做了这么多年，为什么要出来讲这些事情？我想把这个声音让大家听到。至于大家认不认同，那是大家自己的事情，但至少要让大家知道，有这样一种看法和观点，这件事情最重要。

君泽：错误的共识比如说什么？「端到端包治百病」？

王乃岩：或者说「有了端到端，L4 明年就实现了」，很多人在 24 年的时候都有这样一种不切实际的期待。

君泽：一直支持你持续表达的动力是什么？

王乃岩：分享欲好像也不是。可能一段时间我会思考某一个问题，很多时候也是写给我自己，把那个时刻的一些思考记录下来，顺手分享给大家。并没有给自己设一个标准，比如一个月一定要写一篇文章或者怎么样，我从来不会设这种东西。更多是某一段时间、某一个概念很火，我自己本来就要花时间研究、学习。在这个过程中形成了自己的一些观点，我把它提炼、总结出来，然后分享给大家。

要做一个有少年感的老登

君泽：你觉得自己的写作风格有什么变化吗？这十年里。

王乃岩：内核是一样的，但是外在的一些表达可能会有区别。

君泽：十年前你还有一个称号，就是被称为「天才少年」。

王乃岩：好像没有吧。

君泽：有的有的，真的有。至少是「天才 90 后」之类的称呼，你怎么看少年天才这个事情？

王乃岩：一代人终将老去，但总有人正在年轻。

君泽：年轻是个好事吗？

王乃岩：生理上的年轻是不可逆转的，一定会变老。但我们可以做的一件事情，就是让自己保持心态上的年轻。这个事情可能是这几年我比较有感触的一件事情。之前我没有这种感觉，总觉得大家跟周围的伙伴也好、同学也好，还是刚刚入社会，敢打敢拼敢冲。最近有了很强烈的感觉，大家到了一定年纪之后，关注的事情也会发生变化。比如结婚、生孩子，生活的重心会发生变化，可能会重新考量生活的重心，看待事情的方式也会变。我也在试图理解每个人的这些变化和想法。但之前有一个说法我比较认同，就是要做一个「有少年感的老登」。我一直想成为这样一个人，无所畏惧，敢想敢做。永远 21 岁，永远年轻。我认为这个心态无比重要。有这样的心态，就像雷总，50 岁正是闯的年纪，对吧？

君泽：你好像始终有特别多想做的事情。

王乃岩：是啊。工作生活已经很累了，如果再没有一点乐趣，总要自己找一些乐子吧。这个事情是苦中作乐，这个能力才能让你保持一个非常乐观的心态，一直坚持做一些事情。

君泽：你有多少乐子是来自工作的？

王乃岩：很大一部分。探究一个新的问题，搞明白一个大家都不知道答案的事情，本身就是一种乐趣。

君泽：你累的时候，会做一些什么事情放松？

王乃岩：刷知乎。

君泽：你对五年之后的自己有什么样的期待？

王乃岩：希望不要被现实捶得没有年轻感了。