来源：瓜哥AI新知
本文内容整理自英伟达应用深度学习研究副总裁 Bryan Catanzaro 在The MAD Podcast with Matt Turck 频道的专访，公开发表于2026年07月02日。原始内容参考：https://www.youtube.com/watch?v=Oojrfdl42LI
内容提要：布莱恩·卡坦扎罗在《MAD 播客》中的专访
-
AI 作为“外部大脑”： AI 是一项颠覆性的技术，如同厨房是人类的“外部胃”，AI 则是人类的“外部大脑”。它能协助我们解决无法直接处理的复杂问题，其深远影响目前尚难以估量。 -
效率是通往更强智能的唯一路径： 当算力增长触及经济或能源极限时，提升效率（例如利用 4-bit 格式进行训练和推理）将成为通往更强智能的唯一路径。 -
英伟达开发模型的原因： 英伟达构建 Nemotron 系列模型，旨在深入理解 AI 运作的每一个细节，从而协同设计出最顶尖的软硬件（如 GPU 和 Blackwell 架构），并以开源技术赋能全球开发者生态。 -
开源的安全性远超闭源： 相比“围墙花园”式的闭源管理，开源技术因具备高度的透明度，能够汇聚全人类的智慧进行评估与迭代。在安全问题上，多元化的探索远比单一化的控制更稳妥、更安全。 -
混合架构已成行业共识： 将 Transformer 与状态空间模型（SSM）深度融合，并辅以混合专家模型（MoE），已成为当前构建高效前沿 AI 模型的行业共识。 -
智能的多元性与情境性： 智能并非单纯的“马力”（原始智力），而是与平台和环境高度绑定。所谓的“奇点”理论忽略了智能的多元性与情境性；AI 的真正影响力，取决于它所处的应用环境。 -
组织架构的“使命至上”： 英伟达成功的核心在于“使命至上”而非“职位至上”的协作文化，通过自下而上的志愿者参与和引导启动（bootstrapping）机制，不断孵化出伟大的研究项目。 -
多 Token 预测与多教师蒸馏： 通过“多 Token 预测”技术（模型一次预测多个 Token），可充分利用 GPU 的闲置算力以大幅提升响应速度；而“多教师蒸馏”技术则能打破壁垒，将各个领域的专长熔铸于一个全能模型之中。
英伟达应用深度学习研究副总裁 Bryan Catanzaro 简介
布莱恩·卡坦扎罗（Bryan Catanzaro）现任英伟达（NVIDIA）应用深度学习研究副总裁。他是全球人工智能与高性能计算领域的顶尖专家，在推动深度学习算力架构及算法演进方面发挥了关键作用。
卡坦扎罗于2008年加入英伟达，曾短暂供职于百度硅谷实验室及一家幻灯片软件初创公司，随后重返英伟达。他主导了多个核心技术的研发，包括推动 GPU 在深度学习训练与推理中的应用、开发 cuDNN 加速库，以及参与 TensorRT 等关键产品的设计，极大地提升了 AI 模型的运行效率。他不仅是深度学习底层基础设施的构建者，更是连接学术界与工业界的桥梁，致力于将复杂的计算难题转化为通用的 AI 解决方案，是推动现代生成式 AI 爆发背后的核心技术领袖之一。
内容简介
英伟达是一家芯片公司。那么，为什么它还要投入数百名研究人员去构建 AI 模型，并且将其免费开源？Bryan Catanzaro 是英伟达应用深度学习研究副总裁，也是现代 AI 基础架构背后默默付出的核心人物之一：他协助创建了 cuDNN（英伟达首个深度学习产品），联合发明了 DLSS，并命名、构建了 Megatron——这个框架支撑了当今业界绝大多数大模型的训练。如今，他领导着英伟达的 Nemotron 开源模型家族，而几周前刚刚发布的 Nemotron 3 Ultra，正是美国目前最强大的开源权重模型之一。
Matt Turck 与 Bryan 进行了一场极其硬核的深度对话：一家芯片公司亲自下场做模型的真实商业逻辑是什么？开源与闭源 AI 的现状如何？在开源模型领域，美国是否正在落后于中国？随后，他们深入探讨了 Nemotron 的技术内幕——用通俗易懂的语言，全面解析了 4-bit（NVFP4）预训练、混合 Mamba-Transformer 架构、混合专家模型（MoE）、多 Token 预测以及多教师蒸馏等前沿技术。此外，本期节目还难得一见地披露了现代 AI 研究机构的实际运作方式、在百度与吴恩达（Andrew Ng）及 Dario Amodei 共事的经历、Bryan 为何不相信“奇点”理论，以及他关于“开源 AI 远比闭源更安全”的反直觉洞察。
对于任何想要了解 AI 真正发展方向的人来说，这都是一场教科书级的对谈。
访谈全文
布莱恩·卡坦扎罗： 如果你认同我们将触及算力与效率的极限，这就意味着，获得更强智能的唯一途径是提升效率。既然已达极限，我们就无法再靠“大力出奇迹”来提升智能。我们必须更审慎地思考如何利用现有资源。我们制造工具，就像是长出外部器官来帮助我们解决问题。比如，我们有一个“体外肠胃”，叫做厨房；现在，我们正在创造一个“体外大脑”。体外大脑意味着什么？其影响将无比深远。其实目前还没人能真正预见。
主持人Matt： 欢迎回到 MAD 播客 (MAD Podcast)。我是 Matt Turck。开源 AI 再次迎来高光时刻，几乎每周都有强大的新模型问世。今天的嘉宾是为大家深度解读这一趋势的最佳人选之一。
Brian Catanzaro 负责领导英伟达的开源基础模型 (Foundation Models) 家族——Nemotron。并不是所有人都知道，英伟达在构建前沿 AI 模型 (Frontier AI Models) 上投入了巨大心血，聘请了数百名 AI 研究人员。几周前，Nemotron-3 Ultra 一经发布，便迅速登顶美国开源权重模型 (Open-weights Model) 榜首。
我们将从开源 AI 的现状以及中美之间的竞争开启对话。随后，我们将深入探讨 Nemotron 的技术细节，用通俗易懂的语言拆解：4-bit 训练、混合 Mamba Transformer 架构 (Hybrid-Mamba Transformer Architecture)、混合专家模型 (Mixture of Experts, MoE)、多 token预测 (Multi-token Prediction) 以及多教师蒸馏 (Multi-teacher Distillation)。
最后，我们将获得一个难得的视角，一窥现代 AI 研究机构的真实运作方式，看看如何让众多顶尖大脑齐心协力去构建一个大模型，而不是各自去发 100 篇论文。希望大家享受这场与 Brian Catanzaro 的精彩对话。
开源 AI 正在追赶前沿吗？
好的，Brian，很高兴能进行这次访谈。开源领域似乎正迎来标志性的一年。你们英伟达几天前刚刚发布了 Nemotron-3 Ultra，这是一个重要时刻，也是目前美国最强的开源权重模型。紧接着，GLM-5.2 也发布了，这又是一个重要时刻。开源 AI 的发展似乎正在加速。从这里切入是个不错的选择：你如何评估我们目前的现状？目前闭源与开源之间的差距究竟有多大？
布莱恩·卡坦扎罗： 看到大家将如此多的精力投入到开源 AI 技术中，真的令人振奋，因为我们深知，开源技术是推动大众创新的基石。
互联网就是一个绝佳的例子。我们曾经确实有过封闭的互联网——不知道你是否还记得当年的美国在线 (America Online) 和 Prodigy。它们曾红极一时，但开放的互联网才真正创造了奇迹。得益于开源技术，无数企业找到了转型之路。互联网在零售业的应用，与在医疗或制造业的应用截然不同，但所有这些行业都因此经历了彻底的变革。
我相信，AI 同样是一项极具颠覆性的技术，需要在各种不同的场景中去应用。正因如此，我认为开源 AI 技术是真正具有基础性意义的。看到全球那么多不同的组织在持续投资和开发开源 AI 技术，这非常激动人心，我也希望这种势头能保持下去。
主持人Matt： 你认为开源目前落后闭源有多远？过去几年的一大趋势就是这种差距正在不断缩小。你觉得开源已经快追上了，还是闭源模型在不断拉高天花板？
布莱恩·卡坦扎罗： 我觉得这是一个很诱人的问题，因为制造这种竞争对立总是很有趣。但我其实认为，整个 AI 社区都在飞速狂奔。如果你看看过去三个月里 AI 的进展——无论是闭源还是开源——都是令人难以置信的。当你身处一个高速爆发的领域时，这种整体的推进速度，远比不同模型之间可能存在的具体差距更重要。因为最核心的问题是：AI 作为一个整体领域，正在如何向前演进？
主持人Matt： 你认为推动开源 AI 持续进步的驱动力是什么？是社区的力量，是像英伟达这样的大公司在背后支持，还是与中国的全球竞争？究竟是什么在驱动开源 AI 向前发展？
布莱恩·卡坦扎罗： 我认为有很多因素在推动开源 AI 技术的发展。首先就是需求。有太多的组织希望定制 AI，并将其深度整合到自己的业务流程中，这在本质上离不开开源 AI 技术。所以我认为需求是实打实存在的。
其次，这也是开发技术的最佳方式。过去几十年的经验已经证明：在开放环境中开发的技术，迭代速度就是更快，因为我们都能相互学习。
闭源实验室阻断模型蒸馏，会拖慢开源的步伐吗？
在这个我们正亲历有生以来最激动人心的技术变革——AI 的创造与部署——的时代，除了让 AI 变得更强大，计算机科学家们还会想干什么呢？如果社区协作是实现这一目标的最佳途径，那么这本身就是一种驱动力，推动着整个社区走向技术的开放式开发。
主持人Matt： 问一个稍微尖锐点的问题：社区里至少有一部分人怀疑，作为一个整体生态系统的开源界（不特指英伟达），其部分进展是否建立在对闭源模型进行模型蒸馏 (Model Distillation) 的基础之上？在 Anthropic 和 OpenAI 等公司开始限制和阻断蒸馏的当下，你认为开源 AI 的进步速度会不会因此而放缓？
布莱恩·卡坦扎罗： 在我看来，毫无疑问的是，当整个科技界决定对我们这个时代最具颠覆性的技术投入巨资时，必然会带来飞速的进展。同时，这项技术绝不会被一小撮人垄断，因为科技行业根本不是这样运作的。只有当我们能够用自己的方式去思考和应用它时，我们才能发挥出最高水平，创造最大的影响力。
我非常喜欢那些闭源的 AI API，无论是来自 Anthropic 还是其他公司。我觉得它们非常出色，我也对这些实验室所做的工作深表敬意。但它们绝不是世界上仅有的实验室。全球各地有着众多的研究机构，有无数才华横溢的人拥有绝妙的想法。并不是只有少数几个实验室垄断了所有好点子，事实绝非如此。人类社会的运转规律并非如此。这个星球上从来不缺聪明的大脑。
美国正在落后于中国吗？
当然，整个社区都对这项技术高度关注。它显然具有极强的变革性，并且对太多事物产生了深远的影响，所以自然会有很多人想要参与其中。因此，我认为随着时间的推移，我们会看到这种以社区为导向的 AI 开发和部署模式将不断壮大，并被广泛采用。因为纵观人类文明的发展史，我们一贯如此去创造伟大的事物。
主持人Matt： 您认为这种观点在全球范围内同样适用吗？特别是在中国方面，有一种普遍的看法：确实，世界各地有很多人才提出了很棒的想法，然而中国模型的许多进展，是直接受到了闭源模型(closed source models)的启发，或者干脆是通过闭源模型蒸馏(Distillation)生成的。这仅仅是媒体为了煽动情绪而炮制的博眼球言论(rage bait)，还是说作为一名顶尖的 AI 研究员，您其实也对中国涌现出的创新想法印象深刻？
布莱恩·卡坦扎罗： 可能有些与众不同的是，我确实曾在一家中国公司工作过大约两年半。我当时在百度，具体来说是在硅谷人工智能实验室(Silicon Valley AI Lab)，与吴恩达(Andrew Ng)以及达里奥·阿莫代(Dario Amodei)共事。我们当时都在为这家中国公司效力，亲眼见证了百度其他部门的同事是多么聪明、勤奋、富有创造力和创新精神。那段经历至今令我记忆犹新。
我认为，将一个国家的成就完全归结于某种“山寨心态”(copycat mentality)是绝对错误的。这根本不符合事实。当然，在整个科技界，我们会互相学习吗？绝对会。我们时刻都在相互借鉴。
我要说的是，中国 AI 社区对他们的研发成果保持如此开放的态度，这对全世界来说是一件大好事。它让无数公司能够构建出原本无法实现的产品，并推动了整个 AI 生态系统的技术进步。我对中国同行多年来做出的贡献深表感激。
我也非常希望能在中国之外的全球 AI 实验室中鼓励这种开放精神。前阵子 OpenAI 发布 GPT 开源模型(GPT OSS models) 时，我非常兴奋；谷歌在 Gemma 模型上也做得非常出色。看到这些真的令人振奋，我们 NVIDIA 也在积极推进 Nemotron 模型。我认为，世界其他地区有机会在一点上赶上中国——那就是我们能真正理解作为一个社区协同构建 AI 技术的益处，坦率地说，我认为中国在这方面一直处于领先地位。
为什么公司会真正选择开源模型
主持人Matt： 如今客户使用开源模型的理由是什么？它的根本优势在哪里？
布莱恩·卡坦扎罗： 每家公司都是围绕着一个核心机密(secret)建立的。这个机密不仅关乎他们的知识产权，还关乎他们的平台——即他们如何应对问题和与客户互动，以及如何解决客户的需求。一个不变的法则是：当 AI 能够与这些核心机密紧密结合时，它的价值总是最高的，因为 AI 极度依赖数据。因此，输入的数据越有价值，生成的解决方案就越有价值。
现在，每家公司在考虑如何部署 AI 时，都必须评估其对核心机密的影响。在许多情况下，出于商业机密、商业模式考量，甚至监管要求，某些数据依法必须被极其谨慎地处理。当你能够深入思考并亲自实施时，通过审慎考虑 AI 的整合方式、AI 与客户互动的方式以及设立的安全护栏(guardrails)，管理这些数据会好得多。
每家公司对自己的客户都有独到的理解，因此也清楚客户到底需要什么。AI 开源技术的奇妙之处在于，它们允许高度定制化；公司可以深思熟虑地应对这些挑战，并构建出对他们真正重要的东西。
我在对话开始时提到了互联网，以及它在不同行业中的部署方式是如何截然不同的。随着 AI 改变我们在整个经济体系中的工作和娱乐方式，人们也强烈渴望在 AI 领域做到这一点。正是这种渴望，真正激发了对 AI 开源技术的巨大需求。
2008 年的“疯狂”赌注：GPU 上的机器学习
主持人Matt： 我很想深入探讨一下 Nemotron 模型。但在那之前，能不能花几分钟聊聊您的个人经历和背景？您是如何走到今天的，包括在百度的这段插曲(detour)？
布莱恩·卡坦扎罗： 我是在 2008 年加入 NVIDIA 的。当时我还是个研究生，试图摸索人工智能的并行计算，我觉得 NVIDIA 有机会改变计算机处理 AI 的方式。
主持人Matt： 在 2008 年，这想必是一场孤独的探索，对吧？
布莱恩·卡坦扎罗： 哦，那时的局面非常混乱。当时人们都觉得我疯了。我记得 2008 年去参加国际机器学习大会(ICML) 时，我发表了第一篇论文《在 GPU 上训练模型》(Training Models on the GPU)。人们问我为什么会来这儿，他们说这篇论文不适合 ICML，我们这里只搞高深的数学(fancy math)研究。我就说，但我认为算力(computing)对于 AI 来说真的非常重要。如果我们能训练出容量更大、学习能力更强的模型，我们或许就能解决更多问题。听完这番话，他们也就只是敷衍地点了点头。
主持人Matt： 话说回来，GPU 不是也用于游戏的吗？
布莱恩·卡坦扎罗： 哦，对。是的，确实还有这个用途，对吧？我们一直会遇到这种看法。但实际上，GPU 的定义取决于 NVIDIA 怎么说。我们是制造者；所以，GPU 就是我们制造出来为了加速世界上最重要的计算任务的硬件。在 1995 年，这个任务是图形渲染(graphics)。而从很久以前开始到现在，它一直是 AI。
总之，我加入 NVIDIA 研究小组后，做了一些奇怪的事情，比如尝试为 GPU 上的 AI 开发编译器和库。这促成了 Copperhead 的诞生，那是一种能编译成 GPU 代码的 Python 嵌入式语言，我认为它预示了后来 TensorFlow 和 PyTorch 中的许多概念。这随后又催生了 cuDNN 的诞生，这是 NVIDIA 首款用于 GPU 深度学习的产品。
我很享受那项工作，但我一直希望能第一手更直接地了解 AI 的实际应用。在 NVIDIA，我主要从事 AI 库和编译器的开发。因此，当吴恩达(Andrew Ng)邀请我一起去百度建立硅谷人工智能实验室时，我觉得这是一个绝佳的机会，因为即使在那个时候，百度在将 AI 应用于其核心业务方面就已经非常超前了。
那对我来说是一个不可多得的机遇。百度硅谷人工智能实验室是一个了不起的地方，汇聚了群星璀璨且无比勤勉的顶尖人才。
在百度与吴恩达(Andrew Ng)和达里奥·阿莫代(Dario Amodei)共事
主持人Matt： 和年轻时的达里奥共事是什么感觉？当时有没有任何迹象表明他会成为今天这样的一位领军人物？
布莱恩·卡坦扎罗： 达里奥从一开始就才华横溢。我记得当时我作为面试官之一面试了他。那时他还在从事生物信息学(bioinformatics)研究，所以并未涉足深度学习或我们今天所说的 AI 领域。然而，有一点非常明确：他学习速度极快，而且思考极具深度。
我认为我最钦佩达里奥的地方，是他那坚定不移的信念。我在这个领域工作了很长时间，一直坚信 AI 将改变世界，但我认为我的信念不如他那般纯粹和彻底。这或许是因为我在攻读博士期间所接受的学术训练充满了谨慎。
您可能还记得，在 2005 年，AI 被认为是“陈旧且糟糕”的。人们从 1945 年就开始研究它，多年来有过太多最终落空的宏大承诺。因此，我带着强烈的学术谨慎进入 AI 领域，觉得我们应该留有退路(hedge our bets)。事实上，那时候我们通常称之为“机器学习”(machine learning)，这本质上是一种回避(dodge)。我们不想让别人知道我们在搞 AI，因为他们会立刻嗤之以鼻，觉得那根本行不通。
回归 NVIDIA：DLSS 与 Megatron 的诞生
相比之下，达里奥那坚定的信念和对时代的洞察——他敏锐地察觉到技术正在如何演进，并确信这一次 AI 真的会大获成功——是极其卓越的。他在预见这些影响方面，特别是关于应当如何开发这项技术以及构建何种机构，展现出了惊人的远见卓识。与他共事始终是一段充满乐趣的经历。
主持人Matt： 那么后来你回到了英伟达，能为我们梳理一下这段历程吗？
布莱恩·卡坦扎罗： 10年前，确切地说是2016年，黄仁勋（Jensen）给我打电话说：“嘿，你想回来组建一个应用研究实验室吗？”我觉得这是一个绝佳的机会。我一直很喜欢英伟达，喜欢这家公司的工作方式以及它所秉持的信念。
英伟达是一家非常独特的公司，具备极强的长期定力与执行力。我在CUDA上看到了这一点，在深度学习技术上看到了这一点，在光线追踪（Ray Tracing）图形技术以及图形AI技术上也看到了这一点。英伟达一次又一次地证明：它从不畏惧投入五到十年的时间进行研发，只为改变世界。 能在一家拥有如此坚定信念且具备极强执行力的公司工作，对我来说是理想的选择；我非常喜欢公司全力支持研究人员去创造未来的这种氛围。所以，我决定回归。
我参与的第一个项目后来成为了DLSS，听众朋友们可能对它有所耳闻。DLSS是我们的实时图形AI技术，它能让小GPU发挥出大GPU的性能。它的效率大约提升了10倍，因为我们不需要去计算每一帧里每一个像素的颜色，而是利用AI来进行推断。如今，当你开启DLSS玩游戏时，每24个像素中就有23个是由我们的AI模型生成的。玩家们非常喜欢它；它已经成为玩游戏的标配，因为游戏响应更快，画面也更精美。
我们的AI是在离线的大型数据集上训练的，它能够比传统方法更精美地实时渲染图形。我们最近发布了DLSS 5，这是DLSS的全生成版本，我对此感到非常兴奋。它代表了我们在如何让实时图形变得更加精美方面10年研究的结晶。对我而言，这段旅程的核心始终是实时图形AI。
与此同时，我们还启动了一个语言建模（Language Modeling）项目。那是在2017年，当时Transformer架构还没火，语言模型也还没有席卷全球。但结合我以前在百度工作时的见闻，我产生了一种直觉：理解和处理文本将带来更强大的推理能力，而这又将推动AI在各个领域的应用迎来质的飞跃。
于是，我们启动了一个名为Megatron的项目。Megatron意为“最大、最强的Transformer”——这就是我们起名的由来。它本质上是一个系统级项目，旨在向世界展示如何在英伟达的硬件上训练规模最大的Transformer模型。
当时，可能有些听众还记得，曾有人声称训练大型Transformer模型的唯一方法是使用TPU，毕竟Transformer最初是在谷歌发明的。我们非常喜欢那篇关于Transformer的论文，并认为它具有惊人的潜力。我们在自己的语言建模任务上进行了尝试，结果发现它的效果比我们之前使用的RNN要好得多。
我们也立刻敏锐地察觉到，这里面存在着巨大的系统级机遇：通过对GPU、网络以及所有编译器和软件进行协同优化（Co-optimize），可以极大地助力人们扩展基于Transformer的语言模型的规模。我们坚信这必将产生深远的影响。
因此，我们启动了Megatron项目，它帮助整个行业摸索出如何训练超大规模的大语言模型（LLM）。它也为今天的Nemotron项目奠定了基础，即英伟达为自身需求训练其专属的大语言模型。这就是这段历史的由来。
英伟达打造自有模型的真正原因
主持人Matt： 极不平凡的历程。好的，接下来让我们全面探讨一下Nemotron。在深入具体细节之前，有一个您肯定被问过无数次的必然问题：为什么英伟达最初要大费周折地构建模型，并投入巨资打造自己的前沿模型（Frontier Models）家族？
布莱恩·卡坦扎罗： Nemotron承载着两大核心使命。第一大使命是帮助我们理解如何构建未来的计算系统。英伟达是一家加速计算（Accelerated Computing）公司，这意味着我们要从第一性原理（First Principles）出发，去解构世界上最重要的计算难题，并设计出包含大量软件在内的全新系统。这使得人们能够去创造和部署那些依靠传统计算根本无法实现的伟大构想。
但为了做到这一点，英伟达必须极度深刻地理解AI运作的每一个细节。这就是我们要为核心产品线协同设计所有软硬件系统的方式。所以，Nemotron的首要任务，是确保英伟达在这后摩尔定律时代依然能够生存下去，让我们能继续提供具有实质意义的算力加速。如今的加速能力来源于极致的专业化（Specialization），而专业化源于深刻的理解。 这就是Nemotron的第一项使命：帮助英伟达真正懂得如何构建自身的核心产品。
Nemotron的第二大使命是支持整个生态系统。英伟达多年来积累的最宝贵的财富之一，就是全球各地使用英伟达技术来构建和部署惊艳AI应用的开发者社区。我们坚信，英伟达有责任继续提供开放的AI技术来支撑繁荣这个生态。
Nemotron并不奢求成为唯一的开放AI技术。我们张开双臂欢迎所有的AI技术，原因非常纯粹：每一次AI技术的突破和落地，对我们的业务而言都是巨大的机遇。我们在非常刻意地繁荣我们的生态系统，因为这有利于我们的商业发展，但我们绝不想成为这个生态里唯一的技术提供商；我们非常乐见其他公司的贡献。Nemotron第二大使命的核心要义只有一个：确保所有形形色色、大大小小的公司，都能始终具备构建和部署自有AI的能力。
摩尔定律真的终结了吗？
主持人Matt： 顺便问一下，“摩尔定律已死”，这是官方定论了吗？这个定律已经存在很多年了，为什么现在会失效呢？
布莱恩·卡坦扎罗： 你看看半导体制造的进展就知道了。摩尔定律（Moore's Law）最初的立论基础其实是经济账。它的意思是：无论以24个月还是其他时间为周期，我们都有能力以可控的成本，在同一块芯片上塞进两倍数量的晶体管。但时至今日，这种规律已经彻底失效了，而且可能已经失效五到十年了。现在，我们依然在通过各种途径扩展系统的规模。一种简单粗暴的方法就是堆更多的硅片。与此同时，晶体管也确实在继续变得更小、更高效——尽管步伐放缓了——但不可忽视的是，它们的造价也变得越来越昂贵。
因此，在摩尔定律大行其道的时代，构建未来系统的最佳捷径，就是直接把现有的系统工艺制程缩小，然后顺理成章地让晶体管数量或性能翻倍。
但我们身处的当下，由于无法再单纯依靠缩小现有设计来攫取经济红利，我们就必须在如何压榨系统每一个部件的潜力上变得更聪明。
这正是一个“加速计算”比以往任何时候都更具价值的时代。因为从第一性原理出发去审视问题，从晶体管到算法再到上层应用，对一切环节进行极致的协同设计——只为消除算力浪费、提供真正有意义的加速——这种硬核的创新工作，在今天比以往任何时候都更加弥足珍贵。
主持人Matt： 太棒了。回顾一下您刚才的观点，NVIDIA涉足模型业务在商业逻辑上非常合理：第一，它能帮我们设计出更好的芯片；第二，凡是对AI发展有利的，最终都会让NVIDIA受益，这非常合乎逻辑。Nemotron项目是最近才启动的对吧？我记得大概是在2023年。能带我们简单回顾一下它的关键发布节点吗？如果没记错的话，2023年发布了Nemotron-3 8B这个关键版本，还是说我漏掉了什么环节？
布莱恩·卡坦扎罗： 没错。其实版本编号的渊源已经有些无从考证了。我甚至觉得我们就像身处《指环王》（Lord of the Rings）里，正在古老的矿井中挖掘某种远古遗迹。
那是很久以前的事了。我们最初的模型——也就是初代的Nemotron 1——其实是我们与微软（Microsoft）合作的项目。我们在GPT-3时代（大约2021年）联合训练了一个5300亿（530 billion）参数的模型。
当时我们叫它Megatron-Turing NLG。Turing（图灵）是微软当时对其语言模型研发项目的命名。
回过头来看，我们将那个版本称为Nemotron 1。在随后的发展中，我们又构建了几个版本，一直迭代到了Nemotron 3。后来Llama问世了，我们感到非常兴奋，也很高兴Meta能够支持开放的AI技术生态。于是，我们开始将自家的语言模型技术融入到Llama模型中，由此诞生了Llama Nemotron 1。那是首个基于Llama构建的推理模型（Reasoning Model），我们对此感到非常自豪。
主持人Matt： 那是2025年的事吧？
布莱恩·卡坦扎罗： 我觉得应该是2024年，具体记不太清了，大概就是那个时候。之后我们继续进行开发。然后，版本编号逻辑又重新开始计算了。我记得去年我们发布了Nemotron 2，紧接着又推出了Nemotron 3。
因为我们需要引入混合专家模型（MoE，Mixture of Experts）支持。Nemotron 2不支持MoE，这使得它在面对像GPT-OSS 20B这样凭借MoE实现极速响应的模型时，显得缺乏竞争力。所以我们决定：“不行，必须把MoE加进去。”于是这就成了Nemotron 3。
现在我们面临一个略微尴尬的局面，因为我们正在研发Nemotron-4，对吧？但其实我们在2024年已经发布过一个名为Nemotron-4的3400亿（340B）参数模型。我不太确定该如何解决这个营销难题，毕竟这麻烦不是我制造的。但我会尽力向大家澄清：未来即将发布的那个Nemotron-4，与2024年版的Nemotron-4是完全不同的。
无论如何，我们在这个领域已经深耕多年。我认为，比任何具体的模型代际更重要的，是NVIDIA对开发这些模型所持有的坚定、持续的承诺。 我们坚持做这件事已经有一段时间了，并且我认为我们的模型在过去一年中变得实用得多，这主要归结于两点原因：
首先，整个公司凝聚成了一股合力。NVIDIA内部的许多团队现在都深刻意识到这对于公司未来有多么重要，因此，有更多的人才和更卓越的创意涌入了Nemotron项目。
其次，伴随这种共识，我们成功扩展了投入其中的算力资源（Compute Resources）。显然，拥有优秀的计算基础设施对构建AI至关重要。我们最近大幅增加了投资，因为我们坚信这是通往公司未来的关键钥匙。
主持人Matt： 太令人着迷了。
布莱恩·卡坦扎罗： 顺着刚才的思路再说一点，我认为让大家知道我们长期深耕此道非常重要。我们正在大幅增加投资。NVIDIA是一家言出必行的公司：我们曾用十多年的时间让CUDA落地生根，如今，我们正以同样的恒心浇灌Nemotron。
主持人Matt： 您的分享非常有价值。因为我认为外界才刚刚意识到，原来一直有一股非常强大的开源前沿AI（Frontier AI）研究力量在默默耕耘。听到这种演进历程真的很有趣。现在有这样一个模型家族，我们稍后会详细讨论。另一个重要的时间节点似乎是三个月前，也就是今年三月，成立了Nemotron联盟（Nemotron Coalition）。您能简单解释一下那是什么吗？
布莱恩·卡坦扎罗： Nemotron的存在是为了支持整个生态系统。我们当时在想，这与行业内的其他AI项目截然不同，对吧？因为我们根本不是想称霸行业，我们只是想提供支持；我们不想控制AI在各家公司的落地方式，我们只想确保大家都能用上优秀的AI。
我们认为，如果能在开发过程中与大家携手共创，那么这个模型对他们会更有用，集成起来也更轻松，因为我们从一开始就将他们的需求考虑在内了。
而且，Nemotron始终秉持协作精神。刚才我也提到，很久以前，我们训练的第一个大模型就是与微软合作完成的。那是NVIDIA和微软的研究人员并肩作战的结晶。我认为那次合作最终实现了双赢，我们双方都从那次经验中获益匪浅。
所以，既然Nemotron的目标不是与同行竞争，而是支持他们，而且反正我们最终都要将其开源，那为什么不在它建好之前就开始合作呢？与其让Nemotron成为NVIDIA闭门造车、直接扔到网上然后说“嘿，来试试这个，我们觉得挺不错”的项目，不如我们从一开始就确保它确实契合那些感兴趣的合作伙伴的需求。我们甚至可以在Nemotron成型之前就与他们合作，融入他们想引入的任何反馈、评估标准（Evaluations）、运行环境、基准测试（Benchmarks）或其他各类技术。
事实证明，在整个生态系统中，有很多公司真心渴望开源模型能够取得成功。因此，出于自身的根本利益，他们有强大的动力去确保开源技术保持卓越。既然如此，我们为何不与他们并肩同行，让他们以自己喜欢的方式，共同将Nemotron打造得更加完美呢？
Nemotron家族：Nano、Super、Ultra
这就是Nemotron联盟（Nemotron Coalition）背后的核心理念。它不是一个排他性的联盟，我们并不奢求成为市面上唯一的模型。所有与我们合作的公司都可以自由地以他们认为最合适的方式继续自己的业务。然而，这些公司之所以愿意与我们合作，是因为他们希望确保AI的开源技术能够持续高速发展，并且希望自己有机会去影响这一进程的走向。
主持人Matt： 太棒了。Nemotron家族的现状如何？你们有Nano、Super和Ultra这几个版本。这些模型分别能做什么？它们各自的应用场景（Use Cases）是什么？
布莱恩·卡坦扎罗： Nano是一个总参数300亿（30 billion）、激活参数30亿（3 billion active parameter）的模型；Super的总参数是1200亿（120 billion），激活参数120亿（12 billion）；Ultra则是总参数5500亿（550 billion），激活参数550亿（55 billion）。它们旨在适配小型、中型和大型三种部署场景。对于不需要海量知识或复杂推理的任务，Nano已经完全胜任；但如果面对要求最苛刻的应用场景，那就非Ultra莫属了。
在很多方面，Super是我们最受欢迎的模型，因为它在成本和智能之间找到了极佳的平衡点。我们非常青睐这种“小、中、大”的模型家族构建策略，因为我们的客户对此反响极其热烈。
从NVIDIA的视角来看，人们使用大语言模型（LLM）最重要的方向就是智能体（Agents）。构建智能体工作流（Agentic Workflows）——让智能体全天候为你代劳、为你解决问题——这无疑是我们应对未来挑战的一种极其振奋人心的方式。 打造在这一领域大放异彩的Nemotron，正是我们的终极梦想与目标。
为智能体而生：NVIDIA为何押注速度
主持人Matt： 让我们深入探讨一下，从宏观层面来看，Nemotron 系列主要专注于智能体推理（Agentic Reasoning），并特别强调计算效率。这样概括准确吗？
布莱恩·卡坦扎罗： 没错。Nemotron 始终采取“速度优先”的模型构建路径，因为 NVIDIA 本质上是一家加速计算公司。正如我刚才提到的，我们正试图从第一性原理（First Principles）出发，从计算层面彻底思考这个问题。
Nemotron 3 系列包含许多令我们引以为傲的成果。例如，Nemotron Ultra 和 Super 就是使用 4 位（4-bit）精度进行预训练的。
如何以 4 位精度训练 550B 模型
我们使用 NVFP4 格式对这些模型进行了预训练，这绝非易事。为了让模型在使用如此低精度的计算（Coarse Arithmetic）时能够收敛并达到卓越的效果，我们在算法层面进行了大量创新。对此我们感到非常自豪。
主持人Matt： 能否为听众们科普一下，4 位与 16 位精度之间的区别？
布莱恩·卡坦扎罗： 事实上，昨天我在 Hacker News 上看到一篇精彩的帖子。那个工具能让你上传一张图片并进行色调分离（Posterize），通过减少颜色数量来适配包括 NVFP4、MXFP8 在内的各种数字格式。你可以滑动屏幕对比查看对图片色彩的影响，效果非常震撼。4 位（4-bit）的数据量极小，只能表示 16 个数值。
当然，这些被称为块缩放格式（Block-scaled Formats），意味着一组数值还会共享一个 8 位（8-bit）的缩放因子。具体的实现细节可能相当复杂，大家不必深究。我们之所以大力推进这项技术，首先是因为这些格式在我们的 GPU 上（特别是在 Blackwell Ultra 架构上）能带来成倍增长的吞吐量；其次，我们深知这将节省惊人的能源。
思考 AI 计算问题的一个核心视角是：我们终将逼近计算的极限。 无论这个极限是什么——可能是经济极限，比如我们只有数十亿美元（Billion Dollars）来购买服务器；也可能是功耗极限，比如我们仅能负担得起几吉瓦（Gigawatts）的电力来训练模型——我们都终将触及那条边界。每个组织都会面临这种境况，因为智能的价值无法估量，这使得人们坚信所有的投入都物超所值。
既然接受了我们将运行在极限之上的事实，那么获得更多智能的唯一途径就是提升效率。既然已经触及极限，我们就无法通过大力出奇迹来获取更多智能，而必须对现有资源精打细算。 4 位数字格式在数据传输时的成本极低，且占用的内存空间更小。
当数据在内存、芯片内部或芯片之间移动时，它们消耗的皮焦耳（Picojoules）微乎其微；进行计算时的能耗也大幅降低。这就是驱动行业大举投资 4 位格式的核心动力。
如今，用于模型部署的 4 位格式已经非常成熟。直接创建一个高质量的量化 4 位权重（Quantized 4-bit Checkpoint）用于部署非常简单，这在推理成本和速度上带来了巨大优势。
然而，将 4 位格式用于预训练却要困难得多。因为数值优化器（Numeric Solver）在优化权重时极其敏感，如果数值处理不当，模型就会发散（Diverge）。一旦发散，预训练不仅功亏一篑，还会导致整个任务报废，这始终是个让人头疼的问题。
我们付出了大量的创新努力，才成功实现了在 4 位精度下对 Nemotron 进行预训练，我们对此非常骄傲。
极简解析混合 Mamba-Transformer 架构
主持人Matt： 很好。那么，接下来我们聊点稍微硬核的技术话题。Nemotron 采用的是混合架构，对吗？它是 Transformer 和 Mamba 状态空间模型（Mamba State-Space Model）的结合，这是一种相对新颖的架构。能为我们讲解一下吗？
布莱恩·卡坦扎罗： 是的。我们在 2024 年发表的一篇论文中证明，将状态空间模型与 Transformer 结合，确实能孕育出更聪明的模型。我们通过参数搜索（Sweep），测试了全注意力机制（Full Attention）和状态空间模型在网络中究竟各占多大比例才能获得最低的困惑度（Perplexity）——也就是如何打造出最完美的语言模型。结果发现：模型最好以状态空间为主，同时辅以少量的注意力机制。
其背后的直觉是：状态空间模型在对长序列进行直观、印象式的全局理解上表现更佳。因为它们不会像全注意力机制那样随机访问整个序列，而是将每一步的信息都汇总到一个固定大小的缓存（Constant Cache）或“草稿本”中，将整个序列压缩进恒定空间（Constant Space）。这种约束机制，反而在处理需要全局理解的任务时，让它们变得更聪明。
另一方面，全注意力机制的杀手锏在于可以极其精准地提取特定信息。它不会遗漏任何细节，不存在有损压缩（Lossy Compression），模型能纵览全局。我们发现，将这两者双剑合璧，效果远超单打独斗。这甚至与速度优势无关，纯粹是因为模型变得更聪明了。
自从我们发表那项研究以来，许多其他实验室也得出了同样的结论。如今，越来越多的模型开始采用混合 SSM（状态空间模型）架构。例如 Qwen 就有过这类尝试，而 Kimi 目前也在使用他们所谓的“Kimi 线性注意力（Kimi Linear Attention）”。采用某种状态空间模型与全注意力机制相结合的方式作为基础架构（Base Architecture），已经成为行业内的广泛共识。
此外，这种架构还能带来速度上的巨大优势。因为维持状态空间缓存所需的内存大小与序列长度无关（Constant with respect to your sequence length），这意味着在训练和推理时，极低的内存占用允许 GPU 容纳更大的批次（Batches）。它能让 GPU 始终保持满载的高负荷运转，从而带来极其关键的效率飞跃。
混合专家模型（MoE）——以及为何 NVIDIA 围绕它构建 NVL72
主持人Matt： 这些模型同样基于 MOE（混合专家模型，Mixture of Experts）架构。请为我们详细介绍一下，并给听众们简单科普一下 MOE 究竟是什么。
布莱恩·卡坦扎罗： 混合专家模型本质上是利用了神经网络的稀疏性（Sparsity）。它的核心逻辑是：你想用整个互联网的数据来训练一个模型，希望它上知天文下知地理。但在回答某个特定问题时，它真的需要调动“整个宇宙”的知识库来思考吗？这显然不合常理。 实际上，为了解决一个具体问题，我们通常只需要让语言模型在一个极小的思维空间中进行探索。
我们希望模型能够汲取全宇宙的知识，通过预训练让它无所不知。但在实际推理运行时，它并不需要时刻唤醒所有记忆。虽然业界对利用稀疏性进行过多种尝试，但混合专家模型（MoE）无疑是最成功的一条路。
它的工作机制是：神经网络中包含一个“可学习的路由器（Learned Router）”。对于流经模型每一层的每一个词元（Token），这个路由器会决定将激活值（Activations）发送给众多专家网络中的哪一小撮。当我们试图理解问题、构建问题的表征（Representations）并最终生成下一个词元时，路由器会精准决策，只挑选模型中最合适的那一部分来参与计算。
主持人Matt： 这有点像是我有一家拥有 550 名员工的公司，其中 55 名是工程师。如果我要开一个工程会议，我只希望这 55 名专业人员参加，而不是把全公司的人都叫来。
布莱恩·卡坦扎罗： 没错。你也可以把它想象成一个图书馆。去图书馆做研究时，你不会把馆里的书都读遍。你的首要任务是搞清楚，为了解答你的问题，到底需要翻阅哪些书。这其实就是混合专家模型(Mixture of Experts, MOE)背后的核心理念。
如今，MOE 对我们构建的系统产生了极其深远的影响。以 Blackwell 为例，NVIDIA 在 MOE 上可以说是全力以赴。这也是我们打造 NVL72 的原因，它允许最多 72 个 GPU 以极高的速度和极低的延迟相互读写内存。
这为什么重要？因为当 token(词元) 穿过网络层叠时，每一层都有一个路由器将它路由到其他地方。我们为什么不将专家进行分区呢？不要让所有专家都挤在每一个 GPU 上，而是给每个 GPU 分配一部分专家。这样一来，当 token 在网络中向前推进时，你就可以在 GPU 之间非常动态地路由这些 token。
提前预测 token 的去向是不可能的，因为这完全取决于特定模型中的那个特定 token。这就是我们构建 NVL72 的原因，也是 Blackwell 在应对当今 AI 模型推理时表现得如此惊艳的原因——因为我们在构建它时，对混合专家模型进行了极其深刻的思考。
这也印证了 NeMo 的首要使命。如果我们没有一直致力于深入理解 AI，就不可能打造出如此出色的 Blackwell。这种深刻理解直接促成了 Blackwell 部署量的攀升，我们对此感到非常兴奋。
主持人Matt： 你刚才描述的是所谓的隐式混合专家模型(Latent MOE)吗？还是另一个不同的概念？
布莱恩·卡坦扎罗： 隐式混合专家模型(Latent MOE)是我们在 Nemotron-3 系列中实现的一项特定创新。它的主要作用是通过对数据进行向下投影，有效减少在 MOE 计算过程中必须通过 NVLink 发送的通信量。
每个 token 都会生成一个向量。我们的核心思路是：拿到这个向量，学习出一种压缩它的方法，将这种压缩后的表征通过网络传输，然后在另一端进行解压缩。
这样一来，我们不仅节省了网络带宽，还能在相同的推理成本下，获得 4 倍的专家数量。你可以把它想象成我们的图书馆容量扩大了 4 倍——得益于这项创新，我们能以同样的推理成本去阅读 4 倍的书籍。
主持人Matt： 总体来看，MOE 正在成为前沿 AI(Frontier AI)的默认架构吗？
布莱恩·卡坦扎罗： 是的，我认为在很长一段时间里，MOE 已经是前沿 AI 的默认选择了。它在推理成本和智能水平之间找到了绝佳的平衡点。
主持人Matt： 很好，很好。
为什么 100 万 Token 的上下文窗口至关重要
布莱恩·卡坦扎罗： 但它们也有短板，那就是极其耗费内存。如果你的内存非常有限，稠密模型(Dense Model)反而会表现得更智能。此外，它们往往在两种极端情况下表现最好：要么批大小(batch size)为 1，也就是说你基本上只在跑一个单任务；要么你运营着一个巨大的数据中心，有无穷无尽的查询涌入。但在中间地带，MOE 处理起来就会比较棘手。
主持人Matt： Nemotron-3 Ultra 的另一个重要特性是 100 万 token 的长上下文窗口(long context window)。在整体架构中，它的重要性体现在哪里？它赋予了模型哪些新能力？
布莱恩·卡坦扎罗：上下文越长，我们能用大语言模型解决的问题就越具挑战性。 这使我们能够在用户的查询(query)后面附加各种海量信息，比如整个代码库或极其详尽的指令。长远来看，我希望自己能拥有一个个人专属的大型语言模型(LLM)，它可以读完我所有的电子邮件，并帮我解答相关的问题。归根结底，我们能为特定的查询附加的信息越多，这个模型带来的价值就越大。
然而，对海量输入数据进行推理的成本也会水涨船高。这也是为什么上下文长度通常会存在上限的原因之一。
但在开发 Nemotron-3 时，我们试图将这个极限推向极致。我们相信，100 万 token 是一个极具分量的容量级别，借助它，你可以成就许多不可思议的事情。
主持人Matt： 想必这对多步骤的智能体工作流(agentic workflows)特别有帮助。同时，业内还有一个关于上下文压缩(context compaction)的独立讨论，目的在于确保模型不会在过多的 token 中迷失方向。那么，你们是如何看待这个问题的？
布莱恩·卡坦扎罗： 完全同意。如果你在使用智能体工作流，上下文压缩就是你时刻都在打交道的事情。压缩通常效果还不错，因为语言模型在提取最相关信息并进行摘要方面已经非常在行了。当你压缩上下文时，本质上就是在做摘要。所以，压缩绝对是一个好方法。但我认为，如果一个模型能够原生(natively)推理海量数据，它在本质上就会具有更大的用处。 因此，我们当然也希望在这个方向上不断突破边界。
多 Token 预测：模型如何一次性预测 5 个 Token
主持人Matt： 太好了。你能谈谈多 Token 预测(multi-token prediction)吗？这也是一个非常有趣的话题。
布莱恩·卡坦扎罗： 如果你在较小的批大小下运行模型——通常是为了获得最高的交互性——比如在数据中心，你希望模型能以最快的速度响应，哪怕成本稍微高一点也无所谓。你的单 token 成本可能会更高，但你要的就是最极致的速度。或者在本地运行时，你可能只是因为自己在使用，所以将批大小设定为 1。
事实证明，GPU 其实还有很多闲置的额外执行能力。在这些场景下，模型运行的大部分工作实际上都是在从内存中读取权重。你把 token 推过这些权重，然后再从内存里去取更多的权重。但后来我们发现，即便你让 2 个甚至 5 个 token 同时穿过同一批权重，所花费的时间也基本相同。因为真正昂贵的操作并不是“把 token 推过权重”的数学运算，而是从内存中把这海量的权重参数一个个读出来。
多 Token 预测的巧思就在于利用了这一点，让模型一次性预测出多个 token。假设模型一次预测 5 个 token。我们确信第 1 个 token 是正确的，但随后的 4 个 token 未必全对。于是，在下一轮前向传播(forward pass)中，我们将这 4 个 token 塞进模型跑一遍。运算结束后，模型又会预测出新的一组 token，此时我们就可以检验上一轮额外预测的 token 是否正确。如果对了，我们直接采纳，从而获得了 4 倍的速度提升！如果错了，我们就只保留正确的那部分，然后从那里继续。
这样做最大的好处在于：它完全不会牺牲准确率，因为你实质上是用模型本身做了双重校验。 所有这些推测性的预测，都会在你推下一个 token 时得到严密的验证。
因此，开启多 Token 预测完全不会拉低你的准确率，却能实打实地带来速度的飞跃。这是一种基于概率的提升，主要取决于你的预测器(predictor)的接受率(acceptance rate)：你的预测器越精准，接受率就越高，你获得的加速比就越大。对于我们最新推出的 Nemotron 模型，我们对其接受率感到非常自豪，当然，我们也在不遗余力地去优化和提升这个比率。
这是展现加速计算魅力的一个绝佳范例。在多 Token 预测的加持下，你获得的速度成为了模型准确率的函数：你的模型越聪明，它的推理就越快，推理成本也就越低。 计算通常不是这么玩的，但在这种架构下，这就是现实。
这意味着，如果 NVIDIA 想要为世界上最重要的计算工作负载提供真正有意义的加速，这就必须成为我们战略的核心。如果推理——作为 2026 年最核心的计算工作负载——能够实现 3 倍的降本提速，而这恰恰取决于多 Token 预测网络的精准度，那么这就是 NVIDIA 必须刻骨铭心去理解的东西，因为它将直接决定我们业务的未来。
多教师蒸馏(Multi-teacher distillation)：集众家之长教导一个模型
主持人Matt： 太有意思了。我们继续刚才的话题，来谈谈多教师蒸馏（Multi-teacher Distillation），前面我们也稍微提到过蒸馏。那么在 Nemotron 3 的语境下，这是什么意思呢？
布莱恩·卡坦扎罗： 在 Nemotron 3 Ultra 中，我们使用了多领域同策略蒸馏（Multi-domain On-policy Distillation, MOPD）来进行后训练（Post-training）。这意味着我们希望在许多不同的维度上提升模型。例如，科学理解不同于数学定理证明，也不同于编程，更不同于智能体交互（Agent Harness Interactions）。在 Nemotron 3 中，我想我们大概有 10 到 15 个这样的教师模型。
核心思路是：将这些教师模型在特定的领域能力推向极致。你不需要让一个模型无所不能，只需让它在某一个领域极其聪明。然后，你把这群专家模型集合起来，去打造一个集大成者的全能模型。我们就是利用现在许多实验室都在用的 MOPD 强化学习技术来实现这一点的。
这种方法的好处在于，因为有教师模型在监督，它们能给学生模型提供极其密集的奖励信号（Dense Rewards）。基本上，每一个 Token 都受到了监督，这让学生模型能够飞速学习，最终在所有任务上都变得和那些教师模型一样出色。
除了技术性能的提升，这种方法还能让团队更好地协同作战。如果没有这种技术，当 500 个人同时去改进一个模型时，可能会出现一个团队专注一个方面，而另一个团队专注另一个方面的情况。这很容易演变成一场“拔河比赛”，你必须决定谁输谁赢，而这会让落选的团队觉得自己的工作毫无意义。
在 2026 年，构建 AI 的挑战之一，就是弄清楚如何让人们进行高效协作，毕竟大家最终是在共同打造同一件产品。因此，这项技术在推动团队协作、让 Nemotron 变得更强大的过程中，发挥了至关重要的作用。
主持人Matt： 太有意思了。所以这既是一个技术问题，同样也是一个组织架构的问题。
布莱恩·卡坦扎罗： 完全正确。
主持人Matt： 太棒了。我们先在这个话题上留个悬念，稍后再回到这个引人入胜的话题。
就你刚才提到的后训练（Post-training）而言，你们在 Nemotron 项目中做的一件非常激动人心的事情就是开源了训练数据。这是否包含了用于强化学习（Reinforcement Learning）任务的行业特定数据？
布莱恩·卡坦扎罗： 是的。
主持人Matt：
这正是今天这场对话的美妙之处，你可以在这里开诚布公地谈论这些事情。那么，大家都是从哪里获取这些用于后训练、专注于强化学习的数据呢？
显然，当今业界关注的一个核心问题是，大语言模型（LLM）或 AI 系统已经在编程和数学领域表现得极为出色，而下一个重大悬念是：它们能否在法律、咨询等千行百业中同样出类拔萃？在那些闭源模型的“黑盒”里，人们究竟是如何做到这一切的？数据又是从何而来的？在可以公开的范围内，我非常好奇你们是如何开展这方面工作的？
布莱恩·卡坦扎罗： 这个问题并不好回答，因为它非常复杂。但我可以说，我们主要依赖几个方面。首先，我们确实会向那些专门构建商业数据集的公司购买数据。只要我们拥有再分发或开源这些数据的权利，我们就会将它们作为 Nemotron 数据开源计划的一部分公布出来。
在 Nemotron 项目上，我们正尽可能毫无保留地开源数据，因为我们的愿景是赋能整个生态系统，而不是做一枝独秀的孤岛模型。当我们听到业界其他模型也在使用我们的数据集来变得更加强大时，我们由衷地感到高兴，因为这意味着我们成功履行了让整个生态系统繁荣生长的使命。
另外，我们也是合成数据（Synthetic Data）生成的坚定践行者。我们调用了庞大的算力，在自有系统上运行语言模型来生成合成数据，以此来帮助我们的模型更好地解决特定领域的问题。同时，我们也开源了其中大量的合成数据。
当然，这一过程绝非易事。AI 的铁律永远是“垃圾进，垃圾出（Garbage in, garbage out）”。你必须下足苦工，去确保你创造的任何合成数据都能产生切实的价值——真正帮助模型实现泛化，并更智能地去解决问题。这些就是我们构建数据集的主要途径。
强化学习的下一步走向
主持人Matt： 既然我们聊到了不同领域的后训练（Post-training）和强化学习（RL），我很好奇你对模型泛化能力接下来的发展有何看法。接着我刚才的话题，整个行业似乎正在从编程和数学这些具有可验证奖励（Verifiable Rewards）的领域，大步迈向各种不同的新行业。你认为这会是未来的大势所趋吗？整个 AI 行业能否像攻克编程和数学那样，高效地拿下接下来的几个新领域？
布莱恩·卡坦扎罗： 编程确实非常特殊，因为它本身就是一项创造了巨大经济价值的高智力活动。这意味着我们不仅拥有海量的 Token 可以用来学习，还拥有成熟的工具链来验证我们的模型是否真正解决了问题。因此，编程在我们心中始终占据着不可替代的位置。正是因为这种特殊的联系，我认为 AI 在编程领域的能力还会持续实现突飞猛进。
至于其他领域，真正让我感到兴奋的是，AI 将在强化学习的过程中接触到更加多元化的学习环境。我坚信这一点。
强化学习是一种教导 AI 解决问题的极其通用的方式，而我们才刚刚开始摸索它的应用场景。我认为，随着模型所处的环境变得越来越精密复杂，AI 会对其有了更深刻的理解——
走进 NVIDIA 研发部门：“使命即老板”
——它会更深刻地理解试图解决的问题本身，以及它所采取行动的潜在影响，从而在实际解决这些问题时变得更加游刃有余。综合来看，当我们审视目前所使用的训练环境时，它们仍然相当初级。我认为在未来几年里，这些环境必将变得极其复杂和多样化。
主持人Matt： 好的，你刚才提到了要让 500 个人协同工作，我当时就说我们会再回到这个话题，因为这太有趣了。那么我们稍微退一步，能为我们介绍一下 NVIDIA 的研发组织架构吗？它的结构是怎样的？这一切是如何运转的？
布莱恩·卡坦扎罗： 实际上，NVIDIA 并不是死板地按照组织架构图来运作的。我们确实有一张架构图，但这并非理解我们工作方式的最佳视角。举个例子，我的团队并不隶属于官方的 NVIDIA 研发部门；实际上，我们是构建 GPU 那个部门的一部分。
构建 Nemotron 的绝不仅仅是一个团队。全公司大概有 10 个团队都深度参与其中，包括企业软件部、AI 软件部，甚至是 NVIDIA 真正负责设计 GPU 的那个部门。正是因为有如此多不同的团队需要并肩作战，我们常说“使命即老板（The mission is the boss）”，而不是“组织即老板”。
然而，这也意味着大家必须自行摸索出合作之道，这是一项极大的挑战，因为人类天生就是极具部落属性的生物。对于不太了解的人，我们很难做到一见如故；对于过去没有过成功合作经验的同事，我们也很难立刻倾注信任，这都是人之常情。
实际上，Nemotron 这个名字就完美印证了这一点。我们本来有负责构建 AI 软件的 Nemo 团队，还有主要专注构建大语言模型系统研究的 Megatron 团队。后来，我们决定打破壁垒、携手合作，并开始将我们的项目命名为 Nemotron，以此来彰显团队之间的强强联合。
从那时起，Nemotron 的规模迎来了爆发式增长。有太多的团队加入到这项事业中来。我们在 NVIDIA 内部采用这种开放式的组织架构至关重要；我们正向全公司的志愿者发出邀请，呼吁大家一起来协助构建 NVIDIA 的 AI。我们深信，这对公司的未来具有极其深远的意义；而随着这一愿景的不断铺开，越来越多的人渴望加入其中。这简直太棒了，我们对此感到无比振奋。
这意味着，我们必须精心组织好工作流程，让每个人都有机会贡献力量，让每个人的声音都能被倾听，并确保在创造影响力的征途中，每一个想法都能得到公正的评估。为此，我们建立了一套正式流程：我们搭建了一个内部网站供大家分享创意，随后，这些想法会被分配给 25 位负责 Nemotron 不同构建环节的领导者。他们会对这些创意进行评估与互动；有些金点子会被进一步深度开发，而另一些则会被暂时搁置，留到下一轮构建新模型时再去考量。
但我们正努力以一种开放、包容的方式来构建 Nemotron，这样全公司才能真正凝聚在一起共同打造它。我认为，懂得如何协作构建人工智能的组织才能走向成功。那些在“谁拥有人工智能”上争夺控制权的组织，往往会白费大量心血。 因此，我认为 NVIDIA 和 Nemotron 的成功，与我们的协作能力成正比。这也是我深切关注的事情。
NVIDIA 如何决定谁能获得 GPU
主持人Matt： 太棒了。但你之前提到，尽管你身处无可争议的 GPU 行业霸主企业，但作为一个研究机构，你们也无法拥有世界上所有想要的 GPU。那么，GPU 和算力究竟是如何分配的呢？是基于一个想法的发展前景，还是基于早期的成功？你们会根据项目的成败来分配或收回 GPU 吗？
布莱恩·卡坦扎罗： 这是一个非常复杂的问题，显然，如何分配算力也是整个行业每个人都在头疼的难题。在 Nemotron 团队内部，我们有自己的预算，我们会根据对项目需求的评估来分配算力。
我们有一套层级体系：我们设立了一系列项目群（Programs），每个项目群下又有若干具体项目（Projects），各个项目都会提出自己的资源请求。我们以两周为一个周期，对这些请求和预算进行审查，然后通过层级化的方式做出算力分配的决定。
话虽如此，我认为我们在这方面仍有改进的空间。做出这些决定非常困难，因为每一位研究员都坚信，只要给他们的想法多分配一千倍的 GPU，就能改变世界。他们或许是对的，这完全可能是事实。然而，我们的运转已经达到了极限。我们不可能为每一个想法都提供一千倍的 GPU，我们必须在现实的约束下开展工作。
这是一个充满挑战的过程，因此我们尽量吸纳尽可能多的视角，以确保哪怕无法达成完全一致，大家也能建立起共识。有时一个项目团队会觉得他们理应获得更多 GPU，因为潜在的影响力会很大，但最终却未能如愿。在这种情况下，我们希望他们能理解，为什么在这一轮分配中其他项目获得了优先权，至少让大家明白我们决策背后的逻辑。
话虽如此，这个流程仍在不断完善中。要让它变得更加透明和公平，我们还有很多工作要做。当然，我的首要目标还是争取更多的 GPU，这样我们就能资助更多的项目，这也是我非常想做的事情。
主持人Matt： 你如何平衡有实用价值的研究与伟大的探索性研究？
布莱恩·卡坦扎罗： 我的信念是，研究需要靠“自举” (Bootstrapping) 来推进。研究就是一个“先有鸡还是先有蛋”的问题。每一位研究员都笃定，如果能获得更多资源，自己的想法就能改变世界。事实上，研究员有这种自信至关重要，因为如果你没有这种信念，你就无法拥有做出疯狂创举的决心。所以，你必须心怀信仰。
但问题在于，你如何将这种信念转化为别人能听懂、且愿意为你投资的东西？这就是我所说的“先有鸡还是先有蛋”的问题。一旦你的研究理念显而易见地优秀且极具影响力，获取资源自然轻而易举。但在这之前，在没有资源支撑的情况下，你该如何证明它的优秀与潜力？
解决这个问题的办法就是“自举” (Bootstrapping)。这是一种迭代式的解题思路：你先做一个小尝试，获得一些积极的信号，证明这是一个好主意，然后把它展示给大家看。接着，你再申请稍微多一点的资源。如果大家看到你的实验结果很好、很吸引人，他们很可能会同意你再往前推进一小步。这样，你就步入正轨了。
随着时间的推移，只要你频繁、快速且大量地进行迭代，你就能通过“自举”的方式，为你的想法争取到可观的资源。通常，这也沿途吸引更多的人加入，因为他们看到了这个想法改变世界的潜力，并渴望成为其中的一员。
主持人Matt： NVIDIA 多年来的那些“登月项目” (Moonshots)，无论是 AI 还是其他领域，也是这样起步的吗？也就是说，它们是自下而上的，由某个人提出了好点子，而不是由黄仁勋 (Jensen) 自上而下指派说“这是我们必须做的”？
布莱恩·卡坦扎罗： 实际上，黄仁勋 (Jensen) 也有很多绝妙的想法，公司对他的想法响应非常迅速，这一点同样重要。但他总是反复强调，这是一家由“志愿者”组成的公司。我们每个人出现在这里，都是出于自身的选择；我们本可以去过另一种人生，但我们选择了这里。
正因如此，在做决策时——尤其是在早期研究阶段——我们非常倾向于自下而上。这就像是一种邀请：带上你最棒的想法，让我们一起来评估其中最出色的，然后以此为起点向前迈进。
那么，我们是否有过对公司战略至关重要的自上而下的决策？当然有。NVFP4 预训练就是其中之一。领导层决定我们将大力投资 FP4 硬件。于是，是时候去发明一些能够成功利用该硬件的优化算法了。我们告诉团队，这里有一个绝佳的机遇和一项巨额投资，如果我们能攻克它，对公司将意义非凡。我们并没有强迫他们一定要做，而是让对此感兴趣的人主动参与，最终我们大获成功。
所以，这是一种自下而上与自上而下的平衡，但它始终带着一种“自举” (Bootstrapping) 的色彩。即便像 NVFP4 这样具有重大战略意义、自上而下发起的项目，其具体的技术解决方案——它极其复杂、精密且包含许多动态环节——也是由研究员们自己构思出来的。
这就是我的信念：研究始终源于研究员本身。你不能按图索骥地教研究员如何解决问题，因为那不叫研究，那叫工程。 在 AI 时代，我们亟待解决的最核心问题都带有研究性质，如果不给予研究员创新的自由，我们就无法取得实质性的进展。
为什么 NVIDIA 在 33 年后依然充满创业精神
主持人Matt： 听了你的分享，让我深感震撼的是 NVIDIA 至今依然保持着极强的创业文化。这毕竟是一家大公司，所以我确信内部肯定也有办公室政治，你之前也提到了“部落本能” (Tribal instincts)。我确信这些现象都存在，但考虑到公司成立之久、取得的辉煌成就，以及内部员工早已获得了丰厚的财富回报，它看起来依然非常具有创业精神、由自下而上驱动，且唯才是举 (Meritocratic)。我的这个理解对吗？
布莱恩·卡坦扎罗： 是的，NVIDIA 有一点非常不同寻常，那就是其领导层的任期。黄仁勋 (Jensen Huang) 执掌这家公司已经 33 年了，但他并不是孤军奋战。公司里还有许多非常资深的领导者，包括我的老板在内，他们在公司工作了三十年甚至更久。这些人记得 NVIDIA 筚路蓝缕时的模样，也清楚如今在庞大帝国中工作的感受。他们对公司有着共同的归属感和主人翁意识。
你知道，在 NVIDIA 我们常说一句话：“没有人会独自失败”。这句话阐述了一个基本事实：你在一家公司工作，它就是一个不可分割的整体。大家一荣俱荣，一损俱损。
你从事的是加速计算行业，它是成千上万项技术的结晶。如果其中任何一项技术没能实现加速，整个价值就会毁于一旦。如果编译器很烂，芯片做得再好也无济于事。归根结底，你卖给那些试图构建 AI 未来的研究员的，是“时间”与“能力”。
为什么 Bryan 不相信“奇点”理论
如果他们得不到这些，那么到底是晶体管、数学计算单元、编译器、库、网络，还是其他任何环节掉链子，都已经不再重要。只要整个系统的组合运作失败，其价值就会被彻底摧毁。在 NVIDIA 的文化中，我们对此有着极为深刻的理解，这也正是驱使我们紧密协作的核心动力。
主持人Matt： 在结束这段对话之前，我想拉远视角宏观探讨一下。作为在这个领域钻研极深的人，我很想听听你对未来发展走向的看法。谁也说不准几年后会怎样，但未来一两年内或许会有一些清晰的脉络。我曾在某处读到过，你似乎并不完全是“奇点”(Singularity)理论的拥趸。这个说法准确吗？为什么呢？
布莱恩·卡坦扎罗： 我认为智能(Intelligence)是极其多元化的。我常思考一个问题：如果一家公司要招聘下一任首席执行官，他们会通过寻找国际数学奥林匹克竞赛的优胜者来敲定人选吗？
大概率不会，对吧？尽管这些奥数天才令人叹为观止——我本人是绝对无法在国际奥数竞赛中与他们一较高下的。他们确实非常了不起，拥有极高的智商，但这并不是管理一家公司所需要的那种才智。再看看我们文化中其他极其重要的领域，比如音乐家，成为一名当红音乐家需要什么样的才智？
别以为那全凭运气，事实并非如此。他们不仅付出了艰苦的努力，而且展现出了一种我这种拿了博士学位的人都可能无法理解的聪明才智。我可能就是没有那种智力。所以，当我思考“智能”时，我觉得它是极其多元且高度依赖于语境(Contextual)的，完全取决于所处的情境。
这不仅仅关乎原始智力(Raw Intelligence)。原始智力就像发动机的马力，但没有轮子的引擎哪儿也去不了。 因此，智能所能产生的影响力，很大程度上取决于运用这种智能的语境——也就是平台。基于这一点，我认为“奇点”虽然是一个极具吸引力的构想，但本质上是南辕北辙的，因为它没有将这些外在因素纳入考量。
我相信人工智能将继续以惊人的速度发展。它将为全球经济的各个方面、为各行各业的人们释放出巨大的潜能。我对它即将带来的无限机遇感到无比兴奋。
同时，我也有点担忧我们将如何妥善应对这场转型。对人类而言，转型通常是痛苦的；我们天生趋于保守，而未来将会发生翻天覆地的变化。这将是我们思考、工作和学习方式的一次深刻变革。
归根结底，我对人类找到出路的能力充满信念。我们在历史上曾经做到过；这就是我们的本能。我们制造工具，我们创造能够帮我们解决问题的“体外器官”。我们拥有“体外胃”——也就是厨房，它为我们创造了巨大的价值，让我们能够消化原本无法食用的食物。而现在，我们正在创造一个“体外大脑”。 “体外胃”的影响可谓极其深远。
对于人类这个物种而言，它催生了农业，进而孕育了像城市这样有组织的社会形态。所以，当我们去想象“体外大脑”会带来哪些影响时，它必定同样深远，尽管现在还没有人能真正看透。
但我笃信人类的力量，相信我们能够解决问题、不断学习，并以造福自身的方式吸收新技术。我也相信，我们这颗星球所面临的所有难题——无一例外，无论是不平等、气候变化，还是其他那些令人忧心忡忡的结构性问题——都需要更多的智慧才能解决。这些难题的出路，必然仰仗于发明创造与聪明才智。
对我而言，这意味着我们在未来真正需要去创造的唯一工具，就是人工智能，因为我们面临的重重危机，归根结底都是关于“智慧”的问题。无论解决这些问题采取何种技术路径，最终的答案，都将被称作AI。
这让我对未来满怀希望，同时也对人类在探索如何与这个全新的“体外大脑”共生的过程中所面临的挑战，心存敬畏。但我相信人类学习与改变的能力，我坚信，这一切最终会让我们的生活变得更加美好。
对AI的抵触情绪
主持人Matt： 你们是否感觉到了内部似乎正在酝酿一种对AI的抵触情绪？这是你们能感知并思考的问题吗？如果是的话，你觉得这是否是我们行业在沟通上出了问题？尤其是考虑到你刚刚才提到的，AI明明具备着显而易见的巨大潜力？
布莱恩·卡坦扎罗： 我一直高度关注公众看待技术以及与技术互动的方式。这至关重要。而且事实一向如此：那些渴望技术进步的社会，必然比那些抗拒改变的社会，能取得更大的技术成就。
所以我认为反思这一点很有必要。关于AI，有一点很有趣：我相信当它融入日常生活时，往往更容易被人们接受。到了那时，人们就不会再刻意去想这是“人工智能”了，只会觉得：“哦，这就是我用的工具。”
比如，当你打开地图应用让它帮你导航时，你会在意背后是不是AI在规划路线吗？其实那就是AI。其中确实运行着非常复杂的人工智能技术，但你压根不会去想这些，对吧？你只是在使用一个工具罢了。
因此，我觉得人们对AI的接受度是建立在体验之上的。我们使用它的经验越丰富，越懂得如何高效地利用它来工作，我们就会对它越习以为常。
争议焦点：开源AI比闭源更安全
主持人Matt： 聊得太棒了，Brian。这绝对是一次引人入胜的对话。作为最后一个问题，我想确保我们能聊一聊“安全性”(Safety)。目前AI安全的现状如何？在当下的安全讨论中，开源(Open Source)和闭源(Closed Source)分别扮演着怎样的角色？
布莱恩·卡坦扎罗： 安全问题现在是每个人心头的重中之重。看着Fable模型的发布以及政府对此的反应，我认为这正是出于对这些模型安全性的担忧。模型变得越来越强大，被滥用的风险也随之而来。
关于如何思考和定义安全性，有很多不同的路径。对此，我可能有一个稍微反传统的观点：我认为开源技术通常更安全，因为阳光是最好的防腐剂（它们更加透明）。 当有更多的人在思考一项技术的安全性、对其进行评估，并共同为其安全性添砖加瓦时，这在本质上，就比让一小撮人替所有人把控安全要可靠得多。
我还认为，在人工智能领域——因为它本质上是用各种不同的方式去探索思想——多样性(Diversity)永远比单一文化(Monoculture)更安全。 这种多样性指的不只是那些无关痛痒的小事，更是那些最硬核的难题：即人们立场迥异、争论不休的领域。让人们能够以多元的方式去探索思想，比试图人为打造一个“围墙花园(Walled Garden)”，自上而下地规定哪些想法是安全的、哪些是危险的，要安全得多。
这个观点在当今的AI语境下颇具争议，我觉得这挺有意思的，因为我们有数百年的历史传统可以直接作为明证。比如在美国，我们有保障信仰自由和言论自由的法律。这并不是因为在过去几千年中，我们从未考虑过“如果没有这些自由，社会会不会更安全”的问题。事实上，人类早就尝试过那条路了；我们曾试过对“哪些想法可以谈论、哪些信念可以抱有”实行单一化管理。
历史证明，那种模式远比多元主义(Pluralism)要危险得多，在多元主义下，官方不会去界定哪些观点才是“安全的”。作为一个社会，我们其实早就发现，拥抱多样性，远比试图自上而下地把每个人保护在安全舱里要稳妥得多。因此，我深信，构建人工智能最安全的方式，本质上就是拥抱开源AI技术。
主持人Matt： 好的，太棒了。用这样一个充满争议的观点来结束对话，真是绝佳的收尾。Brian，今天聊得非常愉快。非常感谢你，我们很感激你今天能抽出时间做客节目。
Brian： 谢谢你的邀请。
近期活动
中关村金融科技产业发展联盟
Zhongquancun Fintech Industry Development Alliance
中关村金融科技产业发展联盟（简称“中金联盟”）是在北京市科委、中关村管委会，海淀区人民政府等单位指导下，由中关村互联网金融研究院、中科软、蚂蚁科技、第四范式、博彦科技、网联清算、光大银行、中关村银行、龙盈智达、度小满金融、神州信息等金融科技头部企业和专业服务机构共同发起，经民政部门批准在全国开展业务的社团组织，现有会员单位300余家，联盟以创新为动力，以技术为核心，以应用为导向、以产业为主线，打造中关村乃至全国金融科技产业服务中心，搭建金融科技产学研用合作平台，助推金融科技产业转型升级。
课题承接、会议合作和专题培训
联系电话：18304446664
邮箱：fangrui@zfida.org.cn
入会咨询
