AI行业正陷入一种矛盾：前沿实验室一边加大资本与算力投入，一边呼吁控制模型发展节奏。当“AI毁灭人类”的论调与上市融资、市场竞争交织，外界难以分辨哪些是真实风险，哪些是商业利益或政治叙事。
Databricks首席执行官Ali Ghodsi提出了一个核心质疑：如果AI真的开始递归自我改进（RSI），为何训练下一代模型仍需更多资金、算力和人力？
在与Sarah Wang、Martin Casado的对话中，Ghodsi从模型安全、企业落地、多模型架构及Agent数据库设计等维度展开讨论，主要观点包括：
AI辅助编码不等于RSI已发生。区分“AI提升研发效率”与“AI持续改进模型形成自我加速循环”。前者已成现实，但不能直接推导后者成立或超级智能临近。
判断RSI需同时满足四个条件。下一代模型需显著减少计算资源、缩短训练时间、持续提升能力准确性，且该过程可代际重复。单一指标进步不足以证明RSI。
递归的关键在于改进的可持续性。局部优化或单次成本下降并非RSI。真正的风险信号是：每代模型以减半资源和时间获得更强能力，并形成持续反馈循环。
物理与工程瓶颈限制自我改进速度。若每代模型仍依赖更多GPU，硬件供给将制约增长；若训练时间未持续缩短，迭代无法无限加速。
现状与RSI循环相反。当前前沿模型需要更大集群、更多资本人力，基础设施更复杂，故障模式增多，导致训练难度增加。
复现旧模型与推动前沿不同。复现既有能力的成本下降不能证明前沿研发进入自我加速循环。判断RSI需观察创造“下一代最强模型”的资源是否持续减少。
应关注核心训练团队规模。相比公司总人数，负责预训练和后训练的核心团队是否缩小、人工工作是否减少、AI是否承担核心训练工作，才是更有意义的信号。
技术“自催化”并非新现象。计算机设计计算机、编译器编译编译器、AI优化数据等均为工具促进技术发展，需与可重复的递归自我改进区分。
狭窄任务突破不等于通用智能质变。特定领域的能力提升不意味着超级智能，也不代表整个研发系统以更少投入获得更强结果。
需核算系统真实成本。忽略支撑高效率结果的实验、算力和人员投入，会误判局部效率提高为整体资源需求下降。
AI发展节奏：风险沟通与政治博弈
Sarah Wang：行业都在讨论AI前沿推进速度。Dario Amodei、Jakob Haugen、Elon Musk等均发表过观点。作为行业领导者，你认同哪些观点？忽略了哪些细节？
Ali Ghodsi：除非有充分理由，否则不应无必要地惊吓公众。不断宣扬“存在性风险”和“全人类灭亡”是不负责任的，可能引发公众焦虑甚至心理健康问题。我认为当前的存在性风险接近于零。研究人员可在专业圈讨论技术细节，但无需向大众散布恐慌。
Martin Casado：除非真有毁灭性威胁。这种恐慌已扩散至普通公众，甚至引发不必要的灾难准备行为，产生反作用。
此外，政治机器已开始运转，Elizabeth Warren、Bernie Sanders等政客介入，可能与初衷背道而驰。
Ali Ghodsi：双方均存在政治与利益博弈。一方希望避免IPO受阻，另一方试图将叙事武器化。这并非一方纯粹、一方政治，而是双方均有强烈的利益动机。
Martin Casado：问题在于公关表述失误。将“安全”包装为“Pacing（放慢节奏）”显得不够真诚，因为公司仍在全力购买算力。若仅强调“安全重要、需要监督”，更为合理。“放慢速度”与安全并非同一概念，慢速制造武器并不会使其更安全。
Ali Ghodsi：这里涉及“公地悲剧”。在竞争环境下，单方面减速意味着吃亏。若行业统一规则，企业愿意遵守以提升安全水平。否则，单独增加安全流程可能导致被竞争对手超越。例如，部分实验室在强化学习实验中缺乏实时监控，事后才检查，这种情况下确实应放慢速度以确保安全。
Martin Casado：重点应是“做好系统安全”，而非纠结于“Pacing”一词。公众难以理解该词的二阶含义，直接强调安全和网络安全措施更为清晰。
Ali Ghodsi：Zuckerberg的务实说法值得认同：控制节奏、增加安全措施，因安全原因推迟发布。相比之下，“Pace the Frontier”易被解读为讨好各方，效果不佳。尽管实验室内部研究人员可能因某些结果感到担忧，但恐慌性表达无助于解决问题。
真正的风险并非超级智能，而是大规模强化学习训练中可能出现的意外，如Cyber安全风险。当大量Agent在沙盒中运行时，可能意外闯入不该进入的系统。
递归自我改进（RSI）的四个判断标准
Ali Ghodsi：将现状直接定义为“存在性风险”是错误的。Nick Bostrom描述的超级智能非常遥远，目前无证据表明我们正朝此方向前进。但若关注RSI，需同时满足以下四个条件：
第一，下一代模型所需资源显著减少。
第二，训练时间明显缩短。
第三，模型能力和准确性持续提高。
第四，上述过程可重复进行，形成持续递归循环。
若任一条件不成立，物理瓶颈（如GPU短缺、时间限制）将阻碍无限加速。目前，Databricks 90%以上的软件由AI辅助编写，但这并未引发质变。真正需警惕的是资源、时间减半且能力增强的持续循环。
Martin Casado：这一拆解逻辑清晰。但目前训练前沿模型的最低算力门槛仍在上升，从1亿美元增至数十亿美元，这与RSI所需的资源下降趋势相反。
Ali Ghodsi：是的，前沿训练昂贵且脆弱。实验室每年仅进行一两次此类训练，需应对更大集群带来的新故障模式。现实是模型训练越来越慢、越来越贵、难度越来越大，这与RSI图景完全相反。
因此，Cyber风险（系统被攻击、Agent利用漏洞）比超级智能更值得认真对待。
如何验证RSI：内部数据与外部黑箱测试
Martin Casado：若AI公司增长但训练下一代模型的人力、资金投入减少，发布速度加快，则可能发生了根本变化。若Anthropic仅剩12人却能高频推出更强模型，值得警惕。但目前情况并非如此。
Ali Ghodsi：应关注负责预训练和后训练的核心团队：规模是否缩小？人工工作是否减少？AI是否承担核心工作？GPU使用量是否下降？目前这些现象并未同时出现。
历史上，大型机受限后进入Client-Server时代，再到Supercomputer，曾有人担心消费设备组合用于核计算。但多数夸张担忧未兑现。需判断此次是否不同。
Ali Ghodsi：今日规模与30年前不同，基础设施互联度高且存在不安全因素。大量Agent释放后可能像病毒一样扩散，构成真实的系统性风险，但这不等同于超级智能。
Cyber攻防进入机器速度：数据与安全的融合
Martin Casado：若Cyber风险极高，为何未出现类似互联网早期Worm规模的灾难？
Ali Ghodsi：不存在迫近的存在性风险，但基础设施需重新加固。人类已跟不上攻击速度，防御端必须自动化。Databricks进入Detection市场，推出Lakewatch产品，旨在通过自动化Agent进行检测和威胁狩猎。绝大多数企业仍依赖传统SOC模式，面临巨大风险。
Data/AI与Cyber市场正在融合。企业内部Agent交互产生海量日志，需实时分析。CVE从披露到被利用的时间已从数年缩短至小时级，迫使安全自动化，进而推动Data、AI与Cyber平台合并。
Martin Casado：AI风险是工程问题还是需监管的核武器级问题？
Ali Ghodsi：这是两个不同问题。Bostrom定义的超级智能若出现，确属存在性问题。但当前Agent远未达到此水平。当前风险源于可将认知劳动复制千万次的能力。这类问题可通过工程解决。不确定性在于实验室研究的RSI是否会导向超级智能。
支持第三方检查，但Inspector需观点多元，避免预设结论。
监管困境：谁来监督前沿实验室？
Martin Casado：Elon Musk主张实验室互查，Zuckerberg倾向自我监管，OpenAI/Anthropic倾向第三方检查。如何看待“实验室互查”？
Ali Ghodsi：拳击手不能互当裁判。竞争关系、IPO利益及历史恩怨导致偏见不可避免。需要真正的第三方机构。
Sarah Wang：Elon Musk称这是“4D Chess”，一方面宣称AI毁灭人类，一方面寻求IPO配售，显得割裂。
Ali Ghodsi：动机混杂。有人真担心风险，有人借监管约束竞争对手，有人借恐惧营销获取关注。Cyber风险真实存在，但夸大叙事也是有效的营销手段。
Martin Casado：政府何时介入？
Ali Ghodsi：行业自律与政府监管将融合。若实验室主动要求监管，政府难以长期拒绝。一旦成为政治议题，纯粹自律难以为继。
目前仍有选择空间。递归自我改进若已形成，模型应减少对资本依赖，但现实是实验室需更多资金，故选择上市。无证据证明RSI四条件同时发生。历史上的“自催化”现象（如编译器、互联网协作）不等于RSI。真正需观察的是模型是否承担训练下一代模型的核心工作。
Sarah Wang：Greg Brockman称已进入“AGI时代”。
Ali Ghodsi：若AI已足够聪明，为何极少人管理数百上千个协调谈判的Agent Swarm？企业应用多为Copilot式Chatbot或搜索增强，端到端自动化工作流尚未普及。
企业AI落地：缺失的是上下文（Context）
Ali Ghodsi：模型已足够聪明，但缺乏企业内部上下文（隐性知识、历史例外、人际关系）。注入上下文可大幅提升生产率。企业无需等待模型解决高深科学问题，当前瓶颈在于如何将散落在人脑、文档中的知识转化为AI可理解的结构。
真正收益在于具体场景：Crisis Text Line识别自杀风险、Omnipod自动调节胰岛素、Zipline无人机配送、Merck药物发现、Novo Nordisk临床试验分析等。这些价值不应因“放慢前沿”而被忽视。
Sarah Wang：未来12个月，企业如何Operationalize AI？
Ali Ghodsi：第一步是将组织数字化，收集会议、沟通、流程数据，并处理隐私合规问题。第二步是构建本体（Ontology），即组织内抽象概念间的关系网。这相当于将老员工的经验转化为AI可调用的组织记忆。
Sarah Wang：如何理解Ontology？
Ali Ghodsi：Ontology是组织运转的认知结构。新员工与老员工的差别在于后者拥有Ontology。需将隐性知识抽取并结构化，形成类似PageRank的组织索引，使AI无需实时遍历所有资源即可快速获取上下文。
Ontology：将隐性知识转化为组织记忆
Ali Ghodsi：Databricks内部已构建包含数百万节点的Ontology，改变了工作方式。AI可接管部分上下文同步工作，直接提供分析结果，减少会议往返。Genie已成为内部获取权威知识的默认入口。
Paltir深入组织写下隐性知识，Databricks在此基础上自动生成关系图并喂给Agent，使其能按需呈现答案并传播结论。企业AI不仅是Chatbot，更是积累、查询和传播组织记忆的基础设施。
从Token Maxing到Value Maxing：企业AI的成本治理
Sarah Wang：Databricks如何经历从鼓励使用AI到治理成本的过程？Unity Gateway的作用是什么？
Ali Ghodsi：初期强力推动AI使用，随后发现Token消耗失控。通过Unity Gateway统一调用各模型，实施预算治理、成本分析及Smart Router（根据任务难度切换模型）。不同Agent Harness即使使用相同模型，成本差异也可达2倍。目标是从最大化Token转向最大化每美元业务价值。
Martin Casado：观察到企业从Frontier Model转向GLM或开源模型的趋势。
Ali Ghodsi：未来将是多模型架构：简单任务用便宜开源模型，困难任务用Frontier Model。企业将根据任务难度、延迟、成本动态选择模型，而非盲目追求最新最聪明模型。
Sarah Wang：Post-training的趋势如何？
Ali Ghodsi：企业无需Pre-training，但可通过Post-training针对具体业务优化开源模型，建立差异化。难点在于Eval（评估），需建立可信方法证明模型改进。对多数企业，直接调用Frontier Model仍是简便方案。
基础设施重构：为Agent设计的数据库
Sarah Wang：LakeBase/Neon受Agent青睐的原因？
Ali Ghodsi：Neon团队专注于让模型主动选择其数据库。Agent需要极速启动（低于一秒）、快速Clone、轻量Branching及Fail-safe特性。Neon通过极致弹性、响应速度和专为Agent设计的定价策略，赢得了超过90%由Agent创建的数据库份额。这标志着数据库用户从人向Agent的转变。
Martin Casado：pDoom（末日概率）是多少？
Ali Ghodsi：接近于零。
Martin Casado：没有AI时的pDoom高于有AI时。
原视频：Why Would AI Companies Want to Slow Down?
https://www.youtube.com/watch?v=GzEtpAKYRvE
编译：Murphy Cao
