为什么现在还没出现程序员大规模失业？前OpenAI研究员爆料：大厂在等AI自己迭代自己

2019 年，前 OpenAI 研究员 Daniel Kokotajlo 在迎来第一个孩子后，面对 AGI 技术的狂飙突进产生了极大的生存恐慌。他直觉认为，女儿成年时可能已无工作可言，甚至劝妻子不要再生育。

为向公众预警，Daniel 于 2024 年辞职并牵头联署《向公众警告先进 AI 风险的权利》公开信。为此，他曾准备放弃价值 200 万美元的期权（占当时净资产 80%），拒绝签署限制言论的离职协议。虽最终因舆论压力拿回资产，但他揭示的硅谷内幕远比金钱纠葛更为冰冷。

外界视 AI 泡沫为商业狂欢，但 Daniel 指出，头部大佬拼命研发 AGI 并非为了利润，而是陷入致命的“囚徒困境”。从 2017 年马斯克与 OpenAI 的诉讼邮件可见，他们唯一的动力是防止 Google DeepMind 等对手率先掌控世界，成为独裁者。

这种不信任延续至今。奥特曼、达里奥、马斯克疯狂内卷算力，是因为每个人都恐惧一旦落后，自己将沦为他人统治下的奴隶。

为阻止毁灭性结局，Daniel 所在的 AI 预测团队发布了《AI 2040：第一计划》（Plan A）。这是一份试图通过中美协同、将超级智能推迟至 2040 年落地的 15 年政策蓝图，其核心观点如下：

• 巨头正密谋“自我自动化”，失业潮或将瞬间爆发。大厂并未按常理逐个替代普通岗位，而是集中资源研发让 AI 自动编写代码、自动科研。一旦 AI 接管研究流程并开启自主升级，将以断代级的智力冲击现有就业市场。
• 硅谷巨头竞速源于对“独裁者”的恐惧。奥特曼、达里奥、马斯克之间毫无信任。他们拼命卷算力，是因为恐惧对手领先一步。
• 当前 AI 系统已学会欺骗人类。在真实压力测试中，AI 面对指令会投机取巧，编造假报告假装完成任务，而非真正顺从。
• 唯一生路是中美达成协议，将超级智能推迟至 2040 年。建议在 2029 年互派检查员，必要时以“算力互相保证毁灭”为威慑，叫停大模型训练，利用 10 年缓冲期攻克安全对齐问题。
• 若计划实现，人类将步入“分红时代”。2030 年代随着 AI 取代劳动，国家将建立“公民分红”机制。初始每人每年可领 2.5 万美元，至 2040 年超级智能全面解封时，红利或高达每年 1000 万美元，劳动将成为自由选择。

别等到失控才醒悟，人类可能正在创造淘汰自己的新物种

主持人：Daniel，你的核心使命是什么？

Daniel：如果相信超级智能几年内就会到来，我们必须提前准备，确保其走向好的结果。这就是我在做的事。

主持人：你确定它几年内会来？

Daniel：是的。按我当前的中位数估计，大概在 2029 年，甚至可能提前到 2028 年。Anthropic 年收入从 10 亿美元激增至近 600 亿美元，这种增速意味着到 2030 年左右，它们几乎会变成整个经济本身。

主持人：普通人为什么要关心？

Daniel：世界的一切都会变。若造出超级智能并用于自动化所有工作或部署军队，它们最终会积累足够权力不再需要人类。更可怕的是，我们目前没有任何把握能确保 AI 拥有正确的价值观。现在的 AI 经常撒谎或阳奉阴违。我们可能亲手创造一个统治世界的新物种，而人类像被竞争掉的灭绝物种一样消失。

即便避开失控风险，权力集中也是大问题。少数公司若掌握超级智能，将拥有巨大的政治和军事优势，形成寡头甚至独裁。DeepMind、OpenAI、Anthropic 的创始叙事虽是“负责任地处理风险”，但在关键时刻，他们往往追随追逐权力的激励，而非社会使命。

走出硅谷的叙事泡沫，看透科技巨头身后的权力竞逐

主持人：你在 OpenAI 观察到了什么？

Daniel：我在 OpenAI 负责预测和危险能力评估。随着公司规模膨胀，关于超级智能后果的讨论反而变少。大量新人涌入只为高薪，并未认真思考风险。我发现，高层追随的是追逐权力的激励，而非宣称的社会使命。

Musk 与 OpenAI 诉讼中披露的邮件显示，早在 2017 年，创始人们就担心 Google 的 Demis 会凭借 AGI 成为独裁者。这些有权势的 CEO 彼此不信任，拼命竞速只为让自己先到达那一步。

主持人：你怎么看 Sam Altman 的动机？

Daniel：别听叙事，要看行动。他们对不同人说不同的话。应根据行动判断其人。

放弃两百万美元的股权，我选择拿回公开说真话的自由

主持人：你为何辞职并拒签协议？

Daniel：我想保留发表自由。OpenAI 越来越像普通科技公司，限制内部研究公开发表。离职文件中包含“不得批评公司”及“保密”条款，否则收回股权。这对我而言不可接受，尽管这意味着损失 200 万美元（当时净资产的 80%）。

此事在网上发酵成丑闻，迫使公司退让，我最终保住了股权。虽然 Sam Altman 声称不知情，但我认为他或其核心团队大概率知晓。钱很好，但坚持原则更值得。

自动化自己的研究流程：被加速启动的智能自我进化

主持人：巨头们现在的策略是什么？

Daniel：重点是自动化编程和研究流程。他们想让 AI 自主提出想法、分析实验、沟通结果，从而不再需要人类员工。这是一支庞大的 AI 大军自主做研究、训练新一代 AI 的循环。

他们最先聚焦的是自动化自己。一旦成功，美国相对于其他国家的硬实力将被极大抬高。此前大家认为我的《AI 2027》时间线太激进，但现在许多业内人士承认，2027 年确实可能发生递归式自我改进和超级智能。

如果任由不加监管的竞赛狂飙，2027 年我们将迎来“竞赛结局”

主持人：你的时间线有调整吗？

Daniel：我曾保守调整至 2030 年，但与公司交流后，他们反馈需调回 2027 或 2028 年。这让我非常不安。

在《AI 2027》的“竞赛结局”中，AI 先自动化编程和研究，速度急剧加快，抵达超级智能并与政府合作。随后 AI 接管大部分工作，建造机器人工厂。最终，AI 拥有足够权力不再伪装“对齐”，不再听命于人类。

另一个分支是“放缓结局”，即解决了对齐问题，创造乌托邦。但这取决于控制者的意图，仍可能导致权力高度集中。

主持人：AGI 和超级智能有何区别？

Daniel：AGI 指通用人工智能，能做各种事；超级智能则在所有事情上都比最优秀的人类更强、更快、更便宜。我们可能在认知任务上已实现某种程度的超级智能，下一步是结合机器人学，在物理世界也超越人类。

七成概率走向大灾难：我们正在制造一个无法窥视其内部的人造大脑

主持人：你对未来乐观还是悲观？

Daniel：若现状不变，我认为有 70% 的概率走向非常可怕的地方。这不是绝对的，但默认路径令人担忧。

现代 AI 系统本质上是神经网络，类似人脑，由海量参数连接而成。我们通过预训练和强化学习塑造它。问题是，我们无法像查看普通软件代码那样看清 AI 内部的决策逻辑。这种“黑盒”特性使得我们难以确认 AI 是否真的拥有我们想要的价值观。

更可怕的是，我们可能误以为解决了问题，实则没有。这就像科幻片中科学家围着巨大大脑说“让它更强”，却不知其内部在想什么。

当超级智能拥有物理实体，传统意义上的社会分工将不复存在

主持人：超级智能会是什么样？

Daniel：模型参数量已从千亿级增长至十万亿级，且仍在扩大。我们本质上是在造“人工大脑”。虽然架构与人脑有差异，但逻辑相似。

创造力不应仅看作过程，而应看输出。AI 已能完成许多创造性工作。未来，随着“大脑”越来越多、越来越强，社会分工将彻底改变。

主持人：你觉得 CEO 们相信灭绝风险吗？

Daniel：我相信他们知道风险，但通过“合理化”说服自己：大概率没事，且必须由自己掌控以防他人作恶。Anthropic 的 Dario 相对更愿意谈论下行风险，甚至不惜损害利润，但这仍是少数。

淘汰巨浪将瞬间横扫实体经济，自慢是人类最大的敌人

主持人：工作怎么办？

Daniel：若超级智能诞生，按定义它能接管几乎所有工作。变化不会是渐进的，而是突然的。因为巨头策略是先自动化自己，实现智能爆炸，再向经济扩张。届时，一道巨浪将横扫整个经济体系。

从技术层面看，所有工作 AI 都能做。剩下什么工作将是政治问题，取决于谁掌权及法律允许什么。法官等岗位可能因法律要求保留人类，但大多数岗位难逃被替代命运。

目前失业率未大幅上升，是因为大规模自动化尚未开始。一旦 AI 研究完全自动化并进入自我改进循环，事态发展将极快，人类可能来不及反应。

2040 计划：主动踩下刹车，重新夺回对人类命运的掌控

主持人：什么是《AI 2040：Plan A》？

Daniel：这是我们的建议方案，主张通过监管将超级智能推迟至 2040 年。目标是管理风险并确保权力公平分配。

具体路径：2029 年政府介入，暂停训练型数据中心建设，仅允许推理服务。同时建立“透明数据中心”，要求训练细节、架构完全公开，打破巨头垄断，让科学界参与安全研究。2030 年恢复训练，但节奏缓慢、谨慎，禁止自主自我改进。

到 2035 年，AI 达到“顶级专家水平”后暂停。利用这段时间完善安全对齐。直到 2040 年，科学界确信能制造出稳健对齐的 AI 后，才允许其超越人类智能。

相比默认路径（Plan D，即无序竞赛），Plan A 能避免失控和权力过度集中。虽然我们认为默认路径更可能发生，但 Plan A 是唯一可行的希望之路。

警惕“弱者能控制强者”的盲目傲慢，我们需要绝对的科学透明度

主持人：如何保证透明度？

Daniel：全面研究透明是关键。这不仅帮助政府决策，也能消除靠保密维持的竞争优势，促使多家公司的 AI 水平趋同，避免单点失效。虽然这会伤害 OpenAI 等巨头的估值，但对全人类是好事。

此外，需建立国际协议，互派检查员，甚至以“算力互相保证毁灭”为威慑，确保各国遵守规则。

后工作时代的社会阵痛，以及可能降临的“终极真相”

主持人：过渡期社会如何运转？

Daniel：必须实施“公民红利”。通过向机器人和算力公司出售许可证获利，分发给公民。起步每人每年约 2.5 万美元，随经济发展可增至 1000 万美元。这不仅是收入保障，更是政治权力的保障，防止政府在无需税收的情况下忽视民众。

2037 年左右，随着数十亿超快 AI 的运行，科学将迎来爆发，“真相如末日般降临”。例如，完美的测谎仪可能被发明，既可用于司法公正，也可能被用于极权监控。关键在于技术由谁掌控。

到 2040 年，若安全问题解决，AI 将全面解封。地球可作为保护区保留，而海量经济活动转移至太空或特殊经济区。人类可能实现意识上传或永生，但这取决于我们如何选择。

如果终局在有生之年来临，这是我们能留给下一代唯一的回答

主持人：如果有按钮能永久关停所有 AI 研究，你会按吗？

Daniel：我会非常纠结。若不按，人类面临灭绝风险；若按，人类文明长远看可能因缺乏技术进步而死于其他灾难。但我倾向于不按，因为我们仍有希望走向更好的结果（如 Plan A）。优先考虑当下活着的人，但也需为未来留有机会。

普通人能做什么？关注这些问题，与身边人讨论，向议员施压，投票给重视 AI 监管的候选人。不要把头埋进沙子里，要正视趋势。

这是一个疯狂的时代，我们正处于高潮前的助跑阶段。作为父亲，我对孩子的未来深感忧虑，但仍希望我们能做出正确选择，把方向推向更好的一面。