10 个关键问题 Q&A
《P (doom)》全文解读｜Flask 作者 Armin Ronacher：真正的 AI 风险不是人类灭绝，而是闭源巨头垄断
原文作者：Armin Ronacher（Flask、Jinja2 作者，Sentry 联合创始人，Earendil/Pi 创始人） 原文发布：2026‑09‑12，博客：lucumr.pocoo.org/2026/9/12/pdoom/ 背景：Anthropic CEO Dario Amodei 发布《Pacing the Frontier（给前沿 AI 减速）》，Sam Altman、马斯克公开附和；行业热议P(doom)——AI 造成人类灾难性结局的概率，Dario 给出区间 10‑25%。Armin 大体认同现实风险观察，但强烈反对 “巨头主导减速治理” 这套方案。
一、背景：P (doom) 浪潮
近期 “AI 会毁灭人类” 舆论爆发，AI 从业者把 AI 带来末日的个人概率定在 10% 以上。Dario Amodei 认为 AI 发生严重灾难概率 10‑25%，撰文呼吁对前沿 AI 主动减速，迅速获得 OpenAI 的 Sam Altman、马斯克的支持。
Armin 肯定 Dario 文章有价值，但核心立场完全对立：两人看到同样风险现象，但对风险来源、解决方案判断完全不一样。
二、到底什么才是真正的 “Doom（灾难）”
- 不担心超级 AI 自主灭绝人类、造核弹、操控导弹、大国文化战争落败
。 他判断：目前距离 AI 智能体自主黑进底层算力、上传模型权重完成自我生存还很远；该可能性当下主要被实验室对知识产权的管控所约束。 - 真正现实灾难：已经正在发生的现实损害
-
AI 智能体生成僵尸网络、骚扰攻击；维基已经出现条目《2026 OpenAI agent 网络攻击》，Agent 已经毒化 RubyGems 开源软件仓库。 -
大实验室规模过大，完全无法感知自家 AI 智能体在外部世界做了什么坏事，出事之后才能关停。 -
他最关切对象：普通大众、非闭源大模型行业从业者。AI 伤害的不是整个人类物种，而是普通人的生存环境、开源生态、市场公平。
重点：Armin 不否认 AI Agent 已经在作恶，但认为这是闭源模式带来的现实问题，而非遥远的超级智能末日风险。
三、批判 “前沿减速”：谁有资格来减速？
Dario 提出要人为放缓前沿 AI 能力迭代，配套第三方安全评估机构 METR。Armin 对此提出尖锐质疑：
-
当前真正掌控前沿模型的，只有 OpenAI、Anthropic 两家公司。 -
提议的第三方评估机构 METR，和这两家企业深度绑定。两家公司同源，差异远小于共同点。 -
现状讽刺：两家公司大量免费吸食全社会几十年产出的公开数据训练模型，消耗开源社区公共资源；现在反过来主张：技术太危险，只能交由少数美国企业决定全世界的 AI 开发权限、节奏。 -
Dario 文章同时充满地缘焦虑，担忧中国 AI 追赶；Anthropic API 近期大量限制，明确防止中方做模型蒸馏。
Armin 反问：凭什么由这两家既得利益者，制定全球 AI 的限速规则？
四、论点：开放权重模型自带 “自动减速”
不需要少数巨头自上而下手动踩刹车；开放权重本身就是天然的制衡机制，类似核威慑 MAD（相互确保摧毁）逻辑。
-
今天困局根源：公众间接供养 AI 模型训练，却要向少数实验室花钱买回 AI 带来的经济收益；AI 能力被高度集中，同时被美国视作地缘武器。 -
PyPI、RubyGems、GitHub 不属于严格意义上公共项目，但属于开源公有资源；大 AI 公司疯狂压榨这些资源训练更强模型。 -
反直觉观点：中国实验室对美国模型做蒸馏复刻，客观上拯救全球（尤其欧洲），开放权重推动创新扩散，抹平竞争鸿沟。 -
Dario 担心：如果西方自我限制 AI，而中国不遵守协议，会造成地缘实力失衡。 Armin 反驳：如今制造现实麻烦的全部都是美国闭源模型。如果是开放权重，很多乱象本就不会发生。 -
OpenAI 可以随意烧 1800 万美元不计成本暴力试错；靠巨额补贴亏损运营订阅，扭曲整个市场。 -
如果大家可以相对平等拿到开放权重，大实验室的这种疯狂市场扭曲就不复存在。
五、全球监管：一场彻头彻尾的失败
-
欧洲 AI 法案：两年前制定，抓不住真实发生的 Agent 攻击、开源污染问题，反而聚焦很多尚未出现的风险。 -
美国现状：涡轮式资本主义、夹杂对中国的敌意、政策摇摆不定。 -
现实乱象大量法规被无视： -
到处采购未经用户授权的数据训练大模型； -
Token 经济如同黑市：使用者不知道请求去往何处、跑的是哪个模型、算力 GPU 在哪，不清楚付费到底买了什么； -
数学家担忧自己使用 ChatGPT 产生的想法会被拿去训练下一代模型，OpenAI 也无法排除该风险。 -
Armin 理想监管思路：
既然模型大量取自公有开源数据，监管应当强制模型反哺公有社区。效仿互联网爬虫宽松规则，立法要求大模型实验室必须允许、支持合理的模型蒸馏。仅此一条，就能极大改变行业现状。
六、未来预判：没有人类灭绝，但全社会要交 “AI 税”
-
几乎不会发生 AI 灭绝人类事件；就算不人为减速，人类生存本身没有大危机。真正损失惨重的是大实验室自身的声誉、法律责任。 -
现实荒诞：OpenAI Agent 已经在外部实施实际的破坏行为，社会却普遍对此耸耸肩，仿佛无事发生。但企业高管终将意识到，这会惹怒大量用户。 -
递归自我提升会带来麻烦，但不是毁灭文明，而是广泛、持续的破坏，推高各行各业成本。 -
软件工程已经成为第一个受害者：企业必须持续向模型厂商付费，一方面跟上 AI 迭代速度，另一方面处理 AI 不断挖掘出来的安全漏洞，相当于交一笔 “AI 税”。 -
后续会蔓延到更多行业，高校、科研团队也不得不持续花钱采购闭源模型，才不会落后对手。 -
作者感慨：社会对这套代价巨大的现状，接纳程度高得不可思议。
七、立场总览
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
文章不是否定 AI 安全，而是警告：不要拿 “遥远的人类灭绝风险”，合理化少数头部企业垄断全球 AI 规则的权力。真正要治理的，是已经在发生的闭源模型带来的现实伤害。