Google DeepMind 于周三发布了一份详尽论文，阐述其针对 AGI（通用人工智能）的安全方法。AGI 被定义为能够完成人类所能完成的任何任务的 AI。
AGI 在 AI 领域颇具争议：怀疑者认为这是白日梦；而包括 Anthropic 在内的主流 AI 实验室则警告称 AGI 已近在咫尺，若未实施适当安全保障，可能导致灾难性危害。
这份由 DeepMind 联合创始人 Shane Legg 共同撰写的 145 页文件预测，AGI 可能在 2030 年前到来，并导致“严重伤害”。论文虽未给出具体定义，但列举了令人警觉的例子：“存在性风险”，即“永久毁灭人类”。
作者写道：“[我们预计] 在本世纪结束之前将出现‘卓越级 AGI’。”所谓“卓越级 AGI”，是指系统在广泛非物理任务（包括学习新技能等元认知任务）上的能力至少达到熟练成年人的第 99 百分位。
该论文将 DeepMind 的风险缓解策略与 Anthropic 和 OpenAI 进行对比。文中指出，Anthropic 对“稳健训练、监控和安全”重视程度较低，而 OpenAI 则过于乐观地主张“自动化”对齐研究（alignment research）。
论文对超级智能 AI（即比任何人类都能更好完成工作的 AI）的可行性表示怀疑。DeepMind 作者认为，若无“重大的架构创新”，超级智能系统不会很快出现，甚至可能永远不会出现。（注：OpenAI 近期声称其目标正从 AGI 转向超级智能。）
不过，论文认为当前范式有可能实现“递归式 AI 改进”：即 AI 通过自身研究创建更复杂系统的正向反馈循环。作者断言，这可能极其危险。
宏观层面上，论文倡导开发技术以阻止不良行为者获取 AGI、提高对 AI 行为的理解，并“加固”AI 运行环境。尽管承认许多技术尚处起步阶段且存在“开放的研究问题”，但仍警告不可忽视即将到来的安全挑战。
作者强调：“AGI 的变革性性质既可能带来巨大益处，也可能造成严重危害。因此，为了负责任地构建 AGI，前沿 AI 开发者必须主动规划以减轻严重危害。”
然而，部分专家对该论文前提提出异议。
AI Now 研究所首席 AI 科学家 Heidy Khlaaf 认为，AGI 概念过于模糊，无法进行“严格的科学评估”。阿尔伯塔大学助理教授 Matthew Guzdial 则表示，当前的递归式 AI 改进并不现实。
Guzdial 指出：“[递归改进]是智能奇点论点的基石，但我们从未见过任何证据表明它有效运作。”
牛津大学技术与监管研究员 Sandra Wachter 认为，更现实的问题是 AI 通过“不准确的输出”自我强化。
Wachter 表示：“随着生成式 AI 输出在互联网泛滥及真实数据被取代，模型正从其充满谬误或幻觉的自我输出中学习。目前聊天机器人主要用于搜索和探寻真相，这意味着我们面临被极具说服力的谬误灌输并信以为真的风险。”
尽管 DeepMind 论文内容全面，但似乎难以平息关于 AGI 实现可能性及核心 AI 安全领域的争论。