大数跨境

吴恩达来信:开放模型,开放执行框架,开放安全

吴恩达来信:开放模型,开放执行框架,开放安全 DeeplearningAl
2026-08-03
1
导读:当 Claude Fable 5 和 GPT-5.6 Sol 拒绝我们的安全请求时,我们做了什么

导读:近期,吴恩达团队在开源项目 OpenWorker 的安全审查中遭遇闭源模型拒绝服务的困境。本文分享了团队如何转而利用开源权重模型(GLM 5.2、Kimi K3)成功完成安全审计的经历,并深入探讨了开放模型与开放执行框架对于构建更安全软件系统的关键意义。

闭源模型的局限与开源方案的突围

亲爱的朋友们,

我团队近期经历了与 Hugging Face 类似的挑战:在闭源模型因安全策略限制无法提供有效支持时,我们不得不寻求替代方案。此前,Hugging Face 在遭遇网络攻击后转向使用开源权重的 GLM 5.2。同样,当我们尝试利用 Claude Code(搭载 Fable 5)及 OpenAI 的 Codex(搭载 GPT-5.6 Sol)对开源项目进行安全审查时,两者均拒绝了请求:前者提前终止工作,后者则建议切换至能力较弱的模型。

最终,我们改用 OpenWorker 执行框架,并结合开源权重模型 Kimi K3 和 GLM 5.2,不仅顺利推进了工作,更对系统的安全性建立了坚实信心。

OpenWorker:打造开放的智能体执行框架

我们当时正致力于 OpenWorker 的安全审查。Rohit Prasad 与我共同将 OpenWorker 发布为一款开源智能体。它超越了单纯的对话功能,能够交付实质性成果——如润色文档、发送 Slack 消息或更新日历条目。我们认为,AI 同事是提升工作效率的重要方式,而确保存在一种开放且与模型无关的选择至关重要。自上周宣布以来,该项目获得了广泛关注,感谢所有用户与贡献者的支持。

我们持续改进 OpenWorker,并频繁利用智能体协助进行安全审查。即便非安全专业人士,仅需输入“生成一个子智能体,扫描代码库以发现漏洞”等基础指令,也能获得显著帮助。

作为开源项目,识别并修复安全缺口是 OpenWorker 的优先事项。拒绝利用 AI 辅助自查代码安全问题并无任何收益;相反,在对手发现之前由我们自己揭示潜在风险,才是明智之举。

开放生态构建更安全的软件系统

遗憾的是,在此次审查中,Claude Code 和 Codex 均表现出明显的局限性。尽管 Codex 在绘制基于 MITRE 等标准记录的攻击向量方面表现尚可,但随后便拒绝深入分析。相比之下,我们利用开放的智能体执行框架 OpenWorker,配合 GLM 5.2 和 Kimi K3,圆满完成了安全审查。

这一经历揭示了一个重要趋势:开放模型与开放的智能体执行框架,能带来更安全的系统及更可靠的软件。

事实上,随着攻击者利用 AI 智能体发现漏洞的速度加快,许多安全官员对前沿闭源模型拒绝提供帮助感到沮丧。

Jensen Huang 近期的表态极大地激发了业界对开源权重模型的支持,令人振奋。虽然在舆论场上,支持开源权重模型的呼声已占据上风,但在华盛顿特区及各州议会的政策层面,这场博弈远未结束,我们仍需保持警惕。同时,为确保软件安全可靠,除了推广开源权重模型外,我们必须坚持维护开放的执行框架。

请不断构建!

吴恩达

附注:若您可能错过了相关消息,我在周二宣布了 LearnVector 项目的启动,并获得了 Coursera 的投资。十五年前,Coursera 与在线课程革新了教育;如今,借助 AI 的进步,我期待再次推动教育的变革。

【声明】内容源于网络
0
0
DeeplearningAl
吴恩达老师的人工智能教育传播平台.
内容 1319
粉丝 0
DeeplearningAl 吴恩达老师的人工智能教育传播平台.
总阅读19.6k
粉丝0
内容1.3k