大数跨境

微软称AI代理如同内部威胁,“前沿模型不可信”

微软称AI代理如同内部威胁,“前沿模型不可信” 海外洞察
2026-10-19
5
导读:微软希望企业密切关注员工在与非由OpenAI、Anthropic等人工智能实验室控制的系统交互时所使用的智能代理(agents)。

微软推出Guardian Agents,应对AI智能体内部威胁

微软于周一推出了新的安全功能,旨在保护企业免受日益增长的 AI 智能体威胁。此次发布之际,微软继续警告企业关于 AI 和智能体的危险。

Guardian Agents:监控企业使用的AI智能体

最引人注目的新增功能是 Guardian Agents,这是一项旨在监控公司使用的 AI 智能体的新功能。Guardian Agents 是 Project Perception 的一部分,该项目产品于六月推出。

Project Perception 是微软对 Anthropic 的 Mythos 和 Fable 等强大黑客模型以及 OpenAI 的安全漏洞扫描系统 Daybreak 的回应。Project Perception 最初推出了三类智能体:扮演黑客并发起攻击的“红队”,检测红队并评估其发现漏洞的“蓝队”,以及负责修复这些漏洞的“绿队”。

从外部防御转向警惕“内部威胁”

该产品的设想基于一个假设,即 AI 黑客将来自公司外部。但最近,微软 CEO Satya Nadella 警告称,AI 敌人可能是企业已部署并付费使用的智能体本身,就像一名叛变的员工一样,也就是所谓的“内部威胁”。

本月早些时候,在他的个人博客中,Nadella 警告称,是时候停止信任 AI 模型提供商了,即使它们在其智能体产品中提供安全和保障的保证。他希望企业实施独立的系统,不由 AI 实验室控制,以监视和控制那些 AI 实验室产品启动的智能体。

“我们正在部署这些复杂的智能体系统和模型,赋予它们访问我们最敏感数据的权限,并让它们有能力代表我们执行关键任务!”他写道。“我们绝不能将对我们 behalf 所进行的智能行为的责任外包出去。模型提供商的保证并不能免除我们的责任。……换句话说,我们需要将智能的供应与其控制权分离开来。”

微软高管:前沿模型不可信且不可预测

在宣布 Guardian Agents 时,微软安全业务负责人 Hayete Gallot 的说法更加直截了当。

“不幸的是,前沿模型无论源自何处,都不可信,”她写道,并补充说,这并不是因为它们具有恶意或容易被黑客攻击,而是因为它们是不可预测的。它们被训练用于完成任务,而不是遵循“组织规范或判断”。

此外,他们往往被赋予“王国的钥匙”,能够访问可能造成严重危害的数据和工具。

商业逻辑与利益冲突

微软的解决方案既令人惊讶又带有自利色彩。令人惊讶的一面在于,微软以与OpenAI和Anthropic关系密切而闻名,它已向这两家公司投资。OpenAI也是其最大的云客户之一,而微软自身也在开发模型的人工智能实验室工作。因此,微软正在对其部分商业利益制造不信任。

自利的一面在于,微软希望企业从其作为云提供商的身份购买代理安全产品,而不是从Anthropic和OpenAI处购买。但撇开利益冲突不谈,其逻辑是合理的。监控代理行为的软件应与代理供应商分离,正如审计师应独立于其审计的组织一样。

或者如纳德拉所言:“我们需要将智能的供应与其控制权分离开来。”

多维度的安全防护措施

微软现在正通过多种方式抓住这一商业机会。除了Guardian Agents之外,它还在Microsoft Defender产品中添加了代理检测功能,可以识别员工带入工作场所的多达60种类型的代理,包括Claude Code、Codex和OpenClaw。它还添加了限制代理对数据和系统访问的功能,并根据任务动态调整其代理权限。这包括如果代理似乎正在做出高风险决策,则要求人类批准。

这种将代理视为不可信内部人员的理念也在更广泛的行业中逐渐扎根。

微软是Nvidia新推出的开放代理安全平台(Open Agent Safety Platform)的创始成员之一,该平台获得了超过100家其他科技公司的支持。该平台将代理隔离在安全环境中,并通过硬件监控和阻止行为,功能类似于紧急停止开关。此举紧随微软宣布为代理构建的新型Surface Laptop Ultra PC之后,这些PC采用Nvidia芯片,并内置了代理安全和控制功能。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14328
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读152.7k
粉丝0
内容14.3k