随着企业广泛采用AI代理，微软正强调这些系统带来的安全风险。
实际上，微软在此强调的并非代理本身具有恶意，而是代理可能会出错、被操纵或被接管。此外，所用模型输出的可变性以及代理在任务执行过程中可能遇到的上下文变化，也构成了重要的安全风险。一项任务起初可能按预期进行，但新的数据或指令可能导致代理行为发生改变。
微软高管认为，无论当前高级人工智能模型的来源如何，都不能被视为完全可靠。其原因并非模型存在恶意，而是因为它们是为完成特定任务而训练的，并且不一定能始终可预测地遵循企业安全规则或人类的推理方式。
微软首席执行官萨提亚·纳德拉主张安全系统应独立于模型本身。据纳德拉称，人工智能提供的“智能”与其被授权执行的操作之间必须区分开来；换言之，一个模型不应成为自我监管的安全系统。
微软推出 Guardian Agents
在这一框架下，微软正在通过新增功能扩展此前宣布的 Project Perception 安全平台。其中首要的新增功能便是 Guardian Agents。Guardian Agents 能够持续监控企业内部运行的 AI 代理的行为和风险等级，并在必要时限制其访问权限。
微软还扩大了对企业使用的本地 AI 代理的检测范围。该系统现在可对包括 Claude Code、OpenAI Codex 和 GitHub Copilot 在内的总共 60 种不同的本地代理类型进行检测。这使得企业能够集中跟踪哪些代理正在被使用、这些代理属于谁以及它们访问了哪些资源。
新的 动态权限功能不再向代理授予永久且广泛的权限，而是仅为其执行的任务提供必要的访问权限。权限可以被限定在一定时间内，并在任务结束后收回。对于更关键的操作，系统还可以要求人工批准。
微软的 Dynamic Agent Risk（动态代理风险）系统通过综合评估代理在身份、数据、网络、云及工作环境中的一系列行为，持续更新其风险等级。当风险升高时，Dynamic Conditional Access（动态条件访问）机制将介入，可撤销代理的写入权限、限制其可访问的数据范围、要求人工审批，或在最高风险级别下完全停止代理运行。
微软的这一方法指出，企业应将人工智能代理视为独立的数字员工，而非传统软件。随着代理对企业数据和应用程序访问权限的增加，预计安全模型将从仅保护模型本身，转变为一种持续监控代理身份、权限和行为的结构。
图片来源：ChatGPT