意图安全的数据获取、分析及控制方法- 大数跨境

AI与安全

2026-10-25

导读：安全架构要从“判断孤立动作”转向“治理完整工作流的目标”。这是意图安全的思想，如何治理完整工作流，需要一个方法论，目前的研究已经开始了。

Agent 的安全与传统安全完全不同：Agent 的行为受大模型（LLM）控制，且可能受到攻击，过程及结果完全无法预测，由此带来一个根本问题——Agent 执行的结果与用户的意图可能南辕北辙。意图安全（Intent-Aware Security），正是试图解决这个问题的新方向。

本文来自 SACR（Software Analyst Cyber Research）的报告《Beyond the Action: Securing Agent and AI Intent》，该报告对意图安全的概念、数据来源、分析方法与控制点等做了详细分析，值得参考。

一、什么是意图安全

SACR 的定义是：意图安全（Intent-Aware Security）是一组能力——推断人或智能体某段动作序列背后的可能目标，并用这个推断来引导或执行恰当的安全响应。

意图安全的概念有三层含义

“意图”不是一个词，而是一堆不同的分析问题。SACR 把它拆成六类，彼此不可互换：

意图类型	中文	含义
Declared User Intent	声明意图	用户明确要求完成的事——最清晰的信号，但未必是最终安全真相（可能含糊、不完整、恶意，或被后续篡改）
Agent-Interpreted Intent	智能体解读意图	智能体从请求推导出的计划——“目的”变成“实现”的地方；用户说“准备环境”，智能体可能理解成下载包、读密钥、开网络、建持久凭据
Latent / Inferred Intent	潜在/推断意图	从行为与上下文推断的目标——单独的 shell、扫描、凭据查询、远程连接都合法，合起来可能表示侦察或横向移动
Delegated Intent	委托意图	跨智能体/服务/工具传递的目的——委托产生“约束丢失”问题，下游子智能体只拿到窄任务却拥有过大权限
Adversarial Intent	对抗意图	恶意用户、提示注入、被攻陷模型、投毒数据、恶意技能/包/MCP 服务器/浏览器扩展引入的恶意目的
Emergent Intent	涌现意图	多组件交互产生、无人明示的不安全结果——分布式智能体系统的局部优化可能组合成危险的全局结果，最难评估

二、数据采集：七层遥测

意图推断的第一步不是推理，而是证据。SACR 反复强调：“意图首先是一个遥测融合问题，其次才是推理问题”——当平台只看到一个提示词、一个进程、一次工具调用时，模型不可能可靠地推断目的。完全的遥测数据分七层，如下表：

遥测域	描述	核心价值
指令 Instruction	用户提示词、系统指令、对话历史、检索上下文、注入内容	捕获初始用户意图与输入上下文
规划 Planning	智能体计划、所选工具、任务分解、子智能体创建、计划变更	揭示智能体策略与潜在意图漂移
身份 Identity	人类所有者、智能体身份、服务身份、凭据、委托权限、授权状态	建立授权与委托血缘
工具 Tool	工具选择、函数调用、MCP 服务器、读写范围、API 目标、命令执行、工具响应	提供对外交互的细粒度可见性
数据 Data	访问的仓库、敏感度、归属、数据移动、转换、去向	保护敏感信息资产
运行时 Runtime	端点进程活动、浏览器/应用上下文、网络行为、本地模型使用、执行状态、策略事件	在系统层面监控执行安全
结果 Outcome	改了什么、发送/创建/删除/部署/批准/采购了什么	对照预期结果验证实际影响

三、评估方法：意图推断流水线

意图应作为端到端的分析和执行流程来评估，而非孤立的安全特性或独立的提示过滤规则。在整个管道中评估意图，安全架构需要持续观察、关联并管理代理工作流程的全生命周期，从初始指令捕获到计划生成、工具执行、凭证使用到最终结果验证。意图应被当作一条端到端的分析与执行流水线，而不是孤立的提示过滤功能。它包含七个能力：

· 意图推断流水线（The Intent Inference Pipeline）

意图推断的一些关键点：

1）会话组装（Context Assembly）：把信号连成“会话/工作流”。核心安全对象不再是“事件”，而是“序列”。一个有用的会话模型要能回答：谁发起的任务？哪个智能体解读的？生成了什么计划？选了哪些工具？用了哪些身份和凭据？碰了哪些数据？改了什么？是否把控制权交给了另一个智能体？最终结果是什么？——SACR 的 ARISE 研究还补了一条硬要求：上下文必须快到能支撑“运行时决策”，而不是事后才拼出来做调查。

2）语义推断（Semantic Inference）：推断可能目标。成熟的系统应区分“声明的任务”与“观察到的执行模式”，并找出可能的备选解释。LLM 或专用小模型可以总结多个事件浮现的目标、分类意图、识别实体与目标、检测“授权目的 vs 实际行为”的错配。但系统不应掩盖这个过程的推断性——意图很少是 ground-truth 字段。

3）置信度、理由与不确定性：可信的意图控制必须暴露“置信度与理由”。安全团队要能看到哪些证据驱动了分类、缺了什么上下文、是否存在竞争性解释。一个从残缺遥测里声称“确定”的产品，比承认不确定的更危险。可见性不全、延迟上升、工具无法检查、委托上下文丢失时，系统应安全降级。

4）策略决策（Policy Decision）：推断只有与策略对比才有用。策略要纳入角色、任务、数据敏感度、委托权限、工具风险、目标、环境、业务上下文与潜在影响。要回答的问题不是“这是否恶意？”，而是“此目标、此行为者、用此工具、在此数据上、在此条件下、此刻，是否被授权？”

5）执行（Enforcement）：响应要与风险相称。智能体工作流里，二元的 allow/block 对很多合法业务太粗暴。成熟的响应阶梯包括：观察记录 → 解释风险 → 引导更安全路径 → 敏感步骤前审批 → 脱敏/转换 → 约束工具/目标/权限/范围 → 暂停 → 撤销/降级凭据 → 阻断 → 隔离 → 升级给 SOC/数据负责人/身份团队/业务审批人。

6）反馈与结果学习：闭环系统要学习分析师的决策、用户解释、审批、覆盖、误报与观察结果。目标不是更高的分类准确率，而是“更少打扰合法工作的前提下，做出更好的安全决策”。

成熟度阶梯（用于衡量厂商）：日志 → 静态规则匹配 → 上下文关联 → 语义意图推断 → 闭环结果感知响应。SACR 把意图安全定位在 Seed-to-Signal 谱系的“Seed 与早期 Signal 之间”——概念已成熟到可主动试验，但广泛、独立验证的采用与闭环治理尚未被证明。

四、控制点：七层分布式控制

意图安全不能靠单一中心控制点，因为智能体栈里没有任何一个组件拥有对会话上下文的完整可见性、或对每条执行路径的完整权威。治理必须是分布式控制架构：

层	控制点	作用与局限
L1	提示词与会话	检查指令、检测违规/注入、加引导；局限是善意提示可导向风险计划、不安全目标可跨多轮表达
L2	智能体计划与会话	对比“声明目的”与“演进计划”、识别漂移/工具选择/委托；挑战是并非所有平台都暴露规划状态
L3	工具调用与 API	最可行动的控制点（意图动作具体化）：允许读禁止写、限制目标、要求审批、替换更安全工具；MCP 因标准化智能体的工具发现与调用而愈发关键
L4	身份与凭据	意图无法与权限分离——低风险目标 + 特权凭据 = 高影响；可范围化委托、JIT 访问、升级审批、行为偏离时撤销
L5	端点/浏览器/IDE/应用	提供本地执行上下文，能观察绕过中心网关的动作
L6	数据	数据分类/归属/敏感度/策略上下文，能把模糊的工具调用变成高置信决策
L7	下游业务流程	支付、批准变更、发布内容、改客户记录、部署代码、删除数据等结果的策略钩子

软件工程中的控制点可包括：

策略决策的关键流程如下图。

五、案例：冥王星安全（Pluto Security）

冥王星安全在 AI 工作区内提供实时、意图感知的策略执行，基于运行时、端点和组织背景。其覆盖范围涵盖员工使用的人工智能工具、这些工具连接的生态系统，包括扩展、软件包、技能和MCP服务器，以及员工创建的应用程序、代理和工作流程。Pluto 结合了运行时会话上下文、端点进程上下文以及对组织的理解，用于在执行过程中评估意图并执行策略。该平台支持无代理和基于代理的部署，覆盖范围不仅限于传统端点，还延伸到支持的云和沙盒环境。Pluto 是 SACR 用来示范“如何把意图落到运行时”的案例（注：该研究由 Pluto 赞助，SACR 明确把厂商说法与独立结论分开）。

SACR 结论：Pluto 是当前市场转型的一个有价值案例——它证明了“在风险动作完成前改变智能体行为”是可行的。买家应在自己的实际工具、部署模式与执行环境里验证意图评估的深度与执行覆盖。

六、结语

安全架构要从“判断孤立动作”转向“治理完整工作流的目标”。意图安全可信的前提是：系统能展示从提示到结果的证据链、说清它认为目标是什么且有多确定、把该目标与身份/数据/策略上下文对照、并在结果变成危害之前介入。

市场还很早。有些产品已经能通过阻断工具、约束 MCP、拦截提示、门控凭据、要求人工审批来提供有意义的运行时护栏——这些控制即使不做完整语义推断也能降险。买家应当“按它们实际证明了的能力来估值，同时区分规则拦截、上下文关联、与显式推断并标注目标的系统”。

原文链接：https://softwareanalyst.io/reports/beyond-the-action-securing-agent-and-ai-intent

意图安全，智能体行为安全的控制方法，AI安全的重要方向

【声明】内容源于网络

AI与安全

理清逻辑，找到规律，看清趋势。作者前华为云高级安全专家。

内容 158

粉丝 0

AI与安全理清逻辑，找到规律，看清趋势。作者前华为云高级安全专家。

总阅读4.0k

粉丝0

内容158