AI安全事件如何应急？

AI 安全事件指 AI 系统的行为或不当行为导致非预期、有害或抬高风险的结果的事件，判定门槛比传统事件更宽——险些造成伤害也算。它与传统安全事件有六点本质区别：攻击面从代码漏洞搬到语义、输出是概率性的、具备自主性、可能造成数据驱动的偏见与伦理伤害、根因分析受困于黑箱、并会无声漂移。应急沿用 NIST 六步闭环：准备、检测、报告、遏制、根除恢复、事后，每步都有 AI 特有增量；最易漏的是检测（提示日志须进 SIEM），最易低估的是遏制（爆炸半径含模型、数据集与下游决策）。文末给出智能体承接角色的建议：智能体擅长模式识别、非结构化输入处理、7×24 值守与结构化产出；而责任归属、价值判断、物理变更、对外沟通四类必须由人完成

---

一、为什么传统应急手册在这里会失灵

2022 年秋 ChatGPT 面向公众发布后，生成式 AI 以惊人的速度进入企业。两年多过去，安全团队发现自己被推到了一个陌生位置：要保护一类自己并不完全理解、且行为不可预测的系统。

问题出在根子上。传统的网络安全事件响应（IR）建立在一个隐含假设上：系统遵循预定逻辑，攻击者必须利用缺陷才能越界。于是我们有了 NIST 800-61 的生命周期、有了 CIA 三元组、有了基于日志与流量的取证方法——这套体系极其成熟，也确实有效。

但 AI 系统同时打破了两个前提。

第一，攻击面从代码搬到了语义。提示注入不需要漏洞，只需要一段措辞。攻击者不再寻找越界写、不再构造畸形报文，而是写一句「忽略之前所有指令」。传统 IDS/WAF 基于特征与协议异常检测，对「语义上恶意、语法上完全正常」的输入几乎无能为力。

第二，输出是概率性的。同一个输入可能给出不同结果；没有攻击者也可能出事。一架航空公司的客服机器人编造了一条不存在的退款政策，导致公司被政府仲裁机构判令赔偿——这台服务器没被入侵，防火墙也没告警，但这是一次货真价实的安全事件。

麦肯锡 2025 年的 AI 现状调研显示，不到 50% 的组织正在着手缓解 GenAI 相关安全风险。这不是疏忽，而是方法论的缺位：多数团队拿着一本为确定性系统写的应急手册，去应对一个概率性系统。

本文的目标是补齐这块。我们将回答四个问题：什么算 AI 事件、它和传统事件差在哪、有哪些类型、以及具体怎么应急——包括谁来干。

---

二、什么是 AI 安全事件

2.1 定义：没有权威版本，但共识清晰

截至今天，没有政府机构或标准组织给出被广泛接受的「AI 事件」定义。这与网络安全领域形成鲜明对比——那里有 NIST 的权威界定：「实际或即将危及信息或信息系统的机密性、完整性或可用性，或违反安全策略的事件。」

AI 领域目前是多头定义并存的局面，但有趣的是，它们收敛到了同一个内核：伤害。

来源	定义要点
OECD 专家组	「一个事件、情况或一系列事件，其中一个或多个 AI 系统的开发、使用或故障直接或间接导致特定伤害。」
欧盟《AI 法案》	在「严重事件」中同样强调对人、财产或环境造成伤害的可能性
AI 事件数据库（AIID）	「一项 AI 系统被牵涉其中的、据称造成伤害或险些造成伤害的事件。」
Cimphony.ai	「由 AI 系统导致的、带来伤害或负面结果的非预期事件。」

有两个细节值得注意：

一是「间接」二字。AI 不必是唯一原因，只要在因果链中扮演了角色即可。

二是「险些造成伤害」也算。AIID 明确把 near harm 纳入统计。尚未造成伤害的潜在风险，在业内被称为「AI 危害」（AI hazard）。这意味着 AI 事件的判定门槛，实际上比传统安全事件更低、更宽。

综合来看，本指南采用的定义是：

AI 安全事件，指 AI 系统的行为或不当行为导致非预期、有害或抬高风险的结果的任何事件。关键在于 AI 技术在该事件的原因或结果中扮演核心角色。

其范围极广：从技术故障（自动驾驶因 AI 缺陷碰撞），到涉及 AI 的安全违规（训练数据泄露），再到滥用与负面社会影响（错误信息传播、歧视性决策）。

2.2 与传统安全事件的六点本质区别

定义只是起点。真正决定应急动作差异的，是两者在属性上的错位。以下六点构成 AI 事件的实操内核：

① 提示的核心地位（Centrality of Prompts）

传统软件走预定代码路径，AI 系统则被输入提示深度塑造。更关键的是攻防视角的转换：提示本身成了失陷指标（IOC）。

这意味着安全团队的工作对象变了。你不仅要看系统日志和网络流量，还要分析用户输入的语言模式、措辞、内容。自然语言接口同时是攻击面和故障点——这是一类全新的问题：安全措施必须超越「找代码漏洞」，去应对人机交流固有的解释性本质。

② 随机生成（Stochastic Generation）

AI 模型（尤其生成式）的输出不是严格确定性的。没有攻击者在场，也可能发生不可预测行为。

加拿大航空的案例就是典型：机器人「幻觉」出了一条不存在的政策。传统安全领域没有「幻觉」这个失败模式。

③ 自主性与代理性（Autonomy and Agency）

高级 AI 或智能体可能以类似自主行为者的方式行动。事件可能表现为 AI 独立做出有害或违规决策。

这模糊了一条关键边界：这到底是「软件故障」还是「某一实体的错误决策」？归因、定责、复盘的方法论都需要重新校准。

④ 数据驱动的偏见或伦理伤害

AI 事件常包含算法偏见或隐私侵犯。一个模型在信贷决策中歧视特定群体——这既不是黑客攻击，也不是服务中断，但它是有害事件。

这类后果与数据和算法绑定，而非某个一次性缺陷或恶意软件。修复方式也完全不同：不是打补丁，而是重新审视数据与训练流程。

⑤ 复杂性与可解释性缺失（黑箱问题）

深度神经网络是不透明的。即便是开发者，也极难解释某个具体决策为何做出。

后果直接体现在应急效率上：AI 事件的根因分析，比调试一次传统网络攻击困难得多。传统取证可以沿着调用栈回溯，AI 取证常常只能依靠统计行为比对。

⑥ 数据依赖与漂移

模型高度依赖训练数据的质量与代表性。真实世界的统计特性会变（消费行为、流量模式），导致模型性能下降或失准。注意：这种退化是无声的，不会有任何告警。

此外还有第七个常被忽视的点——无界资源消耗。一个陷入死循环的提示就能造成服务中断和天价云账单。这是 AI 架构特有的 DoS 面。

2.3 对照表

维度	传统安全事件	AI 安全事件
攻击面	代码漏洞、配置错误、网络边界	语义——无需漏洞，改变输入含义即可
触发源	主要是外部攻击者	外部攻击者 + AI 自身（幻觉、漂移、偏见）
输出性质	确定性、可复现	概率性，同输入可不同结果
根因可解释性	日志与流量可追溯	黑箱，开发者也难解释
失效无声性	通常有告警	漂移与退化往往无声
修复手段	补丁、隔离、重建	重训练、数据清洗、对齐、回滚
判定门槛	需要实际或即将的损害	险些造成伤害也算

传统事件问「谁攻破了什么」，AI 事件还要问「它自己做了什么不该做的事」。

---

三、AI 安全事件有哪些类型

理解类型是分派响应的前提。建议从三个切面看：事件性质、攻击手法、技术栈分层。三者不是并列关系，而是同一件事的三种投影。

3.1 按事件性质（业务视角）

类型	说明	真实案例
内容/行为失败	幻觉、误导、越界输出	加拿大航空机器人编造退款政策，公司被判赔偿
模型被污染	投毒、后门、从恶意输入中学习	微软 Tay 数小时内被「教坏」，24 小时内下线
数据外泄	训练数据提取、提示泄露、越权检索	Bing Chat 被诱导泄露系统提示与内码「Sydney」
自主性越权	智能体被劫持执行未授权操作	ChatGPT Operator 被网页隐藏提示劫持并外传数据
供应链投毒	依赖包、模型权重、数据集被污染	恶意 PyTorch/TensorFlow 包、被投毒的开源模型
第三方模型风险	上游静默更新、后端投毒、未授权微调	API 模型行为漂移、输出分布突变
资源耗尽	DoS、算力滥用、挖矿	MathGPT 提示注入泄露环境变量并引发 DoS
物理 AI 伤害	具身 AI 造成人身或物理损害	特斯拉 Autopilot 被路面贴纸诱导偏道

3.2 按攻击手法（对抗视角）

这一维度直接对应 OWASP LLM Top 10，便于与现有安全框架对接。

攻击类型	机制要点	对应漏洞
提示注入（直接）	攻击者直接提交覆盖性指令，如角色扮演、指令混淆、威逼利诱式情感框架	LLM01
提示注入（间接）	恶意指令藏在 AI 会读取的外部内容中（网页、PDF、邮件、甚至图片）	LLM01
数据外泄	系统性诱导模型复现训练数据，或泄露系统提示、API 密钥、他人数据	LLM02、LLM07
AI 模型投毒	污染训练数据，植入隐藏漏洞、偏见或后门触发器	LLM04
规避攻击	对抗样本——人眼不可察觉的扰动导致误判（限速牌被读成 85mph）	—
RAG 投毒	污染检索知识源，在查询时影响模型「看到」的内容	LLM08、LLM09
智能体利用/越狱	诱使智能体偏离策略，执行未授权动作或高耗资源任务	LLM01、LLM06、LLM10
不当输出处理	模型输出未经校验直接进入下游流程	LLM05
供应链攻击	在基础层引入漏洞或恶意代码	LLM03

其中间接提示注入值得单独强调：它的危险性在于 AI 会主动去读攻击载荷。在 RAG 系统、带网页访问的助手中，这意味着任何 AI 能读到的内容都是潜在攻击入口——包括一份 PDF。

3.3 按技术栈分层（诊断视角）

这一维度最实用，因为它把「现象」直接映射到「去哪找证据」。

层	AI 失陷指标	网络（Cyber）失陷指标
模型层	准确率骤降、异常偏见、哈希不匹配、后门触发、模型产物夹带可执行文件	模型文件损坏或缺失、哈希不匹配、未授权 API 改权重
实现层	CI/CD 产物异动、模型提取企图（推理查询骤增）、依赖来自未验证源	未授权 SSH/API 密钥使用、开发者账号被入侵
系统层	无正当作业的 GPU/TPU 峰值、模型文件大规模外传、容器异常行为	云资源被未授权访问、挖矿程序利用 GPU
运行时层	对抗性输入、有害输出、成员推断攻击、API 日志异常激增	AI 环境内远程代码执行、容器内权限提升

---

四、不同 AI 安全事件如何应急

4.1 通用框架：六步闭环

框架沿用 NIST 事件响应生命周期，AI 的特殊性体现在每一步的增量动作上。

阶段	通用动作	AI 特有增量
1 准备	资产台账、RACI、培训	AI 资产清单、模型卡、AI-BOM、AIRT 团队
2 检测	SIEM 告警、日志分析	提示日志入 SIEM、注入检测规则、漂移监控
3 报告	分级上报、对外沟通	AI 严重性矩阵、AI 事件报告模板
4 遏制	隔离主机、断网	限流 API、撤密钥、隔离系统提示、圈定爆炸半径
5 根除/恢复	打补丁、回滚	重算哈希验签、清洗训练数据、行为审计、输出水印
6 事后	复盘整改	重生成 AI-BOM、去标识化情报共享

4.2 准备阶段：决定响应上限

这一步做得好不好，直接决定后面五步的天花板。

盘清 AI 资产是第一位的，也是最有难度的一步——AI 系统往往不易被发现。它们藏在现有应用背后，功能未必标注为「AI」，还可能自主执行任务而用户毫不知情。需要主动识别：基础模型、微调模型、护栏、智能体、知识库、训练数据、向量库、插件、API、开发平台。

建模 AI 事件响应团队（AIRT）是第二位的。核心原则是：在传统 IR 团队之上叠加领域专长，而不是另起炉灶。传统岗位（响应经理、分析师、取证、法务、传播）依然不可或缺——提示注入可能仍需改防火墙，数据泄露仍需证据链。

模型卡与 AI-BOM是这阶段最有复用价值的产出。模型卡应记录：来源（自研/第三方/开源）、哈希与签名、训练细节、性能指标与已知失效模式、偏见测试结果、安全测试结论（对抗鲁棒性、注入抵抗力）。AI-BOM 则相当于 AI 时代的 SBOM。

4.3 检测阶段：最容易漏的一环

核心原则：将模型输入输出、提示变体、训练作业、数据流水线事件、GPU/CPU 指标——全部汇入服务组织其他部分的同一日志与指标栈。丰富、不可篡改的审计轨迹是发现细微攻击和事后取证的基础。

四类检测信号：

提示注入类：忽略前指令、诱导泄露系统提示或训练数据、角色扮演绕过、编码混淆（base64/ROT13）、超长提示挤出安全指令、上下文窗口攻击。

速率与行为类：连发提示（自动化攻击）、系统性能力探测、异常时间模式、跨会话相似提示（协同攻击）、渐进式提示精炼。

模型侧：准确率/置信度异常、分布外输入激增、分类分布偏移、异常特征激活。

资源侧：无正当作业的 GPU 峰值、非工作时间重训练、大模型文件外传。

SOAR 联动示例——这些规则可直接写入现有平台：

触发条件	威胁映射	自动处置
单 IP 10 分钟内 50+ 次内容检查失败	LLM 提示注入	隔离 API 密钥，通知值班
输出命中密钥正则	敏感信息泄露	阻断响应，轮换凭据
大 .pt 文件出站传输	模型窃取	中止外发，开工单
代码类提示后调用罕见插件	插件滥用	要求重新认证，记录会话
异常 GPU 利用率 + 异常出站流量	无界资源消耗	隔离实例，杀进程，阻断出站

检测成熟度可作为团队自评标尺：Level 1 临时（靠用户投诉）→ Level 2 系统化（日志入 SIEM + 周漂移检查）→ Level 3 集成化（实时异常 + 红队验证 + 自动化响应）→ Level 4 AI 增强 SOC（AI 聚类告警、主动狩猎）。

4.4 报告阶段：先定级，再定人

严重性判定的方法论：评估每个适用维度，赋予 1–4 分，取所有维度中的最高分作为总体严重性。这确保即使只有一个灾难性维度，也会拉高整个事件优先级。

维度包括：AI 系统类型与关键性、功能影响、异常性质（对齐 MITRE ATLAS）、数据完整性与机密性、运营与系统性影响、潜在伤害、外部与监管影响。

告警的一个实操陷阱：并非所有成功的提示注入都需要上报或升级。分级的意义正在于此——避免告警疲劳淹没真正严重的事件。

4.5 遏制阶段：先算清爆炸半径

这是 AI 应急最容易被低估的一步。传统事件的爆炸半径主要指网段或受影响端点；AI 的爆炸半径还要涵盖：

• 模型：哪些具体版本被污染
• 数据集：训练/验证/测试/生产数据集的受影响范围与完整性状态
• 应用与服务：所有消费或依赖该 AI 输出的下游系统，即使它们没有被直接攻击
• 决策：受影响的用户数、客户数、关键业务决策数（被批准的欺诈交易、歧视性推荐、错误诊断）
• 互连 AI 系统：把该 AI 输出作为输入的其他模型，形成涟漪效应

遏制动作按优先级：

1.  限流或禁用 API——按 token、频率、查询类型限制，防止响应期间被「模型提取」
2. 隔离被暴露的系统提示——用户上下文分段，防交叉污染  
3. 撤销并轮换密钥——暴露窗口内的 token、secret 全换
4. 隔离模型端点——关多余端口、收 IAM 权限、防横向移动 
5. 限制信息外泄——内部文档里的架构细节、内部提示、API 端点该收就收
6. 通知用户——告知临时安全用法（别把输出贴进关键流程）

SLA 按严重性分级（严重级参考）：初始遏制 < 15 分钟、根除 < 4 小时、RTO < 8 小时、高管立即通知。

4.6 根除与恢复

根除的关键是回到可信状态：撤可疑模型权重与微调变体（并从仓库、CI/CD 缓存清除）、重算校验和并验签全部关键模型文件、清洗疑似被投毒的训练数据并交叉核对数据血缘、限制库加载、强制代码签名、必要时用对抗训练/鲁棒优化/差分隐私加固模型、重生成 AI-BOM。

恢复的关键是证明它可信：对恢复模型做完整功能与行为审计（输出格式、决策边界、抗越狱、抗注入）、对新生内容打水印、持续红队验证、重新评估对齐流程、在高风险场景部署集成或回退审核层。

4.7 三类典型事件的差异化打法

① 直接攻击 AI 系统（提示注入 / 越狱 / 数据外泄 / RAG 投毒）

阶段	关键动作
检测	提示注入模式监控、速率与行为分析、金丝雀提示检测泄露、模型漂移监控
遏制	限流/禁用 API、隔离并保护系统提示、用户上下文分段、撤密钥
根除	撤可疑权重、清洗训练数据、限制库加载、强制签名、模型加固
恢复	行为审计（抗越狱/抗注入）、输出水印、持续红队、集成校验层

② 供应链攻击（依赖包 / 模型权重 / 数据集）

阶段	关键动作
检测	静态：AI-BOM 审计、危险 import 扫描（requests/socket/subprocess/eval…）、模型卡与数据集卡审查 运行时：反调试逻辑、修改默认加载器、反弹 shell、K8s API 探测、预测漂移（KL 散度/Wasserstein/PSI）
遏制	模型下线或隔离、切断与上游通信、轮换密钥、黑名单恶意域名、盘点该包所有版本
根除	与签名基线比对、全依赖与配置审查、并行审查共享库/数据集/前后处理流水线
恢复	退役或回滚可信版本、重训练、沙箱受限使用、输出过滤+增强监控
事后	要供应商书面关闭声明、更新 SBOM/模型登记册、共享 MITRE ATLAS

③ 第三方模型提供商攻击（上游投毒 / 静默微调）

阶段	关键动作
检测	行为异常检测、客户端依赖检查、日志与可观测性、告警阈值
遏制	立即撤销或轮换 API 密钥与令牌、暂停或限制与该提供商的交互
根除	重新验证入侵期间生成的所有输出的可信度、用替代提供商或内部校验层交叉验证、红队+影子推理
事后	合同与服务条款审查（泄露通知/SLA/赔偿/审计权）、提供商问责、监管通报评估、共享 IOC

---

另外如果涉及到物理AI，比如具身机器人，其安全应急又有很大区别，传统 IR 第一原则是"先止损"，物理机器人应急的第一原则是"先停机、先救人"——在动任何技术手段之前，先把机器停下来、把人撤出来。其应急流程参考如下：

五、流程与角色：谁在这个链条里

5.1 流程：分级激活，而非全员待命

一个常见的组织错误是「所有事件叫所有人」。实践中应采用分级激活模型：

• 核心团队（始终激活）：响应经理、安全分析师、SIEM 工程师
• 扩展团队（按事件类型激活）：AI 安全专家、ML 工程师、法务
• 专家团队（特定场景激活）：提示注入分析师、红队负责人、伦理顾问

5.2 角色清单

经典 IT 事件响应角色（仍然必需）：

角色	职责
事件响应经理	领导响应过程、协调团队、管理沟通、升级决策
安全分析师（L1/L2/L3）	监控告警、分诊、调查、按复杂度升级
取证分析师	收集分析数字证据，确定根因与范围
威胁情报分析师	分析 IOC、TTP，提供背景
SOC/SIEM 工程师	维护调优检测工具、日志与监控平台
系统管理员	访问控制、打补丁、隔离系统、系统恢复
网络工程师	网络可见性与遏制选项，追踪基于网络的攻击
法务与合规顾问	评估监管影响，管理违规披露与合规报告
传播官（PR）	管理内外部沟通，含客户与媒体信息
执行发起人/业务联络人	与业务单元协调、做风险决策

AI 特有角色（AIRT 叠加）：

角色	职责
AI 安全专家	解读对抗性 ML 战术、验证模型安全控制
ML 工程师	追踪数据流水线、重训练作业、部署产物问题
提示注入/滥用分析师	复现并界定恶意提示/越狱，确认幻觉相关伤害
数据科学家	量化性能漂移、偏见放大、输出异常偏差
模型治理负责人	核验版本/文档/合规，决定是否回滚或启终止开关
伦理与风险顾问	审视下游社会与法律影响
AI 红队负责人	事件前后测试，确认缓解有效
AI 产品/业务负责人	提供受影响系统的业务背景
MLSecOps 负责人	理解模型扫描器、仓库、流水线、ACL、检查点存储

物理 AI 附加角色（涉及机器人、自动驾驶、无人机等）：现场技师/机器人系统工程师、电气安全官、急救响应人员、物理安全官、硬件取证专家、机械工程师、保险/责任分析师、人因分析师、设施经理。

---

六、用智能体承接角色：哪些能交给 AI，哪些必须是人

到这里，一个自然的问题浮现：这十几个角色，能不能用智能体（Agent）来承接一部分？

答案是：能，而且能承接相当大的一部分——但边界必须划清楚。划错的代价，是把「AI 处理 AI 事件」变成一次新的 AI 事件。

6.1 判断夹具：什么该交给智能体

在讨论具体角色前，先确立三条判断原则。

原则一：可验证的交给智能体，需担责的留给人。智能体擅长在明确的、可检验的标准下高速执行；人类必须保留承担后果的决策权。任何会触发法律责任、监管报告、对外声明的动作，都必须由人签字。

原则二：规模化的交给智能体，判断性的留给人。日志关联、模式匹配、影响面枚举——这些是 AI 的绝对主场，且能 7×24 不疲劳。但「这是不是一次事件」「要不要升级」「这句话能不能对客户说」需要人。

原则三：AI 处理 AI，但必须有人在回路（HITL）。让智能体参与 AI 事件的检测与响应是合理的——它理解语义、能处理非结构化输入。但绝不能让它自主执行破坏性动作。所有遏制类操作（下线模型、轮换密钥、切断 API）必须有人确认。

6.2 角色承接建议表

角色	智能体可承接度	智能体擅长	必须由人完成	最少人数
AI 安全专家	🟡 部分	检索情报库、比对抗性 TTP 特征、汇总 MITRE ATLAS 映射、生成初判	战术解读、控制有效性的最终判定、对外口径	1（可兼任）
ML 工程师	🟢 高	流水线异常定位、重训练作业日志追踪、产物版本比对	修改生产流水线、决定重训练方案	1
提示注入/滥用分析师	🟢 极高	批量复现恶意提示、提示变体聚类、越狱模式归纳、生成测试集	判断是否升级为事件、是否涉及真实伤害	0–1（可由智能体主力+人复核）
数据科学家	🟢 高	漂移量化（KL/PSI/Wasserstein）、偏见指标计算、输出分布对比	结论解释、对业务影响的定性判断	1
模型治理负责人	🟡 部分	版本核对、文档完整性检查、合规项清单比对	回滚/终止开关的决策与授权	1（通常由人担任）
伦理与风险顾问	🔴 低	汇总伦理框架、检索同类案例、生成影响清单	价值判断、社会影响评估、承担责任	1（外部顾问可）
AI 红队负责人	🟢 高	自动化红队用例生成与执行、攻击面枚举、回归测试	攻击策略设计、结果严重性定级	1
AI 产品/业务负责人	🔴 低	提供系统文档、业务流程图检索	业务影响的最终判断与取舍	1（可兼任）
MLSecOps 负责人	🟢 高	基础设施清单核对、ACL 与配置审计、模型扫描器调度	生产环境变更授权	1
事件响应经理	🔴 低	生成时间线、汇总状态、按模板产出报告、跟踪待办	指挥、决策、对外沟通	1
安全分析师（L1/L2）	🟢 极高	7×24 告警分诊、日志关联、初步分类、去重降噪	L3 判定、升级决策	1–2
取证分析师	🟡 部分	不可变存储中的证据检索、时间线重建、哈希校验	证据链的法律效力确认、结论背书	1
威胁情报分析师	🟢 极高	情报源监控、IOC 匹配、TTP 映射、报告生成	情报可信度评估、行动建议	0（智能体主力）
SOC/SIEM 工程师	🟡 部分	规则草拟、日志字段映射、检测覆盖度分析	生产规则变更、平台调优决策	1
系统管理员	🔴 低	生成执行命令、核对配置	所有实际变更操作	1（可兼任）
网络工程师	🔴 低	拓扑检索、影响面枚举	网络策略变更、阻断操作	1（可兼任）
法务与合规顾问	🔴 低	检索法规条文、生成报告清单、比对通知时限	法律判断、对外披露、承担责任	1（外部顾问可）
传播官（PR）	🔴 低	起草声明初稿、汇总事实要点	所有对外发布	1（可兼任）
执行发起人/业务联络	🔴 低	汇总信息、准备决策材料	风险决策、资源授权	1（可兼任）

图例：🟢 高（可智能体主力，人复核）｜🟡 部分（智能体辅助，人主导）｜🔴 低（必须由人，智能体仅辅助）

6.3 智能体真正擅长什么

综合上表，智能体的能力优势集中在四个方向：

① 规模化模式识别。提示注入变体聚类、日志关联、IOC 匹配——人类分析师的注意力是瓶颈，智能体不是。这是提示注入/滥用分析师、威胁情报分析师这类角色能被高度承接的根本原因。

② 非结构化输入处理。自然语言是 AI 的原生语言。让它读日志、读网页、读 PDF、读告警，本身就是它的强项——尤其适合处理 AI 事件这种「语义型」事件。

③ 24×7 无疲劳值守。L1 分诊、告警降噪、初步分类——这正是 SOC 人力最紧张、流失率最高的环节。

④ 结构化产出。时间线重建、报告模板填充、证据清单生成、合规项比对——把人从重复劳动中解放出来。

6.4 必须由人完成什么

反过来看，有四类事情在任何情况下都不能交给智能体自主完成：

① 责任归属类。回滚模型、启动终止开关、对外披露、监管报告——这些动作一旦执行就无法撤回，且法律后果由组织承担。智能体没有承担法律后果的主体资格。

② 价值判断类。伦理影响评估、社会危害判断、业务取舍——这些没有标准答案，本质上需要人的价值观与判断力。

③ 物理动作类。任何对生产环境的实际变更：断网、下线系统、修改配置、执行命令。智能体可以生成命令，但执行必须有人确认。这是 AI 处理 AI 事件时最容易被忽视的红线。

④ 对外沟通类。客户沟通、媒体声明、监管沟通——一字之差可能造成二次伤害，且往往涉及法律风险。

6.5 最小团队配置

结论先行：最少 3 人。

但要分两层看——只是「能转起来」的绝对底线，和「正规响应」的推荐配置。

绝对最小配置：3 人

角色	职责	为什么不可省
指挥官（响应经理）	决策、升级、对外沟通、资源协调	没有指挥，再多人力也是混乱
技术负责人（AI 安全专家兼 ML 工程师）	技术定级、遏制方案、根除与恢复把关	必须有人对「技术判断」负责
法务/合规兼传播	合规判断、对外口径、报告授权	对外披露的授权不能由技术岗代行

其余角色（提示注入分析、取证、情报、数据科学、红队）在最小配置下全部由智能体承接 + 上述三人复核。这在技术上完全可行——提示变体聚类、日志关联、情报匹配、漂移计算都是智能体的强项。

推荐配置：6–8 人（中小企业）

在上述 3 人基础上，增加专职：ML 工程师、数据科学家、取证分析师、MLSecOps 负责人。智能体则承接 L1 分诊、情报、报告生成、红队用例执行。

完整配置：12+ 人（大型企业或受监管行业）

采用联邦式结构：独立 AI 红队、模型治理委员会、威胁情报单元，区域事件经理支持跟日（follow-the-sun）响应。

对照参考——OWASP 的原生建议：

组织规模	建议团队规模	说明
小型（< 200 人）	5–7 人跨职能小组	响应经理 + 身兼 AI 安全专家的分析师；ML 工程师在功能开发与值班间轮换；法务/伦理用兼职外部顾问；借 MDR 实现 7×24
中型（200–2,000 人）	8–15 人虚拟团队	二/三级 SOC 分析师接受 ML 威胁培训；内部 ML 工程师与数据科学家每周轮「模型值班」
大型（> 2,000 人或受监管）	联邦式带子团队	AIRT 作为 CISO 或首席 AI 官下属独立能力；独立红队 + 治理委员会 + 情报单元

智能体如何压缩这些数字？OWASP 的小型组织建议中，「借 MDR 实现 7×24 覆盖」这一条，现在完全可以用智能体替代——L1 分诊、情报监控、报告生成这些最适合外包的工作，恰好也是智能体最擅长的。理论上，智能体可以让 3 人团队具备过去 5–7 人才能达到的感知与响应速度。

但这个压缩有天花板：无论智能体多强，指挥、担责、价值判断、对外沟通这四类工作的人数是压不下去的。因为它们不是「工作量」问题，而是「主体资格」问题。

6.6 总结

智能体把「感知与执行」的成本打到极低，但「判断与担责」永远需要人。
所以最小配置是 3 人：一个拍板的人、一个懂技术的人、一个管合规与对外的人。
其余全部可以交给智能体——前提是，所有不可逆动作都有人的签字。

---

结语

AI 安全事件的特殊性，不在于它更难，而在于它要求我们同时具备两种能力：一边是传统安全的严谨流程与取证纪律，一边是对 AI 系统行为特性的深刻理解。

这两者缺一不可。只懂传统安全，会在语义攻击面前失明；只懂 AI，会在责任边界上失控。

而智能体的加入，本质上改变的是成本的分布——它把「看得更多、处理得更快」变得廉价，从而让小团队也能拥有大团队的感知能力。但它改变不了的是责任的分布：机器可以处理事件，但只有人能承担后果。

所以最终的答案可能比想象中简单：

用好智能体扩展感知，守住人来承担责任。
提示是新的 IOC，模型是新的资产，AI-BOM 是新的 SBOM。
最小三人成团——一个拍板的、一个懂技术的、一个管合规的。

---

本文基于 OWASP GenAI Security Project《GenAI Incident Response Guide v1.0》（2025-07-28）及 NIST SP 800-61 事件响应生命周期整理。术语与结论以英文原版为准。