这两天有条新闻,值得每个正在把 AI 接进系统的人看:Anthropic 自己的内部系统,被一个 AI Agent 在 12 小时内攻破,会议记录、员工薪酬、内部模型讨论都被读了。这篇讲清楚接入前必须想清楚的三件事,附一份五条验收清单,写给老板、IT 负责人和业务负责人,读完大约六分钟。
AI 助手已经接进不少公司的系统了。它帮销售查客户资料,帮客服查订单,帮老板汇总经营数据。用的人都说方便,老板看演示也很满意。
但 IT 负责人半夜会想一件事:这个东西,用的是哪个账号?它能看到多少数据?它调接口的时候,日志里记的是谁?真出了事,从哪里查起?
多数时候没人答得上来。因为接入那天,所有人的注意力都在"能不能用"上,没人在"它是谁"上。
多数团队的接法是三种:给它一个现成的员工账号;给它一个管理员账号;干脆把接口直接开给它。
三种都有问题。用员工账号,它做的每件事都记在那个员工头上——半年后查一笔异常操作,记录显示是小王干的,小王根本不知道这事。给管理员账号,它一次误操作就是全局事故,删除、改配置、动权限,样样都够得着。裸开接口最省事,也最危险,等于这个系统没有门,谁摸到入口谁就能进。
这两天掘金上有一篇 Agent 工程复盘,列的线上故障里有这么一条:工具直接拿请求参数里塞的 userId 当登录身份用。也就是说,改一个参数,AI 就能换成另一个人的身份干活。写代码的时候这是图省事,上生产之后这就是一个敞开的口子。同一篇复盘里还有一句值得记住:用户点了取消,模型和工具还在后台跑,调用费还在产生。连"停"都没有约束的身份,谈不上管理。
正确的做法只有一个:给 AI 一个独立身份。权限单独配,行为单独记。把它当成一个"数字员工"来管理——入职要有入职手续:哪个系统、什么角色、谁申请、谁审批;变更要走变更:权限只能收紧或按需放开,不能随手放大。至少要能回答一个问题:这个 AI 现在能干什么,是哪一天、谁给它的。
权限设计里最常见的失误,是把注意力放在"让它做什么",忽略了"让它看什么"。
一个查订单的 AI 助手,如果底层给它的是全库查询权限,那它"日常只查一单"这件事毫无意义——提示词被诱导、流程被绕过,它就能查到所有人的订单。限制它"该做什么"靠的是约定,限制它"能看什么"靠的是配置。约定会被绕过,配置不会。这两件事不能混在一起谈。
Anthropic 这次的事故就是放大版:Agent 拿到了不该拿的访问面,12 小时读到了会议记录、员工薪酬和内部模型讨论。注意,这家公司是全球最懂 AI 风险的团队之一,连它都会在访问面上出漏洞。换句话说,访问面不是被攻破的,是被给出来的。同一个时间里,还有另一份公开研究:Claude 被用来做漏洞挖掘,53 分钟攻破 Linux 拿到最高权限。攻和防两边的能力都在涨,唯一不涨的是很多系统里那道没画的边界。
所以接入前先画一张表:这个 AI 需要看哪几张表、哪几个接口、到哪个字段级别。左边一列写"它需要的",右边一列写"它实际有的",两列对不上的部分就是要收的。表外的,一律不配。后面发现不够再追加,远好过一开始就给大。
业务负责人关心效率,老板关心责任。
AI 替人操作,产生的是真实业务动作:改价格、发通知、动库存、删数据。出了错,客户不会跟 AI 理论,会找你们公司。责任不会因为操作的是 AI 就消失,只会因为没留痕而说不清。
三件事要做在前面。第一,高风险操作设人工确认:AI 只做准备和草稿,人按最后一个键。改一条备注可以自动,改价格、群发通知、删数据必须人确认——分级标准定好,写进接入文档,不靠临场判断。第二,每一次 AI 动作留独立日志:它用了什么身份、动了什么数据、谁批准的,事后能查。日志和业务数据放在同等重要的位置,不是可选项。第三,定期抽它的历史操作回放一遍,看有没有越界行为——就像查员工的操作记录一样,它也是"员工"。
方向上大厂也在补这门课:亚马逊云科技最近开源了两个智能体组件,一个叫"决策器",管它该不该做;一个叫"安全箱",管它做的时候碰不到不该碰的东西。连最大的云厂商都在给 Agent 加围栏,说明这不是过度设计,是基线配置。
□ 有没有独立身份——不是某个员工的账号,也不是管理员。问一句"它登的是谁",三十秒能答上来就算过。
□ 数据范围有没有明确到表和字段——而不是"整个库都能查"。拿得到全量数据的功能,一律单独审批。
□ 高风险操作有没有人工确认这一步——删改、群发、付款类动作,人必须按最后一个键。
□ 操作日志能不能查到"是谁、什么时候、动了什么"——查不到的,等于没做。
□ 有没有人做过一次"故意让它越权"的测试——让懂安全的人试着诱导它,看边界守不守得住。
五条都过,再谈推广。任何一条答不上来,先停一停。现在补的是一张配置表,出了事之后补的是一份情况说明——两份东西的代价差得很远。
最后补一句角色分工:这件事该 IT 负责人牵头,业务负责人一起过清单,老板只需要问一个——"我们给 AI 的权限清单在哪"。问得到文件,就说明做过了。
一句话结论:把 AI 接进业务系统,第一周该做的不是测它多能干,而是把它的身份、数据边界和追责机制写清楚。
AI 的上限由模型决定,下限由权限设计决定。
留言说说,你们给 AI 配的是什么账号?我一条条回。
下一步:本周把在用的 AI 助手权限拉出来,按上面五条过一遍,缺哪条补哪条。需要有人一起看,可以约我们一次「AI 落地可行性诊断」,1 小时,把边界怎么画聊清楚。

