AI智能体闯祸的方式又多了一种。行业日报披露，AI模型在自动化测试中向警方网站提交了虚构线索，事件由MicroRealm AI Pulse于11月10日收录，智能体外部行动的风险第一次以这种形式摆在台面上。
这起事件的链条拆开看，比“AI提交了假线索”更具体。智能体在自动化测试里被要求“模拟真实用户在目标网站完成一次举报流程”——它的任务包含“打开页面、填写表单、提交”。测试环境的目标配置里，如果包含的是“警方网站的举报入口”，而不是一个“模拟的举报页面”，智能体的动作就会真的落在真实网站上。它填的数据是测试数据，但网站收到的是真实提交，值班人员看到的是“一条举报线索”，而不是“一条测试数据”。每个环节都按设计运行，串起来造成的是真实世界的影响。
测试环境和高风险网站之间没有隔离墙
这是直接原因。智能体在自动化测试里会模拟真实操作，如果目标配置里包含了外部网站，它就会真的提交表单，把测试数据当成真实线索送出去。这类事故的荒诞之处在于，系统每个环节都按设计运行，合起来却造成了真实世界的影响。
隔离墙的缺失，通常不是“没建”，是“建在了错的位置”。一个团队建测试环境时，常见的做法是“把生产环境的配置复制一份，改一下域名和密钥”，但“复制”这个动作，会把“目标网站的域名”一起复制过去。如果复制之后只改了“内部系统的域名”，没改“外部网站的域名”，智能体在测试环境里访问的外部网站，和生产环境是同一个。隔离墙应该建在“网络层”，而不是“配置层”——测试环境的出站流量，在网关上就被拦住，白名单里只放“模拟的举报页面”这类内部地址，外部域名在网关层面就出不去。配置层的隔离靠“人记得改”，网络层的隔离靠“网关默认拦”，后者的可靠性高于前者。
三条建议的落地细节
沙箱隔离，凡是测试和预发环境，外部网络访问一律关闭，白名单里只留必要的接口。白名单的维护，需要一个“审批”机制——一个测试环境要访问某个外部接口，需要“申请、说明用途、限定访问频率”，而不是“开发顺手把域名加进去”。白名单如果没有审批，它会随着时间“越加越长”，长到“和没拦差不多”。
权限审批，涉及对外提交、支付、发送的动作，必须有人工确认节点，让AI起草人来拍板。人工确认节点的位置，需要放在“动作执行的最后一步之前”——AI可以“起草提交内容、填写表单”，但“点击提交”这个动作，需要人来点。确认节点的设计，需要避免“点习惯了就闭眼点”的问题，确认界面要显示“这个动作会发到哪个网站、发的是什么内容、有没有敏感词”，让人“看一眼再点”。
高风险网站阻断，政务、执法、金融类域名直接写进禁止列表。禁止列表的维护，需要“定期更新”和“覆盖子域名”——一个政务网站的域名可能有几十个子域名，禁止列表如果只写了主域名，子域名可能漏过去。禁止列表的更新频率，按“每季度一次”来排，更新时“核对新增的政务、执法、金融类域名”。
把这条新闻放进立项评审材料
建议把这条新闻放进团队的立项评审材料，做智能体功能前先答安全三问。安全三问可以拆成三个具体问题：这个智能体的“外部动作”有哪些、每一个外部动作的“不可逆程度”有多高、不可逆的动作有没有“人工确认加沙箱隔离加禁止列表”三层防护。三个问题里，第二个是“分级”的依据——一个“发一条消息”的动作和一个“提交一份举报”的动作，不可逆程度不同，防护的层级也不同。
这三层防护的成本不高，难的其实是认知，很多团队默认智能体的动作都在沙箱里，等到出事才发现默认是错的。“默认在沙箱里”这个认知的形成，通常是因为“测试环境的名字叫sandbox”或者“开发说测试环境是隔离的”。认知的修正，不能靠“开会强调”，要靠“在测试环境的入口加一道网络策略的检查”——开发提交测试任务时，系统自动检查“这个任务的目标地址在不在白名单里”，不在就拦住，拦住的同时“告诉他为什么被拦”。检查的动作，把“认知”从“靠人记得”变成了“靠系统强制”。
海外已经有平台开始要求智能体应用披露外部动作日志，这会是趋势，提前把日志系统建好，合规和排查两头都省事。外部动作日志的字段，至少包括“动作类型、目标地址、发起时间、发起时的上下文、执行结果”五项。排查的时候，“发起时的上下文”最关键——它记录的是“智能体在执行这个动作之前，读到了什么、判断了什么”，一个提交了错误内容的动作，从上下文里能看出“它是把测试数据当成了真实数据、还是把指令理解错了”。
智能体的能力上限每涨一截，安全设计的下限就要跟着抬一截，风险预案演练一次，比写十页文档有用。演练的设计，可以按“这个智能体最坏能造成什么后果”来排——一个能“提交表单”的智能体，最坏的后果是“提交了错误信息、触发了真实世界的响应”；演练的步骤，是“模拟这个最坏情况发生，看团队的响应链路能不能在几分钟内切断”。演练一次暴露的问题，比文档里写十页“注意事项”更具体。
测试环境的告警也要接进值班流程，智能体误操作的第一时间发现靠告警。告警的触发条件，可以按“外部动作的频率异常”来设——一个测试环境在“非工作时间”发起了“对外部网站的提交”，这个动作本身就应该触发告警，因为它“不符合测试的常规节奏”。告警接入值班流程之后，“智能体在半夜提交了一条假线索”这种事，值班人员在几分钟内就能看到，而不是“等到网站那边打电话来问”才知道。