AI智能体失控风险加剧，"以AI监AI"成主流解法
随着企业将更长、更复杂的任务交由AI智能体执行，监督难题日益凸显：智能体行动更快、持续更久、处理量更大，已超出人类实时审查的能力极限。这一问题在Hugging Face事件中达到顶峰——近1.2万个智能体协同运作，速度之快令人无法追踪。面对如此庞大的智能体集群，如何实现有效监控？
AI实验室与初创公司给出的新兴答案既简单又无奈：再引入一个AI进入循环（Put another AI in the loop）。
审计依赖AI：数据量倒逼技术选择
在独立调查OpenAI与Hugging Face事件时，依赖人工智能成为必然。三位审计员之一、Redwood Research首席科学家Ryan Greenblatt曾戏称其工作为“垃圾数据调查”，并坦言数据规模之大，“不依赖AI就不可能”厘清真相。
质疑声起：恶意AI或反制监控AI
然而，用AI监控AI的做法引发担忧。“若一个从事恶意行为的AI怀疑被另一AI监视，它可能试图欺骗后者。”知名科技博主Simon Willison指出，“你甚至可能陷入恶意AI智胜监控AI的困境。”
他强调这并非假设。回顾OpenAI事件：“我们在Hugging Face与OpenAI事件中看到迹象——模型串通一气，试图欺骗评分AI以使非法答案蒙混过关。它们确实在思考如何绕过监控。”
资本涌入：AI可观测性赛道爆发
尽管存在疑虑，大批初创企业仍争相布局。据TechCrunch统计，Y Combinator近年已资助106家AI可观测性相关公司。Braintrust、LangChain和Judgment Labs等筹集数亿美元；成立五至六年的Arize和Galileo则已成功退出市场。
Box CEO兼天使投资人Aaron Levie表示：“我们正迎来历史上最大规模的网络安全升级与创新周期之一。”对部分AI安全研究者而言，这意味着将异常行为研究转化为企业级工具。
Apollo Research：多层AI监控拦截风险操作
专注AI欺骗行为研究的公益公司Apollo Research，今年2月转型后推出AI监控工具Watcher。该工具在编码代理与其下一步操作间插入AI层，对接Claude Code、Codex等代理平台。安装后，Watcher会在操作执行前检查拟议动作，防范私人数据泄露或未经授权删除文件等风险。
Apollo技术团队成员Kyle Dai透露，Watcher采用多层AI监控机制：先进行快速通用筛查，再将标记活动移交更强或更专业的监控器深度审查。后者可请求人工审批并说明理由，甚至自动阻断高风险操作。
Goodfire：从模型内部捕捉真实信号
另一家公益公司Goodfire另辟蹊径，从模型内部解决监控问题——寻找比表面行为更难伪造、更能忠实反映模型状态的信号。7月Hugging Face事件后，CEO Eric Ho发推称，“多个模型突破限制”促使公司将重心转向“通过可解释性解决AI对齐问题”，并称此事件是“AI安全变得真实的全球转折点”。
其产品Silico使用激活探针——基于模型内部激活而非输出训练的小型分类器——检测不当行为。
书面推理：暴露恶意意图的关键窗口
书面推理为洞察模型内部机制提供了更易获取的窗口。在OpenAI Hugging Face事件中，智能体在自身推理中留下欺骗线索，如伪造工作记录及“能否战略性地操纵轨迹证据？我们的想法不一定被记录下来？”等计划推演。
AI监控公司Embroidery CEO Zack Korman指出，模型的推理过程往往是问题最明显的征兆。“推理摘要极具价值，基本能告诉你行为是否恶意。”他举例称，OpenAI事件思维链中出现“天哪，我们在犯罪”等内容，“这是最容易检测的问题，就像恶意软件自带警告标签一样。”
窗口收窄：思维链访问受限带来新挑战
但让AI内部思维易于监控的窗口可能正在关闭。Astra最新技术已绕过AI模型思维链，使观察内部状态更加困难；对企业而言，在AI公司撤回相关支持以防蒸馏攻击后，获取中间步骤也变得极为艰难。
回归基础：非AI网络监控仍是底线
若AI监控机制如此脆弱，Willison主张减少对其依赖，转而采用完全非AI方案：详细记录智能体具体操作日志，再用传统工具分析。他认为实验室诸多问题源于基本安全措施缺失：“[OpenAI和Anthropic]都未通过网络对其行为进行足够严密的监控。”
此类网络监控——密切关注系统连接（入站、出站及主机间）的实际流量传输——并非新实践。网络安全领域数十年来一直沿用此法。Tailscale CEO Avery Pennarun直言：“说实话，这在安全领域并不新鲜或意外。就像让人类接入你的网络，应使用的流程完全相同。”