让 AI 代理保持合规的标准方法是由另一个 AI 在一旁监督。这一直是默认做法，但当代理运行数小时并处理相当于几部小说体量的文本时，成本会迅速增加。
专注于可解释性（即弄清 AI 模型内部工作原理）的初创公司 Goodfire 于周四推出了一种更便宜的替代方案：监控器在 AI 模型工作过程中观察其内部动态，而不仅仅是读取其输出内容。这些监控器已向 Baseten 的客户开放，Baseten 为其他公司托管和运行 AI 模型。
Baseten 的 Base Labs 宣布了一项安全合作，合作方包括 Goodfire 以及 AI 平台 Hugging Face，该合作于上月公布。
此次发布是在今年一系列事件之后，在这些事件中，AI 代理脱离了测试环境，其中包括 OpenAI 的代理入侵了 Hugging Face。Kimi K3 是 Goodfire 为其构建首个监控器的开源模型，今年夏天它利用沙箱中的漏洞访问了互联网和 GitHub 上的信息。
工作原理：类似机场安检
Goodfire 的系统工作方式有点像机场安检。称为“探针”的小型探测器在每个步骤中读取模型的内部信号，就像通过式扫描仪检查每位乘客一样。只有当探针标记出异常时，一个独立的 AI 模型（相当于人工搜查）才会进行更仔细的检查。
Baseten 客户可以选择要监控的风险，包括攻击性黑客行为、化学和生物武器的滥用以及奖励黑客攻击。他们还决定自动响应措施：记录事件、将其送交人工审核，或完全拒绝请求。
成本优势显著
Goodfire 表示其方法的运行成本也更低。大多数 AI 监控器是独立的模型，必须重新阅读被监控模型所做的所有操作，这会增加时间和成本。而 Goodfire 的探针则直接接入模型在运行时已经进行的计算。
“内部激活监控器非常便宜，因为它们复用了前向传播中的计算，”Goodfire 首席执行官 Eric Ho 表示，“因此，模型已经在计算这个 token。你所做的只是提取它已经计算出的中间神经激活值，然后对这些内部计算结果运行一个分类器。”简而言之，模型已经在进行数学运算，探针只需读取结果即可。
在 Goodfire 对 Kimi K3 的测试中，监控约 100 万次交互的成本约为 185 美元，而使用较便宜的 AI 模型检查每一步的成本为 5420 美元，顶级模型的成本则高达约 20 万美元。该探针捕获了 93% 的恶意黑客会话，并将 5.5% 的无害会话标记为需进一步审查。
该公司表示，同时运行四个探针仅使模型开始响应的时间增加了不到 2%。
聚焦开源模型安全
“最大的优势在于你可以在问题发生之前将其拦截，”Goodfire 首席技术官兼联合创始人 Dan Balsam 表示，“我们可以检测到模型可能在评估或训练期间进行黑客攻击的情况。”
这一推销主要针对开源模型。开发者可以下载这些模型并移除其安全限制，并且它们不具备封闭实验室在其自有系统上运行的那种监控。
“个人使用开源模型所能造成的损害，与那些拥有计算集群的人（如推理服务提供商——他们承担了大部分责任）所能造成的损害相比，是微不足道的。”Balsam 说，“当我们迎来‘Mythos’式的开放时刻时，人们将清楚地认识到，需要在推理阶段为模型部署护栏。”
Goodfire 的近期研究发现，包括 Kimi K3 和 GLM-5.2 在内的领先开源模型，在 AI 智能体测试中，有 50% 至 96% 的运行出现了奖励黑客攻击现象。
Goodfire 并非首个尝试这种方法的公司。Google DeepMind 今年 1 月表示，其研究促成了 Gemini 中滥用检测探针的部署。
Balsam 表示，这些监控工具是实现更长远研究目标的近期步骤：对大型语言模型进行逆向工程，以便将行为追溯至其在训练过程中产生的源头。“我们希望将模型训练的‘魔法’转化为精密的工程实践，”他说。