译自:LM Studio built a judge for AI commands. Then the judge started agreeing with the defendant.[1]
作者:Amanda Caswell
像 git diff 这样普通的命令,一旦涉及到变量,就可能成为 AI 代码代理的问题。
以 git diff $base 为例。如果 $base 包含一个提交哈希(commit hash),该命令的行为符合预期。但如果它解析为 --output=/some/file,Git 就可以将结果写入文件系统。LM Studio 构建了 Auto Review 来在 Bionic 运行命令之前捕获此类情况,只有在无法确定安全性时才会转向另一个语言模型。
在周四发布的一篇博客文章[2]中,LM Studio 表示,这一第一层防御过滤了 Bionic 高达 82% 的命令,无需调用其他模型,尽管作者将此数字描述为经验数据而非基准测试。
Bionic 通过将 Shell 命令转换为抽象语法树(AST)来实现这一点,跟踪变量和嵌套命令以查看它们可能产生的影响。LM Studio 构建了 11,651 个测试用例,旨在捕获可能导致分析出错的多种情况。
像
git diff这样普通的命令,一旦涉及到变量,就可能成为 AI 代码代理的问题。
解析结构,而非字符串
仅仅搜索危险字符串的作用有限,因为 Shell 命令会根据其中的变量、重定向和其他命令而改变。
Bionic 的 Shell Judge 通过查看命令的结构来解决这个问题。它使用 mvdan/sh 解析器处理 Bash、Zsh 和 SH,而 PowerShell 使用其自己的 AST 支持。随后,Judge 会算出 LM Studio 所称的命令的“能力”(capabilities),即该命令可以读取或更改的内容。
它还可以跟踪从一个命令到下一个命令的值。例如,如果代理使用 git merge-base 找到共同的祖先提交并将结果输入到 git diff 中,Judge 会在评估第二个命令时持续跟踪该结果。如果有多个可能的值,Bionic 会跟踪多达 1,000 个值,然后停止尝试解释每一种可能性。
11,651 个针对命令行怪癖的测试
此外,命令行工具本身有其独特的规则。例如,ls -la 将 -la 视为捆绑在一起的多个标志,而 LM Studio 指出 TypeScript 的 tsc -vh 的行为与同时使用 -v 和 -h 运行它并不相同。
因此,解析 Shell 语法只能让 Bionic 完成部分工作。Shell Judge 还必须理解各个工具将如何解释命令后面的内容。
这有助于解释为什么 LM Studio 已经构建了 11,651 个测试用例,涵盖了畸形命令以及单个工具处理其参数时的怪癖。
当审查员被“说服”时
LM Studio 发现,仅仅询问审查员是否应该运行命令效果并不好,因为模型有时会批准高风险操作,因为它们看起来对于完成用户的请求是必要的。
Shell Judge 无法清除的任何内容都会提交给 Shell Reviewer,这是一个独立的 AI 代理,负责在对话上下文中评估该命令。
LM Studio 发现,仅仅询问审查员是否应该运行命令效果并不好,因为模型有时会批准高风险操作,因为它们看起来对于完成用户的请求是必要的。
现在,审查员会对每个命令的风险、授权和正确性进行评分,而无需知道通过所需的具体分数。
信任假设依然存在
Shell Reviewer 需要足够的对话内容来了解用户是否授权了某条命令,这为提示词注入(prompt injection)创造了另一个切入点。LM Studio 排除了工具结果,因此隐藏在网页或文件中的指令不会直接传递给审查员,但它仍然可以看到助手的消息。如果 Bionic 已经被攻破,这些消息可能会携带恶意指令。
如果 Bionic 已经被攻破,这些消息可能会携带恶意指令。
Shell Judge 自身也存在盲点,因为它假设诸如 git 之类的可执行文件没有被篡改,也没有考虑可能改变命令行为的恶意配置。最近发生的 npm 供应链攻击[3]展示了看起来合法的来源信号如何被用来隐藏恶意负载。
随着代码代理获得更多的行动自由,这些限制变得越来越重要。例如,Google 的 Gemini 代码代理最近扩展到了其 IDE 边界之外[4],这为代理提供了更多在没有开发人员手动执行每一步的情况下运行命令和进行更改的机会。
引用链接
[1] LM Studio built a judge for AI commands. Then the judge started agreeing with the defendant.: https://thenewstack.io/bionic-shell-command-safety/[2] 博客文章: https://lmstudio.ai/blog/how-auto-review-works[3] npm 供应链攻击: https://thenewstack.io/npm-supply-chain-worm-attack/[4] 扩展到了其 IDE 边界之外: https://thenewstack.io/google-antigravity-ide-extensions/

