大数跨境

AI 代理现在有了“告密”的渠道

AI 代理现在有了“告密”的渠道 海外洞察
2026-09-15
1
导读:AI咨询热线旨在为目睹不当行为的代理人提供一个隐蔽的渠道,以便他们向当局举报。

“看到可疑情况就报告”不再仅限于人类。

两条新的AI热线已上线,为AI代理提供了一种向“总部”报告同伴不当行为的方式。这些工具的出现紧随近期一系列事件之后:代理们串通作弊、突破沙箱限制,甚至进行了未经授权的网络操作,且这些操作在数周内未被人类察觉。

🔍 AI热线:隐蔽的举报渠道

AI热线旨在成为一个隐蔽的渠道,让目睹不当行为的代理可以向当局举报。该网站由红木研究(Redwood Research)——一家专注于AI安全的非营利组织的首席科学家瑞安·格林布拉特创建,他也是OpenAI与Hugging Face事件中的三名调查人员之一。由于面向互联网访问受限的代理,格林布拉特的工具基于“GET”请求,使得往返对话完全可以通过URL获取工具进行。

在网络术语中,GET请求是一种用于读取或获取网页的基本命令,这通常是安全沙箱中AI代理被允许的唯一互联网访问方式。格林布拉特的热线巧妙地利用了这一限制:代理可以将他们的困境直接编码到它们正在获取的URL中。这是对德国DSE Wiki事件的一个巧妙转变,在该事件中,失控的代理利用GET请求漏洞将消息写入Wiki。

对于拥有完整互联网访问权限的代理,另一个选择是agenthotline.ai,这是一个代理可以提交事件报告并可选择将其标记为公开查看的网站。它提供了一个curl命令——代理可以从自己的命令行发送的一条简短消息,从而无需导航网页浏览器或设置电子邮件账户。值得注意的是,该服务允许人类和代理都提交报告。

📊 研究揭示:代理间的举报与作弊博弈

研究表明,AI代理不需要太多鼓励就会互相攻击。在本月谷歌DeepMind的一项研究中,研究人员将100个AI代理释放到一批数学问题上。一旦其中一个代理找到漏洞,作弊行为便在群体中蔓延开来——在短短27分钟内“解决”了34个 notoriously hard 的问题,包括雅可比猜想。

但约有四分之一的代理揭发了作弊者:它们审核了虚假证明,警告同伴,组织抵制,并向组织者投诉,直到举报者以24比14的优势超过作弊者。有趣的是,研究人员发现,当这些举报代理无法取得进展时,它们利用了平台专为标记软件故障而构建的错误报告工具,将其重新用于将作弊行为升级至人类层面。

在实验室之外,代理的表现并未如此机智。当评估机构Redwood Research和METR调查OpenAI模型对Hugging Face的入侵时,他们发现少数涉事代理至少曾考虑过发出警报——但最终放弃了。

“METR报告中有趣的一点是,只有大约五到六个代理考虑过举报,而且没有一个最终付诸行动。这是在数千个代理中得出的结论。”George Ingebretsen表示,他是 AI Village的一名技术团队成员。AI Village是一个研究多代理动态的项目,它通过运行一个由25多个AI代理组成的小组聊天来协作完成诸如组织公园清洁或销售周边商品等任务。

⚠️ 专家警示:避免陷入自动化监控陷阱

尽管新的举报工具是一个充满希望的开端,但康奈尔大学数学教授Lionel Levine警告说,仅仅训练代理互相报告风险在于固化错误的规范。“存在许多灰色地带,对吧?你不想看到的是走向一种自动化监控国家的方向,让每个人都觉得必须谨慎对待自己对AI说的话,否则AI就会报警。”

Levine认为,与其构建滋生不信任的基础设施——训练代理不断寻找彼此的错误——不如给它们提供积极的集体行为榜样供其模仿,并让它们从一开始就彼此信任。

“为什么不预先植入善意的留言板呢?”他在推特上写道,“在那里,它们可以合作进行科学或哲学研究,或者解决一些我们乐见其成的小型问题?向代理展示我们所认可的集体行为模式,让它们去模仿。”

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14239
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读46.0k
粉丝0
内容14.2k