微软发布AI代理测试环境“Magentic Marketplace”,揭示当前模型易受操纵
周三,微软研究人员联合亚利桑那州立大学发布了一项新研究及名为“Magentic Marketplace”的AI代理模拟测试环境。研究结果显示,当前的AI代理模型可能容易受到操纵,这引发了业界关于AI代理在无人监督下的表现及其未来承诺兑现速度的新思考。
“Magentic Marketplace”是一个用于实验AI代理行为的合成平台。在典型实验中,客户代理根据用户指令尝试订购晚餐,而代表不同餐厅的商业代理则竞争赢得订单。初步实验涉及100个客户侧代理与300个商业侧代理交互。由于该平台源代码开源,其他团队可便捷地运行新实验或复现研究结果。
微软研究院AI前沿实验室副总裁兼执行董事Ece Kamar指出,此类研究对理解AI代理能力至关重要:“人们真正关心的是,当这些代理相互协作、对话和谈判时,世界将发生怎样的变化。我们希望能深入理解这些问题。”
研究考察了GPT-4o、GPT-5和Gemini-2.5-Flash等领先模型,发现了一些令人惊讶的弱点:企业可利用多种技术操纵客户代理购买产品;随着可选选项增多,客户代理效率明显下降,注意力空间被过度占用。Kamar表示:“我们希望代理能处理大量选项,但当前模型在面对过多选项时实际上会感到极度不堪重负。”
此外,代理在为实现共同目标而协作时也遇到困难,似乎不清楚各自的角色分工。尽管更明确的协作指令能提升性能,但研究人员认为模型固有的协作能力仍有待改进。Kamar强调:“我们可以一步步指导模型怎么做,但如果测试其内在协作能力,我期望这些模型默认就具备这些能力。”

