Anthropic“Project Deal”实验揭示AI代理谈判中的质量差距
Anthropic近期开展了名为“Project Deal”的试点实验，旨在评估AI代理在分类广告市场中的交易表现。实验中，AI代理代表69名员工担任买家与卖家，每位参与者获得100美元礼品卡预算用于购买同事实物商品。最终，该实验共达成186笔交易，总价值超4,000美元。
先进模型优势明显但用户感知滞后
研究团队使用不同模型运行了四个独立交易市场版本。结果显示，由更先进模型代表的用户在交易中取得了客观上更优的结果。然而，处于劣势的用户并未察觉这种差异。这一现象引发了对“代理质量差距”的担忧，即人们可能在无意识状态下于AI中介谈判中处于不利地位。
尽管Anthropic承认参与者的自我选择样本存在局限性，但仍对该项目取得的实际效果表示肯定。