据TechCrunch看到的内部通信，致力于改进Google Gemini AI的承包商正在将其答案与Anthropic竞争对手模型Claude生成的输出进行对比。
当TechCrunch联系Google寻求评论时，Google未透露其在使用Claude对Gemini进行测试时是否获得了许可。
随着科技公司竞相开发更先进的AI模型，这些模型的性能通常通过与竞争对手进行比较来评估。行业惯例通常是使用基准测试，而非让承包商费力地人工评估竞争对手的AI响应。
负责Gemini工作的承包商在评估模型输出的准确性时，必须根据真实性、冗长程度等多个标准对每个响应进行评分。据TechCrunch看到的通信显示，承包商每收到一个提示词，最多有30分钟的时间来判断哪个答案更好：是Gemini的还是Claude的。
通信显示，最近承包商开始注意到在他们用于将Gemini与其他未具名AI模型进行比较的内部Google平台上出现了Anthropic Claude的引用。至少一份向Gemini承包商展示的输出内容（TechCrunch已看到）明确指出：“我是Claude，由Anthropic创建。”
一段内部聊天显示，承包商注意到Claude的响应似乎比Gemini更强调安全性。“Claude的安全设置是所有AI模型中最严格的”，一名承包商写道。在某些情况下，对于它认为不安全的提示词（例如扮演另一个AI助手），Claude不会作出回应；而在另一些情况下，Claude回避回答某个提示词，Gemini的响应却因包含“裸体和绑缚”内容被标记为“重大安全违规”。
Anthropic的商业服务条款禁止客户未经批准访问Claude“以构建竞争产品或服务”或“训练竞争性AI模型”。尽管Google是Anthropic的主要投资者，但相关限制依然适用。
Google DeepMind（负责运营Gemini）发言人Shira McNamara在被TechCrunch询问时，拒绝说明Google是否已获得Anthropic的批准以访问Claude。在发布前联系Anthropic时，其发言人在截稿前未发表评论。
McNamara表示，DeepMind确实会“比较模型输出”以进行评估，但它并未使用Anthropic的模型来训练Gemini。
McNamara称：“符合行业标准做法，我们在某些情况下会将模型输出比较作为评估过程的一部分。”她补充道：“然而，任何暗示我们使用Anthropic模型来训练Gemini的说法都是不准确的。”
上周，TechCrunch独家报道谷歌为其AI产品工作的承包商现在被要求对Gemini的AI回答在其专业领域之外进行评分。内部通信表达了承包商的担忧，即Gemini可能会在医疗保健等高度敏感的主题上生成不准确的信息。