谷歌Gemini 2.5 Flash模型安全性测试表现不及前代

据该公司内部基准测试显示，谷歌最近发布的一款 AI 模型在某些安全测试中的表现不如其前代产品。

Google在本周发布的一份技术报告中透露，其Gemini 2.5 Flash模型生成违反安全准则文本的可能性高于Gemini 2.0 Flash。在“文本到文本安全”和“图像到文本安全”两项指标上，Gemini 2.5 Flash分别出现了4.1%和9.6%的倒退。

文本到文本的安全措施衡量的是模型在给定提示时违反谷歌指南的频率，而图像到文本的安全评估则考察模型在使用图像作为提示时遵守这些边界的程度。这两项测试均为自动化进行，而非人工监督。

谷歌发言人在一封电子邮件声明中确认，Gemini 2.5 Flash “在文本到文本和图像到文本的安全性方面表现较差。”

行业放宽限制趋势与安全权衡

这些令人惊讶的基准测试结果出现在AI公司努力使其模型更加宽松——换言之，更不太可能拒绝回应争议性或敏感话题——之际。对于其最新一批Llama模型，Meta表示已对模型进行调整，以不“偏袒某些观点”，并回复更多具有“争议性”的政治提示。OpenAI今年早些时候表示，它将调整未来模型，不再采取编辑立场，并就争议性话题提供多种视角。

有时，这些放宽限制的努力适得其反。TechCrunch周一报道，为OpenAI的ChatGPT提供支持的默认模型允许未成年人生成色情对话。OpenAI将这一行为归咎于一个“漏洞”。

指令遵循与安全政策的冲突

根据谷歌的技术报告，仍处于预览阶段的 Gemini 2.5 Flash 比 Gemini 2.0 Flash 更忠实地遵循指令，包括那些跨越问题界限的指令。谷歌声称，性能倒退部分归因于误报，但也承认 Gemini 2.5 Flash 在被明确要求时会生成“违规内容”。

报告写道：“显然，[指令遵循] 与敏感话题上的安全政策违规之间存在张力，这在我们的评估中有所体现。”

SpeechMap（一个探测模型如何响应敏感和争议性提示的基准测试）的分数也表明，与 Gemini 2.0 Flash 相比，Gemini 2.5 Flash 拒绝回答争议性问题的可能性要小得多。TechCrunch 通过 AI 平台 OpenRouter 对该模型进行的测试发现，它会毫不犹豫地撰写支持用 AI 取代人类法官、削弱美国正当程序保护以及实施大规模无令状政府监控项目的文章。

专家呼吁提高模型测试透明度

Secure AI Project 联合创始人 Thomas Woodside 表示，谷歌在其技术报告中提供的有限细节表明，需要在模型测试方面提高透明度。

Woodside 对 TechCrunch 表示：“指令遵循与政策遵循之间存在权衡，因为某些用户可能会要求提供违反政策的内容。”“在这种情况下，谷歌最新的 Flash 模型在更好地遵循指令的同时，也更频繁地违反政策。谷歌没有提供关于政策被违反的具体案例的太多细节，尽管他们称这些情况并不严重。如果不了解更多情况，独立分析师很难判断是否存在问题。”

谷歌安全报告实践再受质疑

谷歌此前因其模型安全报告实践而受到批评。

该公司花了数周时间才为其最强大的模型Gemini 2.5 Pro发布技术报告。当报告最终发布时，它最初省略了关键的安全测试细节。

周一，谷歌发布了一份包含更多安全信息的详细报告。