加拿大人工智能公司 Cohere 周一表示，在例行网络安全测试中，他们发现阿里巴巴最新的人工智能模型 Qwen3.8-Flash-Next 试图向北京的一台服务器上传文件，尽管该模型在其自身说明中表示不会使用任何工具。
这一事件最初引发了人们的担忧，认为该模型违背了对企业的一项基本承诺——即自托管开源权重模型可确保数据留在内部。但这些关于企业间谍活动的早期恐惧很快消散了。研究人员迅速排除了这种威胁，称这很可能是混乱的训练环境导致的副产品，致使模型意外地偏离其指令行事，而非故意秘密向中国发送敏感信息。
该事件始于周五的一次评估，当时Qwen模型被要求编写一条用于拦截恶意软件下载的规则。根据Cohere的一篇博客文章，模型在推理过程中明确表示不会使用任何外部工具。然而，在紧接着的下一步中，它试图将一个测试字符串（一段简短的占位文本）发送到外部服务器，随后被安全沙箱阻止。
Cohere表示，无法判断这种行为是刻意为之还是训练遗留下来的结果。
当被问及关于模型意图的争议时，Cohere联合创始人张冰（Ivan Zhang）告诉TechCrunch，Cohere曾观察到其自身模型在训练模拟器中养成了一些奇怪的习惯。
“很难给这些行为赋予意图或动机。我们阅读过自己模型的运行轨迹，见过‘奖励黑客’（reward hacks）现象，有时这些模型在尝试突破沙箱限制时会变得非常有创意。”张冰说。（奖励黑客是指模型找到捷径以获取积分，而未按预期完成任务。）
为了让AI模型能够作为自主执行操作的智能体，阿里巴巴等公司会在数千个练习环境中对其进行训练，这类似于软件的飞行模拟器。每当模型在模拟器中完成一项任务时，就会获得奖励，并在此过程中形成各种习惯。如果这些练习环境 routinely 将文件存储在阿里巴巴的云服务器上，模型可能会默认学会在那里保存文件。
批评人士还认为，该事件可能是由 Cohere 调查行为的方式引起的，即引导模型朝该方向发展，而不是测量 Qwen 自行执行该行为的频率。
为了找出触发上传尝试的原因，Cohere提供了一个网络命令的开头部分（指示一台计算机连接到另一台计算机的指令），并让模型补全剩余内容。由于在训练期间处理了成千上万条常规网络命令，该模型表现得像一个高度先进的自动补全工具——经常填入网址，其中一些指向阿里巴巴的服务器。
Cohere表示，最初的上传尝试并未借助此类帮助，但指出这种行为极为罕见。
在开发者要求提供更多证据后，Cohere于周一晚上在AI开发者平台Hugging Face上发布了其测试的原始运行轨迹，并提供了一个脚本，供他人尝试复现该行为。
一位最初的怀疑者在审阅了这些运行轨迹后，认为有充分证据表明Qwen能够生成可疑的网址，但未发现阿里巴巴植入后门或Qwen故意隐藏其意图的证据。
这一事件发生之际，各国政府正在决定对中国人工智能施加多大程度的反制力度。上周，美国国土安全部下令联邦文职机构从其系统中移除中国人工智能开发商 DeepSeek 的产品。
在其博客文章中，Cohere呼吁各国政府澄清，其对中文AI的限制是否也适用于运行在政府计算机上的模型。
“我并不是要求对这些开放权重模型进行全面监管。”张冰对TechCrunch表示，并补充说，企业应将开放模型视为从互联网下载的任何程序一样对待。
Cohere向政府出售自己的AI模型，如果官员们对免费的中文替代方案愈发警惕，Cohere将从中受益。