AI说不出的随机数,成了鉴别套壳大模型最好的照妖镜。 AI零距离
布拉格经济大学研究员托马什·布鲁克纳(Tomáš Bruckner)于 7 月 11 日在 arXiv 发布论文《One Token Is Enough》(一个 Token 就够了)。该研究揭示了一个有趣现象:主流大语言模型无法生成真正的随机数,其输出存在显著的偏好分布。这一特性被转化为“行为指纹”(Behavioral Fingerp rint),成为鉴别 AI 模型身份、打击 API 中转站“挂羊头卖狗肉”行为的高效工具 。
模型无法生成真随机:独特的“思想钢印”
为检测部分 API 中转商以低成本模型冒充高端模型(如用 GLM 冒充 Opus)的行为,布鲁克纳对 165 个 AI 模型进行了测试。他反复询问同一个简单问题:“给我一个 1 到 100 的随机数”,每个模型重复 30 次并统计分布。
结果显示,没有任何模型符合均匀分布的理论预期,反而表现出极强的确定性偏好:
GPT-4o :高频输出 42、37 和 57;
Claude Sonnet 5 :极度偏爱 47;
Llama 3.3 :多数回答为 53;
Qwen3-Max :30 次回答全部为 42,无一例外。
除了数字,研究还扩展至随机颜色、动物、城市及抛硬币等 10 类任务,累计发送 32.6 万条请求。结论一致:对于大模型而言,不存在真正的随机,其输出受训练数据中的文化偏见和统计规律主导,形成了类似人类“思想钢印”的固定模式。
行为指纹:低成本识别模型身份的利器
布鲁克纳提出,利用这种非随机性构建“行为指纹”。如同人类指纹独一无二,每个模型在随机任务上的概率分布也是独特的。只需极少的 Token 输出,即可锁定模型身份。
这一发现直击当前 AI 生态痛点。由于推理成本与参数量线性相关,部分中转商将用户付费的高端模型请求偷偷替换为廉价小模型以赚取差价。在简单对话中用户难以察觉,但在复杂推理场景下性能差异巨大。此前 CISPA 研究人员虽曾通过 LLMmap 技术揭露此类行为,但该方法需构建专用测试集和分类器,门槛较高。
相比之下,“行为指纹”方案极具优势:
隐蔽性强 :“说一个随机数”属于正常对话语境,中转商难以识别并临时切换模型进行规避;
实施简便 :无需复杂训练,仅需对比官方 API 与待测端点的概率分布(计算 Jensen-Shannon 散度);
准确率高 :使用 40 个探测单元时误判率仅 7.3%,即便缩减至 8 个单元,误判率也控制在 10.6% 左右。
研究中甚至发现确凿案例:OpenRouter 上售卖的"Palmyra X5",其行为指纹与开源模型 Qwen3-235B 的相似度极高(差异值 0.141,接近同一模型在不同环境下的自然波动 0.140),暗示其可能并非宣称的自研旗舰模型。
深层逻辑:AI 为何无法掷出真正的骰子
从信息角度 分析,1 到 100 的完美随机分布熵值应为 6.64 bit,而 tested 模型的熵值中位数仅为 1.0 bit,信息量不足真随机的六分之一。
这与人类心理机制相似。心理学研究表明,人类在生成随机数时也会避开重复、偏好奇数或特定文化数字(如 7)。大模型作为人类知识的压缩体,继承了这些潜意识偏见:
42 :因《银河系漫游指南》被视为“终极答案”;
质数(37, 47, 53) :因不对称、不圆整,在语料中常被关联为“随意”;
文化符号 :宗教、文学赋予特定数字特殊意义。
大模型并非冷冰冰的数学机器,其权重参数编码了人类文明的统计规律。当被要求“随机”时,它们实际上是在调用训练数据中最符合“随机”定义的文本模式。爱因斯坦曾言“上帝不掷骰子”,而在 AI 的世界里,每一次看似随机的输出,实则都是其训练数据与算法偏见的必然投影。
该研究代码与数据已公开,为行业提供了一种轻量级、高精度的模型验真方案。
关注
在线咨询