Entropy：语⾔上下⽂表征中的经验性 5/3 谱标度- 大数跨境

首页

Entropy：语⾔上下⽂表征中的经验性 5/3 谱标度

集智俱乐部

2026-10-27

导读：语⾔模型⾥的“湍流定律”： AI 与⼈写的⽂章，共享同⼀条 5/3 曲线

导语

文字的起伏，能否像水流一样被测量？这篇2026年9月27日发表于 Entropy 的研究将文章转化为语言模型中的高维轨迹，发现在人类写作与 AI 生成文本中，上下文表征的功率谱都呈现出接近 5/3 的标度——这个数字，也出现在经典湍流理论中。当语序被打乱，或换用不含上下文的静态词向量，这一规律便消失了。这尚不足以证明语言就是湍流，却为观察语言深处的多尺度秩序，提供了一把新的尺子。

关键词：语言模型、上下文表征、5/3 标度律、功率谱、多尺度结构、湍流类比

集智编辑团队丨作者

论文题目：Empirical 5/3 Spectral Scaling in Contextual Representations of Language

论文链接：https://www.mdpi.com/1099-4300/28/10/1063

发表时间：2026年9月27日

论文来源：Entropy

如果我说，你现在读的这⾏字，和⼀杯咖啡⾥翻涌的奶泡，可能服从同⼀条数学定律，你信不信？

1941 年，苏联物理学家科尔莫⼽罗夫提出了著名的湍流能谱定律：在湍流中，能量随波数的分布遵循负三分之五次⽅的幂律。⼋⼗多年后，⼀群中国研究者在⼤语⾔模型的“⼤脑”深处，测到了同⼀个数字——三分之五。

⼀个问题：向量⾥也藏着“齐普夫定律”吗？

语⾔早就有著名的统计规律，⽐如齐普夫定律——把词按出现频率排队，频率和名次成反⽐，这条定律在⼏乎所有语⾔⾥都成⽴。但这类规律都停留在“数词”的层⾯。这篇论⽂要问的是：⼤模型的内部表征，也就是那些⼏百上千维的向量，是否也藏着同样简单、可复现的多尺度规律？

a⽅法：把⽂章看成⾼维空间⾥的“航线”

研究者的做法很巧妙。把⼀段⽂字送进 BERT 或 GPT，每个 token——可以粗略理解为字或词的碎⽚——会被映射成⼀个⾼维向量。整段⽂字就变成⾼维空间⾥的⼀条轨迹，像飞机的航线。

他们不看轨迹本⾝，⽽是看每⼀步的“位移”：相邻 token 向量之差，称为“嵌⼊步信号”。然后对这个信号做傅⾥叶变换——就像把⼀段⾳乐拆成低⾳、中⾳、⾼⾳，看每个频段携带多少功率。低频对应跨越⼏⼗上百个词的意义起伏，⾼频对应逐词的细碎变化。

为了公平⽐较，所有⽂本统⼀截取 1200 个 token；语料覆盖⾯也很⼴——中⽂有论⽂、新闻、影评，还加了⾼考风格的作⽂，英⽂涵盖学术论⽂、新闻和影评；AI ⽣成的对照⽂本则由 DeepSeek-V3 按照同样题材批量产出。

结果：

四种语⾔、⼈与 AI，全部落在同⼀条直线上

结果令⼈惊讶。四种语⾔——中⽂、英⽂、德⽂、⽇⽂，两类⽂本——⼈类写的和 AI ⽣成的，所有功率谱在跨越约⼗倍频率的区间内都呈⼀条笔直的幂律直线，拟合指数⾮常接近 5/3，拟合优度 R² 超过 0.99。在算法的“眼睛”⾥，⼈写的⽂章和机器写的⽂章，流淌着同⼀种多尺度节律。

更惊⼈的是，⼈类⽂本和 AI ⽂本的曲线⼏乎完全重合。⽽且这不是少数⼏个维度撑起来的假象：超过 90% 的嵌⼊维度，指数都落在 5/3 附近 ±10% 以内。

图1：(a) 中、英、德、⽇四种语⾔/模型配置下，嵌⼊步信号的功率谱。⿊⾊虚线为 5/3 斜率参照；蓝⾊（AI ⽣成⽂本）与红⾊（⼈类⽂本）曲线⼏乎完全重合。(b) 逐维度功率谱的极坐标热图：径向是频率，⻆向是嵌⼊维度编号，相似的谱结构遍布绝⼤多数维度。

对照实验：不是词频的副产品

会不会这只是词频统计的副产品？两组对照实验否定了这⼀点：

第⼀，换成不看上下⽂的静态词向量（Word2Vec、GloVe），5/3 标度消失。第⼆，把token 顺序随机打乱再分析，5/3 同样消失。这说明，它来⾃上下⽂与语序共同编织的多尺度组织，⽽不是词汇本⾝。

研究者还逐层解剖了 Transformer：浅层的指数偏离 5/3，越往深层⾛越接近，最深的⼏层给出最⼲净的 5/3。仿佛模型⼀层层“消化”上下⽂的过程，就是在逼近这条普适曲线。

图2：(a) 各语⾔-来源配置的拟合指数 α 汇总：上下⽂嵌⼊（蓝/红⾊系圆点）聚在 5/3（⿊⾊虚线）附近，静态词向量与打乱顺序的对照组明显偏离。(b) 拟合指数随 Transformer 层号的变化：指数整体随深度趋向 5/3；插图为某中间层的代表性谱（α≈1.47）。

谨慎的类⽐：是“湍流”吗？还不能画等号

5/3 与湍流的科尔莫⼽罗夫谱数值相同，但作者们⾮常谨慎，强调这只是参照：既没有从某个⽅程推导出这条幂律，也没有测到跨尺度的“能量流”。背后是否存在某种信息论机制，仍是开放问题。

此外，德⽂和⽇⽂的语料只覆盖了新闻领域，更多语⾔类型有待检验。附录⾥还有⼀个耐⼈寻味的细节：⽂本越长，幂律区间就越宽——这和湍流中“尺度分离越⼤、惯性区越宽”的现象神似，但作者明确说，⼆者不能画等号。

即便如此，这项⼯作已经给出了⼀把新尺⼦：⼀个与具体模型⽆关的定量指纹，可以⽤来⽐较不同语⾔、不同语料、不同模型家族内部的多尺度结构，也有望成为评估语⾔模型的补充基准。

语⾔，会不会也处于某种“湍流”状态？我们还不知道答案。但⾄少现在，我们有了⼀把可以量它的尺⼦。

因果涌现第七季——从理论到应用

在神经系统中意识的生成、城市交通的拥堵演化、全球产业系统的协同与失稳之中，始终潜藏着一条贯穿微观与宏观的因果脉络：个体行为本身或许简单，却能在尺度跃迁中孕育出高度组织化、难以还原的整体结构。复杂现象并非微观规则的线性叠加，而是源于多尺度动力学作用下逐步形成的因果组织。正是在这一背景下，因果涌现理论被提出，并在因果涌现 2.0、工程化涌现以及多尺度因果抽象等工作中推进，逐渐发展出一套融合动力学分析、信息论度量以及谱方法与人工智能工具的研究框架，从而将研究重心从“复杂性本身”转向“因果结构如何出现、如何被度量并在现实系统中发挥作用”。

为系统梳理因果涌现领域的最新进展，北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起「因果涌现第七季」读书会，组织对该主题感兴趣的研究者与探索者共同研读前沿文献、交流研究思路。读书会将于2026年2月22日起每周日上午（创建读书会暂定时间为10:00-22:00）线上开展，持续约10周，包含主讲分享与讨论交流，并提供会后视频回放，诚邀相关领域研究者及跨学科兴趣者参与。

详情请见：因果涌现第七季——从理论到应用