10 月 29 日，Randall Balestriero 和Yann LeCun在 arXiv 上发布论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》。
论文证明，在特定条件下，如果图像模型和文本模型各自从同一场景的不同观察中学习，即使分开训练，它们学到的表征也可以通过一次旋转对齐。
实验中，一个 1.09 亿参数的文本 JEPA，在图文表征对齐测试中超过了 720 亿参数的 Qwen2.5-72B，两者的参数量相差约 660 倍。
Yann LeCun随后在 X 上谈到，能回答大量问题，是因为大模型的参数里积累了大量事实性知识。
他看好的 JEPA 世界模型，则试图让模型学到规律，用理解减少对知识积累的依赖。
这篇论文把问题落到了训练中的一个具体选择上：哪些样本应该放在一起学？
01
同一个世界，
可以有不同的看法
2024 年，Isola 和同事提出了柏拉图表征假说。
他们观察到，分别训练的视觉模型和语言模型，规模越大，越倾向于用相似的方式衡量事物之间的距离。
既然模型做大后会出现这种趋同，能不能从训练数据入手，让模型更容易学到它？
Yann LeCun和 Balestriero 从一个很具体的地方切入：每次训练时，把哪两个样本配在一起。
论文画了一个红球和一个蓝色圆锥。
给视觉模型的是这个场景的两张照片，给文本模型的是这个场景的两段描述。
照片换了角度，描述换了措辞，但每一对样本都指向同一幕。作者把这样的样本对称为好视角。
下图把配对的区别画得更清楚。
当图像和文本两边都按同一套场景关系来配对，
作者证明，在论文设定的条件下，两边分别学到的表征可以通过一次旋转对齐。就像两张地图朝向不同，转一下，地点之间的相对位置就能对上。
论文 Demo 展示了怎么用这种对齐。
图像编码器先处理照片，系统再用拟合好的旋转映射，把视觉表征转到文本空间，最后由解码器写出描述。
Isola 拿自家猫 Moxie 的照片试了一次，看完说，写得完全准确。
02
同一批文本，
换一种训练方式
研究者先在 Flickr 上比较了三种做法。
第一种把同一张图的不同描述配在一起，第二种把同一句话遮掉不同部分来配对，第三种训练模型预测下一个 token。
三条曲线起初都接近随机水平，训练继续后，第一种逐渐拉开了差距。
为什么会拉开？
预测下一个 token 时，模型要根据已经出现的文字猜作者接下来怎么写。
知道文字说的是哪个场景有帮助，熟悉句式和措辞也有帮助。
把同一张图的不同描述配起来，两句话措辞可能完全不同，模型需要抓住的是它们共同描述的场景。
把实验扩大后，研究者固定了编码器大小、训练文本和样本量，再比较三种训练方式。
用同一张图的不同描述配对，图文对齐得分是 0.184。下一 token 预测是 0.111，遮盖同一句话再配对是 0.088。
换一种训练方式，差距也体现在用了多少样本。
JEPA 读过 2160 万个样本时拿到 0.109，接近下一 token 预测模型读过 9 亿个样本时的 0.111。
两个测量点的样本量相差约 42 倍，按实际读入的 token 计相差约 14 倍。
研究者还展示了训练数据规模扩大后的变化。
训练文本来自 5000 万张网络图片时，3300 万参数的文本 JEPA 在 WIT 上拿到 0.125，与 30 亿参数的 Qwen2.5-3B 持平。
03
普通文本里，
上哪找这么多好视角？
论文发布后，研究者 Nicolas Dufour 在 X 上问了一个很具体的问题：
如果训练语料换成 Common Crawl 的普通网页文本，小模型还能取得同样的优势吗？
大规模实验里，文本 JEPA 只读文字，但每张图片关联的三段文字中，有两段是视觉语言模型 LLaVA 看图写的。
论文做了个对照：在同一批 224 万张图上，用原始说明加上 LLaVA 看图写的描述，得分是 0.107。
换成原始说明加纯文本模型写出的改写，得分降到 0.060，仍略高于直接遮盖原文得到的 0.055。
文字本身带进了多少视觉信息，以及这些文字怎么配对，两件事都影响了结果。
Balestriero 回应说，同一批文本换一种配对方式，仍能带来收益。他也承认，纯文本场景还需要更好的方法来构造样本对。
这一次，1.09 亿参数的模型在图文对齐上赢了，图片也给训练提供了一个现成的线索：哪些描述说的是同一个场景。
换成普通网页文本，这个线索从哪来？小模型能不能把这次的优势带过去，就看这个问题能不能解决。
END
关注+星标，获取AI前沿进展与开源一线动态