在主导AI领域多年后，业界正积极寻求Transformer架构的替代方案。
作为Sora、Claude、Gemini及GPT-4o等模型的核心，Transformer在处理海量数据时面临计算效率瓶颈。随着基础设施扩张，其电力需求急剧攀升，可持续性存疑。
本月，由斯坦福大学、UCSD、UC伯克利及Meta研究人员历时一年半开发的“测试时训练”（TTT）架构崭露头角。研究团队声称，TTT模型不仅能处理远超Transformer的数据量，且算力消耗几乎持平。
Transformer中的隐藏状态
Transformer依赖“隐藏状态”这一长列表来记忆已处理内容（如单词表示）。斯坦福博士后、TTT联合贡献者Yu Sun将其比作模型的“大脑”，正是它赋予了上下文学习能力。
然而，隐藏状态也是性能枷锁。为输出关于书籍的一个词，模型需扫描整个查找表，计算开销等同于重读全书。
Sun团队提出用机器学习模型替换隐藏状态，即“模型中嵌套模型”。与无限增长的查找表不同，TTT内部模型将数据编码为权重变量，无论处理多少数据，其大小保持恒定，从而实现高性能。
Sun表示，未来TTT可高效处理从文本到音视频的数十亿条数据。相比Sora仅能处理10秒视频，TTT旨在实现类人一生的长视频理解能力，“无需重复阅读X次即可说出书中X个词”。
对TTT模型的质疑与行业探索
TTT能否取代Transformer？目前下结论为时尚早。现有研究仅基于两个小型模型，难以直接与大型Transformer对比。
UCL高级讲师Mike Cook认为该创新有趣，但尚无法判断其是否优于现有架构。他打趣道：“在神经网络内再嵌套一个神经网络，正如计算机科学的老笑话——解决任何问题只需增加一层抽象。”
尽管存在争议，加速寻找替代方案的趋势表明业界突破瓶颈的决心。本周，Mistral发布了基于状态空间模型（SSMs）的Codestral Mamba；AI21 Labs和Cartesia也在探索SSMs路线。这些新架构均展现出比Transformer更高的计算效率和扩展潜力。
若探索成功，生成式AI将更加普及易得，但其长远影响仍待观察。