今天交流。很多人提到了llya 的访谈。
我总结一下：
他重视研究，而非算力。
我们正在结束一个以「算力规模化」(Scaling) 为核心的时代，重新回到一个以「基础研究」(Research) 为驱动的时代。
Ilya 将 AI 的发展划分为几个阶段：
- 2012-2020: 研究时代 (Age of Research)。这个时期，研究人员不断尝试各种新想法、新架构。AlexNet、ResNet、Transformer 等都是这个时代的产物。
- 2020-2025: 规模时代 (Age of Scaling)。随着 GPT-3 和 Scaling Laws 的出现，大家突然意识到一个简单粗暴但极其有效的「配方」：用更多的算力、更多的数据、更大的模型进行预训练 (Pre-training)，就能得到更好的结果。「Scaling」这个词拥有巨大的魔力，因为它为整个行业指明了一个低风险、高确定性的投资方向。
- 2025-?: 回归研究时代 (Return to the Age of Research)。如今，Scaling 的魔法正在失效，大家必须重新开始研究新的突破。
他认为算力目前是充裕的，而数据是有限的。scaling up 已经不再万能。应该重新思考研究的方法，就像2020年以前做的那样。
他对RL强化学习，打分这种方式提出了疑问。认为 只会培养出极致的答题机器，而缺乏泛化能力。
他最后提出了价值函数的效用，认为价值函数在决策指引上发挥重大作用。而人类进化而来的情绪，就是一套简单却十分有效的价值函数，而现在有大模型训练路径 难以达到。
他提出ssi研究的新智能，一个能自我学习成长的AI。一个十五岁的少年。他能学习各种知识，胜任各种工作。
点评：1、llya 最近的发言 确实对应了 文本领域大模型 没有大跨越发展的现实（业内普遍认为也和数据穷尽有关）。
2、他发言还是有些偏差，训练占比算力不足50%，大量的需求是推理产生的。即使预训练 强化学习 训练scaling up 的 效用递减了，但我们更应该把目光放在推理上，google云纯推理的api 收入预计30亿美金，ai 硬件租赁（gpu+tpu），推理+训练，一年手提90亿美金。api 收入预计翻倍，iaas 租赁预期40-46%增速！推理未来才是王道。
3、llya目前所在的公司ssi 专注于研究和对齐。公司唯一目标是研发安全的超级智能，走“研究优先”路线，暂不考虑商业化和盈利。SSI要打造类似人类具备好奇心和长远规划能力的AI系统。
他的发言和它公司目前从事的事业完全重合。
总体来讲，AI大模型的方向还需求再突破，带来新的体验。训练和推理需求还会继续涨。
下一篇我们复盘一下大模型的进展