3月29日，图灵奖得主Yoshua Bengio、特斯拉CEO马斯克等千余名专家签署公开信，呼吁AI实验室立即暂停训练比GPT-4更强大的模型至少6个月。信中警告，当前AI发展已陷入失控竞赛，创造者无法可靠控制大模型，人类社会亦未做好准备。
这一论断的核心在于人类尚未完全理解大语言模型中的“涌现”（Emergent）现象。过去几十年，AI虽在围棋等局部领域超越人类，却长期缺乏常识与推理能力。而以ChatGPT为代表的大模型突然突破瓶颈，展现出社会知识、上下文学习（ICL）及思维链（CoT）等此前未被预见的智能。这种能力并非线性增长，而是在参数和数据量超过特定阈值后突然出现，导致包括OpenAI、DeepMind在内的开发者也无法完全解释其运作机制。
理解涌现现象至关重要。短期内有助于优化模型规模与训练成本；长期来看，若AI与物理世界连接时仍处于“黑箱”状态，可能带来不可控风险。本文将结合学界最新研究，探讨大模型的涌现表现、关键能力及规模阈值。
一、大语言模型的理解与推理能力突破
自2022年11月ChatGPT发布以来，AI产业迎来拐点。GPT-4在短短三个半月内实现多模态升级，不仅能识别图片，还能理解图文结合的幽默感，这标志着AI真正跨过了常识门槛。
例如，面对一张用鸡块拼成的世界地图配文“从太空看地球”，GPT-4能准确解读出文本宏大预期与图像平凡现实之间的反差幽默。此外，在涉及地理与生物知识的复杂谜题中（如猎人绕极点行走遇熊、飞机绕赤道飞行遇虎），GPT-4均能通过逻辑推理给出正确答案，而早期模型往往直接放弃。这些测试证明，AI已具备知识沉淀与融会贯通的推理能力。
为量化评估此类能力，Google联合多家机构推出了BIG-bench基准测试，涵盖语言学、数学、常识推理等204项任务。同时，DeepMind的Chinchilla论文指出，许多大模型存在训练不足问题，通过调整数据与参数比例，小模型也能达到优异性能。目前学界共识认为：当小模型不具备某种能力，而增大规模后该能力突然出现，即为“涌现”。
二、模型规模扩大带来的三种表现
2020年后，AI模型参数从亿级跃升至千亿级。随着规模增长，大语言模型呈现出三种典型表现：
1. 知识积累遵循伸缩法则
大模型从海量文本中持续吸收语言知识与世界知识。研究表明，浅层语言知识（词法、句法）存储在Transformer低中层，抽象语义与世界常识则分布在中高层。随着层深增加，知识存储量呈指数级增长。OpenAI提出的“伸缩法则”证实，独立增加参数、数据或训练时长，模型性能均会提升。
知识密集型任务遵循伸缩法则；图片来源：Google BIG-bench
2. 复杂任务能力的突然涌现
当参数和算力达到临界点，AI在处理多步骤复杂任务（如语词检测、修正算术）时，准确率会从随机水平急剧跃升。这种非线性增长是涌现现象最直观的特征。
多步骤推理类任务中，也具有涌现能力；图片来源：Google BIG-bench
3. 部分任务呈现U型曲线
少数任务随规模增大先降后升。Google研究解释称，这是因为中等规模模型易受“干扰子任务”影响，而更大规模模型能识别并忽略干扰，专注于核心任务，从而使准确率回升。
图片来源：Google: Inverse scaling can become U-shaped
三、上下文学习与思维链：涌现的典型代表
1. 上下文学习（ICL）
ICL允许模型在不更新参数的情况下，仅通过少量示例即可掌握新任务。这解决了传统微调依赖大量标注数据且易过拟合的问题。尽管ICL效果显著，但其机制仍是未解之谜：模型似乎并未经历显式学习过程，却能通过“看一眼”示例实现泛化。目前学界对其是否包含隐式学习尚无定论。
In Context Learning示例。图片来源：华盛顿大学、Meta、Allen Institute for AI
2. 思维链（CoT）
CoT通过提供分步推理示例，引导模型将大问题拆解，显著提升数学与逻辑推理准确率。GPT-4在SAT、律师考试等测试中的高分表现，很大程度上归功于CoT激发的推理能力。然而，模型在自主规划方面仍有短板，例如简单算术题若不加提示，准确率可能极低；一旦加入“逐步思考”提示，正确率可大幅提升。这表明加强复杂推理的自主规划能力是未来研究重点。
图片来源：Google Brain Team: Chain of thought prompting elicits reasoning in large language models
四、涌现发生的规模阈值与算力分配
1. 涌现的参数门槛
综合多项研究，68B（680亿）参数是涌现的基础门槛，100B以上效果更佳。具体阈值因任务而异：ICL场景下，三位数加减法仅需13B参数即可涌现，而多义词判断需540B；CoT场景下，事实核查需7B，利用解释词提示则需280B。
ICL情形下，出现能力涌现所对应的模型规模。图片来源：Google、Stanford、DeepMind
2. “小”模型的崛起与算力最优解
鉴于训练成本高昂，业界开始探索高效的小模型路径。DeepMind的Chinchilla（70B参数）通过增加4倍训练数据，性能超越了280B参数的Gopher，证明了数据量与参数配比的重要性。Meta的LLaMA系列（7B-65B）进一步验证了在消费级硬件上运行高性能模型的可行性，其核心策略是在给定算力预算下，优先保证数据量以换取更低的推理成本。
各个主流大模型的参数规模与训练数据量对比。图片来源：DeepMind
关于算力分配，OpenAI建议优先增加参数再增加数据；而DeepMind和Meta的研究则表明，在充分训练的前提下，适当减小参数、大幅增加数据量，能在保持性能的同时显著降低应用端成本。这意味着GPT-3等早期超大模型可能存在参数冗余，未来模型或将向“精炼化”方向发展。
五、结语：黑箱之上的探索与敬畏
微软在GPT-4技术报告中坦言，我们仍不清楚由简单算法组件构成的模型为何能表现出通用智能。这种神秘感既迷人又危险。阿西莫夫的机器人三定律提出于1942年，而在AGI早期阶段，面对迭代惊人的AI与未知的涌现机制，人类亟需建立新的安全准则。
值得注意的是，前沿AI研究正从个人英雄主义转向大规模协作。如BIG-bench论文署名达442人，PaLM论文作者67人。人类的进步越来越依赖于多学科、多机构的紧密合作。在揭开涌现黑箱之前，保持敬畏与审慎，或许是通往真正人工智能道路上最必要的姿态。
Beyond The Imitation Game论文首页，列举了132个机构的442位作者。
附录：核心参考文献
1. Emergent Abilities of Large Language Models (Google/DeepMind/Stanford)
2. Beyond the Imitation Game Benchmark (BIG-bench)
3. Training Compute-Optimal Large Language Models (DeepMind Chinchilla)
4. LLaMA: Open and Efficient Foundation Language Models (Meta)
5. PaLM: Scaling Language Modeling with Pathways (Google)
6. Sparks of Artificial General Intelligence: Early experiments with GPT-4 (Microsoft)
7. Chain of thought prompting elicits reasoning in large language models (Google Brain)
8. Inverse scaling can become U-shaped (Google)
9. BERTnesia: Investigating the capture and forgetting of knowledge in BERT
10. Transformer Feed-Forward Layers Are Key-Value Memories
11. Limitations of Language Models in Arithmetic and Symbolic Induction (UCSB)
12. Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?