近日，中国人工智能学会发布《中国人工智能系列白皮书——大模型技术(2023 版)》，详细地介绍了大模型技术的发展历程、主要技术、应用场景以及面临的挑战。
主要内容
大模型技术发展历程：从早期基于标注数据的监督学习，到无标注数据预训练加标注数据微调的模型，再到当前的大规模无标注数据预训练加上指令微调和人类对齐。
技术进展与代表性模型：介绍了从统计语言模型、神经语言模型到预训练语言模型的演变，特别强调了GPT系列、BERT、Transformer等模型的重要性。
技术特点与应用场景：讨论了大模型的技术特点，如多模态理解、生成能力，以及在医疗、教育、金融等多个领域的应用潜力。
技术挑战与未来发展：指出了大模型技术面临的挑战，如可靠性、可解释性不足、应用部署成本高等问题，以及未来的发展方向。
这份白皮书为理解当前和未来的人工智能技术趋势，尤其是大模型技术在不同领域的应用提供了全面的视角。
核心数据
数据集规模:
SFT多样化数据集: 90M, 包含100,000条人类对话数据.
ShareGPT数据集: 1.8G, 包含超过1亿条对话样本.
CommonCrawl数据集: PB级规模, 包含原始网页数据、元数据提取和文本提取等内容.
ThePile数据集: 825G, 包含书籍、网站、代码、科学论文和社交媒体平台等内容
Stanford Alpaca数据集: 21.7M, 包含52,000条指令数据.
BeaverTails数据集: 52M, 包含302,000个数据对.
Anthropic RLHF训练数据集: 120M, 包含161,000条人工标注数据.
知乎RLHF数据集: 16M, 包含3,000条基于知乎问答的人类偏好数据.
中文语料数据集: 约1.1TB, 由80TB原始数据通过清洗过滤、去重、质量评估后得到.
模型参数量与数据量:
PaLM模型: 8B、62B、540B参数版本, 数据总量达780B个字符.
ChatGLM模型: 使用包含1万亿字符的中英文语料进行训练.
KOSMOS-2、OpenFlamingo、BLIP-2等多个模型的参数量: 从1.6B到12B不等
大模型参数规模:
GPT-1：1.1亿参数。
GPT-2：15亿参数。
GPT-3：1750亿参数。
谷歌的PaLM模型：5400亿参数。
关键要素和知识点
大模型技术的发展历程：从神经网络的早期优化，深度学习在多领域的突破，到大模型的出现，以及从小数据到大数据，从小模型到大模型，从专用到通用的演变过程。
语言大模型的发展：详述了统计语言模型、神经语言模型、预训练语言模型到语言大模型的发展阶段。
大模型技术的关键技术：包括模型预训练、适配微调、提示学习、知识增强和工具学习等。
大模型技术的应用场景和产业落地：讨论了大模型技术在不同行业中的应用潜力，如新闻写作、教育、金融、医疗等。
大模型技术的风险与挑战：指出了大模型技术在可靠性、可解释性、应用部署代价、小数据情景适用性以及伴生技术风险等方面的挑战。
多模态大模型技术：介绍了多模态大模型融合多种感知途径与表达形态的技术体系，如面向理解任务的、面向生成任务的、兼顾理解和生成任务的多模态大模型。
未来发展方向：探讨了大模型技术未来的发展趋势和可能的研究方向。
知识约束: 利用知识构建额外的预测目标和约束函数，增强模型的原始目标函数。例如，远程监督学习利用知识图谱启发式标注语料作为新的目标，并广泛用于实体识别、关系抽取等系列NLP任务。
知识融入训练: 结合知识图谱的模型训练方法，将知识图谱中的三元组加入到模型的训练过程中，引导模型沿着具有正确知识的方向收敛，从而存储高可信度的知识。
知识增强的多模态大模型: 结合隐式知识与显式知识（如知识图谱）来增强多模态大模型的知识利用能力。
渐进式训练策略和知识继承: 不同于传统训练范式，渐进式训练策略首先训练浅层模型，然后复制构建深层模型。知识继承方法则是在模型训练中同时学习文本和已经预训练语言大模型中的知识，以加速模型训练。
语言大模型的工具学习: 语言大模型具备理解、推理和决策能力，可与外部工具互动，如金融领域的证券交易和市场预测中结合外部工具和语言大模型实现复杂任务的处理。
模型量化: 将预训练模型中的权重从浮点数转换为低位数的技术，减少模型的存储空间和计算量。
大模型的可解释性和应用部署: 大模型基于深度神经网络，为黑盒模型，其工作机理仍难以理解。此外，大模型应用部署代价高，参数规模和数据规模都非常巨大。
金融领域大模型应用: 如恒生电子发布的金融行业大模型LightGPT，使用超过4000亿字节的金融领域数据进行预训练，支持金融专属任务，准确理解金融业务场景需求。
参数高效微调: 与传统的全参微调相比，参数高效微调在大模型基座上增加一个任务适配层，但不完全改变所有参数，减少任务“鸿沟”问题，即预训练和微调之间的任务形式不一致问题。
PyTorch框架: 提供了加速分布数据并行的技术，支持多机多卡的分布式训练。
行业意义
智能基建投资增长：大模型、大计算、大数据的发展需要重资产投入，这表明智能计算基础设施的建设正处于持续增长阶段。这对于在基础设施或相关技术领域工作的从业者来说，预示着巨大的发展空间和投资机会。
AI芯片成本下降：AI芯片价格的下降将加速AIGC应用的创新和规模化扩张，这对于AI技术和产品的开发者来说，意味着成本压力的缓解和创新空间的扩大。
能源成本对大模型的影响：大模型的运行和训练需要大量能源，能源成本的变化直接影响大模型的经济性。因此，从事大模型开发和应用的企业需要关注能源价格动态，以合理规划成本。
知识传播速度的提升：大模型能显著提高知识学习、检索、传播的速度和准确性。这对于教育、科研和内容产业的从业者来说，提供了新的机会，比如开发新的教育工具和内容传播平台。
软件行业的变革：大模型引发的软件变革将诞生新的超级平台企业。软件开发者需要关注大模型如何改变编程和软件生产流程，以抓住新的商业机会。
大模型与传统应用软件的结合：预计在2024年，大模型的参数量级提升将不再是发展的主旋律，而是与传统应用软件的更好结合。这对软件开发者来说，意味着需要关注如何将大模型技术融入现有产品和服务中。
行业合规和国产化问题：随着大模型技术的发展，行业参与者需要关注合规性和国产化问题，特别是在数据安全和技术自主性方面。
如需报告原文，请在后台留言
