2021年,随着算力、数据及算法等核心要素的成熟,人工智能技术加速向代码库、平台及系统级应用落地,推动产业发展迈入新阶段。智源研究院通过案例征集与专家咨询,汇总形成《2021-2022年度人工智能前沿报告》(AI Frontiers Report),梳理出本年度AI领域的关键动态与趋势。
一、 大模型与算法架构演进
超大规模预训练模型成为竞争焦点
系统研究超大规模智能模型的新兴领域已经形成,相关研发竞赛进入白热化阶段。多模态预训练模型被视为下一个重点发展方向,旨在实现信息模型、具身模型与脑模拟机器人的深度融合,为超级人工智能的诞生奠定基础。
Transformer架构渗透多领域
Transformer已成为计算机视觉领域的重要网络架构,并持续向强化学习、图神经网络等领域渗透。在自然语言处理方面,Prompt Tuning成为预训练语言模型的新型训练范式,提升训练与推理效率成为发展新路线。同时,Web模型作为新型信息搜索范式的核心支撑,正借助预训练语言模型助力信息检索性能的提升。
加速方法催生巨型模型
训练加速方法的创新显著提升了超大参数规模模型的训练效率,直接催生了更大规模的巨型模型,推动了AI基础设施能力的跃升。
二、 计算机视觉与类脑智能突破
计算机视觉技术多元化发展
遮盖图像建模、非Transformer架构及神经辐射场等技术快速发展,成为当前计算机视觉的研究热点。此外,脉冲视觉领域的进步有望开辟机器视觉的全新路线。
类脑芯片与脑机接口进展
生物神经元与芯片的结合成为类脑芯片研究热点。高性能、低功耗AI芯片不断涌现,AI辅助设计成为芯片发展新趋势,存算一体AI芯片的设计与应用步伐也在加快。在脑机接口方面,无线高带宽、微创技术及AI算法融合成为发展重点。同时,借鉴脑神经和认知科学研究成果,已成为启发类脑智能研究的重要来源。


