Meta AI团队联合Reality Labs、PyTorch及FAIR推出面向移动设备的大语言模型MobileLLM，专注于优化参数量低于10亿的轻量化模型，与万亿级参数的GPT-4形成差异化定位。
MobileLLM核心亮点
重深度轻宽度：据Meta首席AI科学家Yann LeCun介绍，该模型优先提升深度而非宽度，采用嵌入共享、分组查询注意力及创新的即时块级权重共享技术。
性能显著提升：相比同尺寸前代模型，MobileLLM性能提升2.7%至4.3%。其3.5亿参数版本在特定API任务中的准确率，可媲美70亿参数的LLaMA-2，证明小模型在低算力下亦能提供同等功能。
开源预训练代码：目前模型尚未对公众开放，但预训练代码已开源供研究使用。此类端侧模型的普及将大幅提升AI的可及性，正式开放时间待定。