能够理解和生成文本的AI系统（即语言模型）正成为企业界新热点。调查显示，60%的技术领导者表示2020年AI语言技术预算至少增加10%，33%的人预算增幅超30%。
但语言模型并非生而平等。目前主流模型主要分为三类：以OpenAI GPT-3为代表的大型通用模型、针对特定任务微调的模型，以及专为物联网设备和工作站设计的边缘计算模型。这些模型在优势、短板及部署要求上差异显著，以下是对比分析及未来部署场景预测。
大型语言模型
大型语言模型通常规模达数十GB，基于海量文本数据（有时达PB级）训练，参数量巨大。“参数”指模型学习中可独立更改的值，定义了模型生成文本等特定问题的能力。
卡内基梅隆大学NLP博士生方正旭指出：“大型模型常用于零样本或少样本场景，即在缺乏领域定制数据时，能根据少量提示尚可地生成内容。”少样本指用最少数据训练，零样本则指识别训练中未明确见过的内容。他强调：“单个大型模型有望以极少训练数据支持众多下游任务。”
近年来，随着架构更新，大型语言模型应用激增。2020年6月，OpenAI发布1750亿参数的GPT-3，可根据简短指令生成文本甚至代码；开源组织EleutherAI推出60亿参数的GPT-J，擅长翻译、写博客及补全代码；微软与英伟达近期开源了5300亿参数的Megatron-Turing NLG，是目前最大的阅读理解与自然语言推理模型之一。
UCLA计算社会科学家Bernard Koch表示，大型语言模型引人注目之处在于：一是单模型可覆盖问答、摘要、翻译等多种任务；二是性能随参数和数据增加持续扩展；三是仅需少量带标签示例即可做出合理预测。
Cohere和AI21 Labs等初创公司通过API提供类GPT-3模型，而Google等科技巨头则将自研大模型保密。例如Google披露了5400亿参数的PaLM模型，声称实现最先进性能，但未对外发布。
无论是否开源，大型语言模型开发成本高昂。AI21 Labs研究显示，开发15亿参数文本生成模型需耗资160万美元。推理成本同样不菲，估计在单个AWS实例上运行GPT-3的年成本至少8.7万美元。
AI2 Incubator的Vu Ha认为，大型模型将更强大、多模态且训练成本降低，但仅资金雄厚的科技公司或初创企业能参与竞争。他指出：“大型模型适合原型开发和概念验证，但因成本过高，很少是实际部署的正确选择。若应用需定期处理推文、邮件等内容，使用GPT-3将导致难以承受的成本。”
大型语言模型将继续作为云服务和API标准，适用于多功能性和企业级访问优于延迟的场景。但对学术界、公共部门及大多数私营部门而言，这类模型仍不切实际。
微调语言模型
微调模型通常比大型语言模型更小。例如OpenAI的Codex是GPT-3的衍生版，专攻编程任务，虽仍有数十亿参数，但在代码生成和补全方面表现更佳。
微调不仅能提升特定任务（如问答、蛋白质序列生成）能力，还能增强对特定领域（如临床研究）的理解。
方正旭表示：“微调模型适合拥有大量训练数据的成熟任务，如机器翻译、问答、命名实体识别及信息检索。”
此外，微调模型源自现有大模型，训练和运行所需时间及计算资源远少于大模型，数据需求也更小。GPT-3使用了45TB文本数据，而Codex仅用159GB。
OpenAI的InstructGPT是微调的突出案例。该公司采用“人类反馈强化学习”技术，利用人工标注数据集创建了GPT-3的微调版。新版本体积仅为GPT-3的1%，显著降低了生成问题文本的概率，且更契合用户意图。
另一例证是Google发布的微调语言网络FLAN。该模型仅1370亿参数，却在25项基准测试中的19项上以巨大优势超越GPT-3，其中10项表现更优。
Koch认为：“微调可能是目前工业界最广泛使用的方法。在小模型上微调允许用户利用自有领域数据解决专业问题，获得更大控制权。与其分发超大模型，公司正通过API将少样本学习商业化。”
边缘语言模型
边缘模型尺寸刻意缩小，可能以微调形式存在，也可能基于小型数据集从头训练以满足硬件约束。尽管功能有限，但它们具备大模型无法匹敌的优势。
成本是主要因素。离线运行的边缘模型无需支付云费用。即便是微调模型也往往过于庞大，无法在本地机器运行（如MT-NLG在桌面处理器上生成文本需超1分钟）。相比之下，分析数百万条推文若使用云端模型可能花费数千美元。
理论上，边缘模型因无需上传数据至云端而隐私性更高，且运行速度更快，这对翻译等应用至关重要。Google Translate便依赖边缘模型提供离线翻译。
Koch指出：“边缘计算适用于需要即时反馈的环境，如人机对话、机器人交互或自动驾驶读取路标。例如Nvidia演示的边缘聊天机器人可在快餐店与客户对话，电子病历自动笔记记录也是潜在用例，快速处理对话在这些场景中至关重要。”
当然，小型模型受限于边缘设备硬件（从单核处理器到GPU SoC），无法完成大模型的所有任务。研究还表明，其开发技术可能放大算法偏见等负面特征。
方正旭表示：“功耗与预测能力之间通常存在权衡。移动设备算力增长未与高性能计算集群同步，性能差距可能会拉大。”
展望未来
随着各类语言模型不断演进，广泛采用之路仍存障碍。例如，微调虽比从头训练所需数据少，但仍需数据集，而在小众语言翻译等领域数据可能缺失。
Koch补充道：“微调仍需相当数量的数据；少样本学习效果不如微调且用户对模型控制权较少；边缘AI则因复杂模型无法适配小设备，性能严格劣于桌面GPU乃至云端大模型。”
方正旭指出，所有语言模型在某些重要方面仍处于研究不足状态。她希望未来能有更多关注投资于可解释性和可理解性领域，尤其是在医学等高风险领域。
她说：“溯源是下一步重点。未来将出现更多高效微调技术以适应完整微调大模型带来的成本增加。边缘模型也将继续发挥重要作用，因为模型越大，越需要研发工作来蒸馏或压缩模型以适配边缘设备。”