ChatGPT开启了大语言模型（LLM）时代。除OpenAI外，Google LaMDA、BLOOM、Meta LLaMA及Anthropic Claude等模型相继涌现。Arize调查显示，53%的受访者计划一年内部署LLM。针对特定领域进行重训练的“垂直”LLM策略，在生命科学、金融等领域成效显著。
妥善部署LLM可带来竞争优势，但需警惕其“幻觉”问题，避免管理层忽视潜在的输出生成风险。
训练和部署大型语言模型面临的挑战
LLM运营成本极高，主要体现在以下方面：
硬件成本高昂：Nvidia H100 GPU市价约4万美元/块，训练类ChatGPT-3.5模型需约6,000块芯片，仅GPU成本即达2.4亿美元。
电力消耗巨大：训练单模型耗电约10吉瓦时（相当于1,000个美国家庭年用电量）；运行ChatGPT-3.5日耗电约1吉瓦时。此外，移动端高强度使用会迅速耗尽电池，阻碍用户采纳。
通信延迟影响体验：设备与模型间的高延迟会导致响应等待时间过长，降低用户体验。
隐私与安全风险：LLM记忆训练数据可能导致敏感信息泄露，且交互记录面临黑客威胁。鉴于后门攻击风险，超75%的企业因隐私顾虑暂缓采用。
为避免声誉受损或破产风险，企业领导者需整体应对上述挑战，方可推出可行的LLM产品。
以下是技术领导者和初创公司规划转型时应考虑的五个关键点：
1. 密切关注新的硬件优化
市场竞争正推动低功耗、高效率创新以降低成本。例如高通Cloud AI 100专为“低功耗深度学习”设计。管理者应紧跟硬件动态，随着效率突破，当前不可行的技术将很快具备落地条件。
2. 探索分布式数据分析方法
结合边缘计算与云计算可实现分布式分析：关键时效数据在边缘处理，非时效数据上云。此举能显著降低交互延迟，同时通过云端卸载节省设备电量。决策者需根据需求权衡利弊，确定最优计算分配比例。
3. 在使用哪种模型方面保持灵活
构建垂直LLM时，应保持底层模型的灵活性以适应需求变化。开源模型通常体积更小、成本更低，值得考虑。同时，需构建支持无缝切换的基础设施以避免运营中断，如Merlin等平台已提供整合多家厂商LLM的解决方案。
4. 将数据隐私置于优先地位
在监管趋严背景下，隐私至关重要。可采用沙箱技术限制数据环境，或使用数据掩码、令牌化、加密等混淆手段，确保模型理解数据的同时防止窃取，从而建立用户信任。
5. 展望未来，考虑模拟计算
模拟计算有望大幅降低LLM能耗。IBM研发的“模拟AI”芯片能效比GPU高出40至140倍。随着竞品入市，市场力量将推动价格下降，加速该技术普及。
大语言模型的未来已来——你准备好了吗？
尽管LLM开发存在障碍，但降本、安全及体验优化工具正日益丰富。建议积极探索LLM赋能业务的机会，采取正确策略把握新时代机遇，尽早行动将为组织赢得先机。