自 ChatGPT 发布以来，生成式 AI 已成为推动业务发展的核心议题。从提升内部效率到优化外部产品，各行业正竞相实施该技术。尽管 GenAI 仍处早期，但其通过对话式界面使软件更易用、更强大的能力正迅速扩展。“Copilots”和“Assistants”虽成热潮，但开发的第一步应是缩小问题范围，从小处着手。
Copilot 作为协调器，需优雅安全地处理无限输入提示。与其试图解决所有任务并承担风险，开发者应首先专注于出色地完成单一任务，并在过程中持续学习。
以 AlphaSense 为例，我们将“财报电话会议摘要”作为首个单一任务。该任务范围明确、客户价值高且契合现有工作流。在此过程中积累的 LLM 开发、模型选择、训练数据生成、检索增强生成（RAG）及用户体验设计经验，为后续扩展开放聊天功能奠定了坚实基础。
LLM 开发：选择开源还是闭源
2023 年初，OpenAI 凭借 GPT-4 领先，闭源模型占据优势。但随着开源社区推动性能提升并降低成本延迟，LLaMA、Mistral 等模型已成为创新基石，主流云厂商也普遍采取多供应商策略支持开源。
尽管开源模型在基准测试中尚未完全超越闭源，但在现实产品开发的关键权衡上已实现飞跃。“模型选择的 5S 原则”可辅助决策：
- 智能（Smarts）：经微调后，开源模型在特定任务上可超越闭源模型。
- 成本（Cost）：除固定 GPU 及运维费外，开源模型免费；规模化扩展效率优于按量付费模式。
- 速度（Speed）：掌控全栈技术可持续优化延迟；利用大模型知识蒸馏小模型，可将延迟从秒级降至毫秒级。
- 稳定性（Stability）：闭源模型存在性能漂移风险；开源模型可通过收集数据定期重训固定基线，实现对性能变化的系统化评估与可控升级。
- 安全性（Security）：本地部署确保数据端到端控制；繁荣的开源社区亦有助于保障整体 AI 安全。
封闭模型适用于定制化企业用例及前沿原型开发，但开源将为以生成式 AI 为核心体验的重要产品提供基础支撑。
大语言模型开发：训练你的模型
高性能 LLM 依赖于构建该任务的最佳数据集。“最佳”不等于“最大”，数百个高质量示例往往足以实现顶尖性能。相比通用闭源模型，企业独有的数据资产和问题理解是核心优势。例如 AlphaSense 通过跨团队协作制定标注指南，建立了高效的数据策展与维护流程。
知识蒸馏是优化数据投资的关键。开源模型尺寸多样，对于狭窄任务，小模型能以更低成本和更快响应实现足够智能。通过大模型生成合成数据训练小模型，可在生产环境中灵活平衡性能、成本与延迟。
RAG：检索增强生成
LLM 输出质量取决于输入质量。ChatGPT 基于全网数据训练，兼具知识广度与内容风险。在商业关键决策场景中，这种风险不可接受。
检索增强生成（RAG）通过将 LLM 锚定于权威数据库内容而非训练记忆，有效规避风险。当前 LLM 上下文窗口有限，而实际应用数据量巨大（如 AlphaSense 含数千亿字），因此精准检索上下文至关重要。
信息检索系统的投入预计将超过模型训练本身。鉴于关键词与向量检索各有局限，混合方法是当前最优解。未来几年，为大语言模型提供可靠的上下文支撑（Grounding）将是生成式 AI 研究的核心领域。
用户体验与设计：无缝集成聊天功能
聊天机器人应与平台无缝融合，避免成为附加组件。它需提供独特价值，复用现有设计模式，并通过护栏机制引导用户理解系统边界。以下是三个关键集成点：
- 聊天与图形用户界面：GUI 适合引导复杂流程，聊天则适用于需提供长尾上下文的场景。应审慎规划触发时机，避免让用户对常见工作流产生依赖。
- 设置上下文：针对 LLM 上下文保持能力的局限，利用搜索控件和过滤器帮助用户设定或调整对话背景，既能提高回复准确性，又能降低认知负荷。
- 可审计性：生成式 AI 输出必须引用原始来源文档。在企业环境中，验证速度是建立信任的关键，应重点投资此工作流以确保结果可审计。
ChatGPT 开启了生成式 AI 新时代。随着 AI 应用普及，开发者应牢记上述最佳实践，对齐技术与业务战略。专注于出色完成单一任务并寻找扩展机会，是打造具有长期价值创新产品的成功基石。