Etsy Engineering Code As Craft 博客发文探讨如何通过上下文工程和提示词，将通用大语言模型转化为高度特定的问答引擎。该方案依托员工手册及 Etsy 卖家社区论坛数据，旨在验证特定提示词工程能否在可靠性上媲美昂贵且需大量数据集微调的传统训练方案。
内部场景试点：差旅与娱乐（T&E）政策问答
Etsy 首先将 AI 辅助入职培训作为切入点，选取规则明确但员工常存疑的“旅行与娱乐”政策进行有限规模试点。测试基于40个手动整理的问答对，通过对比模型生成答案与官方文档来评估质量。
问答系统的核心在于可靠性。在AI辅助入职场景中，新员工需确信其关于T&E政策的疑问能得到正确解答。
相比更新模型权重的微调方案，提示词工程冻结权重并将大语言模型视为黑盒。该方法仅需充分表示任务特定文档，是极具吸引力的调优策略。
结果显示，大语言模型正确或令人满意地回答了约86%的问题。但在剩余14%的案例中，模型生成了高置信度的错误答案。例如，针对公司信用卡余额支付责任问题，模型错误断言由持卡人负责，而正确答案应为Etsy直接支付。
为此，团队引入“思维链”（Chain-of-Thought）提示以强化事实核查标准，有效缓解了“幻觉”问题。
外部场景扩展：卖家社区论坛问答
受内部试点鼓舞，Etsy 将测试扩展至外部用例，利用社区论坛历史数据回答卖家常见问题。尽管去年初论坛转为私有以防范诈骗并限制公共AI抓取，但这反而使其成为Etsy AI战略的独特资产。
论坛数据具有低同质性和主观性强的特点，评估难度高于内部政策。团队在50个问答对上测试发现，未经提示工程优化时，模型准确率约为72%，错误率翻倍符合数据异质性预期。
论坛数据复杂度高且答案具主观性，评估准确性更为棘手。需注意，论坛内容与官方政策可能存在差异。
本次调查仅衡量模型基于输入数据的呈现准确度。高分意味着该工具不仅助力卖家入职，还能提升社区数据库的检索效率。
提示工程的局限性与应对策略
论坛问答揭示了单纯增加上下文前言的局限性。例如在询问“1099-K表格下载位置”时，即便补充了该表格的定义背景，模型仍因缺乏具体来源指引而拒绝回答或给出无效建议。
工程师总结指出，面对复杂推理需求，必须精心设置思维链提示。最有效的做法是要求模型提供具体的来源片段，明确其在论坛中的检索路径，而非仅提供宽泛的背景信息。
虽然文章未透露后续具体应用计划，但结合Etsy近期发布的《以人为中心保持创新连接的人工智能原则》，未来对话式AI助手入驻社区论坛乃至更广泛领域已成趋势。
你对 Etsy 的 AI 答案引擎提示实验以及利用卖家社区帖子训练大语言模型的潜力有何看法？请在下方评论中告诉我们！