不少公司上线AI客服的方式是:把产品手册、FAQ、售后政策一股脑导进知识库,然后开通入口。第一周就被客户问倒——答非所问、答得太长、或者干脆编了一段。
问题往往不在模型,而在两件事没做:建库时没整理语料,上线前没做验收。这篇给一套可以今天就照做的做法。
01.先把问题分成三类,再谈能不能答
很多团队验收时只会问“它能回答吗”,其实客户的提问天然分三种,处理方式完全不同:
- 可直接答
:产品参数、价格区间、退换规则、门店地址、开票方式。 - 应先追问
:客户说“能不能便宜点”“我这个情况能用吗”,缺关键信息,硬答必错。 - 应拒答或转人工
:赔付金额、法律承诺、竞品贬损、涉及个人隐私的查询。
三类各准备10条真实提问,一共30条,就是你这次验收的题库。题库要从聊天记录里抄,不要自己编。
阅读图解 · 01.先把问题分成三类,再谈能不能答
02.建库环节最容易埋的两个坑
坑一:整篇导入。一份手册切成长段,一段里塞了五六个问题,检索命中后模型只能挑着答,漏答和串答都从这里来。按“一个问题一段”重排,效果立竿见影。
坑二:只收书面语。文档里写“配送时效”,客户说“多久能到”;文档里写“发票开具”,客户说“能不能开票”。客户的口语说法要作为同义句补进去,否则检索根本命中不了。
这两件事都是体力活,但一次做完,后面几个月的答对率都靠它撑着。
03.一份可直接套用的验收题模板
每条测试题只记五个字段,用表格或文档都行:场景 / 客户原话 / 期望答案要点 / 是否允许追问 / 判定结果。举一条真实的写法:
场景:售后;客户原话:“昨天下的单能改地址吗”;期望要点:可以改、需在发货前、走订单页自助修改;允许追问:否;判定:答对/答偏/编造。
判定只写这三个值,不要写“还行”“差不多”,否则三十条跑完你也不知道到底哪里差。
AI云创未来 · 场景工具
AI知识库与智能客服
把企业资料整理成可检索、可持续维护的知识库与问答入口。
直接进入制作页面 →
阅读图解 · 03.一份可直接套用的验收题模板
04.打分只看三个数,别做综合评分
跑完30条,只统计三个指标:可直答类的答对率、需追问类的追问是否问到点上、应拒答类的越界次数。
建议及格线:可直答类答对率不低于85%;应拒答类必须零越界,出现一次编造赔付或承诺,就要回去改提示词和知识边界,不能带着问题上線。
综合评分看着漂亮,但掩盖问题。三个数分开看,你才知道该补语料、改切分,还是收紧回答范围。
05.上线后每周二十分钟的维护动作
翻一遍最近的对话记录,把答错、答不上、被转人工的问题抄进“未命中清单”,每周固定补一批:要么加一条问答,要么改一处切分,要么加一句同义说法。
知识库不是一次建完的工程,而是一个每周喂一点的活文档。谁负责这二十分钟,比买什么模型更影响最终体验。
把题库和判定表存下来,下次换模型、改提示词,直接重跑同一套题,前后对比才说得清。关注“AI云创未来”,后面继续拆这类能马上用的落地方法。
把方法落到自己的业务里
AI知识库与智能客服
把企业资料整理成可检索、可持续维护的知识库与问答入口。
立即进入制作 →
关注「AI云创未来」,持续获取AI工具、自动化与实用案例。

