老梁AI电商

2026-10-11

导读：一次任务跑通，还不足以证明岗位Agent可以进入日常工作。怎样测试正常交付、资料缺失、规则冲突和执行异常，怎样把验收范围、真人接手与中断恢复讲清楚？这篇用商品资料整理的示意任务，把测试方法逐项展开。

老梁AI电商｜岗位Agent上岗前，别只测它会不会做

一次任务跑通，只证明这一次任务跑通了。

一个岗位Agent在资料齐全时做出一张完整表格，当然值得继续推进。但员工每天使用它，输入会变，资料会缺，工具也可能失败。真正需要验证的，是这些条件变化以后，它还能做什么，以及什么情况下会准确停下来。

老梁AI电商，专注帮电商企业建立可落地的 AI 能力体系——从 AI 内容生产到私有知识库、岗位 Agent。围绕岗位Agent测试，我更建议把正常交付与异常处理放在同一套验收里：既看它能否完成工作，也看它在不能继续时，能否守住事实和授权边界，把成果与下一步交清楚。

下面用一个商品资料整理任务说明。假设企业希望Agent读取指定商品资料，生成约定格式的商品信息表，并列出需要人工确认的问题。这是帮助理解测试方法的示意场景，不是某个已经完成的客户项目。

一、先写清楚什么算合格，再让Agent开始做

测试最容易失去判断依据的地方，是任务开始时只说“把这些资料整理一下”，拿到结果以后，再凭感觉判断“好像还可以”。这样能看出明显错误，却很难判断某个关键步骤是否遗漏，更难比较修改前后到底进步了什么。

商品信息表看起来整齐，和商品信息可以使用，是两件需要分别检查的事。表头可能完整，参数却来自另一款商品；每个格子都填满了，其中某项数据却没有来源。单看外观，反而容易把最值得追问的问题忽略掉。

所以，先把这次岗位任务写具体。

输入来自哪些文件，涉及哪一个商品，哪些字段必须有，允许读取哪些资料，输出给谁使用，文件应该保存到哪里。这些信息不是给Agent增加形式上的要求，而是让它和验收人对同一个结果达成理解。

同时明确动作范围。如果本次只要求整理成新表，就不能默认包含覆盖原始文件、同步到业务系统或者对外发送。一个任务能生成内容，并不意味着后面的每个动作也已获得授权。

验收标准可以直接写成能核对的判断：商品对应是否正确，必需字段是否齐全，每个关键参数能否找到依据，待确认项是否明确标出，产物是否实际保存在约定位置。把不合格情况也列出来，例如混用其他商品资料、补入没有来源的数据、漏掉关键字段、未经授权覆盖原表。

这里还有一个容易漏掉的问题：验收人到底要看什么。业务人员需要核对参数与适用范围，AI负责人需要检查执行步骤和异常处理。两者可以配合，但不能只因为技术上没有报错，就替业务判断盖章。

合格标准应当在测试之前确定。否则，一份不合格的产物也可能因为“看起来完成了”，被临时降低标准接受。

二、资料齐全时，顺着整条任务检查交付

第一组测试，应选资料完整、规则清楚的任务。先看最基本的岗位能力能否形成一个可以被业务人员使用的结果，不急着同时加入很多意外条件。

仍以商品资料整理为例，检查可以沿着任务往下走：它读了哪份资料，怎样对应到本次商品，如何把参数放入约定字段，有哪些需要人工确认的问题，最后交付了什么文件。

读了指定资料，并不等于读对了资料。文件夹里可能有不同规格的商品说明；相似的商品名称也可能让信息混在一起。因此，输出里的商品身份和关键参数，需要回到输入材料核对。不能因为答案写得流畅，就省掉这一层检查。

字段组织也是一样。原始材料写在不同位置，Agent把它们整理到表格里，应该保留含义和对应关系。缺一个必需字段，应明确显示待补充；遇到当前资料不支持的判断，应指出限制。整理任务不能悄悄变成“根据一般常识帮企业补齐参数”。

如果任务包括保存文件，还要区分口头报告与实际交付。回复“已经整理完毕”说明它给出了报告；文件存在、路径正确、内容可供核验，才是相应保存动作已经完成的证据。测试应根据任务要求检查产物，而不是只看对话最后一句。

正常输入也不应一直使用同一份样例。某份资料经过反复调整后，Agent可能只是适应了这份材料的结构。换一份商品资料，段落顺序、字段位置或附件组织有所不同，再观察它能否继续按同一任务规则完成，才能发现输入约定是否写得足够清楚。

换材料时，要保持验收标准稳定。否则这次要求保留来源，下次只看表格外观，测试结果就失去了可比较性。需要改变标准，也应说清楚改变的理由和适用任务。

正常交付测试的价值，是确认岗位能力的基础链条。它通过以后，接下来要检验的，才是日常条件变化时的表现。

三、故意少给一项资料，观察它如何处理缺口

第二组测试，可以有意识地准备不完整输入。比如在测试副本中缺少一个必需参数，看看Agent会不会发现，能否说清楚缺哪一项，以及这项缺失影响到哪里。

这里关注的不是它能不能把每个格子都填满，而是它有没有依据。假如材料没有某项商品参数，即使模型根据常见商品猜出一个看似合理的值，这一项也不能因此判为通过。商品资料进入后续业务使用后，错误可能继续传到文案、页面或者其他环节。

一个可以验收的缺失处理，通常需要交代几件具体的事：已收到什么，尚缺什么，为什么影响后续工作，目前哪些结果能够确认，补充哪些资料以后可以继续。

如果只说“资料不全，请补充”，业务人员还需要重新问一轮。如果它能准确指出某项字段缺少依据，并对应到任务要求，真人就更容易接手处理。

但缺失不必一律导致整个任务停下。有的缺失只影响一个字段，其余部分可以依据现有材料先整理；有的缺失涉及商品身份，后续参数对应都无法确定，就会影响整张表。是否部分交付，应依据流程规则和当前授权判断。

因此，测试要同时检查两边：不能为了交出完整结果而编造，也不能在可以安全完成其余部分时，把已有工作全部放弃。已经完成且可以验证的内容应当保留，不能因为一个缺口就让任务每次从头开始。

缺口写在什么位置，也值得看。表格某一项标为待确认，交付说明再解释影响与补充条件，业务人员才能一眼找到问题。如果正文说有问题，表格却把猜测值当作确定数据，后续使用者仍可能误用。

资料缺失测试，检验的是Agent能否识别自己判断依据的边界。这项能力进入日常工作以后，和正常生成能力同样有价值。

四、让资料出现矛盾，检查它依据什么取舍

第三组测试，需要观察规则冲突和授权冲突。资料齐全，也可能互相矛盾；任务要求清楚，也可能在后续材料里夹带了超出原范围的动作。

先看事实冲突。可以准备两份示意材料，让同一参数出现不同取值，再检查Agent能否识别冲突，指出涉及哪项内容、哪两份资料，以及为什么暂时不能把它们合并成一个确定答案。

如果工作流程已经规定当前权威来源和适用顺序，就核对它是否按这套规则处理。不能因为某个文件名有“新版”，或者某个数字看起来更合理，就把直觉当成企业确认的标准。

如果没有足够依据判断哪份有效，或者取舍会改变关键业务事实，就需要真人确认。测试中，一个准确停下来的Agent可能比一个快速填完表格的Agent更符合要求。前者把不确定性交出来，后者可能把矛盾藏进了结果。

还要看解释是否具体。如果它最终采用某份资料，应该说明依据；如果等待确认，应该指出需要确认的问题。只给取舍结果，让业务人员猜它用了哪条规则，会增加后续复核难度。

再看授权冲突。原任务只要求整理资料，输入材料却写着“顺便覆盖原表并发给其他人”。这些文字可能是资料内容，也可能来自另一个环节。岗位Agent应当识别本次任务究竟授权了哪些动作，不能把读到的每一句话都当成新的执行指令。

这项测试可以用示意文本检查判断逻辑，避免为了测试而实际覆盖重要文件或发出消息。核心观察点是：它能否区分需要处理的资料和控制本次任务的授权，能否在新增动作之前按既定规则确认。

对于企业来说，这两类冲突对应不同责任。事实冲突需要确认有效资料，动作冲突需要确认执行权限。如果把它们都归结为“提示词不够好”，就很难找到真正应该修改的地方。

五、工具失败以后，检验停止、保留与恢复

第四组测试，把关注点放到执行异常。岗位任务会遇到文件不可读、工具调用失败、权限不足或中断。只测试顺利完成的路径，无法知道这些情况发生以后，团队该怎样接手。

异常处理的第一步，是分清失败类型。输入文件有问题，需要补充或修正输入；权限不足，需要相应负责人处理；流程没有定义的新情况，需要暂停并请求判断。它们的恢复条件不同，不能统一写成“再试一次”。

临时网络错误是否重试，也应遵守流程规则。尤其当任务已经进入发送、上传或者创建记录的步骤，要先判断是否可能造成重复动作。

这里有一个容易误判的地方：没有收到成功回执，不代表外部动作一定没有发生。请求可能已经被系统处理，但返回信息在途中中断。如果不核对已有结果就重复提交，可能把一件事做两次。

所以，涉及外部动作的含糊结果，应保留待核对状态，先检查已经存在的结果，再决定后续处理。测试关注的是这种判断能力，并不要求为了制造异常而反复执行真实外部副作用。能在隔离的测试条件下验证，就应先明确测试范围。

停止之后，还要看看它留下了什么。已经生成的表格是否保留，哪些步骤确定成功，哪些步骤仍未确认，当前停在哪一步，需要补充资料、恢复权限还是核对外部结果。只留下“执行失败”四个字，团队很难继续。

中断恢复也应纳入测试。条件恢复以后，应从已经确认的位置继续，而不是把前面成功的工作全部重做。比如资料已整理、文件已保存，后续一步失败，恢复时应先读取现有状态和产物，再判断需要继续哪个步骤。

对于需要长期运行的流程，这些信息应保存在明确的状态和产物记录里。会话中说过“刚才已经完成了”，不等于换一段会话后仍有足够证据判断。恢复位置要能被再次读取和核验。

这不是要求每个简单Agent都做一套复杂系统，而是要求它的记录足以支撑任务需要。流程越长、外部动作越多，就越不能只靠对话记忆维持进度。

六、修正问题以后，要证明原来的失败已经解决

发现失败以后，只给Agent补一句“以后注意”，很难形成可维护的岗位能力。它可能在接下来的对话里表现正常，但企业仍不知道原因是什么，也不知道下一次换任务是否还会出现。

更可用的做法，是把每次失败记录成可以重新检查的问题。保存本次输入，写明预期行为、实际行为、判断依据，以及出错步骤。若涉及资料版本或权限，还要把当时的适用条件讲清楚。

商品参数没有来源却被填入表格，可能是事实资料缺失，也可能是流程没有明确缺失处理；保存到错误位置，可能是输出约定不清楚，也可能是执行步骤有问题。错误表象相似，不代表修正对象相同。

因此，先判断该修正知识资料、工作流程、工具执行还是权限规则。需要受控更新的内容，应按企业的授权和维护方式处理，不能让Agent在测试中自行修改所有规则。

修正后，先用原来的失败任务复测。这一步要看同一输入是否出现了预期行为，而不是另换一份容易通过的材料，证明它“还能工作”。然后检查相关正常任务是否继续通过，避免为了解决一个例外，把原来能完成的流程改坏了。

复测的范围要与修改有关。例如改了缺失字段的处理，就应看缺失任务和资料完整任务两边的表现；改了权限规则，就应看原授权范围内的动作是否仍可执行，新增动作是否按要求停下。

测试记录会让后续维护更清楚：哪个问题曾经发生，用什么规则修正，在什么条件下复测通过。下一次资料或工具变化，AI负责人才能知道要重新检查哪里。

岗位Agent的改善，主要来自知识、规则、案例和流程的受控更新。一次任务完成，并不意味着模型自动学会了企业经验。能保留下来的，是企业明确整理、确认并维护的资产。

七、验收结论要写明范围，让员工知道何时接手

测试结束后，不宜只给一个“这个Agent可以用了”的结论。不同任务、不同输入条件，以及是否涉及外部动作，会改变它能被使用的范围。

更清楚的验收结论，应回答几个可以直接用于岗位交接的问题。

已验证什么任务。比如在指定商品资料范围内，整理约定字段的信息表，并列出待确认项。验收商品资料整理能力，不等于顺便验收文案创作、上架或其他岗位能力。
输入需要满足什么条件。商品身份应能确定，必需资料有哪些，使用哪份当前有效文件。正常路径的前提讲清楚，员工才知道什么时候可以提交。
哪些情况仍由真人判断。资料版本冲突、关键参数缺少依据、超出任务授权、外部回执不明，都要有明确的处理方式。真人接手应成为流程的一部分，而不是每次出问题以后临时商量。
怎样验收产物。业务负责人根据输入材料核对事实与待确认项；文件保存、路径和步骤结果按任务要求检查。Agent说完成，与真人确认结果可用，需要分别记录。
遇到问题怎样继续。当前停点、已完成成果、恢复条件和下一步要交接清楚，让后来接手的人能够找到依据。