阿里妹导读
文章内容基于作者个人技术实践与独立思考，旨在分享经验，仅代表个人观点。
针对Agent在Skill选择上的错误，传统做法是直接修改description并重新运行整批任务。这种方式虽能生成新版本，但缺乏对修改原因、冲突根源及后续学习机制的解释，且耗时较长。本次实践将问题拆解为两部分：通过本地首路由回放缩短反馈周期；建立“归因与优化方向→description改写→回归验证→经验沉淀”的迭代闭环。在34条开发请求的测试中，最终选定候选命中31条，准确率达91.18%。
本文案例聚焦于两种相邻能力的混淆：两者均涉及数据查询，但一个用于会话内交付结果，另一个用于向外部渠道投递通知。明确共同步骤背后的交付目的，比单纯补充查询关键词更能有效指导修改方向。
首路由评测：聚焦选择过程
首路由指Agent首次将请求分配给特定Skill或子Agent的过程。它决定了任务的承接方，但不代表后续执行的成功。例如，“筛选后处理”与“直接处理明确记录”虽调用相似工具，但入口不同；“新建计划”与“在已有计划中执行”也需严格区分。
当前任务状态或交付目的 |
通用首入口 |
需要保护的边界 |
对象未确定，需先发现、筛选，再交接 |
|
不能承诺由其他能力执行的操作 |
对象已明确，直接操作 |
直接执行 |
不应接管尚缺必要筛选的请求 |
新建或修改周期安排 |
计划创建 |
在已有计划中执行不等于新建计划 |
联合信息进行趋势、风险或原因分析 |
综合分析 |
与单项数据查询区分 |
向外部渠道发送通知 |
通知投递 |
内部查询步骤不自动构成独立查询入口 |
图1 职责与首入口分工。按当前步骤、必要输入和交付目的区分入口；并列能力不代表后续步骤。
本地回放保留“消息历史→模型→前置工具→追加调用与返回→模型”的循环。模型受真实调用，但检索和目录读取由冻结材料提供。观察到首次Skill调用即停止，省去后续业务执行。比较新旧简介时，需冻结题目、人工预期、身份、模型参数等变量，仅修改授权范围内的description。
图2 本地首路由回放循环。轮次耗尽计为未命中，基础设施异常单列；首路由正确不等于完整任务成功。
首次路由错误、参数非法、无路由响应及达到轮次上限均计为未命中。接口异常等基础设施问题单列，受影响结果不用于候选晋级。除准确率外，还需报告异常数和覆盖率。若模型使用模拟器不支持的合理检索写法，应先修复模拟器并重新冻结环境，严禁为绕开模拟缺口而压制正常检索。
归因假设与优化方向
从可观察错误开始
以一类请求为例：用户希望查询某对象的汇总数据与记录明细，并在会话中交付。实际首路由却选择了通知投递能力。现象确认为预期与实际选择不一致，且用户未要求外部通知。对此提出以下可检验假设：
归因假设 |
当前可检查的证据 |
区分假设的验证方式 |
通知描述把内部查询步骤写成了宽泛适用范围 |
简介同时列出查询汇总、读取明细与发送通知，未清楚限定交付目的 |
只收窄通知描述，检查会话查询是否恢复、真实通知是否仍正确 |
数据交付能力没有表达组合查询场景 |
简介未清楚说明汇总与明细可以联合交付 |
只补充该场景，检查相关查询及相邻分析任务 |
两侧缺少交付目的的分工 |
简介都强调数据步骤，未清楚区分会话展示与外部投递 |
分别修改与联合修改，比较相邻边界 |
这些证据支持假设，但无法读取模型内部真实决策原因。错例分簇有助于发现共同冲突，但不能证明根因成立。
归因与修改方向分开记录
同一边界问题可有多种修法：补充正向适用条件、增加排除条件或明确复合请求承接规则。简单提高优先级可能修复目标错例，但可能引入新的相邻错误。因此，生成description前需明确本轮方向。例如：
围绕最终交付目的区分入口。会话内交付汇总与明细的请求，由具备该能力的查询入口承接；向外部渠道发送通知的请求，由通知入口承接。保留两者已有能力，不因共享查询步骤而相互接管。
这一中间产物明确了审校和评测对象：本轮是澄清交付边界还是提高优先级？借鉴ProTeGi方法，通过错误样本生成自然语言批评（语义反馈），指导提示词编辑，并结合搜索策略寻找候选。
将方向落实为Description的具体修改
Description是模型选择能力时的职责简介，需表达适用条件、必要输入、交付物和相邻分工。修改只能澄清已有能力，不能增加工具能力或扩大权限。
对象 |
修改前的表达问题 |
修改后的表达重点 |
数据交付入口 |
未清楚说明汇总与明细的组合交付 |
支持联合查询，并在会话中交付汇总表与记录清单；用户无需先提出后续操作 |
通知入口 |
查询、生成内容、发送通知并列，容易混淆步骤与适用范围 |
先限定通知投递目的，再说明查询只是内部步骤，排除单纯会话查询 |
数据交付入口概括：
支持针对指定对象联合查询汇总数据与记录明细，在当前会话中交付统计表和记录清单，并在需要时衔接后续处理。仅请求数据交付、尚未要求继续操作时，也属于本能力范围。
通知入口概括：
当请求的交付目的是向外部渠道发送通知时使用。流程内部可以查询条件、汇总和明细，但这些步骤不构成独立查询入口。仅要求查询、筛选或在当前会话中展示数据时，不使用本能力。
此处改变的是模型对分工的理解：将会话数据交付写成正向职责，将通知投递写成适用条件，并解释内部查询与外部服务范围的区别。业务正文、工具定义和实现回答“能否做到”；人工确认的职责规则回答“应该由谁先承接”；回放轨迹回答“模型实际上选了谁”。三类证据不可相互替代。
图3 三类证据的关系：能力依据约束承诺，职责规则约束预期首入口，回放结果验证实际选择。
若能力证据摘录不全，应补原文；若承诺超出实现，应收窄。借鉴ToolRewrite思路，优化接口描述并利用可迁移规律，但本文未复现其训练方法。
用回归结果检验修改
图4 旧流程示意：候选通过能力审校后，直接进行整批配对回放。
图5 迭代流程。归因与方向、实际改写、审校及回归保持一致；安全互补候选可以保留，入池不等于冠军。
候选生成后，依次进行机械校验、语义审校和回放。机械校验由程序负责，恢复证据引用、应用替换、核对差异和长度。模型负责判断能力承诺、适用范围及消解歧义。需注意，诊断、实际差异和审校必须围绕同一组竞争入口。
先测目标与保护例
小批验证需包含需修复的错例和原本正确的保护例。对于查询与通知的冲突，至少覆盖会话查询、真实通知及交付目的不同的相似请求。只有修复目标且保护不退化，候选才值得进入整体回归。
整体回归继续检查误吸、漏接和关键边界。高分不能抵消重要保护失败。复用观测必须满足同候选、同环境、同请求及对应重复轮次。
保留互补候选后仍需实际测试
总分较低的安全候选可能修复另一组错例，值得留在研究池。借鉴GEPA方法，利用轨迹反思和互补候选搜索。但合并后的description必须重新回放验证。
当前结果支持什么
最终选定候选在34条开发请求上命中31条。每题回放3次，按多数首路由计分。两道真实通知保护题均被正确承接，查询与通知的分界有所改善。但由于同时修改了两份简介，尚不能分离两侧描述的独立贡献。剩余三题涉及其他冲突，需进一步提出新假设。
将验证过程转化为下一轮可用的经验
保存候选历史仅保证可追溯。要让下一轮少走弯路，需将反馈转化为可检索、可限定范围的经验。归因经验与修改经验应分别保留。
经验内容 |
在查询与通知案例中的记录方式 |
错误模式 |
会话数据交付被选到通知入口 |
因假设与证据 |
描述共享查询步骤，交付目的区分不足；引用对应语句 |
优化方向 |
明确会话交付与外部投递，不改工具能力 |
实际编辑 |
记录两侧修改及最终差异，不能只保存修改意图 |
验证结果 |
逐题修复、退化、保护表现、重复回放和环境版本 |
适用范围与反例 |
适用于交付目的混淆；不能推广为所有查询都优先某入口 |
失败反馈需具体，指出字段、允许值、原句与证据。建议形成如下迭代流程：当前错例与冻结环境→提出归因假设→检索适用经验并复核→明确优化方向→生成并审校description→小批与整体回归→记录成功、失败及适用范围。
控制描述增长和反馈成本
优先替换和合并
每遇一题新增例外会导致description冗长且适用范围变窄。借鉴TextReg思路，关注增长背后的过拟合。当前实现设置600字符上限，要求先替换错误边界、合并重复和删除冗余，再考虑新增。未来可尝试在覆盖率和准确率相同时优先短版，或从有效父版本生成压缩候选。
分清候选阶段与完整验收
本地首路由即停、小批淘汰和并发执行分别影响不同成本。在34题实验中，两次自动候选的生成、审校、小批和整体评测阶段合计约3分23秒与3分25秒（回放并发为8）。此计时不含初始基线、收口复测及人工验收，不能简单等同于完整优化耗时。
图6 当前34题实验的候选核心阶段计时。仅含生成、审校、小批与整体评测，不含完整验收。
下一步验证归因与泛化
本次实践将路由优化推进至有方向、有差异、有逐题证据的迭代阶段。核心收获是用交付目的解释相邻能力分工，并通过保护例检查修改边界。
接下来需验证三个问题：显式归因与定向改写是否优于直接修改；经验检索是否减少失败尝试；开发集选定候选能否通过独立留出和真实环境验收。验证需固定可比条件，记录命中、误吸、退化及成本。只有首路由与完整任务分别得到验证，才有依据决定采用范围。
参考文献:
1. Pryzant, R., et al. 2023. Automatic Prompt Optimization with “Gradient Descent” and Beam Search. EMNLP 2023.
2. Guo, R., Dong, K., Gao, X., and Das, K. 2026. Learning to Rewrite Tool Descriptions for Reliable LLM-Agent Tool Use. arXiv:2602.20426, v2.
3. Agrawal, L. A., et al. GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning. arXiv:2507.19457.
4. Fu, L., et al. 2026. TextReg: Mitigating Prompt Distributional Overfitting via Regularized Text-Space Optimization. arXiv:2605.21318, v2.