让 Agent 越用越准、成本越来越低：AgentLoop 的 Agent 经验自进化闭环

传统软件追求确定性：在相同版本、输入和环境下，系统应输出稳定结果。企业可通过功能测试、回归测试和发布门禁建立清晰标准。然而，AI Agent 天然具有不确定性。模型采样、上下文变化、任务规划、工具返回及长链路执行均可能影响结果。同一问题多次运行，Agent 可能选择不同路径甚至给出不同答案。单次评测通过不代表持续稳定，平均表现良好也不代表线上无质量低谷。

当 Agent 深入运维、研发、数据分析及企业业务流程时，企业核心关注点归结为两点：

• 准确率与提升空间：不仅看演示或平均分，更需评估真实业务中的任务成功率、首次完成率及多轮执行的稳定性；识别易失败场景并探索工程化改进方案。
• 成本效益：计算每完成一个成功任务所消耗的 Token、时间、工具调用及人工介入成本，判断其相对于人工或传统系统的投入产出比。

Agent 能否从 Demo 走向生产、从局部试用迈向规模化部署，取决于其准确率是否达标、问题是否有明确优化路径，以及整体成本是否可控。

图 1｜AgentLoop 通过 Agent 经验自进化，帮助企业 Agent 从多路径、不稳定的执行状态逐步走向可控生产

每一次运行，都在产生待挖掘的经验

Agent 的每次运行不仅产出最终答案，更留下理解任务、选择工具、处理错误及达成目标的完整执行轨迹。成功轨迹蕴含有效路径，失败轨迹则记录重复错误与恢复线索。

这些轨迹沉淀了大量未被利用的优化证据，但原始 Trace 并不等同于经验。只有经过清洗组装形成 Trajectory，并结合结果评估进行对比，才能提炼出可验证、可召回、可复用的行动经验。

数据飞轮的核心价值不在于积累更多日志，而在于让每一次运行都为下一次提供经证实的优化依据。

Agent 上线之后，持续优化才真正开始

上线前的评测集仅能覆盖已知问题。真实业务中，用户表达、工具状态、异常组合及边界条件不断涌现；模型升级、知识更新、规则变化及工具迭代亦持续发生。因此，Agent 无法依靠上线前的一次调试永久保持高质量。

当前，企业通常依赖人工数据飞轮优化 Agent：

该路径虽有效，但高度依赖专家。随着 Agent 数量、任务类型及调用规模增长，人工查看 Trace、分析根因和总结方法迅速成为瓶颈。大量执行数据被保存，但能及时转化为优化动作的比例极低。

企业亟需一条自动化进化路径：持续观测 Agent 真实运行，从成败轨迹中自动发现规律，生成可复用经验，并将筛选后的经验注入下一次执行。这正是 AgentLoop 的"Agent 经验自进化”能力旨在解决的核心问题。

从人工数据飞轮到 Agent 自进化

AgentLoop 通过经验自进化，在模型之外构建了一层可持续更新的经验系统。它接收 Agent 的真实 Trace，将高噪音执行数据清洗组装为标准化的 Trajectory，进而自动挖掘有效路径、失败模式、工具约束、参数规则及恢复策略，生成结构化经验。

当 Agent 再次面对相似任务时，Recall Skill 和 CLI 会根据当前目标、业务对象、工具状态、执行进度及错误情况，召回少量适用经验并注入运行时上下文。任务完成后，新结果再次形成 Trace，进入下一轮经验挖掘。

图 2｜从 Trace、Trajectory、经验挖掘到运行时召回的自动进化飞轮

此处“自进化”并非直接修改模型权重，而是让 Agent 在通用能力之外，持续获取来自真实业务的行动经验。模型负责推理，工具负责执行，知识库提供事实，而经验库则辅助 Agent 判断：在当前情境下应优先执行何种操作、哪些路径易失败、遇到问题如何恢复，以及如何界定任务完成。

用经验降低 Agent 的不确定性

Agent 的不确定性无法彻底消除，但可被持续约束。

图 3｜经验持续约束无效探索空间，提高平均质量并抬高运行下限

许多失败并非源于模型能力缺失，而是 Agent 在关键节点做出错误选择：选错信息入口、误解工具参数、空结果后反复重试、忽略业务范围，或未验证结果即提前结束任务。

这些问题具有显著的经验属性。同类任务运行越多，系统越能识别成功选择、失败行为及对应恢复策略。

经验注入的价值在于，在 Agent 做出关键决策前缩小无效探索空间：

• 任务开始时，提供经验证的入口选择与行动顺序；
• 调用工具前，补充参数约束、数据范围及前置条件；
• 出现错误或空结果后，优先提供有效恢复方法；
• 准备交付时，提醒验证结果是否满足业务目标。

企业衡量经验库效果时，不应仅关注单次运行成功与否，还需综合考察：

• 平均任务成功率；
• 首次完成率；
• 同类任务多次执行的成功率、最低表现及结果波动；
• 失败模式的集中度；
• 人工接管率与返工率。

唯有平均准确率提升、质量下限抬高且运行波动缩小，Agent 才能真正从“偶尔做对”走向“稳定上线”。

用更少的成本获得更多成功结果

准确率与成本并非孤立问题。许多 Agent 成本恰恰源于不确定性：方向错误导致反复推理、工具调用失败引发原样重试、查询范围错误造成多轮返工、未完成判断致使执行链延长。

当经验帮助 Agent 更早选择正确入口、更精准使用工具并在失败后采用有效恢复策略时，可同时减少：

• Prompt 与 Completion Token 消耗；
• 无效工具调用与重复查询；
• 单次任务执行时间与超时风险；
• 人工查看 Trace、总结问题及修改提示词的投入；
• 原始 Trace 的存储、传输与重复分析成本。

对企业而言，最具意义的成本指标是：每完成一个成功任务，需要消耗多少 Token、时间、工具调用和人工介入。

经验注入并不意味着所有场景 Token 必然下降。部分任务为追求更高成功率可能需要更多上下文。合理目标是在质量护栏下持续优化单位成功成本，而非单纯追求最低 Token。

图 4｜经验注入同时关注质量、结果稳定性以及每个成功任务的综合成本

AgentLoop 的 Agent 经验自进化：核心优势

广泛接入真实 Agent 运行数据

经验飞轮成立的前提是能够观测 Agent 完整运行过程。企业内部 Agent 往往源自不同框架、团队与环境，难以通过单一 SDK 统一接入。

AgentLoop 提供多种探针、OpenTelemetry、LoongSuite Pilot、eBPF 及面向不同 Agent 和 AI Coding 工具的接入能力。无论是否方便修改代码，均可选择合适方式采集模型调用、工具调用、执行结果及运行环境信息。

广泛的数据接入能力使经验库不再局限于特定框架，而能成为企业级共享优化基础设施。

用 Trajectory 提炼高价值执行数据

原始 Trace 通常包含大量基础设施 Span、重复消息及与决策无关数据。若直接存储和分析完整 Trace，成本将快速增长，且有价值信号易被噪音淹没。

AgentLoop 将原始 Trace 清洗、去噪并组装为标准化的 Trajectory，保留任务目标、行动步骤、工具调用、观察结果、错误、恢复过程及最终结果等高价值信息。

在内部复杂样本中，清洗后的高价值轨迹数据量可降至原始 Trace 的约 4%—6%。更小、更结构化的 Trajectory 不仅降低存储与挖掘成本，也让算法能直接分析决策过程，而非处理杂乱日志片段。

图 5｜从高噪音、大体量 Trace 中提炼紧凑、结构化的 Agent Trajectory

面向真实轨迹深度优化的挖掘与召回算法

经验并非对单条 Trace 的简单摘要或成功案例保存。AgentLoop 会在多个轨迹间进行比较，识别反复出现的有效动作与高风险路径，生成不同类型的结构化经验，例如：

• 工具选择和调用顺序；
• 参数规则与前置条件；
• 容易导致失败的反模式；
• 错误恢复和问题绕行策略；
• 结果验证与完成判断规则。

在召回阶段，系统不仅考虑文本相似度，还会结合当前任务、工具、进度、错误状态及经验适用范围进行排序过滤。目标不是返回更多历史内容，而是在关键决策时刻提供少量能改变行动的经验。

多类 Bench 验证质量与成本收益

AgentLoop 的 Agent 经验自进化能力已在运维、通用工具使用、专业 Agent 及软件工程等不同任务上开展实验。部分结果如下：

结果表明，经验注入能在多种任务形态中带来质量收益。StarOps 实验中，平均工具调用次数下降 25.1%，有害事件下降 27.8%；PawBench 和 ClawProBench 中，质量提升的同时 Token 显著下降。

实验也显示质量与成本可能存在权衡。如 PinchBench Token 增加 2.9%，SWE-bench Verified 在成功率提升同时消耗更多 Token。因此，AgentLoop 不只关注单一分数，而是综合衡量成功率、执行稳定性、Token/成功任务、工具调用、耗时及超时率，寻找适合具体业务目标的最优点。

Skill + CLI，让经验快速进入 Agent

经验生成后无需重新训练模型或重建 Agent。用户可在客户端安装 Recall Skill，通过 CLI 配置经验库（Experience Store）及访问凭证。

安装完成后，Agent 可在任务开始、调用关键工具、遇到错误或准备交付时主动检索相关经验，并将召回结果作为参考上下文。

该方式具备三大优势：

• 接入快，无需改变模型权重；
• 经验更新后可立即应用于新任务；
• 经验出现问题时可快速限制作用范围、替换或下线。

经验被注入 Agent 运行时上下文；任务完成后，新执行结果再作为 Trace 进入经验挖掘链路，形成持续闭环。

让多个 Agent 共享经验、共同进化

企业真正需求是让有效方法在组织内复用，而非单一 Agent 单独变好。

团队可让不同客户端和 Agent 共用同一经验库。一个 Agent 验证过的有效路径可在权限允许范围内被其他 Agent 召回；一个团队遇到的失败也可成为其他团队提前避开的反模式。

共享经验带来的长期价值包括：

• 新 Agent 继承已有方法，降低冷启动成本；
• 新成员直接使用骨干积累的行动经验；
• 更换模型或框架后，业务经验无需从零积累；
• 通用经验跨 Agent 共享，业务专属经验按 AgentSpace 和经验库隔离；
• 个人经验逐步转化为企业可管理、可追溯的能力资产。

模型提供通用智能，经验库则沉淀组织在真实业务中形成的专属能力。Agent 使用越多，组织可复用的有效方法越丰富。

图 6｜不同 Agent 在权限边界内共享经验，让局部成功转化为组织级能力

位于模型之外，更新更快、迁移更容易

微调和强化学习通过训练改变模型本身，能获得深层行为变化，但通常需要更多数据、计算资源和验证周期。经验库位于模型之外，通过运行时检索和上下文注入生效。

这使经验成为一层可移植的优化能力：

• 服务不同模型和 Agent 框架；
• 按任务和业务动态召回；
• 快速更新，无需重新训练和发布模型；
• 按团队、业务和权限控制作用范围；
• 与评估结果结合，持续验证经验有效性。

企业最终保留的不再是某个模型版本偶然做对的结果，而是一套可跨模型、跨客户端持续使用的业务行动经验。

如何开启 AgentLoop 的 Agent 经验自进化

完成 Agent Trace 接入后，客户只需在控制台创建经验库，再将生成的接入配置复制到 Agent 客户端。开始前请确认：

• Agent 已通过探针、OpenTelemetry、Pilot 或 eBPF 等方式接入 Trace；
• 客户端已安装 Node.js 18 或更高版本；
• 当前账号具有目标 AgentSpace 和经验库的访问权限。

第一步：创建经验库，开启自动挖掘

进入 AgentLoop 控制台，选择目标 AgentSpace，打开「上下文工程 → 经验库」，单击右上角「创建经验库」。

图 7｜在「上下文工程 → 经验库」中创建或进入已有经验库

创建时需填写三项关键信息：

1. 经验库名称：使用小写字母、数字和下划线；
2. 提取 Agent 应用：选择需要持续优化的 Agent；
3. 经验抽取起始时间：指定从哪个时间点开始分析已有 Trace。

经验库默认使用「AI Agent 可观测」接入的全链路数据作为来源。确认创建后，AgentLoop 会持续把 Trace 清洗为 Trajectory，并自动挖掘行动路径、工具规则、反模式和恢复策略，无需人工上传经验文档。

图 8｜填写经验库名称，选择 Agent 应用和 Trace 起始时间

第二步：创建访问凭证

进入经验库详情，打开「API Key」页签，单击「立即创建」。API Key 用于客户端访问当前经验库，推荐作为快速接入方式；需要统一身份治理的企业也可以使用 AK/SK。

图 9｜在经验库详情的「API Key」页签创建访问凭证

API Key、AK/SK 不要写入查询命令，也不要提交到 Git。不同客户端可使用各自凭证访问同一经验库，便于审计、轮换和权限回收。

第三步：安装 Recall Skill 并复制配置

打开「集成方式」页签。控制台会根据当前地域、AgentSpace 和经验库自动生成安装命令、Recall Endpoint 和验证命令，客户无需手工拼接 URL。

一次性验证时选择「临时 Skill 安装」，依次复制并执行三个代码块：

1. 安装alibabacloud-agentloop-experienceSkill；
2. 配置AGENTLOOP_ENABLE_RECALL、Recall Endpoint 和 API Key；
3. 执行一次经验召回验证。

图 10｜控制台自动生成 Skill 安装、环境变量和召回验证命令

团队或项目长期使用时，切换到「配置文件方式」，把配置保存到项目的.agentloop/recall.env或当前用户的~/.agentloop/recall.env。项目级配置应加入.gitignore。

图 11｜使用项目级 recall.env 保存长期召回配置

第四步：验证召回并共享经验

在项目根目录执行控制台提供的验证命令。查询文本建议包含具体产品、错误信息、接口名或 Request ID，例如：

node .skills/alibabacloud-agentloop-experience/scripts/search_context.js search \
 --query "排查 ECS SSH 连接超时的历史经验" \
 --context-type experience \
 --confirm-outbound

返回 JSON 且 error 为 null，说明召回链路已经连通。results 为空表示暂时没有匹配经验，并不代表接入失败。

同一团队的多个 Agent 指向同一个经验库后，即可在权限范围内共享经验。Agent 会在任务开始或遇到问题时召回相关方法；新的执行结果继续形成 Trace，进入下一轮自动挖掘。

安全提示：默认保留--confirm-outbound，明确确认发送本次查询文本。只有在已经授权的内部可信环境中，才建议开启自动外联确认；查询中不要携带密码、Token、个人信息等敏感数据。

随着新任务不断运行，新的 Trace 会继续进入经验挖掘链路，形成：

观测 → 轨迹 → 挖掘 → 经验 → 召回 → 运行 → 再观测

企业可以观察成功率、同类任务多次执行的稳定性、Token/成功任务、工具调用次数、平均耗时和人工接管率，确认经验库带来的真实收益，并逐步扩展到更多 Agent 和业务场景。

Agent 经验自进化与 Memory、RAG、微调和 RL 的差异性

这些能力并非互相替代，而是解决不同层面的问题。

可用一句话概括差异：Memory 让 Agent 记得过去，RAG 让 Agent 找到知识，Workflow 提供固定流程，Skill 让 Agent 获得能力，微调和 RL 改变模型本身，而经验自进化让 Agent 在当前任务中复用真实执行验证过的方法。

在完整的企业 Agent 系统中，这些能力可协同工作：RAG 提供业务事实，Memory 提供用户和会话背景，Skill 提供可执行能力，经验自进化机制提供行动经验，评估与实验则负责证明这些变化是否真正提高了质量。

让 Agent 从“能用”走向“可持续上线”

企业引入 Agent 的核心挑战，不是缺少一次令人惊艳的演示，而是如何长期管理一个具有不确定性的生产系统。

AgentLoop 的 Agent 经验自进化以真实运行轨迹为起点，将高噪音 Trace 转化为高价值 Trajectory，自动挖掘成功路径和失败模式，再通过 Skill 与 CLI 把相关经验带回 Agent 的下一次执行。

其带来的价值可用几个可度量的变化表达：

• 提高 Agent 的任务成功率；
• 提高同类任务多次执行时的稳定性；
• 减少无效推理、工具调用、超时和人工调优；
• 优化每个成功任务的综合成本；
• 让一个 Agent 的有效方法被其他 Agent 安全复用；
• 让组织经验跨模型、跨框架持续积累。

AgentLoop 的 Agent 经验自进化不是又一个保存历史内容的知识库，而是一套面向企业 Agent 的持续质量优化系统：

通过真实运行轨迹自动挖掘并按需注入经验，在不重新训练模型的情况下，提高准确率和结果稳定性，并优化每个成功任务的成本。

观测系统负责看到真实运行，评估系统负责定义什么是好，经验自进化负责把已经验证的有效方法重新带回运行。当这三者形成闭环，Agent 才能在真实业务中持续进化，并逐步从不确定走向可控。