大数跨境

Uber 这种规模如何高效运行软件工厂

Uber 这种规模如何高效运行软件工厂 Levix 空间站
2026-08-31
0
导读:Uber 这种规模如何高效运行软件工厂引言AI 工具如今已经嵌入 Uber 软件开发的每一个阶段。

Uber 这种规模如何高效运行软件工厂

引言

AI 工具如今已经嵌入 Uber 软件开发的每一个阶段。超过 70% 的 Pull Request 来自本地或云端 Agent。工程师已经围绕整个软件开发生命周期构建了 3,600 多个 Agent Skill,每天执行的 Agent Skill 超过 3 万次。

在 AI Engineer 2026 大会上,我们分享了对软件工厂(Software Factory)的构想,以及正在整个生命周期中建设的基础组件和托管 Agent。随着这套构想逐步落地,越来越多的会话不再由人发起,而是由自动化托管 Agent 执行:代码审查、自动修复 CI 故障、完成带视觉验证的端到端 PR、分诊 On-call 告警、调试新提交的 Bug,以及处理各种代码维护任务;人类则负责审查,必要时接管。

如图 1 所示,2026 年 2 月至 8 月,在 Uber 全体员工——包括工程师和非工程师——使用的所有 Agent 产品中,每周活跃用户增长了 7 倍,每周 Agent 请求量增长了 9.4 倍。与此同时,得益于各方面的优化,Uber 的 AI 总支出自 4 月以来基本趋于稳定。

采用率、工作负载结构和模型升级都在持续变化。要单独衡量 Uber 自身优化带来的收益,就必须固定同一个模型,因为每次模型升级、每个模型家族的行为都会改变。我们在 2 月至 7 月期间进行了这样的对照:每 1,000 次模型请求的成本较峰值下降近 34%,每次会话成本较 6 月峰值下降 52%。

本文将介绍 Uber 如何理解软件工厂:Agent 会话运行的四个层级、用于拆解支出的成本公式、各项指标的测量方法,以及如何在每个层级优化这些指标。

本文比较中的所有价格和供应商指标均来自公开信息。成本效率的提升,来自 Uber 在标准分级定价范围内,更智能地为内部工作负载选择路由。Uber 测得的具体降本幅度只适用于自身环境;实际效果会因代码库、团队规模和 Agent 工作流而异。不过,使用真实工作构建基准,并同时围绕准确率与成本进行优化,这套方法具有普遍适用性。

软件工厂及其成本公式

Agent 使用的四个层级

我们把 AI 使用方式划分为四个层级,从最专用到最通用。图 3 展示了这套结构:层级越高,我们对成本、质量和模型选择的控制力就越强。

成本公式

无论会话运行在哪一个层级,都可以把一次 Agent 会话的成本拆成下列几项,并分别测量和优化。

前两项代表采用度与参与度。无论用户直接与系统交互,还是由 Agent 代替用户处理任务,我们都希望这两项在整体用户群中继续增长。中间三项则是优化机会:它们代表 Agent 在工程师实际提出的请求之外,为完成任务自行产生的工作。这也是 Uber 投入精力最多的地方,包括帮助 Agent 更快制定计划、减少无效轮次或错误、压缩输入 token 等机制。

如何测量

下面列出了 Uber 每周和每月跟踪的完整指标集。这些指标支持短期与长期的预测和规划。

优化杠杆

下面将具体介绍 Uber 用来优化成本公式各个部分的主要杠杆。其中一些杠杆会同时影响成本公式中的多项指标。

优化每 token 价格

token 价格由供应商决定,但由 Uber 决定哪种工作负载运行在哪个模型上。在所有托管 Agent 层级中,我们都会为具体工作负载选择 Pareto 效率最高的模型。这里的 Pareto 效率同时考虑三个维度:每项已完成任务的成本、输出质量和模型可靠性。

以基准为驱动选择模型

每个托管 Agent 都遵循相同的四步模型选择流程:

  1. 1. 从 Agent 的真实工作中构建基准。
  2. 2. 在一个能够通过统一接口调用任意模型——无论前沿闭源模型还是开放权重模型——的执行框架(Harness)上运行 Agent。
  3. 3. 迁移到当下 Pareto 最优的方案,并持续迁移。模型前沿每隔几周就会改变。
  4. 4. 利用托管 Agent 汇总出的洞察,持续测试和部署不同的模型路由策略,不断改善各类工作负载的表现。

以 uReview 为例,它负责对所有 Pull Request 进行 AI 代码审查。Uber 使用包含已知 Bug 的真实 PR 构建基准,并把 Bug 分成简单、中等和困难三个等级。系统会针对这些 Bug 计算 Precision、Recall 和 F1,同时统计每次审查成本、延迟、超时和噪声。如图 7 所示,更换模型后,uReview 的 F1 得到提升,而每个 PR 的成本大幅下降。图中的虚线是 Pareto 前沿;位于它左下方的方案,都存在另一个更便宜或表现更好的方案可以取代。

Uber 还基于大型 Monorepo 中数千个真实 PR,建立了内部 Uber SWE Benchmark,用于在不同任务类型上测试前沿模型和开放权重模型。所有覆盖 SDLC 的托管 Agent,都会参考这套基准选择模型。

默认模型选择

在交互式界面中,token 单价保持不变,但可以通过调整模型之间的 token 分布来控制成本。两项默认设置决定了主要分布:会话初始模型和子 Agent 模型。

其中,子 Agent 的默认模型是影响最大的杠杆,而且重要性还在上升。随着最新模型越来越擅长多 Agent 协作,会启动子 Agent 的会话比例持续提高。子 Agent 通常负责输入明确、边界清晰的任务,并不需要前沿级别的推理能力。因此,Uber 默认给子 Agent 使用能力较弱但成本更低的模型,同时保留手动覆盖选项。主模型负责拆解任务和评估结果,子 Agent 负责执行。

优化每次请求的 token 数

每一轮都会重新发送完整对话历史、项目上下文和工具结果。任何能够缩小单次请求载荷的措施,都会在整个会话中产生复利式收益。

默认设置

所有交互式 Harness 都使用同一套封装层,统一管理安装、配置、认证和成本可见性。其中两项标准默认配置会直接减少每次请求的 token 消耗:

  • • 即使模型支持 100 万 token 上下文,也会在 40 万 token 时自动执行上下文压缩。这个阈值在模型表现、缓存突增和重复输入 token 成本之间取得平衡。Uber 的测量结果显示,它显著降低了整个 Agent 集群的单次请求平均输入 token 数。
  • • 推理强度默认为 Medium。对于主要模型,输出 token——包括内部推理 token——的计费倍数高于输入 token。把默认推理强度设为 Medium,可以直接减少成本最高的一类 token 支出。对大量任务而言,Medium 能在成本与质量之间取得良好平衡。

Prompt Caching 策略

Uber 的 Prompt Caching 策略由供应商缓存读写的经济性决定。每一轮都会重新传输完整对话历史,因此缓存此前的上下文,可以避免重复支付全价;后续读取只需标准输入 token 价格的 0.1 倍。不过,写入缓存会有溢价:5 分钟缓存的写入成本是 1.25 倍,1 小时缓存是 2 倍。因此,TTL(Time-to-Live)的最佳选择取决于各轮之间的间隔时长。目前 Anthropic® 提供 5 分钟和 1 小时 TTL,OpenAI® 提供 30 分钟 TTL。

工程师经常会让交互式会话闲置超过 5 分钟,因此 Uber 把默认 TTL 从 5 分钟改为 1 小时。过去,这些频繁出现的空闲间隔会让前缀缓存失效,迫使系统以全价重建上下文。子 Agent 则继续使用 5 分钟 TTL,因为它们通常只执行一个生命周期很短的单项任务。

通过 Shell 执行 MCP 工具

在 Uber,所有 MCP(Model Context Protocol)交互都经过统一 Gateway。这个单一入口连接了 1,000 多个内部 MCP Server 和第三方 SaaS MCP,从而实现集中认证与策略控制。

但标准 MCP 会把所有工具 schema 直接加载到每个会话中,不管工程师是否会在这次会话里使用它们。例如,安装 100 多个工具后,预加载会给初始 Prompt 增加约 5 万至 7 万 token 的 schema 开销;此后每次上下文轮次还会再次发送这些内容。

为解决上下文膨胀,Uber 引入了两套互补机制:

  • • CLI 工具解析。 不再直接集成 MCP,而是允许模型执行 Shell 命令。CLI 在调用时动态通过 Gateway 解析并调用所需工具,从会话上下文中移除 Uber MCP schema。内部 MCP Gateway 的 1,000 多个工具都会映射为 CLI 命令。
  • • 工具搜索。 模型可以搜索工具目录,并按需加载所需工具,因此能够扩展到数千个工具。这通常会减少工具定义占用的 token;即使工具库持续扩大,也能保持较高的选择准确率,避免大规模工具集常见的性能退化。

Code-mode

当工具可以通过 Shell 命令直接调用函数时,模型便能在一个脚本里批量执行多个动作。对交互频繁的工具协议而言,这一点尤其重要。在标准 MCP 工作流中,每个动作都需要单独占用一次模型轮次:模型先发出请求,再把原始响应加载进上下文,随后按顺序处理结果。以一条 SQL 查询为例,系统需要提交请求、轮询状态 2 至 5 次,再获取输出。

Code-mode 把整套流程压缩成自动化 Python 循环,让中间轮询不进入模型的活动上下文。图 10 左侧是普通方式:模型参与轮询循环,每个响应都会进入上下文;右侧则把循环放到子进程中运行,最终只有摘要返回给模型。

Uber 在同一个会话中,分别通过两条路径运行了 5 个完全相同的 SQL 查询:

前三行揭示了最主要的结果:即使结果集很小,远低于响应大小限制,Code-mode 也能把 token 用量降低 50% 以上。这并不是因为它绕开了大型数据载荷,而是因为它消除了不必要的开销,包括 schema 初始化、多轮状态轮询和重复的逐步推理。

在批量工作流中,效果会继续累积:原本需要 N 次模型轮次的循环现在变成一个脚本,节省幅度可以超过 90%。Uber 已为访问频率最高的 MCP Server 部署 25 个以上预构建 Code-mode Skill,确保标准工作流默认选择成本最低的路径。

SaaS MCP

管理第三方软件比管理内部 Server 困难得多。供应商无法预知每个客户的具体用途,因此往往让 MCP Server 暴露产品的全部能力。例如,一套办公套件在单个 Server 中提供 49 个工具,需要约 2.2 万 token 的 schema;消息和项目跟踪供应商则分别提供 34 个和 46 个工具。只要加载两三个供应商 Server,用户尚未输入 Prompt,Agent 携带的 schema 开销就可能已经超过待编辑文件本身。

为解决这个问题,Uber 通过 MCP Gateway 路由 SaaS MCP,采用与内部 MCP 相同的机制;同时把所有这些 MCP 暴露为任何 Agent 界面都可调用的 CLI。Uber 还在 Code-mode Plugin 中为每个 Server 编写专用 Skill,封装常见工作流。这让多家 SaaS 供应商上的高效 Agent 工作流成为可能。

优化每轮请求数

缺乏事实依据的 Agent 不会快速、低成本地失败,而是缓慢失败:它会一次又一次发送不断膨胀的上下文,只为继续搜索另一个位置。预先提供更丰富的信息,仍然是减少搜索开销最有效的单一杠杆。

上下文工程

Uber 拥有数亿行代码和数千张数据表。面对如此庞大的代码库与数据生态,Agent 的大部分轮次都花在查找信息上,而不是生成代码。为此,Uber 构建了 AI Context Graph:一个包含 2,400 万个节点和 8,000 万条边的统一网络,覆盖 86 种节点类型和 117 种边类型。它整合了 30 多个内部系统的数据,包括服务、工程团队、事故日志、Pull Request、架构设计文档、部署记录、数据集,以及历史数据表使用查询,并允许任何 Agent 使用自然语言查询。

接入图谱的 Agent 查询历史使用记录,找到了那张被 50 多位分析师使用的具体数据表,并在 38 秒内给出答案。没有图谱的 Agent 看不到该表;它花了 20 分钟检查服务代码,启动 2 个子 Agent,遇到 3 个错误,最终还错误地得出“该数据集无法查询”的结论。

可见性与培训

这里的关键杠杆是可见性和反馈循环,它们能让工程师与 Agent 更快收敛到有效方案。

状态栏

Uber 在 Harness 状态栏中加入实时成本计数器,可以分别跟踪每位用户在当前 Harness 以及所有 Harness 中的实时支出。

成本可见性与支出档位

Uber 没有设置严格的硬上限,而是实施了实时支出跟踪和自动提醒:

  • • 状态栏实时计数器。 终端始终显示当前会话成本。
  • • Harness 共享池。 所有交互式 Harness 共用一个支出档位,不为每个工具单独设置预算;托管 Agent 使用独立档位。
  • • Slack 提醒。 支出达到预期额度的 50%、80% 和 100% 时发出提醒,让工程师有时间规划。
  • • 简便的审批流程。 经理可以批准提高支出档位,配置会快速生效。
  • • 成本检查 Skill 与提示。 提供可按需拆解成本的仪表盘 Skill,并在实时状态栏中给出改进建议。

这些机制让工程师可以自行评估任务的 ROI,同时降低支出失控的风险。

会话分析仪表盘

状态栏能显示会话总支出,却看不出成本由什么驱动,也无法提供可执行的效率建议。通用指南只能给出高层原则,无法评估每位开发者的具体工作流。会话分析仪表盘通过直接检查会话产物,补上了这块缺口。

该仪表盘直接内置在 Runtime 中,无需安装,也无需主动启用。运行成本仪表盘 Skill 后,它会分析用户在所有 Harness、本地沙箱和远程云沙箱中的全部会话 Trace。它不会只生成一个汇总指标,而是识别会话中的 16 类反模式,并把每一类反模式对应的财务影响与具体修复方案放在一起。部分类型包括:

  • • 模型路由不合理。 简单的多轮会话使用 Opus,而 Sonnet 完全足以完成。
  • • 上下文窗口膨胀。 大型 MCP 载荷——例如 40KB 响应——长期留在上下文中,导致后续轮次反复计费。
  • • 缓存过期低效。 用户长时间中断后恢复会话,过期的 Prompt Cache 迫使系统以全价重建前缀。
  • • Prompt 初始化开销。 用户尚未输入任何内容,系统就预加载 10 万 token 的系统指令和工具定义。

接下来做什么

Uber 当前正在推进以下工作:

  • • 扩大托管 Agent 集群。 每构建一个新 Agent,都遵循同一条路线:确定目标产出指标、组装评估基准、找到 Pareto 最优模型。这套系统化方法的目标,是让 SDLC 的每个阶段都在软件工厂成熟度模型中继续上移。
  • • 动态模型路由。 扩大基准对不同编程语言、代码仓库和 Agent 模态的覆盖范围。不同模型的能力差异很大,因此有效的模型路由高度依赖全面评估。
  • • 深化 Context Graph 集成。 为更多自主 Agent 开放图查询能力。
  • • 把会话分析升级为实时开发者指导。 从周期性的批处理反模式检测,转向持续监控 Trace,直接向工程师提供个性化、实时的效率建议。
  • • 持续改进 Skill。 自动记录 Agent Skill 执行过程中出现的细小摩擦,并根据收集到的 Trace 自动生成 Skill 更新。

结论

不断上升的 AI 编程成本并不是无解的问题,而是一个可以通过工程手段控制的挑战。关键不是只依赖更低的 token 单价,也不是简单降低工具能力,而是消除没有价值的 token 消耗。通过这种方式,Uber 在使用规模扩大 7 倍的同时,降低了所有指标上的单位成本,并提升或保持了输出质量。

真正的战略转向,是从开发者的交互式工作流迁移到完全托管的 Agent。把 SDLC 工作负载放进托管环境,意味着可以完整控制模型路由、执行 Harness 和运营支出。与其分别优化数千名工程师各自的终端会话,不如运营一组专业化托管 Agent:为每个 Agent 配置专用评估基准和 Pareto 高效模型。后者天然更省钱,也更容易扩展。

致谢

这是许多工程师共同完成的工作。他们正在构建最高效的基础组件,让软件工厂能够在 Uber 的规模下运行,同时确保花出去的每一个 token 都能产生 ROI。感谢参与软件工厂各项工作的核心团队成员:Abhishek Bhatia、Adam Huda、Aditya Patel、Alok Srivastava、Ameya Ketkar、Anil Purohit、Atakan Kandemir、Ben Chou、Brandon Barker、Danielle Yim、Deepanshu Mehndiratta、Gaurav Gill、Israel Marban、Jason Varbedian、Karen Xu、Lei Shi、Mager Mager、Meghana Somasundara、Peng Liu、Preet Inder、Qiushen Wang、Rush Tehrani、Shesh Patel、Shiven Tripathi、Shubham Gupta、Stas Khalup、Ting Chen、Tse-Shi Wang、Ty Smith、Vikram Hullukunte、Weiqiang Wang、Will Bond。

同时感谢 Johannes Gehrke、Mattie Toia、Sumanth Sukumar 和 Praveen Neppalli Naga 的领导。


【声明】内容源于网络
0
0
Levix 空间站
1234
内容 58
粉丝 0
Levix 空间站 1234
总阅读0
粉丝0
内容58