大数跨境

告别一开始就选定模型!Kiro Auto让复杂任务处理更灵活

告别一开始就选定模型!Kiro Auto让复杂任务处理更灵活 亚马逊云开发者
2026-11-13
0
导读:根据任务进展动态分配模型能力,兼顾开发质量与点数成本

Kiro Auto模型级联机制解析:智能切换提升软件工程效率

Kiro Auto在后台采用模型级联策略:每个会话首先由高效的初始模型处理,另一模型异步检查工作进展;当任务复杂度超出当前能力时,Auto自动将无缝会话移交给能力更强的模型。

在软件工程任务评测基准DeepSWE v1.1的内部测试中,级联配置的任务解决率接近全程使用更强模型的配置,且约80%的任务无需切换模型即可完成。

Kiro将Auto作为多数用户的推荐选择。根据官方文档,Auto会自动选择模型并维持较高的结果质量,在付费方案中可提供相当于Claude Opus级别的质量,而模型级联正是实现这一目标的核心机制之一。

任务难度随会话推进动态变化

软件开发任务的难度往往具有隐蔽性。以修复一个间歇性故障的日期解析器为例,初始步骤可能很简单:读取文件、定位函数、编写复现测试。然而,测试可能揭示出另外三个模块也依赖同一时区假设,导致原本的小修补演变为大规模重构。反之,看似庞大的任务也可能仅需改动两行代码。

随着模型能力的提升,开发者倾向于交付更复杂的任务,Kiro会话持续时间也随之延长。长会话通常包含读取文件、修改代码、运行测试及多次迭代等步骤。任务难度并非在开始时完全显现,而是随着工作推进逐渐清晰。

若在任务开始前固定选定模型,仅能依据初始请求进行判断。全程使用高能力模型意味着例行步骤也由其完成,造成资源浪费;而全程使用高效模型则在遇到难点时可能导致反复试错或重复劳动。

模型级联通过在会话过程中持续判断来解决这一问题:若任务未超出初始模型处理范围,则由其完成;一旦检测到需要更强能力,即刻进行切换。即使初始请求相同,后续会话也可能因难度差异走向不同的处理路径。

Auto中模型级联的工作流程

模型级联将会话开始时的一次性模型选择,转化为贯穿整个Agent会话的一系列动态判断:

1. 从高效模型启动

每个会话均由初始高效模型启动。该模型能够处理多种日常工作,并在大量会话中独立完成全部任务。

2. 后台独立检查

另一个模型在后台异步检查会话的工作轨迹(即已完成内容)。会话执行无需等待检查结果,执行任务的模型也不负责自我评价,确保执行与评估分离。

3. 继续执行或平滑交接

只要会话持续取得进展,所用模型保持不变。若独立检查发现进展效率下降的迹象(如反复探索同一段代码或重做已完成工作),Auto会将会话移交给能力更强的模型。交接过程携带此前工作的关键上下文,新模型可接续当前进度,无需从头开始。

4. 按需再次升级

上述过程可重复进行,直到会话切换至Auto可用模型的能力上限。目前,切换仅向能力更强的模型进行;未来将探索将会话切回高效机制的可能性。

若团队设置了模型访问权限,级联切换将沿用Auto的策略:只有Auto有权调用的模型才会在需要时接手。这一机制类似于两人协作处理工单:一人执行,一人审阅。只要工作推进,执行者继续;若审阅者发现陷入重复尝试,则让能力更强的人从当前进度接手。这使得模型级联成为理想的默认机制:简单任务由初始模型完成,确需更强能力时再升级。

Kiro模型级联效能评测

Kiro使用Datacurve的DeepSWE v1.1进行内部评测。这是一套面向长流程软件工程任务的基准,题目选自开源代码库的原创任务,完成情况由人工编写的行为测试判定。

评测在Kiro agent引擎中进行,比较三种处理方式:

  • 只用初始模型:从开始到结束均由高效初始模型处理。
  • 只用能力更强的模型:任务全程由高能力模型处理。
  • 使用模型级联:从初始模型开始,必要时交给能力更强的模型。

三种方式使用相同的推理设置,每种方式在完整基准上独立运行3次。评测指标为单次尝试任务解决率(pass@1)。以下为3次运行的平均值(±表示1个标准差):

任务解决率接近全程使用更强模型

  • 只用初始模型:63.96% ± 2.70个百分点。
  • 只用能力更强的模型:70.57% ± 2.08个百分点。
  • 使用模型级联:69.37% ± 1.56个百分点。

评测显示,模型级联的任务解决率为69.37%,比仅使用初始模型高出约5.4个百分点,与全程使用高能力模型的70.57%非常接近。两者差异处于3次运行的波动范围内,且模型级联的标准差数值更低,表明其稳定性更佳。从初始模型开始并未明显拉低任务解决率。

约五分之四的任务由初始模型完成

汇总3次评测记录,80.48%的任务全程由初始模型完成,仅19.52%在执行过程中移交给了能力更强的模型。

发生切换的任务通常涉及统筹多处改动,例如功能同时涉及类型定义、API、CLI和配置,或程序行为受状态、缓存及执行顺序影响。局部小改动很少需要切换,关键在于任务对设计一致性的要求。

切换通常发生在后期的验证和集成阶段。此时初始模型一般已完成代码编写并通过构建测试,但在核对是否满足全部要求时,独立检查发现效率下降。由于初始请求无法预示难点出现的位置,Auto通过持续检查并在需要时切换模型,使得多数任务由初始模型完成,从而在以1倍点数倍率处理复杂任务的同时,维持了较高的结果质量。

评测数据适用范围说明

上述数据来自特定条件下的内部基准评测,并非对生产环境效果的直接估计,客户实际任务结果可能有所不同。交接比例是跨任务的平均结果,单个会话是否切换取决于具体工作内容。切换过程对用户透明,用户无需介入即可获得质量收益。

需注意,Kiro使用的内部评测框架与DeepSWE公开排行榜的官方设置不同,因此不能将上述百分比与公开榜单成绩直接比较。

开始使用Auto

模型级联是Auto工作方式的一部分,Kiro客户可借此获得效率收益。在开始下一次Kiro会话时,建议选择Auto模式。更多关于Auto及模型选择的信息,可参阅Kiro模型概览。

相关文档:

模型概览:https://kiro.dev/docs/models/index.txt

本篇作者

Vijay Lingam
应用科学家
Mayank Gupta
应用科学家
Sudipto Nandi
工程师
Neil Kulkarni
工程师
Jack Wang
工程师
Sai Srinivas Somarouthu
工程师

新用户注册海外区域账户,可获得最高200美元服务抵扣金,覆盖Amazon Bedrock生成式AI相关服务。“免费计划”账户类型,确保零花费,安心试用。

【声明】内容源于网络
0
0
亚马逊云开发者
各类跨境出海行业相关资讯
内容 1785
粉丝 0
亚马逊云开发者 各类跨境出海行业相关资讯
总阅读53.6k
粉丝0
内容1.8k