中国信通院云大所联合发布《公共云AI推理服务稳定性建设研究报告（2026年）》

1. 稳定性是AI服务从“可调用”走向“可依赖”的基础

随着大模型进入生产环境，稳定性关注点已从单一模型接口扩展至算力、网络、存储、调度及工具链构成的端到端链路。评价体系不仅包含平均可用率，更需关注尾延迟、任务完成率、结果质量、成本及安全恢复能力。

2. 构建“纵向分层、横向协同”的治理框架

纵向分层：基础资源层保障资源可获得与故障隔离；模型服务层确保调用稳定与容量可调度；应用服务层聚焦业务连续性与结果质量。横向协同：通过全链路可观测能力贯通三层，形成监测、分析、处置和复盘的闭环。

3. 以确定性供给和全生命周期治理提升交付韧性

基础设施侧需建立资源池化、故障域隔离、弹性供给和自动恢复机制。模型服务侧应抽象出变更可控、调度可预期、故障可隔离、容量可治理四项核心能力，并将依赖检查、压测、灰度发布、动态路由及配额治理纳入统一闭环管理。

4. 通过Harness工程约束智能体运行的不确定性

报告提出将Harness作为连接基础模型与业务应用的通用运行底座，重点建设执行循环、工具系统、上下文管理、错误恢复、安全权限和记忆系统六大组件。建议设置最大执行轮次、重复动作检测及分支上限，支持断点续跑，并对工具进行分级管理。同时，提出了从L1基础可用至L5持续自愈的五级成熟度路线图。

5. 全栈可观测与常态化运营是长期基石

基于OpenTelemetry构建全栈可观测体系，统一关联基础设施、模型和应用三层的指标、日志和调用链数据。未来，公共云AI推理稳定性将向技术智能化、行业分级化、标准协同化和运营常态化演进，逐步形成Agentic SRE、分级保障及常态化演练相结合的治理体系。

一、稳定性建设背景与内涵

（一）推理服务规模化，稳定性成为公共云核心能力

（二）服务链路复杂化，单点保障难以支撑全局韧性

（三）安全可信要求提升，推动稳定性治理体系升级

二、稳定性分层治理框架

（一）基础设施筑底，保障资源供给连续可靠

（二）模型服务承中，提升推理链路交付韧性

（三）应用服务牵引，强化业务场景端到端保障

（四）可观测体系贯通，形成监测评估处置闭环

三、基础设施稳定底座

（一）算力弹性调度，保障推理资源稳定供给

（二）网络高可用设计，降低分布式推理链路抖动

（三）存储可靠支撑，稳定模型加载与知识检索

四、模型服务稳定能力

（一）上线准入前置，降低模型变更风险

（二）动态调度优化，提升推理服务质量

（三）容错恢复闭环，增强推理链路韧性

（四）度量评价牵引，支撑稳定性精细治理

（五）租户隔离与配额管控

五、AI应用服务稳定实践

（一）AI应用稳定性治理框架与指标体系

（二）应用服务稳定性实践，保障服务连续性

（三）Harness稳定性工程实践，构建通用智能体运行底座

（四）智能体应用实践，增强业务任务执行韧性

六、全栈可观测能力体系

（一）全栈可观测的技术地基

（二）AI基础设施层可观测

（三）模型服务层可观测

（四）应用服务层可观测

（五）贯穿三层的横切能力

七、发展趋势与建设建议

（一）技术智能化：推动稳定性能力自治演进

（二）行业分级化：建立差异化服务保障机制

（三）标准协同化：完善评测基准与责任边界

（四）运营常态化：强化演练复盘与持续改进

邢贾祺 阿里控股高级技术专家

张舫 阿里云公共云技术服务专家

季可航 中国信通院云计算与数字化研究所工程师

撰写团队联系方式：

中国信通院

云计算与数字化研究所

雷舒心

17355645677

leishuxin@caict.ac.cn