“企业级大模型推理平台成效”专项测试正式启动

面对模型架构升级、场景差异化显著、算力成本高企等多重挑战，行业亟需一套统一、权威、可落地的推理成效评价体系，为技术优化、平台选型、服务上线提供客观依据。

在此背景下，中国信通院正式推出企业级大模型推理成效测试专项，面向全产业提供标准化、场景化、体系化的推理效能测评服务。本次测试覆盖以下维度：

1

基本性能指标

包括每并发生成吞吐率、首词元时延（TTFT）、单词元时延（TPOT）、单/多实例可支持并发量、推理平台可用度等核心指标，刻画推理系统基础能力；

2

场景化性能

针对低时延实时对话、高并发批量推理、长文本处理等典型业务场景开展专项测试，仿真真实场景表现；

3

SLO满足性验证

在时延、失败率等约束条件下，评估系统极限吞吐、服务满足率；

4

成本效益评估

量化单位请求成本等关键指标，评估推理系统经济性；

5

能耗效益测评

聚焦推理计算能效（Tokens/W）等指标，支撑绿色算力建设。

测试面向推理引擎等轻量化工具、推理一体机以及推理平台/系统/集群等工程化底座。依据GB/Z 20253159-Z-469《智能计算集群效能指标与测试方法》，以及ITU-T F.748.61（AICP‑IO）《人工智能云平台——推理优化》国际标准。为企业提供全面性能诊断与优化参考，助力产业通过标准化测评，精准定位系统瓶颈、明确优化方向、验证技术方案、展示产品实力，共同推动我国大模型推理技术迈向更高效、更经济、更稳定、更绿色的高质量发展新阶段。