10月16日，在南京举行的第十届未来网络发展大会主论坛上，联通研究院发布《Token驱动的大模型推理效能优化技术白皮书》。
第十届未来网络发展大会于10月15日—17日在南京举办。中国联通研究院联合上海基流科技股份有限公司、北京航空航天大学、上海交通大学、联通智能制造科技产业(广东)有限公司，共同发布了《Token驱动的大模型推理效能优化技术白皮书》，分享了以Token驱动大模型推理全域优化的技术思路与实践经验。
当前，人工智能正成为培育新质生产力、推动经济社会高质量发展的重要力量。国家深入实施“人工智能+”行动，推动人工智能与各行业各领域深度融合，为大模型产业发展与应用落地提供政策指引；同时，随着人工智能加快融入千行百业，推理服务效能已成为影响规模化应用与商业价值释放的关键因素。在此背景下，以Token为纽带贯通技术优化与价值运营，提升大模型推理效能，对提高算力利用率、降低推理成本、支撑大模型规模化可持续运营具有重要意义。
本白皮书围绕大模型推理服务的效能提升与商业化运营，按照行业背景、核心瓶颈、优化架构、关键技术、工程实践及未来展望的脉络展开。白皮书强调，推理效能提升需要统筹模型部署、资源调度、执行优化与运营管理全链路，推动各环节协同优化，使底层资源投入更有效地转化为上层服务能力。围绕这一思路，白皮书梳理了推理应用需求、部署架构与平台体系的演进趋势以及核心性能评价指标，并分析推理全链路的核心瓶颈，明确效能优化的关键问题；系统阐述了算力调度与资源编排、单轮推理优化、多轮智能体优化及Token商业化运营四个层次的优化架构，贯通资源配置、推理执行与服务运营，形成从技术优化到运营价值的系统性框架；重点介绍了面向多轮交互的交错式协同调度框架（AMPD）与大规模细粒度MoE解耦服务化系统（EAAS）技术方案，探讨复杂推理场景下的全域自适应调度与微服务化MoE架构实现，提升资源利用效率与服务能力；最后，结合硬件集群选型和核心性能实测，进一步将架构设计、关键技术与工程验证相衔接，为理解推理瓶颈、选择优化路径和建设服务平台提供参考。
面向人工智能与实体经济深度融合的发展机遇，中国联通将携手产业合作伙伴，围绕算力资源、推理平台与行业应用，持续推进技术创新、平台能力建设与商业模式探索，推动产业链协同与实践成果共享，助力人工智能规模化应用，为培育新质生产力、赋能千行百业数字化和智能化转型提供支撑。
内 容：下一代互联网研究部 韩博文 周钰
编 辑：陈曦
校 对：井文宝
审 核：王钐杉
点击↑未来网络发展大会 | 联通研究院发布《公共智能体电信网（PATN）技术白皮书》暨原型系统
点击下方“阅读原文”，查看更多内容