技术与标准丨移动网络中基于人工智能的端到端网络切片技术研究

∗基金项目：国家自然科学基金项目（No.61971060）资助

移动网络中基于人工智能的端到端网络切片技术研究*

李静¹   董秋丽¹   叶宇凯²

（1. 中国联通网络技术研究院，北京 100048；

2. 北京邮电大学，北京 100876）

摘要：为了应对未来移动网络差异化的垂直行业应用与海量数据分发挑战，利用网络切片技术变革现有网络架构受到广泛认同。围绕移动网络空中接口部分的切片化面临的问题，设计了包括无线接入网虚拟化的移动网络端到端的网络切片架构，提出了基于网络大数据的服务等级协议参数映射方法，讨论了智能网络切片资源管理可行方法，为移动网络中基于人工智能的端到端网络切片实现提供实践参考。

关键词：网络切片；人工智能；虚拟化

1   引言

随着通信业务种类的不断增长、智能移动终端设备数量的不断增加、网络流量的持续上升，现有的移动蜂窝网络已经无法满足新型业务需求，并且暴露出严重的结构性缺陷。为此，移动网络的网络架构变革势在必行，否则无法满足新兴服务类型和垂直行业业务的性能指标要求。未来移动网络架构需要基于软件定义网络（Software Defined Network，SDN）、网络功能虚拟化（Network Functions Virtualization，NFV）、网络切片（Network Slicing，NS）实现网络功能和专用硬件设备的解耦。借助于SDN技术，网络设备从封闭模式变为开放式通用设备模式，使得控制平面和数据平面分离，这允许通过开放接口对网络进行编程。借助于NFV技术，网元功能可以通过软件化的形式部署在基础设施的通用服务器节点上，使得网元功能和专用硬件设备分离。网络切片技术将网络进一步抽象，可以形成端到端且逻辑隔离的网络，进而服务于不同特性和要求的应用场景。网络切片可看作是针对不同的应用需求而产生的独立运维的虚拟网络。移动网络基础设施之上形成多个虚拟网络功能（Virtual Network Function，VNF），而一个网络切片则是有多个VNF组成。不同的VNF组合形成了不同的网络切片。

利用NFV和SDN技术可以在移动网络中构建端到端的网络切片。移动网络的端到端网络切片可以分为服务实例层、网络切片实例层和资源层。如图1所示，各个不同的服务实例代表移动网络所提供的各类型服务，服务实例之下为网络切片实例，每个网络切片试例可以通过隔离或共享的方式包含一个或多个不同的子网实例。子网实例可以是一个网络功能或者网络切片实例网络功能的子集。因此，网络切片技术是未来移动蜂窝网络虚拟化的一个重要体现，可提供逻辑隔离、专用的虚拟网络，涉及移动接入网、移动核心网以及承载网，其中端到端网络包含了接入网、传输网以及核心网。网络切片存在多种不同的划分方式：从5G各种应用场景的角度，可分为增强移动带宽、大规模物联网和超可靠低时延3种类型的切片；从技术领域的角度，可分为接入网切片、核心网切片以及端到端切片；从业务特征的角度，可分为实时性切片和非实时性切片。对于非实时性切片，可将其视为是一个全网范围的虚拟网络；对于实时性切片，可将其视为是一条服务功能链，这将允许切片构造与业务提供两个过程相结合。考虑到未来移动网络中存在大量差异化服务需求和垂直行业业务特点，网络虚拟化不仅仅包括核心网，也需要在接入网部分实现虚拟网络，即在移动网络中实现端到端的网络切片。端到端网络切片需要无线接入网部分针对切片架构、切片资源管理以及空口协议等部分进行研究，以满足网络切片的虚拟化、差异化、隔离度等方面的要求。

图1   网络切片示意图

未来移动接入网需要能够为端到端的网络切片提供支撑，因此在接入网侧如何通过对当前无线资源的有效管理来实现端到端网络切片的逻辑资源隔离、差异化定制能力以及SLA保证是关键难题。本文围绕RAN侧切片涉及的网络架构、SLA映射方法和智能切片资源管理进行了研究。

2   端到端网络切片架构

网络切片为了满足网络服务的差异化需求和垂直业务的典型性能指标要求，根据特定的网络性能，包括端到端时延、传输带宽、系统吞吐量等，对移动网络的通信、缓存与计算等多种资源进行的编排管理和逻辑划分。网络切片，且各网络切片在自身网络发生故障和恢复时不影响其他切片业务。

一个网络切片可以被认为是移动网络中由一组有序的VNF组成的一个端到端虚拟化专网，主要包括基础设施层和服务层。服务层负责提供网络功能的定制裁剪和相应网络资源的编排管理的模板，描述系统的逻辑结构，包括网络切片所需的VNF模块以及不同VNF之间的连接方式。基础设施层则通过服务层提供的模板为网络切片分配所需要的物理资源，包括计算资源和通信资源^[1]。网络切片中的端到端体现在移动网络中的每个层面。端到端的网络切片主要是指从核心网（CoreNetwork，CN）侧、承载网（Bearer Network，BN）侧以及无线接入网（Radio Access Network，RAN）侧不同维度切片的组合，有时甚至网络控制器及终端也需要切片，各维度的切片思路各有侧重。

端到端网络切片总体架构如图2所示，包括管理与编排器（MANO）、网络切片管理器、基础设施层、虚拟化层以及网络切片层，一个完整的端到端网络切片至少可分为接入网子切片、承载网子切片和核心网子切片3部分。在虚拟化层对网络的网络功能进行虚拟化后，RAN侧被称为边缘云（Edge Cloud），而核心网侧被称为核心云（Core Cloud）。边缘云中的虚拟机（Virtual Machine，VM）和核心云中的虚拟机，通过SDN互联互通。

图2   端到端网络切片架构

网络切片的核心思想是根据用户需求将多个VNF进行按需动态编排并部署形成虚拟网络。这种通过编排及部署VNF形成的相互隔离的端到端虚拟网络为不同的业务提供定制化的网络服务。在端到端网络切片中需要为具有不同要求的服务创建专用切片。运营商收到切片请求后，需要高效地将具体的网络切片部署到底层物理网络，根据不同服务特性将VNF放置在每个切片中的不同位置（即接入网或核心网）。同时，运营商需要在无线虚拟化环境下基于网络切片对网络资源进行动态分配，既要保证网络切片SLA又要最大化网络资源利用率。

3   基于机器学习的SLA映射方法

3GPP在TR38.801中提出：通过网络切片，每个用户根据服务等级协议（SLA）订购切片服务，移动通信运营商可以将用户当作具有不同服务需求的不同租户类型，根据SLA管理每个租户有资格使用的切片类型。

对于端到端网络切片部署，首先需要将租户的需求分解为接入网、承载网、核心网各子网的参数，然后通过端到端的资源配置，完成切片的部署。每个租户对于切片的需求是由相应的SLA参数确定并描述的。SLA参数包含的内容很广泛，其包括服务质量参数（如数据传输速率、控制面/用户面时延、丢包率等）、业务参数（如覆盖范围、隔离性等）、容量参数（如连接数、连接密度等）。因此，合理划分租户对切片的SLA需求对于保障切片的服务能力至关重要。

大多SLA参数需要结合多个网络参数进行计算和分析才能得出，因此需要将SLA参数映射到相应可测量的网络参数，以便对网络切片的性能进行分析。针对不同的服务以及承载网类型，SLA映射机制也不尽相同。为了有效的利用这些参数以评估切片的性能，SLA映射机制应在定义SLA参数之后确定，避免因评价方法不同使服务双方引起争议。结合切片的SLA，本文提出一种SLA参数的映射机制（见图3）。通过该映射机制可以实现业务层面的SLA参数与可测量的网络参数之间的相互映射。

图3   SLA参数映射模型

当需要创建一个切片时，切片管理系统根据租户对切片的SLA需求，例如租户选择的服务等级下，将相应的SLA需求（如最大的连接数、切片覆盖范围、时延、切片的可靠性、切片中用户的移动性以及隔离度等）进行接入网、传输网、核心网的SLA参数分解，根据上述的SLA映射模型，将分解后的SLA参数映射为可测量的网络性能参数，从而进行各域的资源配置。

在移动接入网中，由于无线信道、用户位置、业务负载变化等，导致网络切片的初始资源配置无法保证始终满足SLA要求。因此，网络切片创建之后需要实时监测网络切片性能指标评估SLA的满足情况。另外，还可以通过3GPP引入的网 络数据分析功能（Network Data Analytics Function，NWDAF）从切片管理器以及核心网收集网络数据（如终端级别的路测数据）。基于收集的网络参数,例如频谱资源利用率、端到端时延等，利用机器学习算法对SLA参数以及来自切片管理器和核心网的数据进行建模分析，建立相应的SLA综合评价模型。如图4所示，基于从NWDAF获取到的切片SLA综合评价结果以及切片运行产生的网络参数等信息，切片管理器可以综合评估切片租户的SLA满足情况，以便根据网络切片的性能动态更新切片的资源配置：若切片SLA需求超额满足（即当前切片内资源充足），则切片管理器可以根据情况减少切片的资源配置；如果切片SLA需求不能满足（即当前切片内资源受限），则切片管理器应该适当增加切片的资源配置。

图4   基于NWDAF的分析模型

通过对端到端切片SLA需求进行分解和映射，并利用人工智能技术对无线、传输、核心网等网络收集的数据进行分析，从而给出合理的切片资源分配方案，能有效地提升网络资源利用率并最大程度地匹配租户需求，保障切片的服务能力。

4   智能网络切片技术

为了提供性能更好和成本效益更高的服务，网络切片涉及的技术迫切希望进行智能创新。在端到端网络切片中，如何智能地响应移动用户的服务请求动态至关重要。由于每个切片的实际需求在很大程度上取决于移动用户的请求情况，在RAN侧对频谱、时隙资源的分配和有效利用尤为关键，既要保证高的频谱效率（Spectrum Efficiency，SE），也要以可接受的频谱或计算资源为代价，在每个切片中获得满意的SLA^[2]。基于人工智能的网络切片资源管理是一种有前景的解决方案。

4.1   切片资源智能分配

资源管理是无线通信发展过程中的永久性话题。直观地，对于RAN切片，可以从几个不同的角度考虑用于网络切片的资源管理。

4.1.1   保证SLA的频谱资源分配

用于网络切片的资源管理涉及RAN部分和CN网络部分，其优化目标略有不同。由于频谱资源有限，RAN资源管理在将资源块（Resource Block，RB）分配到一个切片时，要求做到在保持可接受的频谱效率（SE）的同时，也要尝试带来较高的速率和较小的延迟（保证较高的SLA）。因此，切片资源智能分配要求兼顾SE和SLA满意率两大指标。

4.1.2   不同切片优先级调度

在NG-RAN中，是否能够有效区分不同的切片业务尤为重要。下行链路要求支持不同UE间的URLLC的切片业务与eMBB的切片业务进行打孔抢占，保证URLLC切片业务的传输资源^[3]。对于不同的切片业务，既要保证资源利用率（Resource Utilization，RU），也要保证等待时间（Waiting Time，WT），为了平衡切片的RU和WT，可以将优化目标客观地写为RU和WT的加权总和。

针对以上两个角度，以强化学习（Reinforcement Learning，RL）为代表的智能网络切片资源管理方法实现了支持虚拟网络的动态资源分配。这类方法的思路为，首先将切片问题建模为马尔可夫决策过程（Markov Decision Process，MDP）；然后，基于Q学习（QLearning）过程得出最优的网络切片资源分配策略^[4]。基于RL的网络切片资源分配方法特别有吸引力，因为不需要先验的无线环境知识。然而，它的性能在实践中可能会变慢。因此，可以利用部分已知的RAN系统信息，通过决策后状态（Post-decision State，PDS）学习方法来提高无线资源切片策略的效率。

4.2   智能化负载均衡

传统的负载均衡（LoadBalancing，LB）确保了在资源分配过程中基站不会出现拥塞状态，如今在NGRAN侧引入了切片的概念，负载均衡也出现了需要思考的新问题^[5]。引入切片后的负载均衡将侧重于每个网络切片的网络切片流量分析和预测，以及针对网络切片请求的准入控制决策。

在5G超密集网络（UltradenseNetwork，UDN）中，用户业务对NG-RAN基站的冲击将会呈现为切片业务的冲击，切片的负载也将与小区、基站的负载密切相关。根据R15的标准，UE可以同时接入同一基站的多种类型的切片，业务量也会随之增加，基站有限的网络切片RAN资源被逐渐增多的UE消耗掉，将会导致该类型切片将处于拥塞状态，从而也可能使切片所在的小区和基站处于拥塞状态^[6]。所以，当UE请求接入某种类型切片，而其接入的基站负载较大时，基站可以调整和切片相关的接纳控制参数。接纳控制功能的判决很有必要，并且需要在基站和UE两端同时部署，请求的切片业务是否可以被接收，将由接纳控制功能决定并作后面相应的处理。如果某个UE发送的切片业务启动请求被判定为中断，该UE只能停止接入，或停留短暂的时间以再次尝试发送切片业务申请。更严重的时候，如果NG-RAN基站也处于高度拥塞状态，基站甚至会直接释放该UE刚刚建立的RRC无线连接。

在5G时代，3GPP和运营商更追求动态化的负载均衡方式，即无论是什么时候，所有切片在理论上都能够使用某块地区的NG-RAN资源。如果切片是相同的类型，其业务量很可能在不断地变化之中，此时要对相关资源进行实时分配调整，则需要通过网络底层的信令，使资源迅速回收或增加配置。从UE的角度来看，分配的切片资源可以来自任意具有此类型切片的基站。因此，引入切片概念后的负载均衡，依然需要建立在小区或基站负载均衡的基础之上。为了解决UDN中异构蜂窝网络场景中大规模负载平衡问题，需要引入基站和切片两层体系结构^[7]。第一层利用k-Means算法，根据其历史负荷水平将所有基站进行分组，在数小时内保持不变；第二层旨在平衡每个基站群内，根据RAN切片资源的分配情况，进行负载均衡，执行均衡的时间，从几秒钟到几分钟不等。因此，第一层可以从宏观角度适应动态的全局流量波动，而第二层则可以在更细的层次上调整基站群内负载分布，这样的体系结构能较好地解决引入切片后的负载均衡问题。为了对这个体系进行智能化地管理，需要引进强化学习的方法。

由于第二层内涉及了众多数量的微基站、皮基站和不同类型的切片，这一层的负载均衡问题是非凸问题，规模与复杂度随着小型基站和切片类型的数量而增加，这意味着在使用基于学习的算法时训练开销会增加，普通的强化学习方法将面临高维度和指数增长的难题。在此基础上，引入深度强化学习（Deep Reinforcement Learning，DRL）的方法非常有必要。

相较于其他领域用到的深度强化学习方法，更希望在智能化解决超密集网络的负载均衡问题时，能保证网络运行的稳定性。为此，需要一种基于离线评估的保障机制，以提高实际系统中的在线控制性能，即所提出的机制可以同时运行用于系统控制的在线模块和用于策略学习的离线模块。在无线环境改变时，在线模块的调整将不会太大，网络也不会有过大的波动，等到离线模块训练有素时，在线模块才可以使用离线模块训练稳定的最佳负载均衡策略。该机制可以避免在早期学习阶段遵循训练有素的策略时表现出不稳定甚至破坏性行为的风险。此外，还可以以安全的方式进行未来新的策略探索，这对于充分利用人工智能来超越现有方法、提供更优选择至关重要。

5   结束语

本文围绕移动网络空中接口部分的切片化面临的问题，设计了包括无线接入网虚拟化的移动网络端到端的网络切片架构，提出了基于网络大数据的服务等级协议参数映射方法，讨论了智能网络切片资源分配和负载均衡的可行方法，为移动网络中基于人工智能的端到端网络切片实现提供实践参考。将无线资源与RAN切片架构进行匹配将是实现端到端网络切片的关键挑战之一，而基于强化学习的切片资源管理方案将是一种有效可行方法。

参考文献

[1] P. Demestichas et al. 5G on the horizon: key challenges for the Radio-Access network[J]. IEEE Vehicular Technology Magazine, 2013,8(3):47-53.

[2] R. Li et al. Deep reinforcement learning for resource management in network slicing[J]. IEEE Access, 2018,(6):74429-74441.

[3] 李静, 董秋丽, 廖敏. URLLC应用场景及未来发展研究[J]. 移动通信, 2020,44(2):20-24+29.

[4] A. Aijaz, Hap-SliceR: a radio resource slicing framework for 5G networks with haptic communications[J]. IEEE Systems Journal, 2018,12(3): 2285-2296.

[5] J. C. Patni and M. S. Aswal, Distributed load balancing model for grid computing environment[R]. 2015 1st International Conference on Next Generation Computing Technologies (NGCT), Dehradun, 2015.

[6] 3GPP. System architecture for the 5G System ( 5GS)(Release 15)[S], 2018.

[7] Y. Xu, W. Xu, Z. Wang, J. Lin and S. Cui. Load balancing for ultradense networks: a deep reinforcement learning-based approach[J]. IEEE Internet of Things Journal, 2019,6(6):9399-9412.

Research on end-to-end network slicing technology based on AI in mobile networks

LI Jing¹, DONG Qiuli¹, YE Yukai²

(1. China Unicom Network Technology Research Institute, Beijing 100048, China;

2. Beijing University of Posts and Telecommunications, Beijing 100876, China)

Abstract: In order to cope with the challenges of vertical industry application and massive data distribution of mobile network differentiation in the future, the use of network slicing technology to transform the existing network architecture is widely recognized. Focused on the problems of air interface in mobile network, this paper proposes an end-to-end network slicing architecture including the virtualization of wireless access network, and a mapping method of service level protocol parameters based on network big data. A feasible method of slicing resource management provides practical reference for the realization of AI-based end-to-end network slicing in mobile networks.

Key word: network slicing; artificial intelligence; virtualization

本文刊于《信息通信技术与政策》2020年 第10期

主办：中国信息通信研究院