摘要： NFV从“垂直面”的软件和硬件解耦，而SDN从“水平面”的控制和转发解耦，二者通过“解耦”来重新架构网络。NFV和SDN的出现势必影响核心网架构的演进。本文在NFV和SDN的基础上研究核心网架构的演进及应用领域。通过将NFV和SDN技术引入核心网，在核心网虚拟化，分组域网关控制转发分离及基于Service Chaining的即插即用的增值业务及复杂流处理平台进行研究，建议了基于SDN/NFV的核心网长期演进架构。
关键词：SDN、NFV、核心网架构、演进
中图分类号：TN914 文献标识码：A
Research on key Technologies of Core Network Evolving based SDN/NFV
XueMao，Fu Gang，Zhu Bin，Li Yonghui
（Network TechnologyResearch Institute of China Unicom，Beijing 100048，china）
Abstract：Network Functions Virtualisation(NFV) decouples the software andhardware of the proprietary telecommunicationappliances “vertically”, while SoftwareDefine Network(SDN) decouples the control plane and forwarding plane of therouting system ” horizontally”. The SDN and NFV rebuild the networkarchitecture based the concept of “decouple”, which will probably influencesthe evolution of the core network in the near future. We study the mobile corenetwork evolving and the applications based SDN/NFV in this paper. Throughbringing in SDN/NFV to the mobile core network, we research the core networkvirtualization, control and forward decouple architecture of mobile corenetwork gateway and Plug and Play platform for added value services and complex processing based Service Chaining, andsuggest a long-term evolving architecture of core network based SDN/NFV.
Keywords：SDN、NFV、Core NetworkArchitecture、Evolving
1、前言
随着IT技术向CT技术的渗透，核心网分组域在4G阶段采用了基于全IP的平面架构，将Internet的开放性特征最终引入到电信网。同时移动性管理的控制面功能抽象为单独网元MME，使得EPC的控制转发分离，从而移动性管理功能具有更好的可扩展性。而核心网IMS域则完成电信业务的集中控制，从而将电信业务与接入网络解耦合，使得电信业务的发展也具有了更好的可扩展性。引入IP架构及网络分层解耦的概念贯穿于4G核心网的整个架构设计。
然而网络的快速发展、新技术新需求的不断提出及5G标准对未来网络演进的探讨，也促使我们对核心网的长期演进做出新的思考。一方面，从2G到3G再到4G网络，核心网的演进部署并不平滑。数据面和控制面功能的高度耦合，导致控制面的功能任何改动都可能会影响数据面，从而导致设备退网及升级。另一方面，网络功能的部署严重依赖于集成硬件设备的部署，导致部署周期长，资源调整不灵活，设备资源利用率低，电力及占地成本比重居高不下，多厂家设备的差异性更导致维护复杂。此外，网络的发展越来越需要核心网具有更好的灵活性，自助的策略调整及动态的的资源适配能力，如部署虚拟运营商及多租户、创新网络环境及新业务试验环境、即插即用的数据流处理及数据业务增强优化平台等。
网络功能虚拟化（NetworkFunctions Virtualisation,NFV）[1-3]和软件定义网络（Software Define Network，SDN）[4]是IT领域新出现的热点技术。NFV尝试 “垂直”的改造电信网架构，将电信网功能网元以虚拟化的形式部署在通用x86服务器上，从而以一种硬件资源池的方法提供电信网网元功能所需的计算、存储、网络资源，减少对特定硬件的依赖。SDN则是从“水平”的角度出发，改造传统的IP路由架构，其将路由的控制面和转发面分离解耦，控制面功能集中化，转发面设备通用化，从而具有更灵活的资源调整及网络控制能力。
NFV和SDN的出现，将推动核心网架构的演进。因此，需要考虑NFV和SDN技术对核心网长期架构演进的影响。
2、基于SDN/NFV的核心网演进
2.1核心网虚拟化
核心网网元功能的虚拟化，主要需要考虑两个方面的影响：（1）网元性质的区别；（2）网元部署位置的区别。这两个方面决定了核心网虚拟化采用的架构形式及虚拟化部署的先后顺序。对于控制面功能网元，其需要资源主要是计算资源，并且很多已经部署在x86架构上，因此这些网元具有虚拟化部署的条件。然而数据面功能网元需要提供高转发能力，目前都是基于专用的转发芯片，简单将数据面虚拟化部署在传统x86通用服务器上，其性能难以达到专用转发芯片的效果。虽然NFV白皮书中建议数据面和控制面功能都可以虚拟化，但是仍然需要区别对待和分析。
现网中核心网可以认为主要分为如下几个组成部分IMS, EPC, 2/3G PS,2/3G CS,HSS五个主要组成部分。
表1核心网网元特征
IMS |
EPC |
2/3G-PS |
2/3G-CS |
HSS |
|||||||||||
CSCF |
SBC Trgw |
IBCF/ MGCF/ BGCF |
IM-MGW |
AS |
xGW |
MME |
DRA |
PCRF |
SGSN |
GGSN |
MSC |
MGW |
HSS |
HLR |
|
功能 |
控制 |
转发 |
控制 |
转发 |
控制 |
控制 + 转发 |
控制 |
控制 |
控制 |
控制 + 转发 |
控制 + 转发 |
控制 |
转发 |
控制 |
控制 |
接口 |
全IP |
全IP |
全IP |
非全IP |
全IP |
全IP |
全IP |
全IP |
全IP |
全IP |
全IP |
非全IP |
非全IP |
全IP |
非全IP |
设备形态 |
ATCA |
ATCA |
ATCA |
ATCA |
服务器 |
ATCA |
ATCA |
ATCA |
ATCA |
ATCA或私有平台 |
ATCA或私有平台 |
ATCA或私有平台 |
ATCA或私有平台 |
ATCA |
存在小型机和私有平台 |
部署方式 |
省或大区集中 |
地市 |
省或大区集中 |
地市 |
省或大区集中 |
省集中或地市 |
省集中或地市 |
省集中 |
省集中 |
省集中或地市 |
省集中 |
地市 |
地市 |
省集中或地市 |
地市 |
注:本文中网元特征基于当前现网普遍情况，不能代表所有网络情况
从表1中可以看出，IMS网络中的网元IT化程度最高，网元接口都已经实现了IP化，并且硬件也是基于刀片服务器（Blade Server）的。除了媒体转发设备需要部署在地市，控制网元如CSCF，AS等都可以集中部署，这也是各厂家优先推出IMS虚拟化产品的原因。而目前联通以省和大区为单位集中部署IMS，客观具备虚拟化实施条件。未来IMS扩容及升级可以考虑采用虚拟化的方式。IMS虚拟化部署如图1所示。
图1 IMS虚拟化部署示意图
EPC网络中，MME、DRA和PCRF与IMS控制网元类似，都是对计算资源有较大需求，可以集中部署并使用虚拟化技术。但是SGW和PGW承担了控制面和转发面功能，其转发面功能显然是不能集中部署的，而且随着业务流量的增加，其部署位置可能反而需要下沉；另外xGW中的控制面功能，如GTP隧道管理、IP地址分配及流量统计等，与转发面功能紧密结合在一起，虽然xGW的控制面功能存在虚拟化的可能，但是需要重构xGW架构，目前仍然处于探讨阶段，相关实现也可能会涉及到标准的改动。2/3G PS域中的SGSN和GGSN面临SGW/PGW相同的问题。转发面功能虚拟化目前主要有两种实现方式：（1）采用专用转发面芯片及板卡处理数据转发；（2）采用通用x86架构，但是需要Intel的DPDK加速网卡和加速软件包。无论哪一种情况，数据面功能仍需要在特定硬件上部署，难以做到自由迁移。此外，在LTE与3G混合组网的情况下，为了保证LTE和3G互操作，往往把MME和SGSN合设，此时需要综合考虑MME-SGSN的虚拟化，即控制面和转发面都需要考虑，这也提高了MME虚拟化的难度。
图2 分组域虚拟化部署示意图
因此，考虑联通现网情况，EPC网络中PCRF和DRA可以先实现虚拟化部署，随着数据面虚拟化技术成熟及MME逐渐独立部署，可以实现虚拟化EPC的部署。由于网关类设备需要起到聚合流量的作用，其位置的高低受其覆盖区域及转发性能的限制，因此其可能以单节点虚拟化的形式部署。而对于一些特定应用，如M2M，或者试验环境的搭建，则可以将EPC控制面和数据面集中的虚拟化部署。分组域虚拟化部署如图2所示。
2/3G CS域由于大部分实施软交换，MSC作为一个软交换机，只承担控制功能，不做数据转发，因此其具有实施虚拟化的条件。对于没有实施软交换的MSC，由于其接口可能未完全IP化，则不能进行虚拟化部署。虽然2/3G CS的一些网元具有虚拟化的条件，但实际上NFV在建议用例[1]中并没有相关的建议，这也是充分考虑到LTE部署以后，2/3G CS面临长期退网的趋势。
HSS/HLR是用户数据的存储网元。早期HLR设备主要是基于小型机和私有平台，IT化程度不高，而且有些接口还没有完全IP化。而HSS融合数据库则大多采用ATCA架构，已经实现IP化，而且数据存储容量大，能够集中部署，也具备虚拟化实施条件。虽然HSS的虚拟化技术已经成熟，但是实际部署仍受非技术因素的限制，如数据库License发放模式及如何发放。HSS虚拟化如图3所示。
图3 HSS虚拟化部署示意图
通过上面的思路分析可以发现，核心网中业务平台网元，如IMS，和控制面网元，如MME、PCRF等便于集中化部署且IT化程度较高的网元已经具备实施虚拟化的条件，厂家也已经陆续发布相关产品。一些还未完全IP化的老旧设备则还不能实施虚拟化或者不具有虚拟化的价值。网关等数据面设备需要分散部署，且其虚拟化后的性能仍需试验验证，因此网关等数据面设备在作为主要网络设备时采用虚拟化的价值仍需要进一步评估。
虚拟化技术经过在IT领域的实践和完善,已经相当成熟,但是当其应用到电信网中,其性能及可靠性仍需要做进一步改进。此外，核心网虚拟化不仅是将网元功能的虚拟化部署，更重要的是基于虚拟化的云管理，如虚拟机的创建更新迁移、虚拟资源的管理及分配、与OSS/BSS接口对接、不同厂家云平台与不同的hypervisor的兼容性等。云平台的管理及接口也正是NFV着力解决的问题。
2.2 分组域网关控制面转发面分离架构
从2G/3G分组域到LTE分组域（EPC）的架构改变已经经历了一次控制转发分离，即移动性管理的控制转发分离。EPC将原来集中在SGSN中的移动性管理功能抽象出来在一个单独的网元MME中实现。EPC中的网元MME处理信令面功能，网元SGW和PGW主要负责处理用户面数据转发。EPC移动性管理架构使得分组域核心网架构更清晰，控制面分工更加明确。
但是从网络架构的角度，分组域的控制转发分离并不彻底。由于移动数据面需要的移动性锚定的必要性，起到家乡网关作用的PGW和起到漫游地网关作用的SGW得到保留。但是由于移动性的原因，数据从终端到达出口网关并不是通过直接的三层路由方式，而是通过GTP隧道的方式逐段从eNodeB送到PGW。虽然xGW上没有了移动性管理的控制面功能，但是xGW上仍然保留了GTP隧道的建立、删除、更新等GTP控制面功能。
从设备实现的角度，EPC的控制转发分离也并不彻底。目前，EPC网关设备中即包含路由转发功能模块、也包含信令处理甚至业务处理相关的功能模块，两类模块是紧耦合的关系。分组域网关设备通用性差导致功能和性能的可扩展性均不理想，且成本难以下降。
目前传统分组域网关的面临如下几个问题：
（1）用户数据流处理集中在PDN出口网关，造成网关设备功能繁杂，可扩展性差;
（2）网关类设备控制面与转发面高度耦合，不利于核心网平滑演进; 转发面扩容需求频度高于控制面，紧耦合导致控制面转发面同步扩容，设备更新周期短，导致复合成本增加；
（3）用户数据从eNodeB到PGW以overlay的方式传输，网络层数据转发难以识别用户、业务特征，仅能根据上层传递的QoS转发，一方面需要网络资源过度供给，造成网络资源利用低效，另一方面网络难以依据用户、业务特性对数据流进行精细控制；
（4）大量策略需要手工配置，由于难以达到最优，需要不断优化，这增加了出错概率；另一方面导致管理复杂度增加，OPEX居高不下。
因此，需考虑将分组域网关中的控制功能与转发功能进一步分离，使移动分组域的移动性管理、QoS、计费等功能通过标准接口控制通用转发设备的方式实现。从而，一方面，可促使转发面功能演进及性能的提升与移动分组域本身的功能演进去相关，控制面转发面独立平滑演进，避免2G->3G->4G核心网代级网络演进的成本投入；另一方面，可以采用SDN现有技术及理念，通过控制转发分离为核心网灵活创建虚拟网络，完成虚拟运营、多租户及实验环境网络创建，同时通过集中控制，可以更好的协调不同区域的流量及设备池组化容灾，通用转发面为固移融合接入创造条件。
考虑利用SDN架构，通过将分组域网关控制面和转发面分离，构造一个新的核心网架构，使其能够提供最大的灵活性，开放性，及可编程能力，同时不需要UE改变及具有完全的后向兼容性。
图4控制转发分离的EPC架构
如图4所示，该架构将原EPC承担的数据面功能网元的控制面和转发面解耦，从而完成GTP-U隧道的管理及GTP-U数据传输的分离。其中控制面网元为eNB-C、SGW-C、PGW-C等，转发面网元为SGW-D，PGW-D等。SDN控制器将GTP-C隧道协商及GTP隧道上下文信息转换为SDN南向接口指令，下发给SGW-D、PGW-D等SDN转发设备。eNB/SGW/PGW-D对GTP-U完成封装/解封装并转发。在控制转发分离的EPC架构中，数据面网元单纯做转发，具有简单、稳定、高性能等特性，控制面可以以逻辑集中的方式部署，如部署到云中心，原来网关中的功能，如NAT，DPI，FW、DHCP都作为控制面功能集中部署。在控制转发分离的EPC架构中，转发设备比现有openflow交换机要复杂，但是比原GW功能要大大简化。此外，-D面网元不仅支持GTP隧道协议，也可以提供其他移动性管理体系需要的隧道协议及通用转发需求。控制器需要具备功能包括拓扑发现，全局拓扑视野，网络资源监测，网络资源虚拟化，以及隧道处理，移动锚点，路由，话单生成等功能。IP承载网中的Switches根据网络演进情况可以是传统交换机也可以是SDN交换机。
由于转发面与控制面解耦，且转发面仅有转发功能，便于多种网络或多租户使用相同的通用转发面设备，如图5所示。转发面独立演进，资源可以通过控制器统一管理，做到按需分配，网络平滑演进。
该架构对原有接口未作修改。由于eNB-C/SGW-C/PGW-C网元与SDN Controller有交互，根据eNB-C/SGW-C/PGW-C与SDN Controller 的部署位置、依赖关系及绑定关系，存在使用内部接口（SDN 北向接口）和新增定义接口两种情况。控制转发分离的EPC架构可以与legacy网元共存，如eNB、SGW、PGW某一个或两个可以是传统集成的设备，控制转发分离的EPC架构能够与传统2/3/4G网络互通、支持漫游及无对终端要求。
图5 可定制的核心网分组域架构示意图
2.3基于Service Chaining的即插即用的增值业务及复杂流处理平台
随着数据业务在运营商收入比例越来越多，运营商的运营重点也正从语音短信逐渐转向数据业务。因此，网络存在大量的中间件（Middle box）用于对数据流进行处理，包括对数据流进行复杂处理的中间件，如FW，DPI，NAT，入侵检测等，也包括一些性能增强功能中间件，如视频优化，CDN及cache，TCP/HTTP加速，还有一些增值业务服务器，如位置提醒，内容插入，广告等。后面将所有这些功能网元统称为中间件。这些中间件的摆放及部署长期以来是运营商内部争论的焦点。
以移动分组域为例，目前一些复杂功能及增值业务部署主要采取两种方式：增强网关和Gi-LAN Service Chaining部署两种方式。
增强网关主要是考虑到分组域所有的数据都需要汇聚到GGSN/PGW然后才能路由到Internet的特性，将所有的数据流复杂处理功能及增值业务都部署到网关上。增强网关从技术实现上可以解决运营商对数据流进行处理的客观需求，但是从网络架构上来看不具有长期可扩展性。增强主要存在如下几个问题：（1）分组域的网关从架构上看主要是汇聚网关，虽然也可以添加其他业务功能，但是会造成大量性能消耗，如DPI；（2）未来随着数据流量的不断增长，网关因其带宽的限制，单台网关覆盖的用户数量会逐渐减少，网关会不断裂变甚至位置下沉，此时每台网关上都需要部署大量业务逻辑，会增加投入成本；（3）增强网关上的功能往往由同厂家提供，其接口开放程度参差不齐，一些第三方的增值业务往往不能部署到增强网关上，难以创造开放的增值业务创新的生态环境，而且第三方增值业务功能仍需要独立部署到网关后面，造成网络架构复杂。
现网中也存在将增值业务服务器及复杂流处理中间件部署在网关后面，采用串行方式进行处理的情况，但仍存在很多问题：（1）设备功能难以复用，即使可以复用也要进行大量的手工配置。如图6所示，现网往往通过APN来识别业务，然后在每个业务前面部署一串静态中间件。不同APN的业务即使需要经过相同功能的处理，如防火墙，也难以使用同一台设备。（2）各种中间件的部署顺序严重依赖于拓扑，而且一旦设定，难以添加新的中间件，也难以改变已有中间件的顺序。（3）对于任何数据流，必须逐条经过串行的中间件，即使一些数据流本不需要经过一些中间件。这导致数据流要经过每一跳中间件，增加额外的时延；每个中间件都要对经过的每一个数据流进行独立检测，导致检测重复，浪费资源；每个中间件都需要按照最大数据流量来配置，即使其处理的业务流可能很小。
图6 静态串行box处理示意图
虽然从长期核心网的架构演进来看，在Gi-LAN部署各种中间件具有能够减轻网关负担，并且可以集中部署集中管理各种中间件，但是现网中串行部署各种中间件的方式僵化、难以融合多种策略智能路由数据流。这也是虽然存在类似Service Chaining概念的方案却无法得到广泛认可与实施的原因。
SDN由于控制和转发分离，其可以通过控制面的各种应用智能的操控数据流经过的路径，进行细粒度的规则匹配，不仅可以适配L2-L3层头字段，甚至可以适配L4-L7层字段。基于SDN的Service Chaining[5]可以动态构建数据流应经过中间件的顺序，并通过SDN交换机智能的路由数据流以保证其不会重复的经过相同的中间件。基于串行静态部署中间件的方式可以认为是Service Chaining的一种最简单的形式。Service Chaining不涉及中间件的部署及拓扑位置，其提供了一个中间件部署平台或者中间件部署环境。在Service Chaining环境中，任何一个中间件可以即插即用的部署到网络中，而Service Chaining可以依据多重策略，如用户信息、网络信息、业务信息等决定数据流经过哪些中间件及经过的顺序。如图7所示为Service Chaining架构示意图。
图7 ServiceChaining架构示意图
因此，基于ServiceChaining构建的即插即用增值业务及复杂流处理平台具有更好的可扩展性、灵活性，能够提高了网络资源的效率，也细化了策略控制的粒度。
基于Gi-LAN的ServiceChaining如图8所示.
图8 基于Gi-LAN的Service Chaining实现架构
Service Chaining实现架构主要包括流分类器，SDN交换机，SDN控制器，业务功能（Service Function，SF）及策略控制功能网元。其中流分类器对数据流进行识别分类，判断经过相同Service Chaining的流打上相同的标签。SDN控制器根据业务特性及策略向流分类器下发流分类规则及设定流标签，规划不同的流经过的路径。SDN交换机根据流分类器添加的流标签将不同的数据流路由到不同的SF。SDN控制器是Service Chaining的大脑，其向SDN交换机下发针对不同标签的路由策略。APP负责根据策略对不同流经过的Service Chaining进行编排。策略控制来源可以来自于PCRF，也可以来自于DPI，或者手工配置。
Service Chaining的SF可以是专用硬件形式，也可以是集中部署在云中的VM形式。SDN交换机可以是硬件形式，也可以是部署在云中的VM形式。
3、基于SDN/NFV的核心网总体架构演进
现网当中核心网的设备部署严格按照不同功能领域部署。如图9所示为现网核心网的逻辑拓扑。该逻辑拓扑中IMS、EPC、Gi-LAN增值业务处理平台各自组成独立的域。从物理部署来看，现网核心网平面分散的部署架构主要由两个原因决定：（1）“水平面”上，网关类设备的控制转发紧耦合；（2）“垂直面”上，设备功能软件与硬件的紧耦合。虽然控制面是一个相对概念，如IMS的SIP信令对于业务都是控制面数据，而对于EPC来说却都是转发面数据，但是控制面具有共同属性，即控制面网元可以认为本身不具有或不启用三层路由转发功能，其是数据流的产生节点或者终结节点，不是转发中间节点。虽然不同的网络域的控制面网元不同，但是可以集中部署。
图9 现网核心网逻辑拓扑
如图10所示为基于SDN/NFV的核心网长期演进架构示意图。该目标架构中核心网控制面功能都集中部署在区域中心的虚拟化云平台中，例如P/S/I-CSCF,MGCF,IBCF,DRA,MME,HSS及SDN控制器等。网关类设备采用控制转发分离架构，通用转发面采用支持GTP扩展的SDN交换机，从而通用转发面可以根据需要自由下沉，或者组pool容灾，xGW-C可以根据需要部署在区域中心，SDN 控制器部署在区域中心，用来调整区域内通用转发面之间的流量，控制网络隔离及地址分配和路由管理等。对于一些特定业务及实验环境，由于流量较小，也可以在区域中心部署虚拟的传统网关，或者虚拟的支持GTP扩展的SDN交换机。在Gi-LAN部署基于SDN Service Chaining的增值业务及复杂流处理平台，为跨省及跨网数据流提供增强处理及增值业务。由于移动网关控制转发分离，网关功能弱化，除提供流量聚合、路由、计费等基本功能外，不再提供业务类功能。对于一些省内流量及业务，可以通过本地offload形式，访问本地业务云。本地业务云是靠近通用转发面设备的集中的业务与内容中心，从而保证服务更靠近用户侧。相比于在骨干网附近大的数据中心，网络边缘的业务云(1)利于时延敏感的业务；(2)减少路径迂回及网络通信成本；(3)建造成本低;（4）对寻求合作的内容提供商有更大的新引力。
该架构充分利用了NFV及SDN技术，一方面，从“水平面”进一步解耦网关类设备的控制面和转发面；另一方面，从“垂直面”解耦网元功能软件和硬件。该架构最大限度的实现核心网架构的可扩展性，如转发面设备灵活部署，网络（设备）动态调整，增值业务的动态修改等，使得核心网过渡到全IP架构后具有了更强的向未来网络平滑演进的能力。
图10 基于SDN/NFV的核心网长期演进架构示意图
4、结束语
NFV从“垂直面”的软件和硬件解耦，而SDN从“水平面”的控制和转发解耦，二者通过“解耦”来重新架构网络。本文在NFV和SDN的基础上研究核心网架构的演进及应用领域。通过将NFV和SDN技术引入核心网，在核心网虚拟化，分组域网关控制转发分离及基于Service Chaining的即插即用的增值业务及复杂流处理平台的研究，综合建议了基于SDN/NFV的核心网长期演进架构。该架构最大限度的实现核心网架构的可扩展性，如转发面设备灵活部署，网络（设备）动态调整，增值业务中间件的动态修改等，使得核心网过渡到全IP架构后具有了更强的向未来网络平滑演进的能力。
参考文献：
[1]ETSI ISG NFV. Network Functions Virtualisation(NFV): Uses Cases.2013.
[2]ETSI ISG NFV.Network Functions Virtualisation: An Introduction, Benefits, Enablers,Challenges & Call for Action. 2013.
[3] ETSI ISG NFV. Network FunctionsVirtualisation(NFV): Architectural Framework. 2013.
[4] ONF. Software-DefinedNetworking:The New Norm for Networks. 2012
[5] P. Quinn, J. Guichard, S.Kumar, C. Pignataro. Service Function Chaining (SFC) Architecture.IETFdraft,2013.
作者简介:
薛淼 男，博士，工程师，现就职于中国联通网络技术研究院，主要从事核心网新技术研究及核心网标准工作。
符刚 男，硕士，高级工程师，现就职于中国联通网络技术研究院，主要从事移动通信核心网络新技术跟踪研究工作。
朱斌 男，硕士，工程师，现就职于中国联通网络技术研究院，主要从事核心网络新技术跟踪研究及测试工作。
李勇辉 男，博士，工程师，现就职于中国联通网络技术研究院，主要从事核心网新技术研究及核心网标准工作。