作者简介
顾 戎
中国移动通信集团有限公司信息技术中心基础平台部项目经理，主要从事云数据中心网络方案研究、设计以及建设工作。
王瑞雪
中国移动通信研究院网络技术研究所项目经理，主要从事SDN新技术研究和数据中心网络新技术研究和标准化工作。
程 宇
中国移动通信集团有限公司信息技术中心基础平台部项目总监，IT云数据中心建设负责人，主要从事IT云数据中心计算、存储和网络整体方案研究和工程项目管理工作。
滕 滨
中国移动通信集团有限公司信息技术中心基础平台部副总经理，IT云数据中心建设、运营、维护负责人。
论文引用格式：
顾戎，王瑞雪，程宇，等. 云计算数据中心SDN组网方案研究[J]. 信息通信技术与政策, 2020(6):30-35.
云计算数据中心SDN组网方案研究
顾戎1 王瑞雪2 程宇1 滕滨1
（1. 中国移动通信集团有限公司信息技术中心，北京 100037；2. 中国移动通信研究院网络技术研究所，北京 100053）
摘要：云计算数据中心对网络提出虚拟化、自动化、灵活性、扩展性等要求，SDN技术具备控制与转发分离、集中化控制、通过标准接口开放网络能力等特征，能够匹配云计算数据中心的需求，目前已被广泛应用。云计算数据中心资源形态包含虚拟机、裸机以及容器等，为满足不同形态资源网络的统一纳管，SDN组网方案包含硬件方案、软件方案和混合方案三大类。通过对SDN组网方案进行论述和分析，介绍其部署条件、适用场景和基本原理，并结合实践情况对各类方案进行总结和讨论，最后给出使用建议。
关键词：数据中心；云计算；组网；SDN
1 引言
云计算、大数据技术的不断发展促使IT系统云化速度加快，工业互联网、物联网等垂直行业应用发展促使数据中心成为重要的基础设施资源，5G技术发展和商用化的推广进一步促进数据中心行业爆发式增长。云服务时代要求数据中心云化，即将数据中心各类实体资源，如服务器、网络、存储等，予以抽象、转换后呈现给用户，便于用户更灵活、高效地使用资源。为保证资源提供的便捷性和高效性，云计算数据中心对网络提出新的要求。
云服务要求面向更多用户灵活提供云数据中心的能力，其中虚拟网络的需求最为迫切，虚拟网络要求网络资源包含端口、子网、路由器、外部网络等网络元素叠加在物理网络架构上，以逻辑实体的形态对外呈现，虚拟网络应以租户为单位，租户之间相互隔离、互不干扰；其次，云计算数据中心要求网络配置自动化，传统手工配置的方式维护成本高、效率低，无法满足业务实时性网络配置要求；网络自动化部署可以显著提升业务上线效率，实现业务快速部署，满足业务频繁变化。云数据中心网络应具备灵活性，通过单数据中心或者多数据中心资源灵活整合，可以实现业务灵活部署，碎片化资源共享；网络功能要求灵活组合编排，实现端到端的流量路径灵活控制。云数据中心网络应能够支撑大型或超大型数据中心规模，支撑大量用户批量的网络配置操作，具备扩展性能力。
传统网络技术例如增强二层技术等能够满足二层网络、广播风暴抑制等传统数据中心网络要求，但无法适应云数据中心提出的网络虚拟化、自动化、灵活性和扩展性等新要求，云数据中心的网络架构和网络方案亟待演进和升级。
基于SDN的云数据中心网络方案融合软件定义网络的思想，具备控制和转发分离、控制面集中、网络能力开放等特点[1]。基于SDN的云数据中心网络包含编排层、控制层和转发层三层架构。编排层包括应用层和协同层，应用层包含各类网络应用，将网络功能如网络的编排、调度和智能分析等以服务的形式对外提供；协同层抽象计算、存储和网络资源，向上支撑应用层，向下对接控制层下发应用层的资源申请和调用命令。控制层实现抽象网络和物理网络的映射，将资源申请和能力调用的命令转化为物理网络可执行的流量转发策略，最终下发给转发层。转发层作为最终的执行层，依据控制层下发流量转发策略进行转发。基于SDN的云数据中心网络方案能够满足虚拟化、自动化、灵活性和扩展性等要求，符合云数据中心网络的发展趋势[2]。
SDN云数据中心依托于重叠网技术提供虚拟专用云（Virtual Private Cloud，VPC）虚拟化网络能力。重叠网的核心思想是利用隧道封装协议在底层网络上构建虚拟网络，底层网络负责提供转发通道，虚拟网络作为业务网络对外呈现。虚拟网络和物理网络分层解耦，虚拟网络按需部署业务，物理网络一次性配置完成后不再变化。常用的隧道封装协议包含VXLAN、Geneve、NVGRE等[3]。
SDN云数据中心利用编排层和控制层实现网络配置的自动化。网络模型抽象为路由器、网络、子网、虚拟防火墙、虚拟负载均衡器等通用网络实例，编排层将业务网络模型编排为网络实例组合，控制器通过北向接口接受编排层信息，并通过南向接口下发给网络设备[4-5]。
SDN云数据中心虚拟网络和物理网络分层解耦，体现了虚拟网络的灵活性；虚拟网络拓扑可通过编排层进行灵活配置，各类网络实例可灵活组合编排；依托于物理网络的连通性，虚拟网络可跨局址部署，体现部署的灵活性,实现资源共享。
云数据中心物理网络采用Spine-Leaf架构，通过Leaf节点数量扩容可以获得更多的接入端口和接入容量，通过Spine节点数量扩容可以实现更大的网络带宽。虚拟网络通过编配层、控制层集群配置可以实现大批量用户的并发网络配置操作和网络配置的批量下发（见图1）。
图1 虚拟网络和物理网络示意图
2 SDN网络方案
云计算数据中心提供多样化的计算资源类型，包含虚拟机、裸金属服务器以及容器等，网络方案需要兼顾多种资源类型的统一纳管。结合SDN实现方式以及按照SDN网络设备形态，云数据中心SDN网络方案可分为硬件方案、软件方案和混合方案三大类。
2.1 硬件方案
云数据中心SDN硬件方案又称硬件重叠网方案，SDN硬件方案包含云平台和SDN控制器以及SDN硬件交换机等软硬件设备，其中SDN硬件交换机设备为重叠网接入设备（VxLAN Tunnel End Point，VTEP），硬件交换机和硬件交换机之间通过隧道方式建立重叠网络，且引入MP-BGP EVPN[6]控制面来传递路由信息，进而实现控制和转发分离。EVPN协议是扩展的BGP协议，协议新定义了几类BGP EVPN路由，并通过在网络中发布路由实现VTEP自动发现和主机学习。常用的3类BGP EVPN路由包括Type2路由、Type3路由和Type5路由，Type2路由用来通告主机MAC地址、主机ARP，并根据主机ARP信息生成主机路由信息，Type3路由用于VTEP自动发现和重叠网隧道的动态建立，Type5路由用于通过引入的外部路由或主机路由信息。
SDN硬件方案可充分利用硬件设备保证性能，但该方案对服务器内转发流量缺乏控制，虚拟机的网络管理主要依赖于协同层。协同层通过管理虚拟交换机，实现虚拟机网络的管理，协同层和控制层进行交互，实现虚拟机网络和逻辑网络的映射。由于协同层对虚拟机的网络管理较为简单，虚拟交换机支持二层VLAN网络，硬件接入交换机通过VLAN标识实现虚拟机网络和逻辑网络的映射，三层互通流量均上送硬件接入交换机实现转发。
SDN硬件方案硬件设备强关联，一般应用于对网络吞吐量和时延要求较高的场景，且由于对于虚拟层依赖较少，适用于第三方虚拟化层的异构接入（见图2）。
图2 硬件方案示意图
2.2 软件方案
云数据中心SDN软件方案又称主机重叠网方案，SDN软件方案包含云平台和SDN控制器以及虚拟交换机等软件设备，其中虚拟交换机为重叠网接入设备，虚拟交换机和虚拟交换机之间通过隧道方式建立重叠网络。软件方案不依赖于硬件设备，物理交换机负责服务器之间的二层或三层联通，对于虚拟机之间的流量不直接感知。
软件方案中所有网络功能基于软件实现，具备灵活性的同时由于实现方式并不统一，方案封闭，具备私有性。软件方案和硬件设备天然解耦，基于x86服务器搭建软件功能网元可平滑升级支持SDN，无需升级或者更换硬件设备。软件方案对裸金属服务器网络资源的纳管并不友好，具体原因在于软件方案依赖于虚拟交换机的存在，对于裸金属服务器这类以物理服务器整机对外提供服务的资源，需要特殊配置例如修改主机操作系统安装特定插件或配置特殊的物理网卡安装虚拟化操作系统等实现网络纳管，整体方案具备复杂性。
SDN软件方案和硬件天然解耦，更多适用于较为纯粹的提供虚拟机服务的云计算场景，且依靠扩容服务器可实现规模的横向扩展；但由于软件转发能力受限于服务器整机的性能，存在纵向扩展的性能瓶颈（见图3）。
图3 软件方案示意图
2.3 混合方案
云数据中心SDN混合方案是硬件方案和软件方案的天然融合，混合方案包含云平台、SDN控制器以及SDN硬件交换机和虚拟交换机等软硬件设备，通过灵活设置重叠网接入点，实现虚拟机、裸金属服务器等各类资源的网络接入。SDN混合方案中硬件交换机和硬件交换机、虚拟交换机和虚拟交换机以及硬件交换机和虚拟交换机之间通过隧道方式建立重叠网络形成转发面；值得指出的是，由于硬件交换机和软件交换机路由传递和表项生成的方式不一样，两者之间的路由传递则需要依赖于控制器实现。混合方案对SDN控制器要求较高，控制器一方面需要与SDN硬件交换机建立BGP EVPN路由连接，进行路由学习，并将学习到的路由转换为虚拟交换机的转发表项下发给虚拟交换机；另一方面，控制器会将虚拟交换机侧的虚拟机主机路由通告给硬件交换机，最终实现硬件交换机和虚拟交换机两者之间的路由传递。
混合方案集成了硬件方案和软件方案的特点，一方面可通过SDN硬件交换机满足网络吞吐和时延要求较高的场景，另一方面通过虚拟交换机实现虚拟机的灵活接入和服务器内部流量的管理。但混合方案对方案整体要求较高，且对硬件设备提出要求，无法满足传统网络的平滑演进（见图4）。
图4 混合方案示意图
2.4 方案比较
通过表1比较可以看出，基于SDN的云数据中心的3类网络方案均存在不同的适用场景，一般来说可根据资源纳管要求、设备支持情况以及性能需求进行合理选择；以虚拟机为主的业务场景且对性能无特殊要求可采用软件方案；以裸金属为主的业务场景采用硬件方案；同时，需要虚拟机和物理服务器的业务场景可采用混合方案灵活选择VTEP设备。
表1 SDN网络方案对比
3 关键问题分析
通过3类方案的评测和商用试点论证，发现SDN网络方案能够实现网络服务化，即网络能力通过建立标准模型可利用统一编排层平台对外体现，编排层的流量策略信息可通过控制层下发给转发层实现流量精确控制，满足云数据中心网络要求。与此同时，发现SDN技术应用于数据中心还存在需要注意和完善的地方，如自动化能力、稳定性和可靠性、维护和管理等，需要在后续方案演进以及实践过程中进行进一步的思考和讨论。
3.1 SDN网络需进一步提升自动化能力
依托于三层架构，基于SDN的云数据中心可实现面向应用的网络自动化，支撑业务快速上线和网络策略快速调整。受限于网络标准模型，目前针对流量重定向、非云化资源网络纳管、池外出口配置、云网协同等高级功能自动化程度不高，在支持PaaS、SaaS、AI、大数据等部分服务上云时存在手动配置的场景；一般情况下，云平台、控制器和转发设备之间会开启一致性对账功能保证自动化配置的一致性，但手动开通和一致性对账功能存在冲突，影响了配置的自动校验。
网络自动化的程度依赖于编排层、控制层和转发层各层级的调度开发，控制层和转发层网络能力需要进一步增强，编排层能力需要进一步开放。软件方案由于其灵活性优势，网络功能繁多，自动化程度较高；硬件方案和混合方案受限于硬件设备开放能力，自动化程度不高。
3.2 SDN网络稳定性和可靠性需要保证
伴随着更多核心业务上云，网络的健壮性要求与日俱增。SDN网络方案需要满足稳定性和可靠性要求，一方面体现在系统容错能力需要增强，故障场景下具备倒换机制和逃生通道，保证网络能够稳定运行；另一方面在变更和割接场景下，网络能够快速恢复，最小程度影响业务。
对于在SDN网络中引入的编排层、控制层和转发层要求，更多还体现在功能性要求上，面向稳定性和可靠性的设计要求和部署方案能力较为薄弱。根据现网规模运行统计（单局点超过2000台服务器），控制面故障成为引发全网故障的新故障点。鉴于此，编排层和控制层的软件设计应具备可靠性，存在数据保护机制、容错机制和监测机制等；各层级之间的消息设计需保障可靠性，包括引入对账机制、并发保护机制和健康巡检机制等。而在网络部署方面，对于关键软硬件设备和链路采用冗余配置方式，实现网络快速收敛。
3.3 SDN网络需引入维护和管理的新技术
由于SDN网络包含虚拟网络和物理网络，在不同网络方案下，虚拟网络和物理网络解耦程度不一，软件方案两者解耦程度最高，硬件方案两者解耦程度最低；解耦随之引入运维和管理的复杂度，故障场景下需要虚拟网络和物理网络两层网络联动进行故障定位，而且物理网络的操作维护管理（Operation Administration and Maintenance，OAM）机制较为完善，重叠网络的OAM机制较为缺乏。
下一代SDN网络方案期望基于AI算法构建网络图谱，实现故障快速定位、根因智能分析，最终生成故障修复方案并进行评估、实施和反馈。
4 结束语
SDN技术带来了数据中心网络的变革，基于SDN的数据中心网络创新提出了网络服务化的理念，为云计算的业务形态提供了无限想象空间。依托于网络虚拟化技术，基于SDN的数据中心网络可以实现网络灵活、高效地增删改查，使得网络真正与计算和存储资源融为一体，具备无限潜力。
新技术的诞生到成熟需要经历大规模实践和应用。伴随着SDN数据中心网络的摸索和落地，SDN数据中心网络暴露出自动化能力亟待加强、稳定性和可靠性不足、维护和管理技术缺失等问题，存在进一步优化和提升的空间。下一代SDN网络应结合多类网络方案部署逐步提升网络自动化能力，满足云化业务网络需求；聚焦网络智能化，利用控制层优势，结合数据处理和分析技术，实现网络信息收集、筛选和推理，发现网络劣化趋势并提前预警，规避网络故障风险；对于已经存在的故障问题，通过根因分析进行故障精准定位，利用流量工程技术，实现流量精准控制和快速恢复；最终实现网络全生命周期管理的终极目标。
参考文献
[1] Thomas D. Nadeau, Ken Gray, 毕军(主译). 软件定义网络:SDN与OpenFlow解析[M] . 人民邮电出版社, 2014.
[2] 郭亮, 等. 数据中心热点技术剖析[M]. 人民邮电出版社, 2019.
[3] 张晨. 云数据中心网络与SDN技术架构与实现[M]. 机械工业出版社, 2018.
[4] 顾戎, 王瑞雪, 李晨, 等. 云数据中心SDN/NFV组网方案、测试及问题分析[J]. 电信科学, 2016, 32(1):126-130.
[5] 王瑞雪, 熊学涛, 翁思俊. 中国移动数据中心SDN网络架构及关键技术[J]. 移动通信, 2019,43(7):7-12.
[6] RFC 7209. Requirements for Ethernet VPN (EVPN)[R], 2019.
Research on cloud data center network based on SDN
GU Rong1, WANG Ruixue2, CHENG Yu1, TENG Bin1
(1. China Mobile Information Technology, Beijing 100037, China;
2. China Mobile Research Institute, Beijing 100053, China)
Abstract: Requirements such as virtualization, automation, flexibility and scalability are given out by cloud data center network. SDN technology meets these requirements well with its features of separation of control and forwarding, centralization control, capability of open network, etc. SDN is widely adopted in cloud data center network recently. Resources such as virtual machines, bare -metal servers and dockers are provided in cloud data center. In order to manage the whole network for all these resources, SDN can be classified into three categories including hardware scheme, software scheme and hybrid scheme. This paper gives out research and analysis on three schemes and then makes suggestions on how to use SDN in the real cloud data center network.
Key words: data center; cloud computing; networking; SDN
本文刊于《信息通信技术与政策》2020年第6期
主办：中国信息通信研究院
《信息通信技术与政策》是工业和信息化部主管、中国信息通信研究院主办的专业学术期刊。本刊定位于“信息通信技术前沿的风向标，信息社会政策探究的思想库”，聚焦信息通信领域技术趋势、公共政策、 国家/产业/企业战略，发布前沿研究成果、焦点问题分析、热点政策解读等，推动5G、工业互联网、数字经济、人工智能、区块链、大数据、云计算等技术产业的创新与发展，引导国家技术战略选择与产业政策制定，搭建产、学、研、用的高端学术交流平台。
你“在看”我吗？
