vSAN软件定义存储与高速以太网特性 (25G/100G以及RDMA)

VMware vSAN，全名VMware Virtual SAN，又称vSAN。我们可以把vSAN理解为vSphere Storage，是vSphere虚拟机后端的企业级高性能存储。vSAN其实就是基于服务器端存储的共享分布式对象存储系统，可以用来取代vSphere后端的外置磁盘阵列。 

vSAN把vSphere集群服务器各个节点内的SSD(固态硬盘)和HDD(机械硬盘)，聚合在一起，构成一个共享的存储池。然后再由存储池按照预先创建好的存储策略(用户不创建，则自动使用系统默认策略)，分配存储空间给集群内的虚拟机使用。如果借助NAS插件，也可提供共享的文件空间给其他集群，或者物理机使用。

vSAN是一种基于软件的分布式存储解决方案，可在任何标准X86服务器上运行，只要I/O Controller (控制器)、SSD和HDD在vSAN HCL (HardwareCompatibility List- 兼容列表)内，就可运行。vSAN的HCL非常丰富，为用户的选型提供了非常高的灵活性。

与S2D 可以使用RDMA并且建议采用25G网络不同，VMware vSAN 目前并没有针对网络环境提出太高的要求：

在官方建议的最佳实践中，1G 千兆网卡为最低配置，10G 万兆网卡为建议配置。这在目前的数据中心网络当中，特别是软件定义存储应用当中，此配置要求是比较宽泛的。 

最佳实践是为了获得最好的性能，因此10G 共享网卡作为最低配置更匹配系统的实际要求，单独的10G网卡或者更高速率的接口，才能实现更好的性能特别是全闪存配置的要求。在vSAN最新版本所对应的vSphere 6.5系统配置当中，明确了以下网卡都可以支持：

更高带宽的网卡接口，到底对性能有多少影响呢？我们做了这样一个实验，单纯地对比10G网卡和25G网卡在VMware环境当中的网络传输性能。10G测试时，两端的服务器采用QLE3442-SR网卡，每台服务器使用1个端口连接到10G交换机；25G测试时，两端的服务器采用QL45212网卡，每台服务器使用1个端口连接到25G交换机。vCenter服务器采用1G网卡通过千兆网络对两台测试系统进行管理工作。

 实验拓扑请参考下图：

每台ESX服务器创建4台VM虚拟机，并在虚拟机上运行IxChariot流量测试程序，IxChariot是Ixia公司的专业性能测试软件，可以模拟各种网络流量场景以评估设备、系统以及网络在这些场景当中的表现。每台虚拟机会运行2个IxChariot测试进程，因此在单向流量测试中，总共有8个进程在传输测试数据；而双向流量测试中，总共有16个进程在传输数据。我们选择的数据包大小在1KB～64KB之间，基本可以覆盖主流应用的数据包大小区间。另外，每项测试进行两次，第一次是关闭网卡的large segment offload (LSO) 和TCP segment offload (TSO) 卸载功能，由CPU进行数据拆分切片；第二次则开启网卡的LSO，TSO硬件卸载功能，降低CPU的消耗，提高系统处理能力。

10G网卡双向流量测试结果：

 25G 网卡双向流量测试结果：

从上面的单纯速率测试可以看出以下几点：

• 25G 网卡传输性能远远超过10G网卡 - 在16KB以下的数据包测试中，差距尤为明显。数据包大小为16KB时，差距是3倍；而数据包为1KB时，传输性能差距超过20倍！

• LSO/TSO 对网络性能提升帮助很大 - 在25G网卡测试中，开启LSO/TSO硬件卸载平均可以实现18% 左右的性能提升。

因此从性能角度想要达到最佳的性能，在端口速率的选择上应该还是越高越好。

既然高速以太网网卡可以提升网络带宽来提高性能，那么现在非常火热的以太网RDMA是否也可以应用在vSAN之上呢？众所周知S2D 可以利用iWARP和RoCE 两种以太网RDMA协议。 

但是很遗憾，目前vSAN 网络还不支持以太网RDMA，微软曾经提供过一个简单虚拟化环境下RDMA和普通TCP/IP网络性能的对比：

从上图我们可以看出：

• RDMA 技术可以显著提升性能，在提高IOPS的同时降低时延，降低CPU消耗。

• TCP/IP 虽然没有RDMA网络速度快，但是依然是一个非常可靠的选择，在对时延要求较低的应用当中，依然可以提供非常可观IOPS输出。 

虽然目前vSAN 还不支持RDMA网络，但是应该指日可待了。vSphere 原本就支持InfiniBand网络，在2017年3月的文章vSphere6.5 with RoCE (RDMA over Converged Ethernet) and Certification Suite 中，已经开始了网卡认证工作。vSphere 一旦开始支持以太网RDMA网络，vSAN 就会很快实现了。希望到那个时候，我们可以再横向比较一下vSAN在RDMA网络和普通TCP/IP 网络之间的区别。