如何选择最优的NVMe-over-Fabrics方案？- 大数跨境

Marvell

2019-09-25

导读：本文将带您解析下将NVMe用在SSD中，以及大规模组网部署时会遇到哪些关键问题。

“

NVMe 作为一种SCSI的替代型协议，其目的在于实现低延迟运行。目前市场上主要的服务器和存储供应商都采用了该协议，用来替代固态硬盘 (SSD)访问过程中的SCSI协议。采用NVMe协议后，基于NVMe 的SSD 可以消除传统存储实施过程中固有的瓶颈。由此，对于企业数据中心内的各类应用程序的访问操作，相应的访问速度都将大大提升。

”

本文就带您解析下将NVMe 用在 SSD中，以及大规模组网部署时会遇到哪些关键问题。

为何NVMe应用范围如此广泛且增长迅猛

NVMe 是一款为了与高速闪存进行通信而全新设计的协议，其仅需 30 条专为处理 SSD 开发的指令。此外，为了利用最新多核处理器的并行处理能力，该协议还支持多深度指令队列。NVMe 协议最多可支持到64K个队列(queues)，且其每个队列可以支持64K个指令(commands)操作。传统 SCSI、SAS 和 SATA 协议的初始开发目的在于传统的机械硬盘 (HDD)，与之相比，NVMe 表现出了巨大进步。

纵观当今全球市场，基于 NVMe 的 SSD 驱动器的销量正在赶超 SAS 和 SATA 的 SSD 存储器销量*。这是因为，对于当前和下一代 SSD 技术（如 3D XPoint 和 NVDIMM 非易失性 DIMM）而言，NVMe 协议都能带来显著的性能提升。为何需要考虑采用NVMe-over-Fabrics

为何需要考虑采用NVMe-over-Fabrics

构建NVMe协议的主要目标在于，允许中央处理器 (CPU) 使用 PCIe 总线访问服务器内部基于 NVMe 的 SSD。但是，存储管理员开始意识到，本地服务器存储引发了严重的管理问题，尤其在过度供应昂贵的 SSD 存储资源方面最为突出（也就是通过考虑充分的余量应对任何过度需求）。根据应用的工作负载，不同服务器所需的高性能 NVMe SSD 存储量也不尽相同。这些应用可以迁移至不同的物理服务器，但是所需的 SSD 存储量始终相同。为避免每台服务器过度占用昂贵的 SSD 存储器，更加经济高效的模式是建立一个 NVMe SSD 共享存储池，由此可根据工作负载动态分配存储空间。

对于本地存储，最重要一点在于必须备份所有数据，以防服务器发生故障。此外，过去的存储方式还存在严重的安全隐患，并且不同站点间的复制往往难以管理。通过共享存储，管理员就可以避免上述问题。换言之，CIO 不仅可以跨服务器充分利用高性能闪存，还兼具现代化存储阵列具备的所有更强大的可用性和安全性特点，并且具有类似于本地 NVMe SSD 存储的高性能和低延迟优势。NVMe-over-Fabrics的发展趋势如何

NVMe-over-Fabrics的发展趋势如何

为了理解这一问题，不妨把共享存储阵列和汽车发动机进行类比。具体来说，可以认为传统的光纤通道 FC/iSCSI 共享存储就相当于传统的汽油发动机。这些方案已经应用多年，非常可靠，它们将在长时间内提供一种优良的运输方式。

随着时间的推移，混合动力汽车越来越普遍，并且兼具电动和汽油的优势。与此类似，更加新颖的 NVMe 阵列在其内部混合了 NVMe，但仍然使用 SCSI 指令通过 FC 或以太网传输协议连接至主机。

尽管大多数人同意电动汽车是未来的必然发展趋势，但当下却仍未成为主流。因为与传统方案相比，电动汽车不仅更加昂贵，而且相关基础设施尚且分布不足，无法支撑充电需求。可以想象，处于成长期的 NVMe 存储阵列与全电动汽车正处于相同的境地。 NVMe-over-Fabrics 正是落实 NVMe 存储的基础设施。这种方式将在适当时机成为连接共享存储阵列与服务器之间的主流通信标准，但是在广泛部署 NVMe-over-Fabrics并且解决所有相关的新生问题之前，尚且还有很长的发展道路。应当选择哪种NVMe-over-Fabrics方案

应当选择哪种NVMe-over-Fabrics方案

存储管理员面临的最大难题在于，确定哪种技术是正确的投资方向。与任何新出现的技术一样，整体方案的部署有多种途径。从这个角度来说，NVMe-over-Fabrics 也毫不例外。 NVMe 指令可以通过 FC、启用了 RDMA 的以太网或使用 TCP/IP 的标准以太网进行传输。您可通过阅读以下内容，即可了解不同方案间的主要差异。

图 1：目前可用的主流 NVMe 光纤连接方案

NVMe-over-FC (FC-NVMe)

对于已经部署了光纤通道存储网络(SAN)基础设施的用户而言，FC-NVMe 当属最优方案。使用 16Gb FC 或 32Gb FC 主机总线适配器（HBA）和SAN交换机，即可将 NVMe 协议封入 FC 框架内部。通过升级至最新的HBA固件和驱动程序则能获取 Linux 服务器上的 FC-NVMe 支持。因此，投资新型 16Gb 或 32Gb FC HBA和 SAN 基础设施，能够为应用今后推出的 FC-NVMe 存储阵列做好提前准备。另外值得注意的是，SCSI (FCP) 和 NVMe (FC-NVMe) 可以共存于相同的FC光纤网络中，因此，基于 FC-SCSI 的老存储可以与全新的 NVMe 存储同时运行。

使用RDMA的NVMe-over-Ethernet光纤

这种 RDMA 兼容型以太网适配器现已获得授权。RDMA 有两种不同的部署方式，名称分别为RoCE(v1/v2)和iWARP。然而非常遗憾，以上两种协议无法实现交互操作。下面我将简要说明两种协议各自的优劣势：使用RDMA的NVMe-over-Ethernet光纤

a.NVMe-over-RoCE (NVMe/RoCE)：如果您使用的是只有以太网的网络，NVMe-over-RoCE 是共享存储或超融合基础设施 (HCI) 连接的最佳方案。正因如此，目前已有多家存储阵列供应商公布了他们的计划，及表示支持 NVMe-over-RoCE 连接。 RoCE 能够提供最低的以太网络延迟，并且对于跳数不超过 2 个的小规模存储网络，能达到非常优异的运行效果。顾名思义，RoCE 需要聚合或无损的以太网络才能正常运行。此外，该方案还需启用实现额外的网络功能，包括数据中心桥接(DCB)、优先流控制(PFC)，以及其他一些更复杂的组织架构和网络拥塞管理机制。如果低延迟是您的首要目标，那么 NVMe-over-RoCE 很可能是您的最优选择，尽管其网络复杂性也相对较高。

b.NVMe-over-iWARP (NVMe/iWARP)：iWARP RDMA 协议运行于标准 TCP/IP 网络之中，因此其部署操作也更加简单。尽管该协议的延迟性能不及 RoCE，但更加易用的特性以及更低的管理难度依然具有巨大的吸引力。在现阶段，存储阵列供应商尚未设计出支持 iWARP 的阵列，因此目前的 iWARP 最适合软件定义或者基于 Microsoft Azure Stack HCI / Storage Spaces Direct (S2D) 等 HCI 解决方案。

NVMe-over-TCP(NVMe/TCP)

NVMe-over-TCP 还处于研发萌芽阶段。该方案于 2018 年 11 月获批，在不进行任何必要调整工作的情况下即可在现有的以太网基础设施中运行（这一点利用了 TCP/IP 广泛的普遍性）。 NVMe-over-TCP 发挥的性能表现可能在速度上不及 NVMe-over-RDMA 或 FC-NVMe，但在标准以太网卡和以太网网络交换机上就可以轻松实现部署。无需大量的硬件投资，即可享受 NVMe SSD 存储的主要优势。Marvell FastLinQ 10/25/50/100GbE 等部分网卡还能利用网卡内置的TCP/IP协议栈的硬件卸载(offload)功能，发挥为 NVMe/TCP报文卸载并加速的潜力。

总结

无论您决定采用哪种 NVMe-over-Fabrics 路线总结，Marvell 都能为您提供丰富灵活的产品组合，并在部署过程中为您提供一切帮助。尤其要强调的是，Marvell QLogic 16Gb 和 32Gb FC 主机总线适配器(HBA)支持 FC-NVMe；同时，得益于网卡内置的通用型 RDMA 功能，Marvell FastLinQ 41000 和 45000 系列的10/25/40/50/100Gb 以太网 NIC 和CNA网卡均支持 NVMe-over-RoCE 和 NVMe-over-iWARP 功能以及 NVMe-over-TCP。因此，管理员可以根据自身需求确定系统架构，同时还能确保现阶段的部署也可应用于未来的网络。

*数据来源：DRAMeXchange 以及其他行业分析师发布的数据