点
击蓝字 / 关注我们
Beginning of
Winter
02下一代数据存储技术详解
本章将从这五个方面对下一代数据存储技术的演进进行梳理与分析。
（一）存储介质演进
”
全闪存储
全闪存储指全部由固态存储介质构成的独立存储阵列或设备。全闪存储的高速发展，既是新应用对性能需求驱动的结果，也是闪存技术不断创新的成果。
在需求侧，当前数据爆炸式增长，云计算、物联网、大数据、人工智能、区块链等新技术快速发展，驱动人脸识别、自动驾驶等新智能应用不断涌现，业界已进入智能驱动的新数据时代。这一时代，数据存储具有三大需求，分别是EB级容量、亿级 IOPS（每秒进行读写操作的次数）和智能管理，亿级IOPS需求使得存储介质的变革势在必行。
在技术侧，全闪存储普遍被认为是存储行业的发展方向，其具备远高于传统磁盘存储的数据吞吐能力及更低的时延。数据显示，固态硬盘对比机械硬盘，拥有更快的读取速度、更低的功耗以及更低的故障机率，实现了对机械硬盘性能的全面超越，为底层存储介质的替换提供了客观条件。
在产品侧，各大存储厂商均推出了全闪存储产品。如华为的OceanStor Dorado 及浪潮的 HF 系列产品。以 OceanStor Dorado 为例，相较传统机械存储，在存储性能委员会（SPC）的 SPC-1 基准下，业务性能提升了5倍；在数据库场景下，业务性能提升了10 倍； 在虚拟桌面场景下，在Word/PowerPoint/Excel应用测试中，启动响应时间缩短 80%。充分体现了全闪存储产品优异的性能。
非易失性内存
非易失性内存（Non-Volatile Memory, NVM）是指断电后，存储的数据不会消失的存储器，是存储技术领域近十余年来具革命性的创新。依据技术原理，非易失性内存介质可分以下几类。
为开发出比传统非易失性存储介质更高速、更低功耗、更高密度、更可靠的新型非易失性存储介质，研究者们把目光聚焦到一些特殊材料上，提出了一些存储介质模型。下表对这五种存储介质的存储原理、优缺点及发展状况进行了简要介绍。
随着存储技术的发展和人们对存储性能的不懈追求，高性能存储的探索开始向内存通道迁移。非易失性双列直插式内存模块便在这种趋势下应运而生。根据电子器件工程联合委员会标准化组织的定义， 有三种NVDIMM 的实现方式：
（1）NVDIMM-N 指在一个模块上同时放入动态随机存取存储器（DRAM）和闪存。通过使用一个小的后备电源,为掉电时数据从DRAM拷贝到闪存中提供足够的电能，当电力恢复时, 再重新加载到DRAM 中。
（2）NVDIMM-F 指使用了DRAM的DDR（双倍速率，Double Data Rate）总线 Flash 闪存,一定程度上减少协议带来的延迟和开销，但只支持块寻址。
（3）NVDIMM-P是真正DRAM 和Flash 闪存的混合。它既支持块寻址, 也支持类似传统 DRAM 的按字节寻址。容量可以达到类似NAND闪存的 TB 级, 又能把延迟保持在102方纳秒级。Intel 发布的基于3D XPoint技术的英特尔傲腾持久化内存，可认为是NVDIMM-P的一种实现。
非易失性内存的出现填补了从硬盘到DRAM 之间，存储在性能、延迟、容量成本的鸿沟，为多样化的解决方案奠定了坚实的基础。非易失性内存技术能够存储不适用于DRAM 的庞大数据集，进行快速计算，同时与其他存储介质共同组成多级存储池，让数据更加靠近处理器，提升存储系统的整体性能表现。
（二）存储架构演进
”
大数据、云计算和虚拟化等技术的出现，使得传统的 IT 架构难以满足企业日益增长的数据存储需求。为应对这一挑战，软件定义存储和超融合基础架构应运而生，打破了传统 IT 系统复杂和繁冗的现状，优化了网络的可扩展性和管理方式。
软件定义存储
企业对数据服务的需求变得更加复杂、精细和个性化，对数据存储的高可靠性、高性能、高扩展以及面向云架构的延伸能力等层面提出了更高的要求。虚拟化和云技术的发展和成熟转变了数据中心的设计、建造、管理和运维方式，这种变革使软件定义存储越来越有吸引力。
软硬解耦、易于扩展、自动化、基于策略或者应用的驱动是软件定义存储的特征。就业务应用来说，即不限制上层应用，不绑定下层硬件；除了提供块存储，也可以在同一平台提供文件、对象、HDFS等存储服务，实现非结构化数据的协议互通；同时应具备完善的监控能力，实现应用感知。
来源：星辰天合（北京）数据科技有限公司
图 9 软件定义存储逻辑架构示意图
软件定义存储对全行业业务都具备适用性，可根据当前业务场景需要进行规划设计。
开放化和水平扩展是软件定义存储的两大特点。开放化意味着接口标准化、服务原子化，保证客户的应用系统能够以顺畅的方式对接基础存储设施，可微调解决方案细节，达成高质量的服务。水平扩展则是云计算弹性环境的必然要求，在移动互联网环境下，业务应用的负载量是突发式、潮汐式、难以精确预测的，应用要求存储的容量和性能都必须能够线性扩展以满足上层应用需求。
软件定义存储产品在提供高可靠和高可用服务能力的同时，集成了数据智能处理和分析能力，简化了海量数据处理所需的基础设施，帮助客户实现数据互通、资源共享、弹性扩展、多云协作，有效降低用户的使用成本。Gartner报告指出，通过使用XSKY的XEDP数据存储平台，企业用户实现整体使用成本降低 54%。
超融合基础架构
超融合基础架构是一种软件定义的 IT 基础架构，它可虚拟化常见 “硬件定义” 系统的所有元素。超融合基础架构包含的最小集合是：虚拟化计算、虚拟存储和虚拟网络；超融合系统通常运行在标准商用服务器上。
来源：北京志凌海纳科技有限公司
图 10 超融合基础架构图
超融合基础架构除对计算、存储、网络等基础元素进行虚拟化外，通常还会包含诸多IT架构管理功能，多个单元设备可以通过网络聚合起来，实现模块的无缝横向扩展，形成统一资源池。
超融合基础架构通过为企业客户提供一种基于通用硬件平台的计算存储融合解决方案，为用户实现可扩展的IT基础架构，提供高效、灵活、可靠的存储服务。对于用户来讲，超融合基础架构的主要价值如下：以简洁的架构提供高可用方案。超融合由于其融合部署架构，可有效协调虚拟化和存储高可用联动的问题，从而以非常简洁的架构提供不同级别的高可用方案。
来源：北京志凌海纳科技有限公司
图 11 融合基础架构特征
存储系统整体性能的大幅提升。分布式架构提升了系统整体的聚合性能，可以在不改变硬件配置下进一步降低访问延迟。
扩展性大幅提升。超融合基础架构的核心分布式存储在可扩展性上有了本质的提升，包括如下特点：支持少量节点起步，支持硬件部件及节点级扩容，容量自动均衡，异构节点支持，卷级别存储策略等。
采购成本和总体拥有成本降低。在使用成本方面，服务器+超融合软件（或超融合一体机）的采购成本有大幅度的降低。除采购成本外，超融合系统在总体拥有成本上有更大的优势。SmartX在某证券客户的支撑案例中，超融合解决方案协助客户提升15%的资源利用率、降低 60% 的运维工作量、同时每年的IT采购成本降低50%。
（三）存储协议演进
”
在存储系统中，HDD磁盘和早期SSD磁盘的传输协议一般采用 AHCI（高级主机控制器接口）。AHCI为单队列模式，主机和HDD/SSD之间通过单队列进行数据交互。对于HDD这种慢速设备来说，主要瓶颈在存储设备，而非AHCI协议。不同 HDD的顺序读写特点，SSD可以同时从多个不同位置读取数据，具有高并发性。AHCI的单队列模式成为限制SSD并发性的瓶颈。随着存储介质的演进，SSD盘的IO带宽越来越大，访问延时越来越低。AHCI协议已经不能满足高性能和低延时 SSD 的需求，因此，存储系统迫切需要更快、更高效的协议和接口，NVMe协议应运而生。
NVMe 协议旨在提高吞吐量和 IOPS，同时降低延迟。基于NVMe的驱动器可实现高达16Gbps 的吞吐量，且当前供应商正在推动32Gbps 或更高的吞吐量产品的应用。在IO方面，许多基于 NVMe 的驱动器，其IOPS 可以超过50万，部分可提供150万、200万甚至1000万IOPS。与此同时，延迟持续下降，许多驱动器的延迟低于20 微秒，部分低于10微秒。
凭借卓越的性能，NVMe SSD在 2018-2023 年间以 38%的复合年增长率持续增长，2020年占据企业级SSD出货量的 55%以上，云客户、OEM 厂商和企业均将 NVMe SSD 作为存储设备的首选。
在网络协议层，30 年来，存储网络都是以 SCSI（小型计算机系统接口）协议为基础框架，前端传输网络层一直以 FC（光纤通道，Fiber Channel）网络为主，后端则以 SAS（串行 SCSI 技术，Serial Attached SCSI）网络为主，这构成了服务器间以IP 为主要互联手段的IP 存储网络。
来源：华为技术有限公司
图 12 基于FC和SAS协议的经典存储网络
2010 年后，随着闪存介质的普及，SCSI协议框架对性能的限制也越来越突显出来。NVMe和 NVMe Over Fabric（NVMe-oF）技术的出现打破了这些限制，面向高性能介质设计的多队列模型更能发挥闪存介质的性能。NVMe-oF 推动IP化、低时延化，基于 IP 网络的NVMe-oF技术不但使得前端存储网络可以基于IP直接与本地局域网连接，甚至可以直连广域网；同时，利用NVMe-oF技术小于10us的超低附加时延，使得替换后端SAS网络也成为了可能，整个数据中心可以基于统一的以太网来构建；一方面降低整个数据中心的建设成本，一方面降低独立存储网络的运维成本，同时有利于云及大数据应用环境下的数据共享。
华为NoF+存储网络是 NVMe-oF 技术一个典型应用，在OLTP/OLAP（联机事务/分析处理过程）场景，IOPS提升高达 85%，拥塞时延最大降低 46%，端到端故障切换时间<1s，充分体现新协议对网络性能的巨大提升。
来源：华为技术有限公司
图 13 基于NVMe协议的IP存储网络
（四）应用模式演进
”
云存储是基于云计算相关技术延伸和发展而来的全新应用模式。云存储的内核是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。本质上，云存储是一种服务，是由多个存储设备和服务器所构成的集合体。
通过解耦，计算与存储可以在云数据中心独立扩展，提供调度和资源共享的灵活性，提高资源使用效率，降低成本。其次，计算和存储可以更加灵活的针对不同负载进行优化。网络技术的高速发展，个位数微秒的延时、百G级别的带宽，使得计算和存储分离、分布式存储等架构在稳定性和性能等领域变得更加高效。
对于行业用户而言，云存储的价值主要体现在以下三个方面：
提供诸如块存储和文件存储等标准化的存储方式。云存储提供标准化接口，使客户能够直接迁移数据，避免应用的大量修改。
存储系统的服务化。在云计算时代，云存储将存储系统演化成一种云服务，用户只需要关心自己的业务逻辑即可。如百度云BOS 服务，相较于传统存储服务，数据处理流程的易用性提升了95.2%，满足了一站式存储和处理的诉求。
存储系统的开放化。云存储服务提供众多管理与控制的API（应用程序接口），通过开放接口，使得用户可以通过编程调用 API 管理与监控存储资源，实现跨平台的管理。
云存储在发展的过程中也面临着诸多挑战，为满足云时代发展的需求，新一代存储需要不断演进。未来云存储技术主要呈现出以下三点趋势：
（1）集成设计能力不断加强。数据库、大数据处理和分析、人工智能、容器等领域具有自身的特点，存储技术针对以上典型场景也需进行相应的集成设计，结合场景的特点进行适配和优化，提高与场景结合的端到端优化能力和存储的效率。
（2）云上大规模运维能力的不断提升。随着越来越多的企业不断上云，云服务商的运维方式也发生了巨大的变化，需要在大规模、高复杂度下，保障云服务的高可用。以阿里云对象存储OSS 为例，在数据迁移、数据湖、数据备份及归档方面，可以提供12个9的数据持久性，99.995%的数据可用性。
（3）云存储产品形态不断丰富。由于数据访问方式以及业务场景的不同，云存储不断丰富自身的产品形态。阿里云、腾讯云、百度云等头部厂商均构建了对象存储、块存储、文件存储、表格存储等多种形态的产品。
（五）运维模式演进
”
随着数字化转型的加速，企业用户需要更加敏捷地响应快速变化的市场需求。不仅是业务模式，IT基础架构的革新在其数字化转型中也是非常关键的一部分。现代化的应用、多数据中心、多云及边缘等趋势在加速业务的同时，也对运营管理带来了巨大的压力，靠人力投入完全管控存储系统变得不可维系。运维团队急需新技术协助，智能运维平台应运而生。
智能运维指利用大数据和机器学习等方法提高运维的自动化、效率及故障自愈的技术，同时利用机器智能从运维数据中持续挖掘深层信息，是一种结合工程能力与算法能力的综合性科学。智能运维常用于集群自动扩缩容、服务变更、库存管理等日常管理事务以及异常定位、根因分析、系统自愈等异常处理事务。
智能运维架构主要由两部分组成，集成了众多传感器的服务器、存储设备和基于云端的智能运维平台。通过数据收集、转换及训练对基础架构中可能出现的问题做出预测并提供建议。
智能运维技术的主要特点有：
主动式问题处理：智能运维平台能够对简单问题自动进行处理；对于复杂的问题，能够自动开具工单，通过支持中心分派工程师主动联系用户，帮助用户发现和解决问题。
智能需求预测：通过人工智能、机器学习等技术，实现对存储未来容量、性能的提前预测，便于客户提前规划。
智能风险预防：除了预测分析外，领先的智能运维平台还能做到对风险的预防，主动优化IT基础架构，通过黑、白名单等功能特性预防已经发现的问题，并给予可行的建议。
云上管理：基于云创建的智能运维平台，可以让 IT 运营团队随时随地以任意终端访问智能运维平台，查看运行状态；云端自动升级，在新特性上线时，不会影响用户的日常使用。
随着下一代数据存储技术的发展和成熟，性能不再是困扰用户的首要难题，各存储供应商也逐渐将注意力放到智能运维上，希望能够提供更丰富的功能、更好的使用体验。未来智能运维平台的发展呈现出以下两点趋势。
一站式分析。存储的智能运维平台将逐步成为整个 IT 基础架构运维平台的核心。通过将服务器、网络、虚拟化应用逐步接入智能运维平台，能够提供更丰富的 IT 运行状态数据，帮助智能运维平台判断故障和瓶颈。
离线智能。由于监管因素的限制，部分企事业单位无法使用基于云的智能运维平台。存储厂商开始考虑提供离线智能运维平台，通过集成智能运维平台知识库，提供基于本地的性能瓶颈分析、容量和性能的预测、硬盘故障预警等功能。
现今，智能运维已成为热门存储技术，并在实践中逐步应用，提供更好的用户体验。如新华三的 InfoSight 智能运维系统，企业用户通过使用智能运维系统，86%的问题得到自动解决；平均给出解决方案的时间小于1分钟；93%的问题能够自动提交工单；用户满意度高达到 98.2%。
下一代数据存储技术赋能数字化转型，下一代数据存储技术深刻的改变着存储产品形态，伴随着需求的不断变化，不断演进出了新特征、新指标，使得存储系统能够更好满足全行业客户的需求。
文章来源：中国信息通信研究院
✦ +
+
同庆科技
COMQING SCIENCE AND TECHNOLOGY
同庆科技提供“ICT+OT”驱动的创新型解决方案与软件服务，致力于帮助客户IT运营发展与变革，不断为客户创造新的价值。公司成立于1997年，目前平台拥有近二百人，经过二十多年的成长与努力，迭代研发了多行业软件平台与解决方案，为客户提供全生命周期的支持与服务。
同庆科技深耕能源制造行业二十多年，基于同庆自主研发的启智工业互联网平台，深度应用于能源、制造、矿山、水利、环保、农林等行业，在智能制造、智慧电厂、综合能源、智能运维、智慧园区、智慧农林、智慧城市等领域，应用物联网、大数据、人工智能、机器识别、数字孪生、边缘计算、区块链技术等数字化技术，打造并积累了丰富的应用场景与行业解决方案。
同庆以“授人以渔”的服务思维与品牌承诺，关注客户与社会的发展，致力于成为受社会、客户、员工、合作伙伴尊敬的公司。
同庆
谢谢您的关注