大数跨境
0
0

话说分布式存储系统

话说分布式存储系统 云容灾备份安全治理
2025-01-16
1

话说分布式存储系统

分布式存储是一种数据存储技术,通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。

分布式存储

ElasticStor 分布式存储系统通过软件聚合存储和计算资源,可扩展至上千节点,由于采用了分布式架构实现了存储性能的线性提升;软件将服务器 HDD、SSD、NVMe SSD 等多种类型本地硬盘,进行资源整合,创建不同性能层的存储池,向上层应用提供块、对象存储服务。并且随着存储资源的变化,系统会自动平衡存储数据的分布,以优化性能及提高数据安全性。系统支持可写快照、精简配置、闪存加速、质量控制等丰富的企业级特性。

分布式系统三条脉络:存储的用户视角

更新理解分布式系统的三条脉络: 1. 分布式存储 💾 2. 分布式计算 🧠 3. 元信息服务 🌐



💾 存储和🔍 查询是分布式数据库中最重要的两个组成部分。 

💾  存储最主要的知识点就是存储引擎。所谓存储引擎,就是如何在存储层次体系中(缓存、内存和外存)组织数据,以应对高速的数据读写。 存储引擎主要分为两个流派: 

🌳 以 B+ 树为代表的原地修改流(in-place) 

🍃 以 LSM-Tree 为代表的追加流(append-only) 

🔍 查询最重要的方向——交易型(OLTP)和分析型(OLAP)。 

交易型查询的特点是,数据量相对较小,但对一致性要求较高,读写分布较为均匀。举个例子,银行转账、网站购物。 分析型查询的特点是,数据量相对较大,但对一致性要求较低,一次写入多次分析。举个例子,站长工具汇总,网站访问页面统计、受众用户分析等等。 

✨ 且,分析型数据多是从在线的各种服务的日志中转化而来,继而进行这些数据进行挖掘,辅助用户决策。常用的存储模型为 star 模型,即一个事实表,多个维度表。 

OLTP 和 OLAP 查询负载的不同,导致其各自对应的数据组织不同。如 OLTP 由于通常按行查询,因此多用行存;OLAP 数据量较大,且通常一次查询只涉及表中几列,因此多用列存,避免带出不需要的数据,且可以用向量化的 CPU 指令对查询处理进行优化。

分布式存储系统由于其高可用性、可扩展性和性能特点,适用场景化:
1. 大规模数据存储
场景特点: 

数据量持续增长,需要存储系统支持海量数据的高效管理。
典型应用: 

云存储平台(如对象存储)、社交媒体、电子商务平台等。
2. 数据分析与大数据处理
场景特点: 

需要对海量非结构化和半结构化数据进行快速存储和读取。
典型应用: 

大数据分析平台(如Hadoop、Spark)、日志分析、物联网数据处理等。
3. 视频监控和媒体存储
场景特点: 

视频文件体积庞大,写入频繁,需要高吞吐和稳定的存储性能。
典型应用: 

安防视频监控、影视制作和编辑、视频点播系统。
4. 企业级虚拟化与云计算
场景特点: 

支持虚拟化环境中虚拟机的动态迁移和存储资源池化管理。
典型应用: 

私有云、公有云、混合云架构中的存储解决方案。
5. 高性能计算(HPC)
场景特点: 

需要高性能的并行数据访问和低延迟,支持大规模任务的并行处理。
典型应用: 

科学计算、金融模拟、气象预测、基因分析等。
6. 容灾与数据备份
场景特点: 

数据需分布在多个节点或多个数据中心之间,以确保高可用性和容灾能力。
典型应用: 

企业备份系统、灾难恢复系统、多站点业务连续性保障。
7. 数据密集型应用
场景特点: 

应用产生和访问大量数据,需快速存取和高可用支持。
典型应用: 

搜索引擎、广告服务、分布式文件系统(如Ceph、GlusterFS)。
8. 人工智能与机器学习
场景特点: 

需要存储和处理大量训练数据集,并能支持高效的数据流处理。
典型应用: 

深度学习训练、图像处理、大规模神经网络模型存储。
根据具体场景的特点,可定制优化分布式存储架构。


【声明】内容源于网络
0
0
云容灾备份安全治理
分享云灾备规划、实施、运营、备份与恢复、数据安全、数据治理;窥视国内外备份软件与监控软件知识前沿水平线; 越努力,越幸运!
内容 2171
粉丝 0
云容灾备份安全治理 分享云灾备规划、实施、运营、备份与恢复、数据安全、数据治理;窥视国内外备份软件与监控软件知识前沿水平线; 越努力,越幸运!
总阅读3.8k
粉丝0
内容2.2k