大数跨境

350%+写性能提升,小文件实时动态聚合架构解读之二---智能分流技术

350%+写性能提升,小文件实时动态聚合架构解读之二---智能分流技术 ExponTech
2021-11-10
2
导读:智能分流技术解读
上一期我们介绍了ExponTech UOS对象存储产品的实时动态聚合方案,在同等硬件配置的情况下,将小文件的并发写入性能,相对开源Ceph对象存储提升了超过350%,没看过的同学可以先从上一期开始看。《350%+写性能提升,小文件实时动态聚合架构解读之一
在上一期的实时动态在线聚合方案介绍中,我们了解到,数据在内存进行在线聚合后落在SSD上时,已经合并成大文件了,所以写性能好一些; 而离线聚合方案中,数据写入和合并过程中在SSD介质上产生多次写和多次读,所以写性能差。对比之下,在线聚合方案比离线聚合方案在性能上的确有一定优势,但是,当缓存池容量较小,数据池容量较大的情况下,缓存池能够提供的总体带宽有限,很容易成为整个系统的性能瓶颈,从而阻塞前端业务。


本期我们介绍小文件实时动态聚合架构解读系列之二---智能分流技术主要是解决在线合并方案的性能瓶颈问题。智能分流技术在在线聚合方案的基础上进行了多方面的优化,使得写性能有大幅度的提升。


如图所示,智能分流技术的主要模块包括

01

业务请求检测模块,该模块对每一个请求进行实时检测,根据预置的策略判断该文件是否需要被合并

02

缓存池合并模块,经过第1步的判断之后,如果该小文件需要被合并,则该模块将文件挂载至一个内存队列中,待队列中有足够的小文件之后,将队列上的多个文件合并成一个大文件并将其写入SSD介质上

03

数据池合并模块,经过智能分流模块判断之后,如果该小文件需要直接在数据池中合并,合并的过程与缓存池合并模块类似,主要区别是合并策略不同

04

小文件迁移模块,该模块负责将缓存池中的大文件,定期的从SSD介质上读出,然后写入数据池

05

关键指标监控模块,关键指标包含业务压力(前端业务每秒写入缓存池的数据量,即数据带宽),缓存池水位(缓存池中脏数据的比例,即脏数据的容量所占缓存池总容量的百分比,而脏数据是指刚写入缓存池,还未迁移至数据池的数据),数据池负载(数据池中存储介质的利用率),该模块统计出的关键指标用于智能分流模块

06

智能流控模块,该模块根据关键指标监控模块计算出的各种指标,实时计算系统当前能够承载的最大业务带宽为多少,如果超过系统的最大能力,则触发前端业务流控机制,限制前端业务的写入带宽,以保证系统稳定

07

智能分流模块的主要功能是,当业务压力太大,导致缓存池达到性能瓶颈时,该模块根据关键指标监控模块计算出的各种指标,将一部分业务压力转移至存储池,小文件合并的动作直接在存储池上完成,而不经过缓存池

08

 元数据管理模块,该模块负责记录每一个小文件的位置,大小等关键信息,以及小文件到大文件的映射信息,大文件的位置信息,小文件删除之后在大文件中产生的空洞信息等



智能分流模块主要完成以下两个关键动作:


趋势预测:采用基于时间序列分析的趋势预测算法,对前端业务的写入带宽进行分析,根据分析结果来判断是否有必要分流。该模块的输入项为{时刻1,缓存池的水位1},{时刻2,缓存池的水位2},{时刻3,缓存池的水位3}…构成的一组时间序列数据,其中缓存池的水位=缓存池中脏数据的总容量/缓存池的总容量*100%。该模块的输出项为缓存池水位的走势即{上升,所需时间,置信度}或{下降,所需时间,置信度}或{持平,持续时间,置信度}。



分流比例计算:基于趋势预测结果,自动计算一个最优的分流比例。主要的计算流程为,根据趋势预测计算结果判断缓存池水位未来是否有上升趋势,如果有上升趋势,则以某个初始的比例进行分流,在分流的基础上继续预测,如果分流效果不明显则加大分流的比例,否则降低分流比例,让缓存池水位保持在一个合理的范围;如果没有上升趋势,则暂时不进行分流。



实际客户收益




1、智能分流模块的算法,该算法可自动判断什么时候启动分流至存储池的处理,可自动调节分流的带宽比例,保证客户前端业务在大压力场景下时延的稳定性。


2、在SSD缓存介质总容量远小于HDD主存介质总容量的情况下,缓存池非常容易达到性能瓶颈,尤其是现在主流的分布式存储系统中多采用大容量硬盘,高密度服务器,SSD的总带宽一定比HDD总带宽小得多。在这种场景下,传统的在线合并方案和离线合并方案,都无法有效发挥硬件的性能,而该方案的智能分流算法,可真正有效发挥硬件性能。


3、采用智能分流算法,即使采用更便宜的SATA SSD或SAS SSD也能达到NVMe SSD的性能,可有效降低用户的采购成本。



如需了解更多产品及服务详情,请拨打咨询电话:400-100-5719邮件support@expontech.com与我们联系。



推荐阅读:





下一代SDS,你准备好了吗?


8K来了,此时不谈“对象”何时谈


如何构建以“数据为中心”的下一代智能数据基础架构?


350%+写性能提升,小文件实时动态聚合架构解读之一

【声明】内容源于网络
0
0
ExponTech
帮助企业打造新一代数据架构,让未来更有数!
内容 78
粉丝 0
ExponTech 帮助企业打造新一代数据架构,让未来更有数!
总阅读37
粉丝0
内容78