本期我们介绍小文件实时动态聚合架构解读系列之二---智能分流技术主要是解决在线合并方案的性能瓶颈问题。智能分流技术在在线聚合方案的基础上进行了多方面的优化,使得写性能有大幅度的提升。

如图所示,智能分流技术的主要模块包括:
业务请求检测模块,该模块对每一个请求进行实时检测,根据预置的策略判断该文件是否需要被合并
缓存池合并模块,经过第1步的判断之后,如果该小文件需要被合并,则该模块将文件挂载至一个内存队列中,待队列中有足够的小文件之后,将队列上的多个文件合并成一个大文件并将其写入SSD介质上
数据池合并模块,经过智能分流模块判断之后,如果该小文件需要直接在数据池中合并,合并的过程与缓存池合并模块类似,主要区别是合并策略不同
小文件迁移模块,该模块负责将缓存池中的大文件,定期的从SSD介质上读出,然后写入数据池
关键指标监控模块,关键指标包含业务压力(前端业务每秒写入缓存池的数据量,即数据带宽),缓存池水位(缓存池中脏数据的比例,即脏数据的容量所占缓存池总容量的百分比,而脏数据是指刚写入缓存池,还未迁移至数据池的数据),数据池负载(数据池中存储介质的利用率),该模块统计出的关键指标用于智能分流模块
智能流控模块,该模块根据关键指标监控模块计算出的各种指标,实时计算系统当前能够承载的最大业务带宽为多少,如果超过系统的最大能力,则触发前端业务流控机制,限制前端业务的写入带宽,以保证系统稳定
智能分流模块的主要功能是,当业务压力太大,导致缓存池达到性能瓶颈时,该模块根据关键指标监控模块计算出的各种指标,将一部分业务压力转移至存储池,小文件合并的动作直接在存储池上完成,而不经过缓存池
元数据管理模块,该模块负责记录每一个小文件的位置,大小等关键信息,以及小文件到大文件的映射信息,大文件的位置信息,小文件删除之后在大文件中产生的空洞信息等
智能分流模块主要完成以下两个关键动作:
1、智能分流模块的算法,该算法可自动判断什么时候启动分流至存储池的处理,可自动调节分流的带宽比例,保证客户前端业务在大压力场景下时延的稳定性。
2、在SSD缓存介质总容量远小于HDD主存介质总容量的情况下,缓存池非常容易达到性能瓶颈,尤其是现在主流的分布式存储系统中多采用大容量硬盘,高密度服务器,SSD的总带宽一定比HDD总带宽小得多。在这种场景下,传统的在线合并方案和离线合并方案,都无法有效发挥硬件的性能,而该方案的智能分流算法,可真正有效发挥硬件性能。
3、采用智能分流算法,即使采用更便宜的SATA SSD或SAS SSD也能达到NVMe SSD的性能,可有效降低用户的采购成本。
▼
如需了解更多产品及服务详情,请拨打咨询电话:400-100-5719或邮件support@expontech.com与我们联系。
8K来了,此时不谈“对象”何时谈


