大数跨境
0
0

EloqData——乘硬件之风,破创新之浪

EloqData——乘硬件之风,破创新之浪 晨章数据
2025-09-09
0
导读:EloqData成功实现NVMe+对象存储创新架构,吃尽新硬件时代红利



专栏导语

AI 时代数据洪流来袭,晨章数据以创新 “数据基层” 架构破局!旗下分布式数据库系列产品,实现计算、内存、日志、存储四元解耦,0.1ms响应跨模态需求,更全面开源赋能生态。本专栏将邀请五位嘉宾,从不同视角深探晨章数据的领先之道

解析云原生弹性架构优势,探索新硬件红利,看 AI 原生数据库如何突赋能AI创业者,锚定市场痛点破局,听创始人拆解技术创业逻辑,干货持续输出,敬请关注!


本篇特邀数据库领域专家尹海文,从技术核心视角深度解析:晨章数据如何紧跟硬件迭代与云技术发展浪潮,以创新的四层协同架构实现新硬件适配,并依托 SSD、云盘 ESSD、对象存储等多元存储介质,精准平衡系统性能、成本控制与业务扩展性三大核心需求,为数据库的架构优化提供实践参考。


尹海文

数据库专家。Oracle ACE、PostgreSQL ACE,公众号“胖头鱼的鱼缸”主理人,圈内拥有“总监”称号。



近年来,数据库领域发展迅猛,而这一领域的进步始终受益于硬件技术的迭代红利。具体来看:

- X86/ARM 架构推动了核心数与性能的飞速提升,同时实现了性价比的平衡;

- 高频多通道的大容量内存,让更多数据能够驻留内存,有效降低了 IO 压力;

- 高带宽、低延迟、高吞吐的网络技术,显著提升了跨主机通信效率;

- 高性能 SSD 则实现了 IO 能力的质的飞跃;

...


另一方面,随着公有云技术的快速发展,其不仅在云底座软件技术上持续突破,还在不断整合更优质的硬件资源。借助公有云技术的迭代,数据库领域得以进一步加速发展。 


01

创新歧路:选择的困境

数据库作为一个发展了数十年的行业,其演进始终与硬件迭代深度绑定:从早期的 Unix 平台到如今的 Linux 生态,从专用小型机到 X86/ARM 通用架构,从机械硬盘(HDD)到固态硬盘(SSD),从电口网络到光纤链路…… 与此同时,部署方式也从物理机裸金属扩展至虚拟化乃至云化形态。


硬件底座与部署模式的持续变革,倒逼数据库不断调整适配,以充分释放新硬件与云技术的红利。但另一方面,数十年的技术积累也带来了特殊挑战:许多数据库的早期设计并未预设当前的软硬件环境,为了兼容新兴技术与既有系统,难免形成需要妥协的冗余遗留代码。

须知,并非所有数据库厂商都具备 Oracle 那样的实力 —— 拥有专属硬件部门,能够通过持续重构在历史兼容性、新兴技术支持与代码质量之间实现精妙平衡。


在硬件技术与云服务飞速迭代的当下,晨章数据 EloqData通过突破性的架构设计,实现了对新环境的深度适配 —— 将数据库核心能力抽象为三层协同体系:


计算引擎层以灵活适配为核心,支持按需选择或组合多样化引擎:无论是传统的 SQL 引擎、面向非结构化数据的文档引擎,还是适配 AI 场景的向量计算引擎,均可根据业务负载动态调度,实现计算能力与场景需求的精准匹配。


数据基层作为架构创新的核心枢纽,将数据库管理系统的关键能力进行抽象与重构:通过统一接口封装缓存策略、并发控制机制、数据持久性保障、弹性扩缩容逻辑及容错机制等核心功能,既消除了传统架构中硬件依赖的冗余代码,又为上层计算与下层存储提供标准化交互层,让核心能力可独立迭代升级。


数据存储层则深度融合新兴硬件特性,构建多维度存储策略:充分利用公有云云盘的高可用与弹性扩展能力、本地 NVMe SSD 的高 IOPS 性能,以及对象存储(如 S3)的低成本容量优势,通过冷热数据自动分层、存储介质动态切换等机制,在不同部署模式(裸金属、虚拟化、云原生)下均能实现存储性能与成本的最优平衡。


这种分层架构设计,既摆脱了传统数据库对特定硬件环境的绑定,又通过模块化解耦让各层可独立适配新技术,从而更高效地释放新硬件与云服务的潜在红利。


02

SSD疾驰:驱动数据库效能跃升

固态硬盘(SSD)是一种以闪存芯片为存储介质的非易失性存储设备,无需机械部件即可实现数据读写,与依赖磁头臂、盘片的机械硬盘(HDD)形成本质区别。SSD和HDD对比有数量级的带宽、延迟和IOPS的差异,使得SSD成为了新时代数据库加速数据存储的不二之选。


接口与协议的迭代升级

早期 SSD 多采用 SATA 或 SAS 接口,受限于协议设计(如 SATA 仅支持单队列、32 命令并发),无法发挥闪存潜力。NVMe(Non-Volatile Memory Express)则是专为闪存类存储设计的高速传输协议,基于 PCIe 总线架构直接与 CPU 通信,突破了传统 SATA/SAS 协议对机械硬盘的适配局限,通过并行队列、精简指令集等特性释放闪存性能。


相较 HDD 的核心优势

- 速度跃升:HDD 依赖机械转动(寻道时间通常 10-20ms),而 SSD 通过电子信号访问闪存单元,随机读写延迟可低至 0.1ms 以内,连续读写速度是 HDD 的 5-10 倍。

- 可靠性提升:无机械部件减少了震动、磨损导致的故障,平均无故障时间(MTBF)达 200 万小时以上,远超 HDD 的 50-100 万小时。

- 能效优化:待机功耗仅为 HDD 的 1/5,满负载功耗约为 1/3,更适配数据中心低碳需求。


成本持续下探

随着 3D NAND 技术成熟(单颗芯片堆叠层数从 32 层提升至 512 层),SSD 单位容量成本十年间下降超 90%。当前 1TB 消费级 NVMe SSD 价格已降至 HDD 的 1.5-2 倍,企业级产品通过多类型闪存分层设计,进一步拉近与 HDD 的成本差距,在中高频访问场景中性价比优势凸显。


当前性能指标

主流企业级 NVMe SSD 已实现:

- 随机读取 IOPS达 150-200万,是高端 SAS SSD 的 5-8 倍;

- 顺序读取带宽突破 7GB/s,写入带宽达 6GB/s;

- 端到端延迟控制在 50 微秒以内,支持 TB 级容量与千万次擦写寿命(DWPD 值达 3-5),可满足数据库日志、高频交易等核心场景需求。


EloqData通过全新的存储层代码设计,有效的适配SSD读写特性、PCIe总线以及NVMe协议,充分利用NVMe SSD带来的高带宽、低延迟、高IOPS的优势特性,无论是高频交易系统的实时订单写入还是AI Agent之间交互带来的流量激增的场景,EloqData 都能通过存储层的高效适配,为严苛业务场景的高速存储需求提供稳定可靠的底层支撑。


03

云存弹性:激活数据库潜能

在公有云环境中,NVMe SSD的使用一般与云主机绑定,当云主机出现异常时NVMe SSD会一并丢失成为不可用状态。EloqData还充分利用云盘ESSD和对象存储来提升数据库的可用性并实现云原生环境下性能与成本的平衡。

ESSD加速日志

EloqData充分利用云盘ESSD的高吞吐与低延时、弹性扩展与按需计费以及全托管多副本的高可用性,用于数据库Redo日志提交,并可配置多个日志盘提升数据库数据库写入与恢复性能。


EloqData通过深度优化的存储层设计,充分发挥云盘 ESSD 的技术特性,为数据库核心场景提供高效支撑。针对Redo日志提交这一高频写入、高可靠性要求的关键环节,ESSD 的高吞吐与低延时特性,可确保日志记录实时落地,避免传统存储的写入瓶颈;其弹性扩展能力与按需计费模式,则能灵活适配业务峰值波动 —— 在流量激增时快速扩容以保障写入性能,低谷期自动缩容降低成本,实现资源与成本的动态平衡。


同时,ESSD 的全托管多副本机制(通常采用 3 副本冗余存储)为 Redo 日志提供了天然的高可用性保障,即便单节点存储故障,也能通过副本快速恢复数据,大幅降低日志丢失风险。在此基础上,EloqData支持配置多个日志盘形成并行写入链路,通过优化设计的并发工作策略,进一步提升数据库的并发写入效率与故障恢复速度,使系统在高负载交易场景下仍能保持稳定的性能表现。


对象存储均衡成本

云盘ESSD虽然有诸多好处,但其也有成本较高的问题,因此EloqData并非将云盘ESSD用于数据存储,而是用于加速日志。而对象存储则具有容量海量扩展能力、成本优势显著、高可用性与耐用性以及易用与云原生适配等特点,EloqData在公有云/云原生架构下可以选择将全量数据存放在对象存储之中,以达到容量与成本之间的平衡。


为了解决对象存储的在随机读性能、存储灵活性欠缺与事务性支持弱等方面缺点,EloqData使用全新的架构设计带来了以下创新:

- 分布式事务需要仅一次磁盘fsync,降低分布式事务延时

- 数据操作通过checkpoint机制异步更新至全量数据存储中

- 热点数据缓存在本地NVMe SSD与内存之中,提升数据响应效率

- 缓存未命中时才去全量数据中获取,降低IO压力


云盘 ESSD 虽凭借高吞吐、低延迟等特性在性能层面表现突出,但较高的单位存储成本使其难以承担全量数据存储的角色。因此,EloqData对其进行针对性复用—— 仅将 ESSD 用于数据库日志加速场景,借助其毫秒级写入响应保障 Redo 日志的实时落盘,为事务一致性提供底层支撑。


与之相对,对象存储的特性使其成为全量数据存储的理想选择:其近乎无限的容量扩展能力可轻松应对 PB 级数据增长,无需担忧传统存储的容量上限;显著的成本优势(尤其是冷数据存储场景下,单位 TB 成本通常仅为 ESSD 的 1/5-1/10)能大幅降低长期存储开支;多区域冗余备份机制带来的 99.9999% 耐用性与高可用性,可满足核心数据的持久化需求;而原生支持云 API、兼容 Kubernetes 等云原生生态的特性,更使其能无缝融入公有云架构。基于此,EloqData在公有云 / 云原生环境中选择将全量数据存储于对象存储,实现容量弹性与成本优化的平衡。


为弥补对象存储在随机读性能较弱、存储灵活性有限及事务性支持不足等短板,EloqData通过架构革新构建了针对性解决方案:

- 以日志为事务基准:将日志提交成功作为事务完成的标志,即便全量数据尚未同步更新,也能通过日志确保事务的原子性与持久性,突破对象存储对事务支持的限制;

- 异步更新机制:数据操作通过 checkpoint 机制异步批量同步至对象存储的全量数据中,避免实时写入带来的性能损耗,同时减少对对象存储 API 的高频调用;

- 多级缓存加速:将热点数据分层缓存在本地 NVMe SSD与内存中,使大多数的读请求无需访问对象存储,大幅提升数据响应效率;

- 按需读取策略:仅在缓存未命中时才从对象存储获取全量数据,通过减少对远端存储的直接访问,将对象存储的 IO 压力显著降低,同时利用预加载机制优化冷数据读取体验。


这种 “ESSD 加速日志 + 对象存储承载全量数据 + 多级缓存弥补短板” 的协同架构,既发挥了不同存储介质的优势,又通过创新设计化解了各自局限,实现了性能、容量与成本的最优配比。


04

写在最后

晨章数据 EloqData 以全新代码与架构设计,深度拥抱硬件与云技术发展。其分层架构适配 NVMe SSD 的高性能,用云盘 ESSD 加速日志提升效率;结合对象存储平衡容量与成本,通过热点缓存、异步更新等机制弥补对象存储短板,实现硬件红利释放与云原生环境的高效协同,兼顾性能、成本与扩展性。




上期回顾


云基座技术是大厂专有,

那小厂和私有云的出路在哪里?



下期精彩预告


深度研究报告 | 

AI智能体所需的数据库产品及未来发展趋势


【声明】内容源于网络
0
0
晨章数据
内容 33
粉丝 0
晨章数据
总阅读7
粉丝0
内容33