成功案例 | ExponTech软件定义存储产品为L４级自动驾驶技术加速升级，轻松应对海量数据

ExponTech

2022-12-23

导读：ExponTech为L4级自动驾驶客户元戎启行提供海量数据存储服务，真正实现一套统一数据存储底座支撑全业务场景，并通过生命周期和访问次数（热点）数据迁移策略实现智能数据流动，极大的简化了用户的运维管理

元戎启行是一家国际化的L4级自动驾驶解决方案提供商，为车企、Tier1、出行公司、物流企业等提供多应用场景、定制化的自动驾驶解决方案；其在深圳、北京均设有研发中心，公司的研发人员覆盖感知、高精度地图及定位、规划与控制、硬件系统、基础架构、模拟系统、数据平台等自动驾驶全研发链。元戎启行在深圳、北京设有研发中心, 和东风汽车、曹操出行等知名企业在全国多地开展自动驾驶相关合作，进行了大量的道路测试和试运营。自成立以来，元戎启行在全国累计的安全路测里程已超过700万公里。

车轮上的海量数据，存储系统该如何应对？

作为体现国家工业实力的重要产品，自动驾驶汽车是国民经济潜在增长的新代表，也是国家工业制造领域与新技术融合的表现。发展至今，智能自动驾驶汽车的发展空间越来越大，自动驾驶技术的升级需要海量数据的支撑，算法模型需要通过输入数据来进行训练。在自动驾驶的车辆训练场景中，每辆车每天会产生海量的数据，这些数据跨越端边云需要汇入到数据中心，从脱敏-清洗-标注-训练-模拟-仿真-推理-归档，走完一个完整的产生到归档的流程，对于海量且非结构化数据居多的应用场景来说，目前采用传统的集中式存储无法提供兼具性价比和大规模容量存储能力的方案，且对于数据被访问的冷热感知也无法跨越数据集群去实现。一部分车联网和自动驾驶企业，并没有为海量半结构化和非结构化数据设定特殊的存储场景，以及具备这样的存储能力，而海量数据的存储、分析、决策、运营，正成为困扰大部分ADAS企业的主要数据运营难题。

数据成本：

企业投入规模运营以后的自动驾驶运营车辆所产生的数据以 PB 为单位递增，这些数据存储和运营成本很显然是当前大部分企业之前没有预见到的，如何降低每 TB 的存储成本，逐步成为各大车企之间控制运营成本的主要问题。

数据流动：

大部分的自动驾驶企业，架构化数据通过 5G 传输，非结构化数据通过磁盘快递的方式在两地甚至多地之间同步，而实际上车辆投入运营以后，是不可能采用快递磁盘这种方式收集大量的运营车辆的数据的。

生命周期：

不同的数据类型和数据生命周期，对于企业带来的数据价值不一样，使用频率也不一样，我们需要基于业务不同的使用习惯和频次，分层存储这些海量的数据，降低成本。

数据规模：

从路测到实际投入运营，车辆数量的增加直接带来明显的数据增量，甚至是 PB 级的，这些文件尤其以非结构化海量的视频和影音文件居多，当前车企或者自动驾驶企业，开始重点关注汽车产生的数据的存储，管理，使用，分析。

随着自动驾驶技术的不断升级，车联网和自动驾驶企业急需一套可实现应用多协议访问，直接在存储平台进行分析和计算，避免海量数据在存储平台和计算平台之间频繁移动，同时服务于训练场景和未来的运营场景的统一存储和数据服务平台，来面对海量数据，降低存储成本，提高开发效率。

华瑞指数云SDS产品真正实现一套统一数据存储底座支撑全业务场景和数据全生命周期管理

华瑞指数云ExponTech为元戎启行提供分布式存储解决方案，替代原有自建的glusterfs开源系统，其中ET-GDS存储对接K8S集群，ET-UOS集群满足客户海量非结构化数据存储需求，友好的图形化管理工具提供了集中资源管理及运维能力，高效便捷，大幅降低运维难度；通过先进的SSD缓存调度算法、生命周期和访问次数（热点）灵活数据迁移策略，使得数据均衡、管理灵活、避免厂商锁定，真正实现智能数据流动。

ExponTech UOS 对象存储集群提供数据中心跨站点数据同步能力，海量小文件归并，数据生命周期迁移，业务感知的数据冷热迁移，基于第三方对象存储的回源和分层能力，跨站点数据中心数据同步能力，多租户管理能力等。全部基础架构基于X86标准化服务器，易于购买、维护和扩展。软件定义全部数据场景，便于版本功能升级，按需定制未来的数据能力。数据存储场景根据业务访问频次冷热感知，无需人为干预的在多池之间流动。ET-UOS对象存储集群还提供了原生的HDFS协议接口，数据无需二次转存到专门的HDFS集群上，各类大数据分析引擎可以用存算分离的方式直接访问数据，发起数据分析任务。

ExponTech SDS 产品真正意义上实现了一套存储集群支持多套应用，对于自动驾驶常见的 HPC 仿真集群和 AI 训练集群，除了提供 S3/NFS 类型的对象和文件接口之外，基于多协议互通的能力，通过 HDFS 接口面向原来的大数据分析集群，提供 HDFS 接口，数据存入以后，一站式仿真，分析，训练。