大数跨境
0
0

祝贺神农系列首个产品荣获“广东省名优高新技术产品”称号

祝贺神农系列首个产品荣获“广东省名优高新技术产品”称号 东华发思特软件
2024-03-11
2

  广东东华发思特软件有限公司的神农系列核心产品“神农生物数据库系统V2.0”(简称:ShennongDB)凭借着突出的创新能力以及先进的研发水平,获得“2023年广东省名优高新技术产品”称号。

  “名优高新技术产品”评选旨在遴选出国内首创达到国际或国内先进水平的产品而举办的评选活动,是在高新技术产品评选基础上的延续和进一步升级,对高技术、高质量、市场前景有更高要求。


产品介绍


  ShennongDB作为公司神农系列的核心产品之一,以多模存算分离架构和湖仓存储体系为基础,为HarryData数据中台提供安全可靠、稳定高效的底层数据存储支撑。其内置的多模处理引擎,具备出色的数据整合能力,整合关系型数据、文档数据、键值数据、时序数据、指标数据、图数据、文件、模型和时空数据等多种数据类型。内置向量化引擎,能够高效地处理并行操作,提升查询性能,在应对大规模数据处理和复杂查询时表现出色。具备中间数据落盘能力,有效降低了内存占用,避免了因内存不足而导致的数据查询失败,在物化视图构建、数据ETL处理等内存密集型的场景中,能够极大地提升查询的稳定性,确保HarryData数据中台在各种复杂场景下都能稳定运行。


产品特性

1

多模存算分离架构

原生采用湖仓存储体系,计算引擎内置关系型数据、文档数据、键值数据、时序数据、指标数据、图数据、文件、模型和时空数据多模处理引擎;针对计算和存储系统分别进行独立设计和优化,提升数据的可靠性,服务可用性;存储采用 S3 等更低成本的共享存储,计算存储独立扩展,降低整体的成本。

2

半结构化数据分析能力

在建表、导入、创建物化视图、查询、存储等场景原生支持Map、Struct、JSON、Array等半结构化数据类型,通过函数扩展原生支持半结化数据分析、存储、查询的能力。

3

中间数据落盘能力

允许相关的算子将计算的中间结果缓存到磁盘上,从而降低内存占用,尽量避免查询因内存不足而失败,在物化视图构建、数据 ETL 处理等内存密集型的场景中,极大地提升查询的稳定性。

4

自动生成列能力

支持根据生成列表达式自动计算表达式的值并在导入时即存储,在查询时会自动判断并进行改写,在无需增加查询复杂性的情况下再一步提升查询性能,尤其适用对JSON、Array、Map、Struct等半结构数据的查询加速和对复杂表达式的计算加速。

5

物化视图构建

支持基于视图创建物化视图;支持通过SWAP原子替换物化视图,从而实现物化视图的结构变化不影响嵌套的血缘关系;支持手动激活失效的物化视图,从而在基表重建后仍旧复用历史物化视图;在物化视图刷新上,支持对分区数据变化感知来自动进行分区级别刷新;支持 视图增量汇交,提升如指标平台、面向主题的宽表场景下的改写能力,降低物化视图的维护成本。

6

高并发的实时聚合场景中采用增量查询二次缓存能力

高并发实时聚合场景中,采用增量查询二次缓存策略,重用历史查询结果以提升效率。通过主副写入分发,降低Memtable内存占用、排序和编码开销,同时减少网络传输量,显著提升写入性能。


产品案例

   截至目前,ShennongDB内置的多模处理引擎为HarryData数据中台关系型数据、文档数据、键值数据、时序数据、指标数据、图数据、文件、模型和时空数据等提供了强大的数据处理与高效的数据管理能力。在智慧城市多个细分行业得到广泛应用,在智慧文旅、乡村振兴、智慧应急、智慧交通、智慧公安、智慧教育、智慧城管等领域拥有数十个落地案例。


-THE END-

【声明】内容源于网络
0
0
东华发思特软件
东华发思特是国内杰出的智慧城市与产业数字化服务商,公司自有HarryData大数据中台、BobbyLink物联网中台、神农AI中台三大数字技术底座,已在多个行业取得广泛应用。
内容 197
粉丝 0
东华发思特软件 东华发思特是国内杰出的智慧城市与产业数字化服务商,公司自有HarryData大数据中台、BobbyLink物联网中台、神农AI中台三大数字技术底座,已在多个行业取得广泛应用。
总阅读78
粉丝0
内容197