大数跨境
首页
>
鲲鹏BoostKit使能套件小课堂（第一期）
>
0
0

鲲鹏BoostKit使能套件小课堂（第一期）

鲲鹏BoostKit使能套件小课堂（第一期） 黑龙江鲲鹏生态创新中心
2024-09-24
2



鲲鹏BoostKit

大数据使能套件


概述

互联网时代出现了大量的非结构化的数据，对数据的分布式存储和并行处理技术提出了很高的要求，大数据技术因此兴起。

移动互联网时代，移动应用远远比传统互联网更丰富、更普及，数据的结构也发生了很大的变化，对数据处理的性能和高并发的要求相比以前有巨大的提高，进一步推动了大数据交互查询和全文检索场景的发展。
到了即将爆发的物联网时代，任何信息都连接到网络上，我们需要将这些信息关联起来，发现其背后存在的规律，为人类的生活、生产创造更大的价值，这就是人工智能时代的大数据处理，需要提供低时延的实时处理能力，推动大数据技术进一步发展。
从大数据的发展趋势可以看出，大数据对于计算能力的要求越来越高，需要有更适合大数据技术特征的计算硬件来提供更高的计算能力。TaiShan服务器的鲲鹏916系列处理器提供32核2.4GHz，鲲鹏920系列处理器提供24核2.6GHz、32核2.6GHz、48核2.6GHz、64核2.6GHz四种规格，均高于业界主流产品，鲲鹏系列处理器能高度匹配此类大数据业务场景。
鲲鹏BoostKit大数据使能套件（以下简称鲲鹏BoostKit大数据）针对大数据组件优化数据处理流程，提升计算并行度，充分发挥鲲鹏系列处理器的并发能力，给客户提供更高的大数据业务性能，支持TaiShan服务器与业界其他架构服务器混合部署，保护客户已有投资，不捆绑客户的服务器架构选择。


01

架构

鲲鹏BoostKit大数据总体架构主要由硬件平台、操作系统、中间件、大数据平台构成，其中大数据平台支持华为自研的FusionInsight大数据平台以及开源Apache、星环、苏研大数据平台。
鲲鹏BoostKit大数据总体架构图

02

优势

鲲鹏BoostKit大数据基于鲲鹏服务器，端到端打通硬件、操作系统、中间件、大数据软件的全堆栈，支持多个主流的大数据平台。主要价值如下：
高性能
鲲鹏BoostKit大数据提升计算并行度，充分发挥华为鲲鹏处理器的多核能力：
  • 华为鲲鹏920 5220处理器对比业界主流中端芯片：计算业务性能持平，BoostKit主推型号
  • 华为鲲鹏916 5130处理器业务性能对比业界主流低端芯片：性能持平，BoostKit主推型号
  • 华为鲲鹏920 5250处理器对比业界主流高端芯片：计算业务性能提升15%
  • 华为鲲鹏920 3210处理器对比业界主流低端芯片：计算业务性能提升10%
安全可靠
鲲鹏BoostKit大数据支持处理器内置加密硬件，更安全可靠：
  • 华为鲲鹏920处理器支持国密算法加速，联合FI构建国产化安全可信大数据。
  • CPU内置硬件加速器，更安全。
  • 加密对业务性能的损耗低于10%。
开放生态
鲲鹏BoostKit大数据拥有成熟的大数据生态：
  • 支持开源Apache组件，支持苏研、星环等多个第三方大数据平台。
  • 支持大数据组件TaiShan服务器与其他架构服务器混合部署。

03

组网

鲲鹏BoostKit大数据的系统组网包含管理平面和业务平面。

鲲鹏BoostKit大数据组网示意图

大数据集群建议双平面，管理平面是GE网络，业务平面是10GE网络。
优先推荐两层网络，如果采用三层网络，建议网络收敛比是3:1。
客户端可以部署在大数据集群内网、大数据集群外网或者互联网，可以是物理机也可以是虚拟机。客户端与所有大数据节点的都要网络联通。






【声明】内容源于网络
0
0
黑龙江鲲鹏生态创新中心
黑龙江鲲鹏生态创新中心由哈尔滨新区政府投资建设，坐落于松北区深哈产业园，华为技术有限公司提供技术支持。
内容 176
粉丝 0
黑龙江鲲鹏生态创新中心 黑龙江鲲鹏生态创新中心由哈尔滨新区政府投资建设，坐落于松北区深哈产业园，华为技术有限公司提供技术支持。
总阅读27
粉丝0
内容176