8月16日,2022银行数字化大会在上海正式开幕,大会以“数智创新与高质量发展”为主题,邀请30+业内专家共同探讨银行数字化转型创新驱动与策略路径。

南京鹏云网络科技有限公司(以下简称“鹏云网络”)受邀参会,鹏云网络创始人、董事长兼CEO陈靓博士出席并发表了“以数据为中心,构建银行‘敏捷/高性能/智能’的存储底座”为主题的演讲。

对于银行数字化转型的新阶段,我认为有三个大的趋势。

第一,银行数字化转型是在往纵深方向发展的,不是简单的以产品为中心,目前其实更多的是以服务为中心,再逐渐往以业务为中心发展。我们说全面数字化,不只是简单的一些业务数字化,而是从技术、业务、OA、生态等做全面数字化,而且数字化的边界在不停的往外扩展。
第二个趋势,实际上是因为银行的业务越来越复杂、越来越丰富,那么这就对于银行的IT信息系统产生了能够快速迭代与上线的要求。其实对于整个IT架构而言,怎么去支持银行业务快速上线迭代,是一个非常重要的问题。
第三个趋势,是以数据为中心,在此基础上我们会有一个技术中台系统,“前后中台”联动转型,对数据进行智能化精细化管理。怎么打消数据孤岛?怎么能够避免业务的重复建设?其实在这一块能够起到很重要的作用。

这是我们认为一个比较好的银行IT架构,从底层来讲是一个很坚实的数据后台,在此基础上,数据可以随意流入,往上是我们的技术中台——数字技术基础平台,也就是我们的云原生架构,可以支持各种各样的新技术,比如人工智能、区块链、分布式技术、高性能计算以及云服务化等等。再往上依次是低代码、微服务等业务前台与业务层面上的落地场景。显而易见,它是一个三位一体的整体趋势。
云原生我们也可以叫做容器云,其实它已经在很多银行与证券公司使用了,为什么要上云原生呢?业界其实有一个比较普遍的认知——它非常敏捷、迭代快且轻量。上容器云能满足业务丰富情况下快速迭代的需求,相对于云1.0即虚拟化云而言,容器云更具有敏捷性、灵活性和扩展性。

在当前情况下,有很多银行在上容器云之后会遇到这样一个问题,在使用过程中,他们只是把它放到一个简单的环境下,而不会把它放到一个生产环境下,实际上很多都是处于测试环境。
那么阻止云原生进入其关键业务场景的原因是什么呢?我们在跟证券公司和银行合作时发现,是因为它的底座问题。云原生在国外其实已经很普及了,那么阻碍云原生往前发展、真正落地去使用的一个很重要的原因,根据一些咨询公司调查,有近70%的用户认为持久化存储非常重要甚至极其重要。

现在的银行系统很多时候会采用硬件存储、本地盘,其在帮助云原生落地时是存在问题的,硬件存储固然足够可靠,但并非高可用,也不一定足够敏捷与易扩展,所以怎么来解决这个问题呢?我们实际落地的应用办法是什么呢?用分布式存储,分布式存储即软件定义存储,PC机加软件实现存储的模式。

我们在底下一层,利用标准服务器和IP网络来构建分布式统一资源池,资源池的好处就是实现数据流通,有了资源池以后,数据不再是孤立的。上层应用不需要进行任何更改,即可基于Kubernetes标准的CSI接口与容器平台对接,为容器云提供存储资源服务。
市场上有各种存储类型,包括分布式存储也有很多的产品,我个人认为只有符合上述特性的分布式存储产品,才能够在云原生或者容器下面很好的工作,发挥其效用。比如说是否为全对称的架构,不存在孤立的节点,即无中央控制节点制约、无中央元数据节点制约,可以避免单点故障、扩展瓶颈以及性能瓶颈,能够保证高可靠性。

其实目前分布式存储市场较为鱼龙混杂,有这种架构的并不多,鹏云的存储产品则完全是这种全对称分布式架构。基于此架构的存储系统可实现快速自动扩展,比如说银行的业务量在某一时刻陡增,怎么能够快速将机器加进来、将资源快速加进去?这就需要看其扩展能力。

所以,分布式存储必须要满足以上几个特性,才能够用到云原生上。
实现了高可靠、快速扩容以及存储的敏捷编排,有了这样底座的存储,我们是可以支持虚拟化的,比如我们通常所说的OpenStack、VMware等等。那么从云1.0再进一步,我们可以去支持K8S,也是所谓的云2.0——容器云。

同时我们还可以支持大数据平台以及各种各样的云服务,包括微服务、中间件服务、laaS云服务等等。逐层赋能,直至业务中台层,我们可以对接不同的平台,比如测试环境、开发环境、生产环境。
云原生的应用场景主要应用于各种业务的计算,比如说Kafka这种数据中台的业务应用。
我们通常看到的是人工智能HPC场景,即做大数据分析的这种应用场景,在此应用场景中它其实有很典型的特性。它其实是分成很多的pipeline ,在pipeline里面它有很多的阶段,每一个阶段它对数据高频的读和写呈现出频率非常高的情况,同时它的每一份数据都比较小,比如图片视频,从图片、视频里去提取相应的数据,它的单个文件小但是量大,有上百亿的文件。

像这种很典型的应用场景,我们需要底层平台去打通,否则易存在一个问题,即数据从一个存储系统到它的pipeline的一个阶段,在这边做一个预处理,处理完后会写到另外一个存储系统,再从那边拉起来,到pipeline的第二个阶段,再做相应的数据清洗。依此到另外一个阶段去做模型演练,最后反复。整个过程的效率是非常低的,所以如果你拥有底层的存储平台做了数据打通之后,数据是不会在不同的存储系统间跳跃的,对整个的 AI高性能的运转是非常有利的。这就是我们支持对海量小文件和高频繁的存储系统的一个架构。

在这个架构层面上,我们通常使用对象存储产品。对于鹏云而言,我们在自研方向做了很多年。我们认为对象存储的架构和目前国内使用国外开源的架构存在的最大区别,是我们对细致数据的管理。比如元数据,我们有一个元数据集群,专门对元数据进行管理,可以支持千亿级的文件和千亿级的小对象。对于小文件和小对象,在存储时将它们集聚在一起,可节省两倍甚至三倍的大量空间。其次,对于超小对象的存取,我们将其与元数据一同存储,实现极速的访问性能。通过上述一些核心技术,我们可以对高性能的AI分析的应用场景提供更好的支持。

目前,银行高并发交易HPC场景对于高性能、高可靠的存储需求很迫切,比如在双11这样的一个场景下,系统的交易率其实并非平滑,在某一个时间节点或者某一件事情突然出现的时候,它会出现剧增的情况。

比如在双11当天0点之后,它在10分钟之内的交易率是平常的6.4倍,怎么能够确保在这样的情况下,整个系统还能够稳定实施运转呢?其实对整个系统进行分析,会发现它的底座非常关键。

我们在这个层面就做了大量的工作,我们在存储数据的时候,用的完全是自己写的一套技术——裸设备技术。我们在处理网络延迟的时候,因为此时数据会处于远端服务器上,为了减少网络传输的延迟,我们有一个核心专利技术——原生块存储技术,以裸设备方式直接读写,实现底层介质的高IO、低延迟。
在系统可靠性方面,我们在证券公司有实际落地案例,即使直接踢网线或者断掉电源,整个系统都不会受到干扰,也不会影响数据,这就是我们的智能IO调度技术。
此外,为了让小IO性能更快,我们研究了一种随机IO优化技术,能够使小块IO合并成大块IO落盘,优化随机IO为半顺序IO,提升4倍IO性能。

我们再看系统秒级故障恢复。其实在整个业界,这一块我们是做的不错的,在硬件故障的情况下,我们出现业务中断的时间小于1秒,业务基本处于完全无感知状态。
同时,我们引入WTS高速固态盘技术,可实现全系统掉电保护、数据保护,采用分布式和集群架构实现无单点故障。以上是我们存储系统在高可用性上的核心技术支撑。
另外一个很有意思的应用场景是海量的非结构化数据,比如说在银行里面,我们有双录、邮件、文件、柜台的各种照片以及电子凭证和票据,像这些数据我们叫做非结构化数据。

如上所示,非结构化数据暴增,占整个企业数据比重高达80%,这是一个量非常大的一种数据类型。从2014年的大概6.2ZB到2025年的175ZB增长,全球数据每年增速约40%。那么在对这个数据处理和分析过程中,怎么能够很好的保存这些数据?
我们在帮助客户去解决问题的时候,发现了几个银行数据面临的挑战。第一个是面对数据量爆发式增长现象,解决大数据量存储的问题。

第二个是数据的温度特征,访问频次越快的我们叫热数据,访问频次一般的是温数据,基本不访问的是冷数据。在这个情况下,一个数据进来头三天访问会很频繁,我们叫热数据,等到过了60天左右以后,数据基本不访问,温度慢慢变冷。如果依然将这些冷数据放在离业务很近的地方,实际上是浪费了大量资源的,这是完全没有必要的。怎么根据数据温度调节它所在的位置?怎么来做数据的生命周期管理?实际上是对我们而言也是帮助客户去解决的一个重要问题。
其次是管理的复杂。目前市场上有各种各样的设备,不同厂商各种类型,大量的异构物理存储资源,大大增加了存储管理的复杂性成本和能耗,造成存储资源浪费。比如说我有5个手机,每个手机上可能都存到一些照片,我得记下来哪些照片存在哪个手机里面,并且需要进行管理,对于运维而言非常复杂。

那么怎么解决这些问题?面向海量的非结构化数据,我们可以做一个存储操作系统,把软件放到设备的更上一层,为业务提供标准化的接口,应用不需要更改。可提供数据接入与访问功能、存储资源自动分配功能、多场景数据共享、处理和分发,以及提升数据治理能力。整个的数据调度,包括生命周期管理,都不需要人工,操作系统自动处理。

举个例子,比如说我们将一些热数据放到SSD盘里面,当它访问频率降低成温数据后,我们将它放到磁盘里面,再过一段时间成为冷数据后,就直接将它放到蓝光盘里面。当然有的时候由于调取的原因冷数据也会变,这时候我们会从蓝光盘里面将它拉取出来,放进SSD里面访问,依此反复调取。
我们对上对下屏蔽了所有差异化的东西,能够智能管理数据,做到统一数据管理,提高存储性。通过智能存储网关,对于数据进行分级存储,实现数据的智能精细化管理。借助以上几步来构建智能存储底座,实现数据全生命周期管理,持续释放数据价值。


如上图所示,我们的产品支持整个云的架构体系,打通了各种各样的设备,这是我们的高性能数据聚合存储平台,可以支持VMware、OpenStack、K8S容器等。我们也有跨设备分布式对象存储,支持非结构化数据,比如双录、电子票据、档案和文件等等,也可以管理不同的设备。
以上就是我们鹏云在银行数字化转型中的能力体现。


