随着云计算、虚拟化应用渐渐成熟,信息安全、自主可控等信息化建设理念的出现,政企应用的架构及基础设施正在经历着变革,越来越多的政企应用开始使用互联网技术,采用国产化中间件,并部署在云、虚拟化、x86架构的基础设施上。这场变革中,政企应用都会经历将原有部署在大型机、小型机等等专有设备的各类系统,迁移到云、虚拟化、x86环境中,解决国产化中间件相比于国外产品性能尚有差距的问题。对于政企应用中广泛存在的批量业务,面临的问题将会更加明显,由于业务量大,业务时间窗口有限,批量业务大多使用大型机、小型机等专有设备,或使用存储过程运行于专有设备的数据库中,一旦迁移至云、虚拟化、x86环境,首要需要面临就是基础设施处理能力严重下降,导致业务无法正常完成的问题。这种情况下,必须换一种思路,从架构角度来解决这个问题。采用分布式并行计算技术无疑是一个尚佳的选择,既可以解决处理能力问题,还可以使批量业务处理系统具有极强的扩展能力,持续支持业务增长。本案来自政企领域核心业务系统,已经成功应用了基于分布式并行计算技术的批量业务处理系统,取得了良好的效果,具有一定的示范意义。

分布式并行计算技术原应用于科学计算领域,随着云计算、虚拟化等技术广泛应用,分布式并行计算技术应用的领域得到了极大的提升,典型地,大数据处理领域的Hadoop、Spark就是典型的分布式并行计算技术的应用实例。在政企领域,广泛存在着一类业务——批量业务,随着业务系统规模逐渐扩大,批量业务的处理量也随之增大,如何稳定、快速地处理批量业务,并适应未来业务快速增长,成为现代政企业务系统的关键点之一。

某系统,负责全国加工贸易出口业务,为实现通关服务便利化、口岸管控精确化等目标,部署新一代通关系统,将原有的“项号级”核销细化为“料号级”核销。设计处理能力为:日处理20万报关单,6000本手账册,涉及数据量约2T,未来3-5年,日处理能力预计实现3倍增长。按照统一要求,该系统将部署在虚拟化环境中,且采用国产系统。原有系统全部使用国外知名数据库存储过程实现,运行在小型机中,由于业务量增长迅速,原系统已经接近了性能极限,且无法扩展,难以满足未来业务需要。经过多次调研,项目最终采用了基于分布式并行计算技术的解决方案,使用多台主机集群方式,形成了分布式的处理平台,所有业务由平台统一调度执行,平台负责资源管控、负载均衡及故障处理。目前平台使用20个节点,已达成日处理目标,且具备很强的扩展能力。




东软 SaCa P3 并行批量处理平台是一款专注于政企领域批量业务处理的产品。SaCa P3采用分布式并行计算技术,通过联合多台主机的处理能力与存储,形成一个具有强大处理能力的集群,实现批量业务多机并行处理,极大提升业务执行效率。在应用系统普遍部署到云、x86等基础设施的今天,SaCa P3实现了仅利用常规设施,便可提供与小型机等专用设备相媲美的处理能力,更可提供专用设备无法企及的扩展性,实现处理能力随业务同步增长。



