每天百亿条银行数据共享交换，这个平台如何运作的

随着银行业的竞争日益激烈，银行业务种类迅猛增加，业务系统及应用系统规模和复杂度也随之增加，银行对数据的分析需求越来越多，系统与系统间的数据交互活动越来越频繁，构建批量数据交换平台以满足日益迫切、频繁的批量数据交换需求成为各家银行的普遍选择。

本文以国家政策性银行中国农业发展银行（以下简称农发行）为例，深度解读农发行企业级批量数据交换研究与实践，为金融行业数据共享交换管理提供一种新思路。

随着金融科技的迅猛发展，农发行原有的数据交换平台在功能上、时效性、安全性以及支持大数据交换等方面已不能满足全行需要，存在诸多问题：

• 交换性能较低，基于Oracle作为中间存储，以落地文件为交换媒介

• 安全性低，数据交换通过FTP文件交换，缺乏安全管控

• 缺乏服务管理，缺少有效的管理手段，影响性分析的粒度较粗

• 时效性低，需要上游系统统一批处理完成，T+1才能开始卸载

• 缺乏统一规划，数据交换功能没有统一规划，定位不够清晰

• 数据交换类型有限，目前为文件及数据库表的数据交换

为配合农发行新一代核心业务系统的建设，根据其IT整体规划中的数据架构规划，结合各应用系统现状，在新一代核心上游生产系统和下游数据消费系统（数据仓库、报表平台等）之间，采用统一采集交换平台批量传输数据服务模式，建设新的数据交换平台。

基于亿信华辰自主研发的数据交换软件EsDataExchage，为农发行建设了全行级数据交换平台，该平台利用数据总线架构模式，承担全行数据传输的枢纽工作，统一维护行内各个系统之间的数据接口，统一协调数据资源，统一为各个系统提供数据交换共享。

新的数据交换平台与农发行企业级批量数据流转架构的关系如图所示。

△农发行新数据交换平台批量传输架构图

①数据交换平台从数据生产系统采集数据，主要有文件采集和DBLINK采集两种模式。

②数据交换平台采集数据生产系统数据并下发至数据仓库。

③数据交换平台交换数据至数据集市，主要分为三种供数情况：一是贴源数据直接供给数据集市；二是数据集市加工后数据回流数据仓库；三是数据集市间的数据交换。

④数据仓库加工后数据回流至数据交换平台，数据仓库数据有以下两种供数情况：一是数据仓库卸载数据文件通过数据交换平台供给数据集市；二是数据仓库卸载数据文件通过数据交换平台供给数据生产系统、大数据平台、省行平台等。

⑤通过集中调度平台实现数据集市、数据展示层与数据仓库之间的数据流转，无需数据交换平台参与。

⑥数据交换平台将获取的数据生产系统数据或数据仓库、报表平台等加工后的数据，传输给省行平台。

⑦数据生产系统间批量数据交换。⑧数据交换平台直接采集数据生产系统数据并下发大数据平台。

新的数据交换管理平台，构成了银行数据体系的基础。该平台提供转码、拆分、合并等简单的数据加工服务，一方面帮助数据供应系统减轻数据下发压力；另一方面通过提供增量数据及共性数据加工，帮助数据消费系统减少数据处理时间，提高效率。该平台具有以下三大价值：

时效性强。平台支持7×24小时数据交换，不仅为总行相关系统提供T+1、T+0以上批量数据，也将成为各种分行的数据消费的唯一来源

扩展性高。平台提供了丰富的脚本组件、转换组件、清洗组件、存储过程组件、系统命令组件，并内置了多种函数库，提供跨数据库类型和版本的算法兼容性，同时支持自定义，保证了平台工具的扩展性。

安全可靠。采用加密传输机制，内置大量的数据脱敏算法，支持对系统和数据的操作行为审计，保证数据的安全性。