
为什么要进行数据交换
企业大量的IT投资建立了众多的信息系统,但是随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。然而, 这些为不同应用服务的数据都存储在许多不同的数据源之中。为更有效地利用这些信息,实现企业或社会组织数据共享与交换,减少数据采集的重复劳动和相应费用,需要从多个分布、异构和自治的数据源中集成数据, 同时还需要保持数据在不同系统上的完整性和—致性。
因此,如何对数据进行有效的集成已成为增强企业商业竞争力的必然选择,尤其是对于那些拥有多部门多数据源的大型企业或者组织来说,每一个部门都拥有自己的数据库,这些数据库可能是独立、异构且自治的,为了各部门间更好的合作 和数据共享,建立—个完善的数据交换和集成系统是极有应用价值而且尤为重要的。
数据的流转和逻辑复杂,难以追溯数据来源
许多业务部门目前没有统一的数据资产标准,各业务系统中数据质量参差不齐,存在信息孤岛现象,不同部门同一名称数据可能有不同的含义,同一个数据可能又有不同的命名,数据有效交互和共享存在问题。存在部分系统数据更新不及时的问题,核心业务数据无法朔源,数据的准确性和及时性较低,现有报表在建模时几乎每个报表都要重复建模,人为参与工作过多且层次复杂,无法高效的对流程及指标进行精确监控及分析,数据的利用效率和模型重复使用率较低。
异构系统之间数据交换问题
不同部门的业务系统千差万别,各个部门往往采用不同的应用系统、数据库系统及操作系统。各种数据交换技术运用在异构环境中时有不少共性问题,主要包括耦合度大、成本高、实施难度大等。目前大多数交换方案的实现成本都很高,他们要求程序员的编程能力较高,或要求单位的业务逻辑满足一定条件等。
一些跨平台的异构系统为屏蔽硬件系统、操作系统及网络协议的差异性,对参与交换的双方都有一定的限制。这些方案包括中间件技术、分布对象技术等,在实现上有较大难度,对程序设计者、系统软硬件及参与交换的双方都有较高要求。
而ETL工具就是解决上述问题的重要环节,实现了对数据抽取、传输、整合、以及装载的一站式支持,是构建数据中心、数据仓库、数据交换和数据同步等数据集成的理想工具。
项目需求
基于《用户需求说明书-公安.doc》的建设范围,结合公安信息化发展趋势和成熟先进的技术,提出针对公安海量、异构、多样化的信息资源整合、管理、共享和应用方面的一整套大数据中心支持系统,基于分布式综合搜索子系统、分布式文件子系统以及MPP数据库集群,利用大数据分析技术实现对海量数据、非结构化的存储及访问。
项目成效
该项目最大的特点是数据量大,数据种类达到250类,截至目前共采集内部数据资源约6.3亿条。每天数据更新量约30万条,并随着数据资源的增多,每天更新量会进—步攀升。
总结
随着数据交换在企业中越来越受到重视,菲斐科技不仅仅局限于只对数据进行简单的交换,已经通过数据交换打造出了自己的数据中台和数据共享平台,通过对数据的加工、分析和共享提升了数据的价值。创建了在各个业务系统之间的数据高速公路使原先的数据孤岛,变成数据仓库、数据集市有效的对数据进行管理和应用。


