数字化转型离不开数字化的业务模式,而数字化业务的运转离不开网络。网络流量数据是系统间基于网络而实时产生的交互数据,承载了所有数字化业务的过程与状态,是驱动数字化转型的“业务大数据”中十分重要的动力。它们分布于物理、虚拟化和云环境等各种技术环境里,复杂的技术架构、不统一的数据结构,让包罗万象的网络流量数据解读成为难题。我们需要一种技术能将网络流量数据标准化处理并进行分析,于是天旦提出了“互联数据”的概念。今天,我们着重探讨互联数据在运维和运营层面的应用以及互联数据在数字化转型中的重要作用。
什么是互联数据
“互联数据”基于原始网络流量数据(wire data),经天旦流处理引擎处理后获得的价值更大、可直接使用的结构化数据。通常用以表达人与系统之间、系统与系统之间、组织与组织之间的行为。
互联数据的优势:
-
对系统无影响:基于网络数据,对系统无影响;
-
高数据实时性:互联数据精度可达秒级,甚至毫秒级;
-
高数据完整性:可解析网络数据中所有的业务数据,包括交易过程数据;
-
开发成本低:旁路数据提供无风险数据源,系统架构简单易用,对运维人员的要求较低;
-
即刻落地与扩展性强:系统成熟,部署快,有大量行业案例,现有解码库可以支持各行业常见协议;扩展新的渠道数据源,可以通过简单镜像数据源的配置来完成添加。
如何获取互联数据
在传统的物理环境里,网络流量数据的采集有两种形式:
一种通过交换机镜像(SPAN)实现网络数据包捕获;
在无法做镜像的采集点,也可以通过Tap分光器进行数据获取。建议搭配Tap Switch统一进行流量规划,对流量进行汇聚、过滤或复制后,接入分析系统。
在虚拟化/云环境里提取数据也有两种形式:
一种通过原生自带虚拟镜像,比如Vmware的VDS和OpenStack的OVS;
另一种在没有自带镜像的情况下,通过安装天旦PacketAgent,复制虚机通讯口的网络流量,通过GRE封装后转发到网络抓包系统。
从传统环境、虚拟化和云环境以及容器环境中获得的网络流量数据,经过互联数据的流处理引擎,即可输出一致标准化的结构化数据,价值更大、可直接使用。互联数据可帮助IT管理人员创建行为基线、检测异常行为,进行实时的性能故障定位和排除,是直观了解业务运行状况的高价值数据资源。
天旦用户如何使用互联数据
金融行业是中国最先启动数字化转型的行业之一。在天旦的众多金融客户中,某城商行客户在数字化转型中,就曾向我们提出以下疑问:
如何保障指标数据的全面性、真实性和准确性?
数据采集范围需要覆盖所有重要系统,并具有高扩展性
如何避免数据获取过程对生产系统带来负面影响和风险?
如何通过实时输出业务指标,发挥业务价值?
互联数据零风险、高实时、不采样、全过程,具有部署周期短、落地快的特性,完美解答了以上问题。
该城商行用户如何部署互联数据
天旦在其业务环境中进行部署,通过镜像实时采集网络流量数据。原始的网络流量数据经过互联数据引擎处理后,一方面通过业务性能管理平台实现快速告警定位,保障安全生产;另一方面向数据鑫平台实时输出互联数据,通过数据鑫平台构建各种高价值的运维与运营应用。
基于互联数据的端到端性能监控,提升运维效率
得益于网络流量数据对于一笔交易过程的完整记录,互联数据能够全量记录、完整还原一笔交易的处理过程,端到端实现全路径交易追踪,能够反映每笔业务在各应用组件中的实际经过路径、各段时间消耗、处理结果,以及每段原始交易记录,深层解析交易处理流程,根源问题所在。
(向右滑动:从实时故障告警到多维故障定位分析)
互联数据,运维科技助力业务创新
数据鑫服务是该城商行在科技赋能业务的关键创新。将实时、全量、精准的互联数据作为数据鑫平台的关键数据源,应用于实时流动性管理、业务营销、决策支持、风险控制和业务展现等各个方面。
实时流动性 理财业务营销
实时流动性:通过实时展现二代支付往来账的所有笔数、发生金额等重要业务指标,为会计结算部、资产负债管理部等业务部门及时反映全行大笔业务交易情况,便于业务部门资金管理、控制业务流动风险;
理财业务营销:通过实时展现对公业务笔数、发生金额、成功率等重要指标便于业务部门实时掌握理财产品的销售情况,准确调整业务营销策略;
事中风险控制:实时将业务数据提供事中监督系统进行实时分析,实现对系统在线交易的实时分析,通过员工行为、客户行为、交易行为,三大主题共三十多个监测模型,将传统T+1的事后监督变为T+0的事中监督,为总、分行管理部门提供管理支持;
业务展现场景 贷款发放实时检测
业务展现场景:实时展现核心业务发生的总笔数,提供实时业务交易笔数管理,直观反映交易量变化趋势,同时按区域统计各分行业务量的发生情况,为电子银行等运营部门提供决策依据;
贷款发放决策支持:实时展现贷款发放的笔数、发生的金额等重要业务指标,便于业务部门实时掌握全行对公对私贷款的发放情况;
大数据平台:将实时数据的及时性与大数据平台的深度分析能力有效结合,深度挖掘业务数据的价值,实现更准的预测力、更优的决策力与洞察力。
该行客户曾这样评价天旦
“BPC 项目是我行非常重要的运维项目,目前(当时)已成功上线40多套业务系统,并通过 API 与我行风控平台对接,为我们的风控业务提供实时的数据指标依据,让我行风控业务从“T+1” 成功升级到“T+0”的管理模式,有效缓解了因为数据时滞而带来的风控瓶颈。因此,我们发现,BPC不仅是一款可靠的业务性能管理产品,同时,它具备非常广泛的延展性,通过 API 接口与其他系统的对接,有效地使业务和科技进行了融合。作为一个完全国产、自主研发的产品,我们非常看好 BPC,希望天旦再接再厉!”
千里之行,始于足下
“疫情之困”让更多的行业意识到数字化转型的必要性与紧迫性。除了银行、证券等金融公司投入大量资金布局上云,越来越多的行业也开始借助大数据、云计算、人工智能等谋划创新性的业务模式。如果说数字化转型可以让企业重生,那么互联数据就是重生之源。
天旦将互联数据技术植根于产品体系之中。基于互联数据不仅为企业提供运维管理,还为不同企业在数字化转型中提供了众多的互联数据应用方案。
我知道你在看哟


