大数跨境

不能顺利付款的银行不是剁手党的好盆友

不能顺利付款的银行不是剁手党的好盆友 天旦Netis
2015-11-12
2
导读:上海天旦双11股份制银行业务保障纪实。
2015/11/10 23:59:59


****银行ECC监控室,平时宽敞气派的监控室在今晚有点拥挤,媲美IMAX巨幕的监控大屏已经物尽其用,哪怕再多放一个技术指标都没有位置了,而大屏正中央最醒目的位置则留给了“双十一成交额”和“双十一成交量”,上海天旦业务性能管理系统BPC占据屏幕左下位置,此时并未吸引太多目光。

这一秒,“双十一成交额”和“双十一成交量”这两行数字全部置零,两行十位数的“0”吸引了所有人的目光,似乎每个“0”都透露着未知、期待和挑战!


下一秒,数字急剧跳动、增长,随之增长的还有网络流量、连接请求、响应时间……


当然,还有心跳!

1分钟后
交易量稳定在去年双十一的两倍!两倍的增长让大家略微安心,这种成交量在压力测试已经充分演练过了。

“双十一成交额”这一行的10位数字,已经有8位数字在疯狂跳动!安心之余,大家也在感叹“剁手党”、“吃土党”的疯狂。

5分钟后

随着交易量的累计增长,各个系统的响应时间都已经出现明显的增长。


屏幕中间的两行数字还在继续跳动,却没有人再去过多留意,每个人都全部注意力放在自己的一亩三分田。
领导
支付宝的交易量监控指标更新怎么变慢了?
系统负载太高,日志读取的优先级放后了。
数据库专家
上海天旦
当前交易量已经突破100万次!我们是旁路监控,不影响系统,也不受系统影响。
领导
现在交易时延多大了?
“大机50毫秒”、“卡交换10毫秒”……
各个
系统专家
上海天旦
300毫秒,我们在专线出口的监控点可以看到交易总时延。
领导
交易时延已经超过500毫秒了,哪里的压力最大?
……
各个
系统专家
上海天旦
现在交易时延最大的节点是Linux应用集群,交易时延超过400毫秒,是AIX应用集群的两倍。
Linux集群所有服务器都慢吗?
领导
上海天旦
集群中10台服务器有一台特别慢,交易时延超过3秒,其他服务器正常。

十分钟后,上海天旦BPC的位置,已经从不起眼的一角,变成了整个监控的指挥中心。

让时间暂时倒退回
2周前
****银行今年的双十一保障进入冲刺阶段,但监控部门却面临一大难题:在双十一如何快速定位故障节点。

该行现有的监控工具无法直接展现业务交易的成功率和时延,只能通过趋势变化进行侧面验证、推断和分析去判断业务交易的问题,这往往需要消耗大量的分析时间,而双十一最缺的就是时间。

在这么紧迫的时间解决****银行网络部门面临的问题,全球只有一个解决方案:上海天旦业务性能管理系统-BPC
用户
我们需要监控到支付宝的交易类型、交易量、交易时延和交易成功率。
没问题,给我网络流量。
BPC
用户
流量马上给。
支付宝我们解过很多了。
BPC
半天后
BPC售前工程师现场解码完毕,完全不需要BPC的研发工程师。

当晚,第一次压力测试,BPC令大家眼前一亮。

用户
我们支付宝有后台APP,能解码吗?协议规范马上找。
没问题!
BPC
半天后
BPC售前工程师现场解码完毕,完全不需要BPC的研发工程师。
用户
APP要连接卡交换,能解码吗?协议规范马上找。
协议规范看起来有点复杂,让研发试试。
BPC
半天后
BPC的研发工程师解码完毕,在远程就解决了问题。
用户
卡交换最后边还有个大机,也能解吗?协议规范马上找。
协议规范看起来有点复杂,让研发试试。
BPC
半天后
BPC的研发工程师解码完毕,在远程就解决了问题。

……


于是,我们在双十一的晚上,在上海天旦的BPC上,能够监控到所有支付宝业务经过web服务器、app服务器、卡交换和大机每一个环节的交易时延和交易成功率,能够监控到每一台服务区的交易处理状态,能够挖掘到每一笔交易的路径图……

于是,上海天旦的BPC不自不觉中成了ECC监控室的指挥中心。

2015/11/11 00:20:00
交易量出现明显下降,淘宝和天猫先撑不住了,大家紧张的心情终于放下了。

数据中心领导也有空闲对BPC做出评价:“通过应用系统日志获取监控数据的方式,我们在很久前就已经知道这是一条弯路,我最认可的方式是网络数据包分析,数据包包含了几乎所有信息,我们对数据包的使用远远不够,之前我们调研不够深入,不知道上海天旦的BPC能做这么多东西。今晚结束后我们要好好总结下,不局限于双十一保障,BPC还有很多其他用途可以挖掘……”

明年,BPC在大屏上会不会有更明显的位置?

随着2015年双11的落幕,接近千亿的成交额,让11.11这一个普通的日子成为了全民的狂欢日,而在这狂欢日的背后,正是一众默默加班加点保障双11的金融业IT人员,运用他们的的辛勤和智慧,为电商平台的壮大,以及银行、三方支付等金融机构的开拓,打下了坚实的基础。

上海天旦在核心业务保障领域具有近十年的实践经验,BPC更是每天在国内各大金融机构运营商保障着百亿笔交易顺利达成,它的设计来源于IT,也服务于IT。在这次双11的保障中,我们见证了中国电子商务的不断前行,同时也见证了中国IT运维能力的崛起,双11是狂欢,也是洗礼,更是我们不断前行的动力。



【声明】内容源于网络
0
0
天旦Netis
上海天旦网络科技发展有限公司是国际领先的业务与网络性能管理领域的软件产品企业,针对关键业务保障、交易分析、大数据采集和挖掘等方面提供专业的产品和解决方案。
内容 236
粉丝 0
天旦Netis 上海天旦网络科技发展有限公司是国际领先的业务与网络性能管理领域的软件产品企业,针对关键业务保障、交易分析、大数据采集和挖掘等方面提供专业的产品和解决方案。
总阅读0
粉丝0
内容236