大数跨境

智能运维2.0|从 “看不见” 到 “看得清”!金融运维从传统监控升级全链路可观测

智能运维2.0|从 “看不见” 到 “看得清”!金融运维从传统监控升级全链路可观测 擎创夏洛克AIOps
2026-07-09
16





伴随金融行业分布式、云原生、信创改造持续推进,叠加严苛监管与精细化经营考核,依赖人工经验、静态阈值的传统运维早已无法适配复杂IT环境,故障定位慢、跨链路排查难等问题突出。 


本篇内容由擎创科技客户价值交付总监周晓东带来《信创应用落地及全链路分析构建方法》专题分享,从落地方法论、建设流程、场景实操技巧拆解信创环境全链路运维思路;同时结合擎创一体化全链路可观测平台建设实战,围绕事前预警、事中协同、事后复盘完整周期。


滑动查看下一张图片





01

金融运维面临三大核心发展桎梏


金融机构运维团队当前普遍承受三重核心压力,构成行业发展主要瓶颈:


监管的要求越来越细,越来越硬性;业务侧的期待也在变——科技条线的领导越来越强调"经营思维",不再满足于"系统跑起来就行",而是要看清楚技术投入到底为业务创造了什么价值。


真正让人头疼的,是架构本身的剧变。从早年一台物理机扛一个系统,到分布式,再到今天的上云、信创、云原生,系统架构的复杂度几乎是几何级数增长。


矛盾的地方在于:业务系统一直在"进步",但运维的平均故障定位时间(MTTR)并没有因此下降,反而呈上升趋势——原因很简单,架构越来越复杂,人靠经验去定位问题的难度只会越来越大。



02

从"监控"到"可观测":一次范式升级


传统监控的逻辑是:基于已有的经验、指标和阈值去发现问题,但当架构复杂到一定程度,人的经验已经很难覆盖所有可能出现的故障场景——这正是"可观测"要解决的问题:让运维不再单纯依赖经验,也能找到解决故障的路径。


我们把可观测拆成三个环节,并提出三条核心诉求:

事前:能不能比静态阈值更早发现异常?能不能从被动运维走向主动运维?
事中:能不能让所有相关人看到的信息是一致的,而不是各看各的?
事后:能不能回到故障发生的那一刻,还原真实场景,把经验沉淀下来,形成可复用的知识?



03

什么是擎创眼中的"全链路"


我们认为,全链路可观测需要两个维度共同支撑:


  • 空间维度——横向要有业务链路数据,纵向要有架构/运维本体数据(简单理解就是CMDB叠加业务链路)
  • 时间维度——事前能看到什么、事中能看到什么、事后还能看到什么


这套"空间+时间"的框架,构成了全链路可观测的基本骨架,下面按事前、事中、事后逐一展开。




04

事前:让AI在故障发生前就"喊话"


事前阶段,擎创聚焦三种能力:异常检测(指标+日志)、告警智能降噪、根因定位。


01
指标异常检


擎创举了证券行业的例子:交易量与舆情、行情、时间窗口高度相关,管理员很难凭经验给出一个"放之四海而皆准"的静态阈值,监控工具同样很难适配。这种场景下,动态阈值检测明显更有效——当然,基于数据的算法总会有误报的可能,它更适合作为一种事前预警手段,而不是唯一判断依据。


02
日志异常检测


过去大家依赖关键字匹配做告警,人工投入巨大,而且每次系统变更都可能带来新的告警和新的关键字配置需求,很难长期维持。现在基于大模型的语义理解来做日志异常检测,本质是要减少人工配置成本

03
根因定位


擎创把它提前到了"事前"阶段。过去,故障响应要等到问题真正发生,再靠人工召集相关方一起排查。现在,擎创提供了一个7×24小时不间断运行的"运维机器人",相当于ECC(应急指挥中心)里从不下班的值班员。
它持续读取当下所有告警,按照预设规则自动触发根因诊断:先由根因引擎分析出TOP3根因,再结合企业自有知识库中的历史处置经验,最终生成一份故障报告,自动派发工单,并同步创建一个"作战室"。



05

事中:同屏不同席,一份数据三种视角


擎创提出了一个很朴素但很关键的理念:"同屏不同席"——所有人看到的都是同一份数据底座,但因为角色不同,关注的重点也不同。擎创把事中的用户分成三类角色:工程师、值班经理、领导。



工程师要什么?

一张能看清全部数据的"地图",擎创为工程师提供了两个互补的视图:


业务墙:

过去只能看到"某系统交易量",做了业务语义化之后,能直接看到"个人转账""ATM查询"这类具体业务的运行状况,以及受影响的笔数、涉及的对公/对私范围。还可以下钻到具体链路拓扑、单笔交易明细、节点告警情况。


应用墙:

反过来,从应用系统本身的角度看中间件、服务器等基础设施是否有问题,拓扑基于自建CMDB数据分层展示,把告警收敛呈现,帮助一线工程师更快判断问题出在哪一层。


值得一提的是,擎创还提供了一个"AI还没那么强"时代的过渡方案——经验沉淀:通过"时光机"做事后复盘,把处置经验整理成可复用的"场景",绑定预案和自动化执行脚本。下次遇到类似事件,系统会自动提示历史上发生过的相似案例及当时的处置方式。擎创认为,这个"Plan B"在相当长一段时间内仍然会持续发挥价值。


值班经理要什么?

一个"作战室",当7×24小时运维机器人触发分析时,会自动创建一个作战室,并生成专属编号,相当于一个独立的"事件世界"。这解决了两个核心痛点:

1. 领导看不见的问题——通过PC端与移动端互通,签到、处理进度实时同步,领导在手机上就能掌握全局

2. 人工召集难的问题——传统模式下,值班经理往往说不清该召集谁,索性把相关人都拉进群里,结果一大半人可能根本不相关。

基于值班表和CMDB做自动化召集,精准拉群,大幅提升协同效率。作战室的节点并非固定不变,可以根据事件实际走向灵活增加负责人和流程节点,背后由一套流程引擎驱动,所有反馈最终沉淀为记录,供事后复盘参考


领导要什么?

业务影响范围和对外汇报的口径——这次事件影响了哪些业务?比如个人转账受影响多少笔?该怎么回应监管?擎创为更高层级的领导提供了大屏化的展示视图,既服务应急场景,也能在同业交流、参观时用于展示科技建设成果,作战室的用途也不止于应急,重大投产、重大变更同样适用。



06

事后:时光机,让复盘"有据可查"


运维水平的提升,很大程度上依赖事后复盘。但事中大家都在忙着救火,没空总结;传统的复盘方式又高度依赖人的回忆,难免失真。

擎创的答案是"时光机"——通过数据回放的方式还原故障发生那一刻的真实状态,解决三个问题:


  • 故障复盘有了客观证据支撑

  • 监管问询能快速给出准确回答:告警何时发生、涉及哪个系统、链路何时中断、中断了多久

  • 知识沉淀有了可信的数据来源


在此需要特别强调,建设时光机的初衷不是为了解决"查询"这件小事,而是要实现整个运维数据状态的按分钟级快照——随时能回到过去任意一分钟,看清运维世界当时发生了什么。





07

全链路里最难啃的骨头:业务链路建设


如果说前面讲的是"怎么用"全链路数据,那业务链路本身"怎么建"才是真正的硬骨头。擎创将当前主流技术路线归纳为四大类,并逐一分析利弊:


01

 传统APM工具

监控粒度细,插桩多,但代价是几乎无法做到全量明细采集,在银行ESB这类长连接系统上基本采集不到数据

02

 新一代APM/新势力

插桩相对克制,原因很直接——运维需要的是全量明细数据,而不只是故障那一刻的片段,因为查数需求千变万化,只有全量数据才能应对各种排查场景

03

 eBPF:

内核层面无侵入、性能影响小,是它最大的优势。但它不做"染色",没有语义含义,报文原样呈现,不带业务解释。更关键的是,它缺乏全局流水号,尤其在异步调用场景下,链路很难被完整串联起来

04

 旁路流量分析类工具

同样无侵入,但建设成本高,每次旁路都需要专用设备,还要做协议解码,而且天然难以做单笔交易追踪,对应用内部的情况(比如一次数据库查询是否变慢)完全无感

05

 全量日志改造

能力最全面、效果最完美,但代价也最大——成本高、周期长、维护难度大。业务一旦变更,很难保证改造规则被持续遵循,需要投入大量精力去核验和规范开发框架


任何单一技术都无法独立完成全链路建设(除全量日志改造外),就像一条完整的交易链路里,前置系统可能是HTTP请求,用APM就能搞定。但进入核心系统后,可能因为无法安装APM探针,或者对性能要求太高不允许额外损耗,就必须靠其他技术手段补盲。



08

擎创的两种融合方案


基于大量客户实践,擎创总结出两条主流融合路线(日志改造之外):


方案一:

APM为骨干,eBPF/日志补盲。 能用APM的地方尽量用APM,不能用的地方用eBPF或日志方式采集,最终汇总到数据中台,统一做业务语义定义和链路串联融合。


方案二:

报文改造,适合体量较小、暂不具备日志改造条件的机构——通常伴随信创改造,在HTTP请求的head中加入全局流水号。与APM按span ID排序不同,报文改造只能靠时间戳做前后顺序判断,存在一定乱序风险,但对排障来说通常可以接受。


无论哪种路线,融合之后带来的核心收益是一致的:从"技术视角的系统成功率",升级为"业务视角的业务成功率"——比如,不再只是看某个系统"是否正常",而是能直接回答"今日个人转账成功率是多少"。



09

底层怎么支撑:运维数据中台

擎创整体平台的架构可以概括为:底层是运维数据中台,右侧是智能体平台,中间的桥梁是运维本体,上层则是构建在这套基座之上的各类应用场景。


运维数据中台建成之后,反而会带来一个容易被忽视的新问题——中台本身的稳定性和数据质量,由谁来保障?数据会不会断流?对外提供的服务是否稳定?这些都需要被纳入运维范畴。


在运维对象建模上,擎创将全部数据划分为"三层六域"的体系,作为整个中台的核心特色之一。




10

真实案例:三家企业,三条不同的路

某城商行-1云上系统采用阿里云ARMS做链路追踪,云下部分同样以ARMS作为统一开放框架,中间无法改造的ESB环节,采用eBPF方式补全数据

某城商行-2:完全不依赖APM,选择了全量报文改造路线;针对无法改造的ESB,则通过在对接的公共字段中植入流水号,再以旁路方式回采数据,是一种"讨巧但有效"的补盲方案

某股份制银行:作战室不仅用于应急场景,在一次重大投产演练中同样发挥了协同指挥的作用


三个案例印证了同一个结论:全链路建设没有标准答案,只有结合自身架构现状的最优组合。







从监控到可观测,从被动响应到主动预警,从人工复盘到数据回放——擎创这套方法论的核心,始终是同一句话:让运维不再只靠经验,而是靠数据说话。无论是选择APM为骨干,还是走报文改造的路子,最终的目标都是一致的:让每一次故障,都能被看见、被定位、被沉淀。





欢迎持续关注,扫描二维码添加客服,即可获取本次大会演讲资料及相关案例



第十六届双态IT用户大会-擎创科技专场回顾合集


第十六届双态IT用户大会|擎创科技专场圆满收官!AI原生运维2.0,从理念到实践全揭秘

智能运维2.0|从底座出发,擎创重构AI原生运维新范式

智能运维2.0|运维转型必看:智能体时代,运维人该如何定位与协作?

智能运维2.0|数据为基、智能体为核:新一代AI原生运维双中台架构

智能运维2.0|看懂双中台落地效果:从架构理论到可视化运维实操全演示

智能运维2.0|广发证券AI运维中台实战:从规模化迈向精品化




擎创科技,Gartner连续推荐的AIOps领域标杆供应商。公司专注于通过提升企业客户对运维数据的洞见能力,为运维降本增效,充分体现科技运维对业务运营的影响力。


行业龙头客户的共同选择


【声明】内容源于网络
0
0
擎创夏洛克AIOps
擎创科技,智能运维 AIOps落地解决方案的供应商,专注于将人工智能赋能运维管理,激活运维数据智慧,助力客户数字化转型。
内容 515
粉丝 0
擎创夏洛克AIOps 擎创科技,智能运维 AIOps落地解决方案的供应商,专注于将人工智能赋能运维管理,激活运维数据智慧,助力客户数字化转型。
总阅读2.1k
粉丝0
内容515