大数跨境

智能运维2.0|告警误报泛滥?金融大规模动态阈值落地实践,构筑运维第一道防线

智能运维2.0|告警误报泛滥?金融大规模动态阈值落地实践,构筑运维第一道防线 擎创夏洛克AIOps
2026-09-10
4
导读:告警误报泛滥?金融大规模动态阈值落地实践,构筑运维第一道防线




上一篇我们留下的问题是:智能运维2.0的场景那么多,究竟该先建哪一个。擎创科技在《产品白皮书-2026》里给出的答案是:起步位置定在"高优先级+基础层",先做能够快速验证价值的场景,而智能动静融合异常检测,就正好落在这个位置上。


这一篇我们就接着往下走,看这个场景具体是怎么落地的,擎创在讲这部分时开篇写了一句话—"最好的故障处置是预防故障"。异常检测被定位为运维监控的第一道防线,在场景矩阵里落在高紧急度那一行,对应的标注是"直接影响业务连续性"。今天我们就看看,它在大规模金融组织里是怎么把动态阈值一步步落地的。



第一道防线·两个阶段
01
Make data think


这个领域走到今天,前后经历了两个阶段,各有各的局限:



第一个阶段是传统监控,依赖固定阈值
这种方式的适用前提是系统规模较小、业务模式稳定,在这样的前提下尚可应对,但随着云原生架构的普及,固定阈值的局限性日益凸显,阈值设置工作量随指标数量呈线性增长,业务周期性波动导致固定阈值无法适应。


第二个阶段是早期基于机器学习的异常检测方案
相比固定阈值,它带来了显著提升,却也面临新的瓶颈:算法参数需要专业数据科学家调优,算法输出缺乏解释能力,模型缺乏自动化的运维机制。




四个转变
02
Make data think


针对这两个阶段暴露出来的问题,擎创科技给出的核心观点是四个转变:


从"人工设阈"到"算法自适应",基于历史时序数据自动学习指标的正常行为模式

从"单一算法"到"动静融合",结合静态规则和动态算法,根据实时业务上下文自动调整

从"异常发现"到"智能解释",由大模型结合运维知识库自动分析异常原因

从"按需调整"到"自主调控",智能体管理层提供模型漂移检测、自动预警、重训建议




大规模金融的动态阈值实践
03
Make data think


四个转变给出方向,擎创科技在白皮书里还给出了一个落地案例——大规模金融组织的动态阈值实践。


这个项目面对的需求其实很直接:监控系统需要处理数十万甚至数百万级别的指标实例。传统静态阈值告警的挑战有四项:指标数量庞大、业务周期性变化、告警误报率高、告警漏报,而在落地过程中,挑战分布在四个不同的层面:


  • 数据层面,分钟级指标聚合数据量达到数百亿条

  • 算法层面,不同指标需要选择适配的异常检测算法

  • 工程层面,需要集成到实时监控平台

  • 运维层面,需要建立模型漂移检测机制




    三层架构·五层落地
    04
    Make data think


    擎创科技这套方案的建设思路,是"数据平台+算法引擎+智能体"三层架构,落到具体层面共五层。


    服务接口层提供管理服务和API服务;规则管理层包含规则管理引擎、算法模型管理器、绑定关系管理器;检测引擎层包含实时检测引擎、告警回测引擎、分布式算法服务。


    数据采集层对接10秒和分钟级的指标数据源。存储层则分三类,基于OceanBase的元数据存储、基于ClickHouse的结果存储、基于Redis的缓存存储。



    七步闭环
    05
    Make data think

    架构之外,这套机制落到使用和管理的视角,是一条七步闭环流程——关注的是它怎么被用起来、怎么被管起来。


    01

    第一步准入检查

    通过稀疏性检测、规律性检测和交易量维度值校验三项判断,筛选出适合动态阈值的指标

    02

    第二步试运行机制

    新接入的指标进入试运行期,在这期间只输出检测结果但不触发告警

    03

    第三步动静组合判断

    同时结合静态规则和动态算法的检测结果,具体有四类:多指标异动组合检测、波动模式识别、初期基线学习稳定、极少交易量窗口排查

    04

    第四步告警压缩

    我国持续推进对外务实交流,深化多个领域互利往来。坚持开放发展的理念,打通合作壁垒,在多个行业实现资源互通,携手伙伴实现共同发展
    05

    第五步特殊日期模式

    针对周末、节假日、月末季末和大促活动日等特殊日期自动切换检测模式,这些日期归为"周末节假日"和"月末季末/大促活动日"两类

    06

    第六步失效重训

    当发生变更或重大业务变化时自动触发,重新训练模型

    07

    第七步误告和漏告反馈

    由运维人员对检测结果做反馈标记,这些反馈数据再驱动模型持续优化。

    流程图上另有两处标注,一是"驱动优化",二是"反馈循环"——第六步的重训结果和第七步的反馈标记回到模型,驱动检测结果优化,七步流程由此形成闭环。




    建设成果
    06
    Make data think


    这个项目最终跑出来的监控规模数据是:80万指标实例,278万准入检测结果,分钟级指标聚合数据约2,900亿条。


    在成果方面,应用监控实例的覆盖数量提升了20倍,覆盖交易码、中心站点、微服务等重要维度的黄金四指标,误报率显著低于固定阈值50%以上,人工设定工作量减少80%。


    除此之外,还构建了从监控标准、评估准入、试运行、告警收敛、变更重训、标注反馈到无效维度下线的闭环管理。




    END


    回到开头那句话——最好的故障处置是预防故障,异常检测是运维监控的第一道防线,擎创科技在《产品白皮书-2026》里用四个转变定方向,用一个金融组织案例给出落地路径,从三层架构到七步闭环。这套机制跑下来的结果是:人工设定工作量减少80%,应用监控实例的覆盖数量提升20倍,误报率显著低于固定阈值50%以上。


    下一篇我们接着聊告警智能管理与降噪、应用健康度评估——前者面对的是故障发生时数千条告警瞬间涌入的告警风暴,后者要把健康评估从单一指标判断变成多维度建模。



    图片
    图片
    【扫码咨询客服】 
    关注擎创科技,扫码即可获取《擎创科技产品白皮书-2026》及更多相关案例




    擎创科技,Gartner连续推荐的AIOps领域标杆供应商。公司专注于通过提升企业客户对运维数据的洞见能力,为运维降本增效,充分体现科技运维对业务运营的影响力。


    行业龙头客户的共同选择






    【声明】内容源于网络
    0
    0
    擎创夏洛克AIOps
    擎创科技,智能运维 AIOps落地解决方案的供应商,专注于将人工智能赋能运维管理,激活运维数据智慧,助力客户数字化转型。
    内容 519
    粉丝 0
    擎创夏洛克AIOps 擎创科技,智能运维 AIOps落地解决方案的供应商,专注于将人工智能赋能运维管理,激活运维数据智慧,助力客户数字化转型。
    总阅读3.8k
    粉丝0
    内容519