系统事故频发？基于可观测性增强业务稳定性和连续性的新方略

在当今数字化时代，企业和组织对于业务连续性和高可用性的需求变得越来越重要。无论是金融机构、通讯服务商、电子商务平台、医疗服务提供商还是制造业企业，都依赖于计算机系统和信息技术的稳定运行，以确保业务的持续运作和客户满意度。

然而，不可避免地，运维事故时不时地发生，例如硬件故障、软件故障、网络中断、运行操作出错等，这些都可能导致业务中断和损失。

近期发生的证券交易系统瘫痪、手机银行瘫痪、电信断网事件等，更是再次证实了故障的多样化，暴露出当前企业和组织的运维能力薄弱、故障防范措施不到位、缺乏及时有效的故障发现、故障排除能力和容灾应急预案的现状。

各行各业都在持续“重金”加码信息技术投入，2022年24家上市券商合计披露的超百亿元的信息技术资金投入，也更是凸显出以金融、证券、政府等企业和机构对于线上业务建设和数字化运营的重视程度。然而，在不断加大信息化建设和资金投入的同时，线上系统故障却仍然屡屡发生。可以理解，在企业线上业务快速发展、线上运维环境日益复杂的当下，软件开发、测试与安全无法面面俱到。

但是线上业务潜藏的系统问题可能随时出现，无论对于企业还是用户而言，都是悬在头顶的“达摩克利斯之剑”，如何提升业务的可靠性和连续性成为每个行业都需要面对的必答题。

为了提高业务的稳定性，我们需要采取一系列有效的措施来预防、发现和解决系统事故。针对近期发生的系统故障，爱数AnyRobot - “云原生时代的可观测性平台”，主张从衡量、预防、发现、定位、解决五大阶段着手，提高系统的可观测性，从而降低事故的发生概率。

在业务稳定性增强的旅程中，首先需要建立一套有效的衡量体系。通过监控关键指标，如系统响应时间、错误率、吞吐量等，企业可以全面了解系统的运行状况，及时发现异常情况。此外，引入可视化仪表板，通过将关键指标和系统健康状态可视化展示，能够直观展示系统的健康状态，助力实时决策和问题追踪。

“预防胜于治疗”，增强业务稳定性要注重预防系统事故的发生。利用机器学习通过分析历史数据和趋势（例如时间序列预测），企业可以识别出系统在特定条件下容易出现故障的趋势。这样，企业的业务、运营、开发、运维团队就可以提前采取预防措施，避免类似故障的再次发生。例如，资源不足可能对系统造成广泛的故障，包括性能下降、崩溃、数据丢失、安全漏洞、服务中断和性能不稳定等。为了避免这些故障，系统管理员可以进行资源规划和管理，确保系统具有足够的资源来满足当前和未来的需求，从而避免由资源不足造成的故障。

即使采取了预防措施，系统问题仍然可能发生。因此，企业需要建立实时监测和告警机制，以及强大的日志和指标分析工具，以快速发现系统问题。通过监控系统的关键指标和性能参数，实时了解系统的运行状况。利用监控工具和仪表盘，直观地监视系统的健康状态，并通过设置阈值和警报规则，一旦系统出现异常情况，比如负载过高、请求失败率升高等，监测系统会立即触发告警，通知相关人员采取相应的行动。

一旦发现问题，快速而准确地确定导致系统故障的具体原因也至关重要。基于指标、日志和链路进行关联分析，我们可以获得更全面的视角来理解系统故障。

· 借助指标/日志数据自定义配置告警，准确识别出系统的异常情况；

· 将异常事件自动对应到原始日志记录，并支持从日志升维至业务全链路，洞察业务各环节的健康状况；

· 通过链路追踪技术跟踪系统各个组件之间的调用链，了解请求的流转路径，故而精确地定位问题所在；

· 具体分析链路异常，将异常链路和日志关联起来。这样，当系统出现异常情况时，企业便可以获得有关请求的详细信息，最终快速确定问题的原因。

通过关联指标、链路和日志数据，可以更好地识别系统异常，实现事中告警和事后溯源，提高故障排障的效率和准确性。这将大大减少了故障对客户和业务的影响，保护了企业的声誉和利益。

避免系统故障对业务造成影响是提高业务稳定性和连续性的最终目标。然而，系统故障是难以避免的，实现数据、应用、IT 系统和设施的永续性和稳定性仍然是一项严峻挑战。那么，如何更好、更高效地应对故障，保障业务稳定性和连续性呢？可以从两个种情况着手：

· 面对不会导致系统灾难性中断的故障或问题，可观测性是关键。通过可观测性建立的监控和分析能力，能够实时检测系统运行状态和性能指标，及早发现潜在问题；通过可视化和关联分析指标、日志、链路数据，能够迅速找到问题根源，并准确定位故障原因。最后，基于运维知识库（运维知识库是一个集合了运维人员经验、最佳实践和故障排除指南的宝库，它记录了企业在运维过程中遇到的各种故障情况以及相应的解决方案），可以为问题提供有效的解决方案，帮助运维人员提升故障排除的速度，从而提高业务的连续性。

· 面对可能导致系统中断和业务无法正常运行的重大故障或灾难事件，完善的灾备计划和及时的灾难恢复能力是保障业务连续性的关键环节。因为它能够在系统事件发生时快速恢复业务功能，从而减少业务中断的时间，保障业务的连续性，降低经济损失。

面对更高的业务稳定性和连续性要求，爱数为企业提供了基于可观测性和灾备恢复管理的双重保障方案。爱数AnyRobot - “云原生时代的可观测性平台”，提供了全面的故障问题衡量、预防、发现和定位能力，有效帮助企业实现风险防范和故障处理；AnyRobot - “云原生时代的可观测性平台”联合爱数灾难恢复管理平台 - AnyBackup Disaster Recovery Management ，DRM，为企业提供了强大且全面兼容的端到端灾难恢复能力，实现了恢复资源统一管理、自动化编排、业务应急接管、灾难恢复演练等能力，保障了灾难性事故的处理。

· 内置恢复资源一键快速生成，能够检测恢复资源是否可恢复，同时可支持恢复资源复用，并自动清理。

· 通过画布实现对灾难恢复过程的控制，用户通过拖拽组件节点实现恢复过程中需要处理的恢复动作的布局，通过组件节点之间的连线实现流程的顺序及关联关系的控制，通过组件节点的配置实现恢复动作的执行控制。

· 支持周期性灾难恢复策略，定期选择最新的备份数据或备份完成后会自动触发，然后根据编排好的灾难恢复计划进行自动化灾难恢复及演练。

在企业竞争日益激烈的当下，业务连续性和稳定性对于企业的成功至关重要。与传统系统故障监测与灾难恢复方案不同，爱数AnyRobot - “云原生时代的可观测性平台”联合爱数灾难恢复管理平台 - AnyBackup Disaster Recovery Management ，DRM，为企业提供了更全面、更智能的系统事故防治方案。基于衡量、预防、发现、定位、解决五大阶段，爱数的可观测性方案助力您更好地应对故障，提升业务的可靠性。不论是金融机构、通讯服务商还是制造业企业，爱数都是您在保障业务连续性和可用性方面的最佳选择。与爱数携手，让您的业务持续高效运行！ 

点击 阅读原文，了解更多信息~