大数跨境

MaxAgent 实战课堂(二):从单作业诊断到作业定时巡检

MaxAgent 实战课堂(二):从单作业诊断到作业定时巡检 阿里云大数据AI平台
2026-11-16
0
导读:MaxAgent 将 MaxCompute 作业运维从被动排障升级为主动巡检:支持通过 Instance ID 或 LogView 快速诊断失败作业根因,对慢作业进行深度分析并给出 SQL 改写建议,
在对 MaxCompute 作业运维过程中,会面临类似的情况: 一条 SQL 失败了,需打开日志查错误日志判断报错原因;另一条 SQL 没有报错,却迟迟跑不完,需打开日志、查看资源使用情况等方面综合判断原因 ;等处理完这两条,还会担心项目是否还有其他异常没有发现。
作业运维的难点,不只是看懂一次报错,而是在单作业与项目、quota 之间来回切换:这条为什么失败?其他作业是否受到影响?慢在哪里?哪些问题应该优先处理?明天还要不要重新检查一遍?
MaxAgent 可以把这些工作串起来。用 Instance ID 或 SQL LogView 定位单作业问题,用作业巡检了解整体运行态势,再把已经核验过的巡检方法配置为定时任务,通过钉钉接收报告。从被动排障到周期发现,关键是每一步都保留可回查的证据。

上一课介绍了开通、权限和 Credits。本课面向数据开发工程师与运维工程师,依次完成失败诊断、同类异常核查、慢作业分析、项目健康巡检,以及定时巡检配置。数据开发可以先练单作业诊断,运维再接着扩大范围;兼任两个角色,也可以沿这条路径独立完成。

01
作业诊断、作业巡检权限准备

进入 MaxAgent,确认服务已开通、Credits 可用,当前身份有目标项目及日志的访问权限,并核对当前站点、地域、租户和版本是否开放本课所需能力。本文使用作业诊断与巡检,当前诊断与 LogView 解读范围为 SQL 作业,不扩展到 Spark 或 MapReduce/MF。

项目及日志访问权限主要包含如下Ram权限点,涉及logivew访问权限以及更深层日志读取权限:

odps:TriggerSQLJobDiagnosisodps:GetSQLJobDiagnosis
odps:GetLogviewDownloadUrl
odps:GetTaskTypeodps:GetMatrixByParserTypeAndIdodps:ListSimilarJobInfosodps:CheckMcpJobPermissionodps:CheckMcpQuotaPermission
odps:EstimateJobCost
odps:CheckMcpJobPermissionodps:GetMatrixByParserTypeAndId
odps:GetErrorMsgodps:GetLogviewTableDownloadUrlodps:CheckMcpQuotaPermission
odps:ListJobInfosodps:GetJobCountodps:ListJobMetricodps:ListTopJobInfoodps:ListJobSnapshotInfos
odps:ListTopJobInfoodps:GetJobInfoodps:GetJobCountodps:ListJobMetric
02
单作业诊断——定位失败 SQL 的根因

SQL 作业失败,通常会打开 Logview 进行查看,Logview 的 error log 会打出相应的错误信息,简单的错误如语法错误、元数据不存在等会比较容易定位,但有些失败无法从错误日志快速判断。

可以点击 Logview 页面右上角的的" MaxAgent 作业诊断"进入 MaxAgent 的 Ops Agent 进行单作业诊断,或者直接进入 MaxCompute 控制台-智能助手-OpsAgent,提交新任务进行单作业诊断:

提交诊断任务时,需要注意,准确描述想了解什么,或要解决什么问题,避免过于模糊,关键词包含项目、作业 ID 或 LogView 地址。

03
单作业诊断——深度诊断SQL找到慢作业瓶颈

失败是显性异常,"运行成功但比平时慢很多"也可能影响下游任务,或者"业务逻辑简单但一直运行很慢"影响整体基线性能。

慢作业的诊断,需要从多方面入手,可能是数据倾斜、膨胀,又或者是资源不足,还有可能是平台调度机制等原因。可以通过 MaxAgent 的 OpsAgent 进行作业深度诊断根因,获取修改建议,包括 SQL 改写建议:

明确慢作业所在项目和作业 ID,要求分析耗时异常和资源消耗等情况,给出问题定位和修复建议包括 SQL 改写。

视频案例中,作业执行慢主要两个原因,查询加速会退回退、极端单点热点(数据倾斜),同时把具体的引发热点的具体 SQL 一并给出来,并针对两个问题点,分别给了对应的修复建议。另外由于诊断任务中明确提到要给出 SQL 改写建议,因此也给除了 SQL 改写建议,需要注意的是,SQL 改写建议可能存在业务逻辑变更,建议是否可用,需要仔细验证。

04
作业巡检——做一次所有作业运行态势巡检

通常情况下,不管是失败作业还是慢作业,都是影响一条或多条基线,进行作业运维是,都需要从整体去查看作业的执行情况,也就是健康巡检要再扩大一步:除了失败,还要关注成功但异常慢、资源消耗异常,以及需要优先跟进的作业。

开发运维人员凌晨起夜通过单作业诊断解决完告警的作业,还想了解所有作业运行情况,可以通过 MaxAgent 的 OpsAgent 进行作业统一巡检:

此处为语雀视频卡片,点击链接查看:

关键字说明清楚巡检范围和要求,以及输出的巡检报告要求,如下:

请对以下项目执行作业巡检: 【巡检范围】 项目:所有项目时间范围:今日0点 至 9:00【巡检要求】1)统计作业整体运行态势:总作业数、成功率、失败率、平均执行时长。2)识别异常作业,包括:  状态异常:失败作业(inst_status=failed)、取消作业(inst_status=cancelled)  性能异常:执行时间偏离基线的慢作业  资源异常:CU 使用量或内存使用量偏离基线的作业3)对所有异常作业进行诊断并给出异常原因和优化建议,输出结构化巡检报告。输出格式要求: 按照标准巡检报告模版输出,包含概览、异常列表、异常原因、诊断结果、优化建议等部分,其中异常列表中的作业 instance id 可以链接打开 LogView。

返回的巡检报告,对于异常作业,可按需下钻进行单作业诊断,以便获取单作业更详细的异常原因以及修复/优化建议。

05
作业巡检——把异常作业巡检变成定时任务

一次巡检的范围、输出和核验方法稳定后,您可以把它配置为周期任务。周期作业巡检的目标不是让系统自动修复所有问题,而是定期发现线索、生成报告,再交给有权限的人员判断和处置。

可以通过MaxAgent配置定时任务定时进行作业巡检,例如"每日异常作业巡检",您可以直接通过点击模版广场的模版快速创建,也可以自己点击"新建定时任务"创建。

定时任务模版
定时任务模版
新建定时任务
新建定时任务

创建好后,可以点击"立即执行"进行一次定时任务验证。验证通过后,后续定时任务将按计划时间进行定时执行。

立即执行验证

您还可以在配置定时任务的时候,配置"通知渠道",将定时任务的报告通过机器人渠道推送到钉钉个人或群里,无需登陆到控制台 web 页面即可通过钉钉接收巡检报告。

06
下一步:做一次作业巡检并对异常作业进行深入诊断

从一个有权限的测试项目开始,核验项目中最近24小时作业执行态势,对执行失败、异常变慢的作业进行单作业深度诊断。

注意,MaxAgent 帮助你更快发现和分析问题,但修复、优化与生产变更仍要经过授权和独立验证。

/ END /


▼ 关注「大数据智能体官网」 ▼
复制下方链接或者扫描右边二维码
即可快速拥有大数据超级助理,从此躺赢数据开发!
了解详情:https://www.aliyun.com/activity/bigdata/dataagent/skills
图片

点击“阅读原文”体验更多关于大数据&AI产品解决方案

【声明】内容源于网络
0
0
阿里云大数据AI平台
阿里云大数据AI平台依托阿里领先的云基础设施、大数据和AI工程能力、场景算法技术和多年行业实践,一站式地为企业和开发者提供云原生的大数据和AI能力体系。帮助提升AI应用开发效率,促进AI在产业中规模化落地,激发业务价值。
内容 815
粉丝 0
阿里云大数据AI平台 阿里云大数据AI平台依托阿里领先的云基础设施、大数据和AI工程能力、场景算法技术和多年行业实践,一站式地为企业和开发者提供云原生的大数据和AI能力体系。帮助提升AI应用开发效率,促进AI在产业中规模化落地,激发业务价值。
总阅读22.3k
粉丝0
内容815