# 批作业监控 批作业监控提供了对批处理作业的状态进行监控的能力。 批处理作业支持作业级别的调度计划，可以定期处理批量数据，主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。 您可以在"作业监控 \> 批作业监控"页面查看批处理作业的调度状态、调度周期、调度开始时间、SQL复杂度等信息，以及进行如[表1]所示的操作。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 影响作业运行的因素较多，并不意味着定时时间到了，作业就会立即执行。在作业执行前，会检测上游作业是否运行成功、工作空间并发数是否满足、任务组并发数是否满足、调度资源是否充足，当上述条件均已满足后，才开始运行作业。 图1批作业监控 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002261468730.png "点击放大") 表1批作业监控支持的操作项 | 支持的操作项 | 说明 | |:---|:---| | 根据"作业名称"、"责任人"、"CDM作业"、"作业ID"、"调度身份"或"节点类型"筛选作业 | 按照CDM作业进行搜索时，需要输入CDM Job算子的名称进行搜索。 | | 根据"作业是否配置通知"、"调度状态"、"作业标签"或"下次计划时间"范围，筛选作业 | 对于未配置通知的作业，系统支持可以通知类型（例如运行异常/失败）进行筛选，以便批量设置告警通知。 | | 批量配置作业 | 通过勾选作业名称前的复选框，支持批量执行操作。 | | 查看作业实例状态 | 单击作业名称前方的![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001182624671.png)，显示"最近的实例"信息，查看该作业最近的实例信息。 在最近的实例的"操作"列，可以查看作业实例的运行日志，重跑作业实例。 说明： - 重跑的作业可能与正常调度的作业同时运行，需要确认作业是否支持并发执行；如果作业中节点个数或者名称发生变化，就会从第一个节点开始重跑。如果重跑成功状态的作业实例，就会从第一个节点开始重跑。 - 重跑作业实例时，需要选择"使用的作业参数"和"是否忽略OBS监听"。 使用的作业参数可设置为"使用原有作业参数重跑"或"使用最新提交作业参数重跑"。 是否忽略OBS监听默认为"是"。 - 企业模式下，开发者不能对作业实例进行重跑。 | | 查看作业的节点信息 | 单击作业名称，在打开的页面中单击作业节点，查看该节点的关联作业/脚本与监控信息。 单击作业名称，在打开的页面中查看该作业的作业实例，详情请参见[批作业监控：作业实例]。 | | 调度作业相关 | 支持执行调度、暂停调度、恢复调度、停止调度等，单个作业的调度详情请参见[批作业监控：调度作业]。 您也可以勾选多个作业，单击列表上方的"调度 \> 执行调度"、"调度 \> 暂停调度"、"调度 \> 恢复调度"、"调度 \> 停止调度"，进行批量操作。 说明： - 作业停止调度/暂停调度时，支持设置立即生效或者下次生效。 - 立即生效：立即停止当前作业实例，并且后续不再生成新的作业实例。 - 下次生效：当前作业实例继续运行，但后续不再生成新的作业实例。 - 对于单次调度类型的作业，配置自定义作业参数和实例名称的作业不支持批量调度。 - 批量操作的作业个数最多500个。 | | 通知配置 | 在作业的"操作"列，选择"更多 \> 通知配置"，弹出"通知配置"页面，参考[表1](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0514.html#dataartsstudio_01_0514__zh-cn_topic_0114591806_table63861718143217)配置通知参数。 您也可以勾选多个作业，单击列表上方的"通知配置"按钮，也可以批量配置作业通知信息，参考[表1](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0514.html#dataartsstudio_01_0514__zh-cn_topic_0114591806_table63861718143217)配置通知参数。 此通知配置为作业的新增配置，如果对已有通知配置进行修改，请进入[通知管理](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0414.html)页面。单个作业跳转到通知管理页面后，会对该作业的配置信息进行过滤，查看该作业的配置信息。 | | 实例监控 | 在作业的"操作"列，选择"更多 \> 实例监控"，跳转到实例监控页面，查看该作业所有实例的运行记录。 | | 调度配置 | 在作业的"操作"列，选择"更多 \> 调度配置"，跳转到作业开发页面，查看该作业调度配置信息，可以对作业的调度信息进行配置。 说明： 运行中的作业不支持配置调度操作。 | | 补数据 | 在作业的"操作"列，选择"更多 \> 补数据"，弹出"补数据"对话框，详情请参见[批作业监控：补数据]。 只有配置为周期调度类型的作业才支持补数据功能。 | | 添加作业标签 | 在作业的"操作"列，选择"更多 \> 添加作业标签"，弹出"添加作业标签"对话框，详情请参见[批作业监控：添加作业标签]。 您也可以勾选多个作业，单击列表上方的"添加作业标签"按钮，也可以为多个作业批量添加标签。 | | 查看作业依赖图 | 在作业的"操作"列，选择"更多 \> 查看作业依赖图"，详情请参见[批作业监控：查看作业依赖图]。 | | 查看最近实例DAG | 在作业的"操作"列，选择"更多 \> 查看最近实例DAG"，详情请参见[批作业监控：查看最近实例DAG]。 | | 全量导出 | 单击"全量导出"，导出完成后，请到下载中心查看导出的内容，可以下载导出的文件。 图2查看导出记录 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002296035445.png "点击放大") 如果没有配置默认存储路径，单击"全量导出"后，配置存储路径，可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M，超过30M系统会自动截断。 导出的作业实例与作业节点存在对应关系。目前不支持通过勾选作业名称导出所勾选的数据，可以通过筛选条件选择需要导出的数据。 | 单击作业名称，在打开的页面中查看该作业的作业参数、作业属性、作业实例。在作业实例列表页签下，单算子作业可以直接查看日志，提升了查看日志信息的便捷体验。 单击作业的某个节点，可以查看节点属性、脚本内容、节点监控信息。 同时，您可以查看当前作业版本、作业调度状态、执行调度、停止调度、对运行中的作业暂停调度、补数据、通知配置、设置作业刷新频率等。 #### 批作业监控：作业实例 1. [登录DataArts Studio管理控制台](https://console.huaweicloud.com/dayu/)。 详情请参考[访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.html)。 2. 在DataArts Studio控制台首页，选择对应工作空间的"数据开发"模块，进入数据开发页面。 3. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 作业监控"。 4. 单击"批作业监控"页签，进入批作业的监控页面。 5. 单击作业名称，在打开的页面中查看该作业的作业实例。您可以进行以下操作： - 当勾选上"显示尚未生成的实例"后，通过时间筛选未来时间内尚未生成的作业实例。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 勾选后进行筛选，能够显示未来时间内预计可能会生成的实例，显示的未生成实例数量不超过100个。 - 对于未来时间内尚未生成的作业实例，可以进行"冻结"和"解冻"操作。您可以单击作业实例列表上面的"冻结"和"解冻"按钮，或者通过右侧操作列的"更多"中选择冻结和解冻进行冻结和解冻操作，支持批量操作。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) **冻结**：作业实例尚未生成或者作业实例是等待运行的状态，且实例未被冻结上，才能够进行冻结。 已被冻结的作业实例，实例运行状态为冻结状态。 作业被冻结后，会按照作业运行失败进行处理，下游依赖的相关作业，如果依赖设置的是挂起，则下游作业挂起；如果依赖设置的继续执行，则下游作业继续执行；如果依赖设置的取消，则下游作业取消执行。 尚未生成的作业实例被冻结后，可以在批作业监控的作业实例中查看，也可以在实例监控中通过运行状态进行筛选去查看被冻结状态的实例。 **解冻**：作业实例还未开始调度，且实例已被冻结，才能够进行解冻。 - 对作业实例进行相关的其他操作，例如：停止、重跑、手工重试、继续执行、强制成功、查看作业等待实例，查看作业开发配置信息等操作。在查看作业等待实例时，单击"操作 \> 去除依赖"可以去除对上游单个实例的依赖关系。 - 手工确认执行场景下，在批作业监控页面，作业实例运行状态显示为"待确认执行"，可以进行手动确认执行，单击"确认执行"后，作业实例运行状态显示为"等待运行"。 #### 批作业监控：调度作业 作业开发完成后，用户可以在"作业监控"页面中管理作业的调度任务，例如：执行调度、暂停调度、恢复调度、停止调度。 图3调度作业 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0188255229.png "点击放大") 1. [登录DataArts Studio管理控制台](https://console.huaweicloud.com/dayu/)。 详情请参考[访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.html)。 2. 在DataArts Studio控制台首页，选择对应工作空间的"数据开发"模块，进入数据开发页面。 3. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 作业监控"。 4. 单击"批作业监控"页签，进入批作业的监控页面。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 批作业监控支持按照调度方式和调度周期进行筛选，可以通过条件过滤查看所需要的作业调度实例。 5. 在作业的"操作"列，单击"执行调度"/"暂停调度"/"恢复调度"/"停止调度"。 如果该批处理作业设置有依赖的作业，执行调度该作业时可以设置为只启动当前作业或同时启动依赖的作业。如何配置依赖作业，请参见[配置作业调度任务（批处理作业）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0470.html#dataartsstudio_01_0470__zh-cn_topic_0099797007_section1590152794714)。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 如果该作业在基线任务链路上，暂停调度/停止调度时，系统会自动给出基线关联的弹窗提示。 如果该作业在基线任务链路上或者被其他作业依赖， 暂停调度/停止调度时，系统会自动给出弹窗提示。 图4启动作业 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001087878357.png "点击放大") #### 批作业监控：补数据 补数据是指作业执行一个调度任务，在过去某一段时间里生成一系列的实例。用户可以通过补数据，修正历史中出现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。 只有配置了周期调度的作业，才支持使用该功能。如需查看补数据的执行情况，请参见[补数据监控](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0512.html)。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 补数据场景约束限制如下： - 当作业正在补数据时，请勿修改作业配置，否则会影响补数据过程中生成的作业实例。 - 当作业中存在大脚本（超过1MB）时，使用多段离散+倒序方式补数据，可能会出现作业实例无法正常孵化，影响任务的正常调度和运行。 1. [登录DataArts Studio管理控制台](https://console.huaweicloud.com/dayu/)。 详情请参考[访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.html)。 2. 在DataArts Studio控制台首页，选择对应工作空间的"数据开发"模块，进入数据开发页面。 3. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 作业监控"。 4. 单击"批作业监控"页签，进入批作业的监控页面。 5. 在作业的"操作"列，选择"更多 \> 补数据"。 6. 弹出"补数据"对话框，配置如[表2]所示的参数。 图5补数据参数 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001799031816.png "点击放大") 表2参数说明 | 参数 | 说明 | |:---|:---| | 补数据名称 | 系统自动生成一个补数据的任务名称，允许修改。 | | 作业名称 | 显示需要补数据的作业名称。 | | 调度时间方式 | - 单段连续业务日期 补数据的时间是连续的业务日期时间段。 - 多段离散业务日期 补数据的时间是不连续的离散的业务日期时间段。 | | 业务日期 | **当"调度时间方式"选择为"单段连续业务日期"：** 选择需要补数据的时间段。业务日期不能大于当前时间，大于当前时间系统会默认显示当前时间。 说明： 一个作业可进行多次补数据。但多次补数据的业务日期需要避免交叉重叠，否则可能导致数据重复或混乱，用户请谨慎操作。 如果勾选了"按日期倒序补数据"，则系统按照日期倒序补跑，每日内的补数顺序仍是正序。 说明： - 该功能适合在各日数据不耦合的条件下使用。 - 为保证补数据可以倒序进行，补数据作业对更早日期作业实例的依赖关系将被忽略。 **当"调度时间方式"选择为"多段离散业务日期"：** 除了配置上面的业务日期参数，还需要配置以下补数据的参数： 单击"添加多段业务日期"可以添加多个离散的补数据的业务日期。您至少需要配置一个业务日期范围。 单击"删除"可以删除已添加的离散业务日期。 说明： 因为DataArts Studio不支持底层服务（例如，以前的CDM、DLI等服务）的补数据实例和周期调度作业实例并发运行，为了保证补数据实例不影响周期调度作业实例运行，两种类型作业实例不会抢占并发，所以，作业的周期调度的日期与该作业补数据的业务日期不能重合，周期调度和补数据不能同时运行，避免出现运行异常问题。 | | 是否设置周期补数据 | - 是，补数据时会按照设置的周期进行补数据任务。 **第一个值**表示具体的值。 **第二个值**表示按指定周期补数据，例如：小时、天，周、月。 说明： 设置周期后，将会按照周期进行补数据任务调度。对于调度周期为分钟，间隔小时以及天的任务，将按照新设置的周期去调度补数据任务，起始点为业务日期的第一个时间点。例如任务为每天1:00开始的小时任务，需要对2023/01/01 00:00 - 2023/02/01 00:00进行补数据操作，周期为2天，则将调度2023/01/01 00:00，2023/01/03 00:00，2023/01/05 00:00......等任务。此外，当调度周期为月时候，如果第一个节点为月末最后一天，将默认调度每月最后一天。 - 否，补数据时不会按照周期进行补数据任务，默认原有的补数据规则进行补数据任务。 | | 指定周期 | 当"调度时间方式"选择为"多段离散业务日期"时，需要配置此参数。 指定补数据的时间周期 通过"查看调度信息"可以查看当前时间段下任务实例执行时间。 说明： 只有调度周期是小时调度和分钟调度时，进行离散补数据的时候才会有指定周期。 | | 并行周期数 | 设置同时执行的实例数量，最多可同时执行5个实例。 如果补数据按照天粒度补数据，并行周期数就是在同一天内单个作业的实例并行数。 如果补数据不按照天粒度补数据，并行周期数就是按照调度周期内单个作业的实例并行数。 说明： 请根据实际情况配置并行周期数，例如CDM作业实例，不可同时执行补数据操作，并行周期数只可设置为1。 | | 需要补数据的上下游作业 | 选择需要补数据的上下游作业（指当前作业的上下游作业），支持多选和全选。 此处系统会展示作业依赖关系视图，关于作业依赖关系视图的操作，请参考[批作业监控：查看作业依赖图]。 说明： 周期补数据场景下，当前只允许针对调度周期相同的上下游作业进行补数据。 | | 是否按天粒度补数据 | 如果选择了按天粒度去补数据，表示在同一天内单个作业补数据的实例可以并行去跑，不在同一天内的单个作业补数据的实例不能并行去跑。例如小时任务可以5点和6点的作业实例并行跑，而1号和2号的作业实例不能并行跑。 是：按天粒度补数据 否：不按天粒度补数据 | | 失败后是否停止 | 如果"是否按天粒度补数据"选择"是"，需要配置此参数。 是：按天粒度补数据如果失败后，后面的补数据任务立即停止。 否：按天粒度补数据如果失败后，后面的补数据任务继续执行。 说明： 按天粒度补数据，前面一天任务执行失败后，第二天补数据任务不再执行。系统仅支持按天维度的补数据状态进行判断，不支持同一天内小时任务的多批次场景。 | | 优先级 | 选择补数据的优先级。默认"不设置优先级"。您也可以通过[默认项配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_04501.html#dataartsstudio_01_04501__section1149418391843)可以设置工作空间级的补作业的优先级。 设置补数据作业的优先级后，当系统资源不充足时，可以优先满足优先级较高的作业的计算资源，数字越大优先级越高。 说明： 补数据的优先级高于工作空间的补数据优先级。 当前只支持对DLI SQL算子设置优先级。 补数据优先级设置和DLI的spark.sql.dli.job.priority优先级的映射关系如下： - 补数据的优先级设置为1时，映射到DLI优先级spark.sql.dli.job.priority=1。 - 补数据的优先级设置为2时，映射到DLI优先级spark.sql.dli.job.priority=3。 - 补数据的优先级设置为3时，映射到DLI优先级spark.sql.dli.job.priority=5。 - 补数据的优先级设置为4时，映射到DLI优先级spark.sql.dli.job.priority=8。 - 补数据的优先级设置为5时，映射到DLI优先级spark.sql.dli.job.priority=10。 | | 是否忽略OBS监听 | - 是，补数据场景下，系统会忽略OBS监听。 - 否，补数据场景下，系统会监听OBS路径。 | | 是否设置运行时间段 | 设置补数据任务的运行时间段。 - 是 可以设置补数据任务每天运行的时间段。 - 否 | 7. 单击"确定"，开始补数据，并进入"补数据监控"页面。 #### 批作业监控：添加作业标签 支持给作业添加标签，便于作业实例的筛选分类。 1. [登录DataArts Studio管理控制台](https://console.huaweicloud.com/dayu/)。 详情请参考[访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.html)。 2. 在DataArts Studio控制台首页，选择对应工作空间的"数据开发"模块，进入数据开发页面。 3. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 作业监控"。 4. 单击"批作业监控"页签，进入批作业的监控页面。 5. 在作业的"操作"列，选择"更多 \> 添加作业标签"。 6. 弹出"添加作业标签"对话框，填写需要配置的作业标签。 图6添加作业标签参数 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001088017343.png "点击放大") 7. 填写完标签后，单击"确认"，完成作业标签的添加。 #### 批作业监控：查看作业依赖图 作业依赖关系视图支持查看作业与其他作业的依赖关系。 1. [登录DataArts Studio管理控制台](https://console.huaweicloud.com/dayu/)。 详情请参考[访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.html)。 2. 在DataArts Studio控制台首页，选择对应工作空间的"数据开发"模块，进入数据开发页面。 3. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 作业监控"。 4. 单击"批作业监控"页签，进入批作业的监控页面。 5. 在作业的"操作"列，选择"更多 \> 查看作业依赖关系图"。 6. 在弹出的"作业依赖关系视图"页面，支持如下操作： - 视图右上角支持"显示完整依赖图"、"显示当前作业及其上下游"和"显示当前作业及其直接上下游"。 - 视图右上角支持按节点名称进行搜索，搜索出来的作业节点高亮显示。 - 单击下载按钮，可以下载作业的依赖关系文件。 - 鼠标滚轮可放大、缩小关系图。 - 鼠标按住空白处，可自由拖拽用以查看完整关系图。 - 鼠标光标悬停在作业节点上，该作业节点会被标记为绿色，上游作业会被标记为青蓝色，下游作业会被标记为橙黄色。 图7上下游作业节点标记 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001584260802.png "点击放大") - 在作业节点上右键单击，可进行查看作业、复制作业名称、收起上/下游作业等操作。 图8作业节点操作 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001634699845.png "点击放大") 另外，作业的节点监控信息还可以通过作业详情查看。 1. [登录DataArts Studio管理控制台](https://console.huaweicloud.com/dayu/)。 详情请参考[访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.html)。 2. 在DataArts Studio控制台首页，选择对应工作空间的"数据开发"模块，进入数据开发页面。 3. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 作业监控"。 4. 单击"批作业监控"页签，进入批作业的监控页面。 5. 单击作业名称，进入后单击作业节点。查看作业节点监控的详细信息。 单击"编辑"，将进入该作业的开发页面。 #### 批作业监控：查看最近实例DAG 支持查看最近作业实例DAG。单击"查看最近实例DAG"，可以跳转到实例监控页面，查看作业依赖关系。支持DAG视图和列表视图两种方式。 当DAG节点数过多时，可使用列表视图快速筛选与排查。 请参见[查看DAG图](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0511.html#dataartsstudio_01_0511__section105331346184319)。 #### SQL复杂度 SQL复杂度查看支持批处理的单任务Spark SQL作业。 SQL复杂度：系统会先自动统计SQL语句中的关键字，再折算为SQL复杂度。 - 统计SQL关键字。 SQL关键字个数=JOIN个数+GROUP BY个数+ORDER BY个数+DISTINCT个数+窗口函数个数+MAX((INSERT个数\|UPDATE个数\|DELETE个数), 1)。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 如果SQL关键字个数远高于20，会导致解析消耗大量时间，且作业长期处于排队状态，建议您优化SQL，控制SQL关键字个数。 - SQL复杂度计算。 - SQL关键字个数小于等于3，复杂度为1。 - SQL关键字个数小于等于6，且大于等于4，复杂度为1.5。 - SQL关键字个数小于等于19，且大于等于7，复杂度为2。 - SQL关键字个数大于等于20，复杂度为4。 - SQL作业复杂度示例，以下述SQL为例。 ``` SELECT DISTINCT total1 FROM(SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1 ) tmp1 ORDER BY total1 DESC LIMIT 100; ``` 其中： - DISTINCT个数为1 - GROUP BY个数为1 - ORDER BY个数为1 - MAX((INSERT个数\|UPDATE个数\|DELETE个数), 1) = MAX(0\|0\|0, 1) = 1 - SQL关键字个数 = 1+1+1+1 = 4 由此可知，SQL关键字个数小于等于6，且大于等于4，复杂度为1.5，即SQL复杂度为1.5。