# 实例监控 作业每次运行，都会对应产生一次作业实例记录。在数据开发模块控制台的左侧导航栏，选择 "运维调度"，进入实例监控列表页面，用户可以在该页面中查看作业的实例信息，并根据需要对实例进行更多操作。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 实例监控只能展示最近6个月的数据。 实例监控支持从"作业名称"、"创建人"、"责任人"、"CDM作业"、"节点类型"和"作业标签"等维度搜索实例。其中按照"CDM作业"搜索，是从节点的维度搜索，搜索包含该节点的作业实例列表。同时，支持通过"运行状态"和"调度方式"进行筛选作业实例。 在实例监控页面，您可以根据运行成功状态+运行方式进行组合，过滤出不同运行方式的作业实例数据。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 实例监控中不包含实时作业的作业实例数据。 作业指定启动日期进行启动时，作业实例显示为初始化状态。实例监控页面的作业实例运行状态如果是初始化状态，则"强制优先执行"置灰。等到作业实例运行状态如果是等待运行状态，则可以进行"强制优先执行"操作。 作业实例前缀的说明如下： - **C_**前缀开头的实例名称，表示单次调度方式的自定义实例名称。 - **N_**前缀开头的实例名称，表示正常调度。 - **R** **_**前缀开头的实例名称，表示任务重跑。 - **M** **_**前缀开头的实例名称，表示手工调度。 - **P** **_**前缀开头的实例名称，表示补数据。 - **S** **_**前缀开头的实例名称，表示子作业调度。 - **O** **_**前缀开头的实例名称，表示通过API触发的单次调度。 通过实例名称搜索时，仅支持精确搜索，不支持模糊搜索。 单击作业名称，可以查看作业的依赖关系，展开详情后，可以查看作业属性，作业参数，节点列表，历史实例。 #### 作业实例操作 1. [登录DataArts Studio管理控制台](https://console.huaweicloud.com/dayu/)。 详情请参考[访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.html)。 2. 在DataArts Studio控制台首页，选择对应工作空间的"数据开发"模块，进入数据开发页面。 3. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 实例监控"。 4. 当前支持批量停止、重跑、继续执行、强制成功多个实例，使用说明参见[表1]。 其中，批量重跑多个实例时，重跑的顺序如下： - 如果作业不依赖上一调度周期，多个实例并行重跑。 - 如果作业自依赖，多个实例串行重跑，以上一调度周期中实例执行完成的先后顺序为准，先执行完成的先重跑。 5. 在实例列表中，提供如[表1]所示的操作。 表1实例监控操作 | 操作项 | 说明 | |:---|:---| | 根据作业属性进行筛选，或者输入关键字进行搜索。 | 可以通过"作业名称"、"创建人"、"责任人"、"节点类型"或"数据连接"等多个作业属性进行筛选。 可以通过关键字进行模糊搜索，比如，作业名称关键字。 | | 精确搜索 | 支持按照"计划时间"进行精确搜索，同时可以选择时间段（今天、昨天、自定义）进行精确查找。 | | 停止 | 停止运行状态为"待运行"、"运行中"或"运行异常"的实例。 | | 重跑 \> 重跑 | 重新运行状态为"成功"或"取消"的实例。 详细操作请参见[重跑作业实例]。 说明： - 手动调度的作业任务不支持重跑。 - 企业模式下，开发者不能对作业实例进行重跑。 手工确认执行场景下，重跑实例时，作业实例运行状态显示为"待确认执行"，可以进行手动确认执行，单击"确认执行"后，作业实例运行状态显示为"等待运行"。 | | 重跑 \> 全量重跑 | 通过全量重跑的能力，可以进行作业实例全量重跑。详细操作请参见[全量重跑]。 | | 手工重试 | 手工重试只能针对"运行异常"的节点。节点状态为运行中 、暂停、等待中、冻结时，不支持手工重试，手工重试按钮会置灰。 | | 执行 \> 继续执行 | 对于实例的状态为"运行异常"时，支持批量操作，继续运行实例中的后续节点。 | | 强制成功 | 对于实例的状态为"运行异常"、"取消"、"失败"时，可以批量操作，将运行状态改为"成功"，实例状态显示为"强制成功"。 | | 执行 \> 确认执行 | 对于实例的状态为"待确认执行"时，支持批量进行手工确认执行。 | | 执行 \> 强制解除依赖执行 | 可以对有依赖关系的作业实例批量选中进行强制解除依赖执行。 | | 暂停 | 可以对运行中的作业实例批量选中进行暂停操作。当作业运行中可以手动进行暂停操作。 说明： 如果作业实例下没有等待运行的节点实例，不支持暂停。 | | 恢复 | 可以对暂停的作业实例批量选中进行恢复操作。 | | 更多 \> 手工重试 | 对于实例的状态为"运行异常"时，支持进行手工重试。 | | 更多 \> 查看等待作业实例 | 实例的状态为"等待运行"时，支持查看等待的作业实例。单击"操作 \> 去除依赖"可以去除对上游单个实例的依赖关系。 | | 更多 \> 确认执行 | 对于实例的状态为"待确认执行"时，支持进行手工确认执行。 | | 更多 \> 继续执行 | 实例的状态为"运行异常"时，支持继续运行实例中的后续节点。 说明： 只有节点的"节点属性 \> 高级 \> 失败策略"设置为"挂起当前作业执行计划"时，才可以执行该操作。 | | 更多 \> 强制成功 | 强制将状态为"运行异常"、"取消"、"失败"的实例变更为"成功"状态，当前实例状态显示为"强制成功"。 | | 更多 \> 暂停 | 可以对运行中的作业实例进行暂停操作。当作业运行中可以手动进行暂停操作。 说明： 如果作业实例下没有等待运行的节点实例，不支持暂停。 | | 更多 \> 恢复 | 可以对暂停的作业实例进行恢复操作。 | | 更多 \> 强制解除依赖执行 | 可以对有依赖关系的作业实例进行强制解除依赖执行。 | | 更多 \> 查看 | 跳转至作业开发页面，查看作业信息。 | | 更多 \> 历史性能 | 可以查看作业实例监控的历史性能折线图。 | | 更多 \> 查看重跑历史 | 可以查看作业实例重跑的历史记录。 当重跑次数大于0时，才能查看作业实例重跑历史记录。 | | 更多 \> 强制优先执行 | 可以对作业实例进行强制优先执行。 | | DAG | 弹出DAG图，便于直观查看作业实例之间的依赖关系，并且支持在DAG图上进行运维操作。 详细操作请参见[查看DAG图]。 | | 导出 \> 全量导出 | 单击"导出 \> 全量导出"，进入"导出全量数据"页面，单击"确认"。导出完成后，请到下载中心查看导出的内容。 如果没有配置默认存储路径，单击"批量导出"后，配置存储路径，可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M，超过30M系统会自动截断。 导出的作业实例与作业节点存在对应关系。目前不支持通过勾选作业名称导出所勾选的数据，可以通过筛选条件选择需要导出的数据。 | 6. 单击实例前方的![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001136385308.png)，显示该实例所有节点的运行记录。 您可以查看实例节点的详细日志信息，对运行异常的实例节点进行手工重试。 7. 在节点的"操作"列，提供如[表2]所示的操作。 表2操作（节点） | 操作项 | 说明 | |:---|:---| | 查看日志 | 查看节点的日志信息。 进行作业手动测试运行时，作业测试运行日志查看有权限管控，比如，用户A进行作业测试运行后，可以在"实例监控"页面查看测试运行日志，不允许用户B查看该测试运行日志。 | | 手工重试 | 节点的状态为"失败"时，支持重新运行节点。 节点的状态为"运行异常"时，支持进行手工重试。 说明： 只有节点的"节点属性 \> 高级 \> 失败策略"设置为"挂起当前作业执行计划"时，才可以执行该操作。 | | 强制成功 | 节点的状态为"失败"时，支持将该节点强制变更为"成功"状态，且实例监控中作业实例的状态显示为"强制成功"。 说明： 只有节点的"节点属性 \> 高级 \> 失败策略"设置为"挂起当前作业执行计划"时，才可以执行该操作。 | | 更多 \> 跳过 | 节点的状态为"待运行"或"已暂停节点"时，支持跳过该节点。 说明： 若实例为单节点实例，不支持跳过操作。为多节点实例支持跳过操作。 | | 更多 \> 暂停 | 作业的实例状态是运行中，节点的状态是等待运行的时候，支持暂停该节点，该暂停节点的后续节点将会被阻塞。 | | 更多 \> 恢复 | 节点的状态为"已暂停"时，支持恢复运行该节点。 | | 更多 \> 历史性能 | 可以查看作业节点的历史性能折线图。 | #### 重跑作业实例 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 企业模式下，开发者不能对作业实例进行重跑。 您可以对运行成功或失败的作业实例设置重跑，配置重跑开始位置。 1. [登录DataArts Studio管理控制台](https://console.huaweicloud.com/dayu/)。 详情请参考[访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.html)。 2. 在DataArts Studio控制台首页，选择对应工作空间的"数据开发"模块，进入数据开发页面。 3. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 实例监控"。 4. 在作业所在的"操作"列，单击"重跑"设置重跑当前作业实例；或单击作业名称左边的复选框，再选择页面上方的"重跑 \> 重跑"按钮可以批量设置多个作业的实例重跑。 图1设置单个作业重跑 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002547901835.png "点击放大") 图2批量设置作业重跑 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002547983073.png "点击放大") ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 批量设置多个作业实例重跑时，仅需要配置重跑开始位置、使用的作业参数、是否忽略OBS监听等参数。 表3参数说明 | 参数 | 说明 | |:---|:---| | 重跑类型 | 选择需要重跑的实例。 - 重跑当前实例 - 重跑当前作业及其上下游作业实例 | | 重跑实例范围 | 仅当"重跑类型"选择"重跑当前作业及其上下游作业实例"时，才需要配置。 - 全部下游 - 从依赖图选择 | | 实例时间范围 | 仅当"重跑类型"选择"重跑当前作业及其上下游作业实例"、"重跑实例范围"选择"全部下游"时，才需要配置。 作业实例计划开始时间范围，精确到天。重跑时间范围内的分钟/小时周期调度及上游驱动的小时频次作业，其他作业重跑当天00:00\~23:59范围的作业实例。 | | 开始时间 | 仅当"重跑类型"选择"重跑当前作业及其上下游作业实例"、"重跑实例范围"选择"从依赖图选择"时，才需要配置。 设置好开始时间和结束时间，系统会重跑所设置的时间段内的作业实例。 说明： 如果所选的时间段内没有可以重跑的作业实例，系统会报错"Job xxx have no instances to rerun"。 | | 重跑作业实例列表 | 仅当"重跑类型"选择"重跑当前作业及其上下游作业实例"、"重跑实例范围"选择"从依赖图选择"时，才需要配置。 作业依赖关系视图可设置为"显示当前作业及其直接上下游"或"显示完整依赖图"。 此处系统会展示作业依赖关系视图，支持输入作业名称进行查询。 图3作业依赖关系视图 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001942753774.png "点击放大") 选择需要重跑的当前作业及其上下游作业，支持多选。 说明： 鼠标放置于作业依赖关系视图右边的按钮上，会显示如下信息： - 鼠标在依赖关系图中的某节点上悬停，其上游作业会被标记为蓝色，下游作业会被标记为黄色。 - 鼠标按住空白处可自由拖拽以查看完整关系图。 - 鼠标左键单击依赖关系图中的节点即可选中该作业所选时间段内的全部实例，即重跑该作业的所有实例。 图4重跑所有实例 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001969947385.png "点击放大") - 右键单击节点可查看该作业的实例列表，可以在列表中选中部分实例进行重跑，即重跑该作业的部分实例。 图5重跑部分实例 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001970061349.png "点击放大") - 如果还未选中任何作业实例，系统会显示未选中实例。 图6未选中实例 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001969942177.png "点击放大") 关于作业依赖关系视图的详细操作，请参考[批作业监控：查看作业依赖图](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0508.html#dataartsstudio_01_0508__section1913992715419)。 | | 重跑开始位置 | 选择作业实例重跑的开始位置。 - 从错误节点开始重跑：作业实例执行失败时，从实例执行失败的错误节点开始重跑。 - 从第一个节点开始重跑：从作业实例的第一个节点开始重跑。 - 从指定的节点开始重跑：从作业实例中指定的节点开始重跑。仅当"重跑类型"选择"重跑当前实例"时有此选项。 - 只重跑指定的节点：只重跑指定的节点，其他节点不重跑。 说明： 以下两种情况，系统运行会从第一个节点开始重跑。 - 如果作业中节点个数或者名称发生变化，从第一个节点开始重跑。 - 如果重跑成功状态的作业实例，从第一个节点开始重跑。 | | 使用作业内容 | - 最新作业内容和上次的实例参数 - 最新作业内容和参数 | | 处理并发数 | 仅当"重跑类型"选择"重跑当前作业及其上下游作业实例"时，才需要配置。 设置作业实例并行处理的数量，输入值不能小于1。默认值为1。 | | 是否忽略OBS监听 | 系统默认为"忽略"。 - 忽略，重跑作业实例场景下，系统会忽略OBS监听。 - 不忽略，重跑作业实例场景下，系统会监听OBS路径。 说明： 若暂未使用该参数，可忽略。 | #### 全量重跑 1. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 实例监控"。 2. 单击"重跑 \> 全量重跑"，弹出"全量重跑"页面。配置如下重跑参数。 表4设置全量重跑的相关参数 | 参数 | 说明 | |:---|:---| | 重跑实例范围 | - 全部下游 - 仅当前作业实例 说明： 当前过滤条件下所有实例，选择"全部下游"时，实例总数最大支持 20000。 | | 重跑开始位置 | - 从错误节点开始 - 从第一个节点开始 说明： 如果重跑成功状态的作业实例或作业中节点个数、名称发生变化，则从第一个节点开始重跑。 | | 作业配置 | - 最新作业内容和上次的实例参数 - 最新作业内容和参数 | | 处理并发数 | 设置作业实例并行处理的数量。默认为1，最大支持100。 说明： 并发数是指同一个作业最多允许并行重跑的实例数。如果重跑一天内的作业，仅小时和分钟受该配置影响；如果重跑跨多天，提高并发数可提高整个重跑的速度。默认为1，当作业本身实现逻辑如果不允许多实例并发执行时，必须设置为1。增大并发数也会同一时间耗费更多的资源，需谨慎设置。 | | OBS监听 | 系统默认为"忽略"。 - 忽略，全量重跑作业实例场景下，系统会忽略OBS监听。 - 不忽略，全量重跑作业实例场景下，系统会监听OBS路径。 说明： 若暂未使用该参数，可忽略。 | 3. 单击"确定"，全量重跑配置完成。 #### 查看DAG图 支持DAG视图和列表视图两种展现风格。 **DAG视图** 您可以查看作业实例之间的依赖关系，并且在DAG视图上进行运维操作。 1. [登录DataArts Studio管理控制台](https://console.huaweicloud.com/dayu/)。 详情请参考[访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.html)。 2. 在DataArts Studio控制台首页，选择对应工作空间的"数据开发"模块，进入数据开发页面。 3. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 实例监控"。 4. 选择作业名称，在作业的"操作"列，单击"DAG"，进入依赖关系页面后，选择DAG视图。 图7DAG视图 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002401783917.png) DAG视图默认展示当前作业实例及上下游作业实例，并支持如下操作： - DAG视图右上角![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001172811144.png)表示恢复DAG图初始状态，![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001218370915.png)表示关闭，单击可以关闭。您可以自由调节视图宽度。 - 单击可以选中某个作业实例： 图8选中作业实例 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002368104818.png "点击放大") - 选中节点时，该作业实例会显示名称。 - DAG视图右下角展示该实例的概要信息，且实例名称支持直接复制。 - 单击概览信息的"展开详情"打开详情面板，详情面板包含实例属性、作业参数、节点列表、历史实例等信息，支持调整高度并关闭详情面板。 - 单击空白处，即可取消选中效果。 - 最晚路径：选中节点时，该节点实例的上游实例最晚路径时间通过颜色进行区分。 - 右键单击某个作业实例，可以展开该实例上下游的作业实例，并支持进行停止、重跑、继续执行、强制成功、上游分析、编辑作业等实例操作。查看上下游节点实例最多支持查看5层。系统支持展开上下游节点功能和收起上下游节点功能。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 右键单击某个作业实例，设置重跑参数的详细信息，请参见[重跑作业实例]的重跑当前作业实例的参数配置。 图9操作作业实例 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002368108130.png) **列表视图** 您可以查看作业实例之间的依赖关系，并且在DAG列表视图上进行运维操作。 1. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 实例监控"。 2. 选择作业名称，在作业的"操作"列，单击"DAG"，进入依赖关系页面后，选择列表视图。 图10DAG列表视图 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002516458576.png "点击放大") 3. 查看当前作业实例的详细信息。在"操作"列，可以编辑作业，查看作业监控信息。 4. 可以查看当前作业实例所依赖的上游实例以及下游实例。 查看上下游实例信息时，可以单击"返回初始实例"，直接返回到当前实例。 #### 作业实例运行状态 表5作业实例运行状态说明 | 运行状态 | 场景描述 | |:---|:---| | 等待运行 | 如果作业实例依赖的前置作业实例未最终完成（未最终完成的状态包括：未生成实例、等待运行、运行失败），该实例处于等待运行。 | | 运行中 | 作业正常运行中。说明前置的依赖作业都已完成，该作业调度时间已到。 | | 运行成功 | 作业真正成功执行了业务逻辑，并且最终成功（包含失败重试的成功）。 "运行成功"包括了"成功"、"强制成功"、"忽略失败"三种运行状态。 | | 强制成功 | 作业实例处于失败或取消状态时，进行手动执行强制成功。 | | 忽略失败成功 | 如下图所示，节点B设置了失败处理策略，当B执行失败了，会跳过B继续执行C，当存在这种节点运行失败，整个作业执行完成了就是忽略失败成功。 图11失败处理策略-继续执行下一节点 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001526013638.png "点击放大") | | 运行异常 | 这种运行状态场景较少。如下图所示，节点B设置了失败处理策略，当B执行失败了，作业实例立即挂起，不会继续执行C，作业实例进入异常运行状态。 图12失败处理策略-挂起当前作业执行计划 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001576693841.png "点击放大") | | 已暂停 | 这种运行状态场景较少。当某个作业的实例正在运行，测试人员在作业监控界面，手工暂停作业调度。此时，该作业正在运行的实例会进入已暂停状态。多节点的作业，a节点运行中，b节点等待运行时，单击暂停调度时，作业实例状态为已暂停，a节点会运行完成，b节点状态为已暂停。 | | 已取消 | - 等待运行状态的作业实例，进行手工停止，则实例处于已取消状态。 - 如果作业实例依赖的直接上游作业被停止调度了，该作业实例会自动进入已取消状态。作业A依赖作业B，作业B被停止调度，作业A实例生成后会自动取消。 | | 冻结 | 对于未来时间内尚未生成的作业实例，进行冻结后，该作业实例会进入冻结状态。 | | 失败 | 作业执行失败。执行失败的作业，可以查看失败原因，比如作业的哪个节点执行失败。 |