网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
云手机服务器 CPH
专属主机 DeH
弹性伸缩 AS
镜像服务 IMS
函数工作流 FunctionGraph
云耀云服务器(旧版)
VR云渲游平台 CVR
Huawei Cloud EulerOS
云化数据中心 CloudDC
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
CDN与智能边缘
内容分发网络 CDN
智能边缘云 IEC
智能边缘平台 IEF
CloudPond云服务
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
可信智能计算服务 TICS
推荐系统 RES
云搜索服务 CSS
数据可视化 DLV
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
湖仓构建 LakeFormation
智能数据洞察 DataArts Insight
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
开天aPaaS
应用平台 AppStage
开天企业工作台 MSSE
开天集成工作台 MSSI
API中心 API Hub
云消息服务 KooMessage
交换数据空间 EDS
云地图服务 KooMap
云手机服务 KooPhone
组织成员账号 OrgID
云空间服务 KooDrive
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
区块链
区块链服务 BCS
数字资产链 DAC
华为云区块链引擎服务 HBS
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
价格
成本优化最佳实践
专属云商业逻辑
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
其他
管理控制台
消息中心
产品价格详情
系统权限
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
云服务信任体系能力说明
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
存储容灾服务 SDRS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
云存储网关 CSG
专属分布式存储服务 DSS
数据工坊 DWR
地图数据 MapDS
键值存储服务 KVS
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
云原生服务中心 OSC
应用服务网格 ASM
华为云UCS
数据库
云数据库 RDS
数据复制服务 DRS
文档数据库服务 DDS
分布式数据库中间件 DDM
云数据库 GaussDB
云数据库 GeminiDB
数据管理服务 DAS
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
AI开发平台ModelArts
华为HiLens
图引擎服务 GES
图像识别 Image
文字识别 OCR
自然语言处理 NLP
内容审核 Moderation
图像搜索 ImageSearch
医疗智能体 EIHealth
企业级AI应用开发专业套件 ModelArts Pro
人脸识别服务 FRS
对话机器人服务 CBS
语音交互服务 SIS
人证核身服务 IVS
视频智能分析服务 VIAS
城市智能体
自动驾驶云服务 Octopus
盘古大模型 PanguLargeModels
IoT物联网
设备接入 IoTDA
全球SIM联接 GSL
IoT数据分析 IoTA
路网数字化服务 DRIS
IoT边缘 IoTEdge
设备发放 IoTDP
企业应用
域名注册服务 Domains
云解析服务 DNS
企业门户 EWP
ICP备案
商标注册
华为云WeLink
华为云会议 Meeting
隐私保护通话 PrivateNumber
语音通话 VoiceCall
消息&短信 MSGSMS
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
云桌面 Workspace
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMA Exchange
API全生命周期管理 ROMA API
政企自服务管理 ESM
视频
实时音视频 SparkRTC
视频直播 Live
视频点播 VOD
媒体处理 MPC
视频接入服务 VIS
数字内容生产线 MetaStudio
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
专属云
专属计算集群 DCC
开发者工具
SDK开发指南
API签名指南
DevStar
华为云命令行工具服务 KooCLI
Huawei Cloud Toolkit
CodeArts API
云化转型
云架构中心
云采用框架
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
支持计划
专业服务
合作伙伴支持计划
我的凭证
华为云公共事业服务云平台
工业软件
工业数字模型驱动引擎
硬件开发工具链平台云服务
工业数据转换引擎云服务

实例监控

更新时间:2024-10-08 GMT+08:00
分享

作业每次运行,都会对应产生一次作业实例记录。在数据开发模块控制台的左侧导航栏,选择 运维调度,进入实例监控列表页面,用户可以在该页面中查看作业的实例信息,并根据需要对实例进行更多操作。

实例监控支持从“作业名称”、“创建人”、“责任人”、“CDM作业”、“节点类型”和“作业标签”等维度搜索实例。其中按照“CDM作业”搜索,是从节点的维度搜索,搜索包含该节点的作业实例列表。同时,支持通过“运行状态”和“调度方式”进行筛选作业实例。

作业实例操作

  1. 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 在数据开发主界面的左侧导航栏,选择运维调度 > 实例监控
  4. 当前支持批量停止、重跑、继续执行、强制成功多个实例,使用说明参见表1

    其中,批量重跑多个实例时,重跑的顺序如下:

    • 如果作业不依赖上一调度周期,多个实例并行重跑。
    • 如果作业自依赖,多个实例串行重跑,以上一调度周期中实例执行完成的先后顺序为准,先执行完成的先重跑。
  5. 在实例列表中,提供如表1所示的操作。
    表1 实例监控操作

    操作项

    说明

    根据“作业名称”、“创建人”或“责任人”搜索作业

    如果勾选了“作业名称”前的“精确搜索”,可支持作业名称的精确匹配搜索。

    如果未勾选“作业名称”前的“精确搜索”,可支持作业名称的模糊匹配搜索。

    根据“CDM作业”、“节点类型”或“作业标签”筛选作业

    -

    停止

    停止运行状态为“待运行”“运行中”“运行异常”的实例。

    重跑

    重新运行状态为“成功”“取消”的实例。

    详细操作请参见重跑作业实例

    说明:
    • 手动调度的作业任务不支持重跑。
    • 企业模式下,开发者不能对作业实例进行重跑。

    手工确认执行场景下,重跑实例时,作业实例运行状态显示为“待确认执行”,可以进行手动确认执行,单击“确认执行”后,作业实例运行状态显示为“等待运行”。

    手工重试

    对于实例的状态为“运行异常”时,支持批量进行手工重试。

    继续执行

    对于实例的状态为“运行异常”时,支持批量操作,继续运行实例中的后续节点

    强制成功

    对于实例的状态为“运行异常”“取消”“失败”时,可以批量操作,将运行状态改为“成功”,实例状态显示为“强制成功”。

    确认执行

    对于实例的状态为“待确认执行”时,支持批量进行手工确认执行。

    强制解除依赖执行

    可以对有依赖关系的作业实例批量选中进行强制解除依赖执行。

    暂停

    可以对运行中的作业实例批量选中进行暂停操作。当作业运行中可以手动进行暂停操作。

    说明:

    如果作业实例下没有等待运行的节点实例,不支持暂停。

    恢复

    可以对暂停的作业实例批量选中进行恢复操作。

    更多 > 手工重试

    对于实例的状态为“运行异常”时,支持进行手工重试。

    更多 > 查看等待作业实例

    实例的状态为“等待运行”时,支持查看等待的作业实例。单击“操作 > 去除依赖”可以去除对上游单个实例的依赖关系。

    更多 > 确认执行

    对于实例的状态为“待确认执行”时,支持进行手工确认执行。

    更多 > 继续执行

    实例的状态为“运行异常”时,支持继续运行实例中的后续节点

    说明:

    只有节点节点属性 > 高级 > 失败策略设置为“挂起当前作业执行计划”时,才可以执行该操作。

    更多 > 强制成功

    强制将状态为“运行异常”“取消”“失败”的实例变更为“成功”状态,当前实例状态显示为“强制成功”。

    更多 > 暂停

    可以对运行中的作业实例进行暂停操作。当作业运行中可以手动进行暂停操作。

    说明:

    如果作业实例下没有等待运行的节点实例,不支持暂停。

    更多 > 恢复

    可以对暂停的作业实例进行恢复操作。

    更多 > 强制解除依赖执行

    可以对有依赖关系的作业实例进行强制解除依赖执行。

    更多 > 查看

    跳转至作业开发页面,查看作业信息。

    更多 > 历史性能

    可以查看作业实例监控的历史性能折线图。

    更多 > 查看重跑历史

    可以查看作业实例重跑的历史记录。

    当重跑次数大于0时,才能查看作业实例重跑历史记录。

    更多 > 强制优先执行

    可以对作业实例进行强制优先执行。

    DAG

    弹出DAG图,便于直观查看作业实例之间的依赖关系,并且支持在DAG图上进行运维操作。

    详细操作请参见查看DAG图

    全量导出

    单击“全量导出”,进入到“导出全量数据”页面,单击“确认”。导出完成后,请到下载中心查看导出的内容。

    如果没有配置默认存储路径,单击“批量导出”后,配置存储路径,可以将该存储路径设为OBS默认地址。

    当前导出数据量最大为30M,超过30M系统会自动截断。

    导出的作业实例与作业节点存在对应关系。目前不支持通过勾选作业名称导出所勾选的数据,可以通过筛选条件选择需要导出的数据。

  6. 单击实例前方的,显示该实例所有节点的运行记录。
  7. 节点“操作”列,提供如表2所示的操作。
    表2 操作(节点

    操作项

    说明

    查看日志

    查看节点的日志信息。

    进行作业手动测试运行时,作业测试运行日志查看有权限管控,比如,用户A进行作业测试运行后,可以在“实例监控”页面查看测试运行日志,不允许用户B查看该测试运行日志。

    手工重试

    节点的状态为“失败”时,支持重新运行节点

    节点的状态为“运行异常”时,支持进行手工重试。

    说明:

    只有节点节点属性 > 高级 > 失败策略设置为“挂起当前作业执行计划”时,才可以执行该操作。

    强制成功

    节点的状态为“失败”时,支持将该节点强制变更为“成功”状态,且实例监控中作业实例的状态显示为“强制成功”。

    说明:

    只有节点节点属性 > 高级 > 失败策略设置为“挂起当前作业执行计划”时,才可以执行该操作。

    更多 > 跳过

    节点的状态为“待运行”“已暂停节点时,支持跳过该节点

    说明:

    若实例为单节点实例,不支持跳过操作。为多节点实例支持跳过操作。

    更多 > 暂停

    作业的实例状态是运行中,节点的状态是等待运行的时候,支持暂停该节点,该暂停节点的后续节点将会被阻塞。

    更多 > 恢复

    节点的状态为“已暂停”时,支持恢复运行该节点

    更多 > 历史性能

    可以查看作业节点的历史性能折线图。

重跑作业实例

说明:

企业模式下,开发者不能对作业实例进行重跑。

您可以对运行成功或失败的作业实例设置重跑,配置重跑开始位置。

  1. 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 在数据开发主界面的左侧导航栏,选择运维调度 > 实例监控
  4. 在作业所在的“操作”列,单击“重跑”设置重跑当前作业实例;或单击作业名称左边的复选框,再选择页面上方的“重跑”按钮可以批量设置多个作业的实例重跑。
    图1 设置单个作业重跑
    图2 批量设置作业重跑
    说明:

    批量设置多个作业实例重跑时,仅需要配置重跑开始位置、使用的作业参数、是否忽略OBS监听等参数。

    表3 参数说明

    参数

    说明

    重跑类型

    选择需要重跑的实例。

    • 重跑当前实例
    • 重跑当前作业及其上下游作业实例

    开始时间

    仅当“重跑类型”选择“重跑当前作业及其上下游作业实例”时,才需要配置。

    设置好开始时间和结束时间,系统会重跑所设置的时间段内的作业实例。

    说明:

    如果所选的时间段内没有可以重跑的作业实例,系统会报错“Job xxx have no instances to rerun”。

    重跑作业实例列表

    仅当“重跑类型”选择“重跑当前作业及其上下游作业实例”时,才需要配置。

    作业依赖关系视图可设置为“显示当前作业及其直接上下游”或“显示完整依赖图”。

    此处系统会展示作业依赖关系视图,支持输入作业名称进行查询。

    图3 作业依赖关系视图

    选择需要重跑的当前作业及其上下游作业,支持多选。

    说明:

    鼠标放置于作业依赖关系视图右边的按钮上,会显示如下信息:

    • 鼠标在依赖关系图中的某节点上悬停,其上游作业会被标记为蓝色,下游作业会被标记为黄色。
    • 鼠标按住空白处可自由拖拽以查看完整关系图。
    • 鼠标左键单击依赖关系图中的节点即可选中该作业所选时间段内的全部实例,即重跑该作业的所有实例。
      图4 重跑所有实例
    • 右键单击节点可查看该作业的实例列表,可以在列表中选中部分实例进行重跑,即重跑该作业的部分实例。
      图5 重跑部分实例
    • 如果还未选中任何作业实例,系统会显示未选中实例。
      图6 未选中实例

    关于作业依赖关系视图的详细操作,请参考批作业监控:查看作业依赖图

    重跑开始位置

    选择作业实例重跑的开始位置。

    • 从错误节点开始重跑:作业实例执行失败时,从实例执行失败的错误节点开始重跑。
    • 从第一个节点开始重跑:从作业实例的第一个节点开始重跑。
    • 从指定的节点开始重跑:从作业实例中指定的节点开始重跑。仅当“重跑类型”选择“重跑当前实例”时有此选项。
    说明:

    以下两种情况,系统运行会从第一个节点开始重跑。

    • 如果作业中节点个数或者名称发生变化,从第一个节点开始重跑。
    • 如果重跑成功状态的作业实例,从第一个节点开始重跑。

    使用的作业参数

    • 使用原有作业参数重跑
    • 使用最新提交作业参数重跑

    处理并发数

    仅当“重跑类型”选择“重跑当前作业及其上下游作业实例”时,才需要配置。

    设置作业实例并行处理的数量,输入值不能小于1。默认值为1。

    是否忽略OBS监听

    系统默认为“是”。

    • 是,重跑作业实例场景下,系统会忽略OBS监听。
    • 否,重跑作业实例场景下,系统会监听OBS路径。
      说明:

      若暂未使用该参数,可忽略。

查看DAG图

您可以查看作业实例之间的依赖关系,并且在DAG图上进行运维操作。

  1. 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 在数据开发主界面的左侧导航栏,选择运维调度 > 实例监控
  4. 选择作业名称,在作业的“操作”列,单击“DAG”,系统弹出DAG视图。
    图7 DAG视图

    DAG视图默认展示当前作业实例及上下游作业实例,并支持如下操作:

    • DAG视图右上角表示恢复DAG图初始状态,表示关闭,单击可以关闭。左侧侧边图标可以拖动改变视图宽度。
    • 单击可以选中某个作业实例:
      图8 选中作业实例
      • 选中时,该作业实例及其上下游实例的背景颜色加深显示。
      • DAG视图右下角展示该实例的概要信息,且实例名称和实例ID支持直接复制。
      • 单击概览信息的“展开详情”打开详情面板,详情面板包含实例属性、作业参数、节点列表、历史实例等信息,支持调整高度并关闭详情面板。
      • 单击空白处,即可取消选中效果。
    • 右键单击某个作业实例,可以展开该实例上下游的作业实例,并支持进行停止、重跑、继续执行、强制成功、上游分析、编辑作业等实例操作。
      图9 操作作业实例

作业实例运行状态

表4 作业实例运行状态说明

运行状态

场景描述

等待运行

如果作业实例依赖的前置作业实例未最终完成(未最终完成的状态包括:未生成实例、等待运行、运行失败),该实例处于等待运行。

运行中

作业正常运行中。说明前置的依赖作业都已完成,该作业调度时间已到。

运行成功

作业真正成功执行了业务逻辑,并且最终成功(包含失败重试的成功)。

“运行成功”包括了“成功”、“强制成功”、“忽略失败”三种运行状态。

强制成功

作业实例处于失败或取消状态时,进行手动执行强制成功。

忽略失败成功

如下图所示,节点B设置了失败处理策略,当B执行失败了,会跳过B继续执行C,当存在这种节点运行失败,整个作业执行完成了就是忽略失败成功。

图10 失败处理策略-继续执行下一节点

运行异常

这种运行状态场景较少。如下图所示,节点B设置了失败处理策略,当B执行失败了,作业实例立即挂起,不会继续执行C,作业实例进入异常运行状态。

图11 失败处理策略-挂起当前作业执行计划

已暂停

这种运行状态场景较少。当某个作业的实例正在运行,测试人员在作业监控界面,手工暂停作业调度。此时,该作业正在运行的实例会进入已暂停状态。

已取消

  • 等待运行状态的作业实例,进行手工停止,则实例处于已取消状态。
  • 如果作业实例依赖的直接上游作业被停止调度了,该作业实例会自动进入已取消状态。作业A依赖作业B,作业B被停止调度,作业A实例生成后会自动取消。

冻结

对于未来时间内尚未生成的作业实例,进行冻结后,该作业实例会进入冻结状态。

失败

作业执行失败。执行失败的作业,可以查看失败原因,比如作业的哪个节点执行失败。

提示

您即将访问非华为云网站,请注意账号财产安全

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容