更新时间:2026-11-13 GMT+08:00
分享

查看数据处理详情

在“数据处理”页面的处理任务列表,找到目标处理任务,单击任务名称,进入处理任务详情界面,可以查看该任务概览、数据预览、监控、日志、Pod事件。

概览

图1 数据处理任务概览详情示例
表1 概览信息

参数

说明

基础信息

任务名称

数据处理的任务名称。

任务ID

本次处理任务的任务ID。

单击,即可复制该任务ID。

创建时间

本次任务的创建时间。

完成时间

本次任务的完成时间。

描述

本次任务的描述信息。

数据信息

输入数据集

本次处理任务选择的输入数据集来源和路径。

输出数据集

本次处理任务完成后输出的数据集名称。

处理信息

处理算法

本次任务选择的处理算法。

启动命令

本次处理任务选择的处理算法对应的启动命令。

处理任务选择空间资产-算法和OBS算法才展示启动命令。

环境变量

参数名称

本次处理任务所输入的环境变量的参数名称。

值

本次处理任务所输入的环境变量的值。

描述

本次任务的环境信息。

运行环境

资源池

本次处理任务的资源池类型,支持“公共资源池”和“专属资源池”。

作业类型

本次处理任务的作业类型,支持“单容器作业”和“分布式作业”。

worker资源规格

本次处理任务所选择的worker资源规格。

动态存储

本次处理任务所输入的动态存储值。

数据预览

在“数据预览”页面,选择输入或输出,在文件树中选择路径,单击数据名称查看预览数据。

数据预览支持数据目录结构预览,文本、图片等。

监控

在“监控”页签提供数据处理作业的资源使用情况监控,可以查看当前作业占用的CPU、内存,网络IO上/下行速率、磁盘写入/读取速率等监控指标。

按照手动刷新、每10S刷新、每30S刷新、每60S刷新来刷新监控页面图表数据,还可以选择或者自定义时间段查看监控数据。

图2 监控
表2 监控项信息

监控项

说明

CPU使用率

用于统计测量对象的CPU使用率(%)。

CPU使用量

用于统计测量对象已经使用的CPU核个数(Core)。

内存使用率

用于统计测量对象已使用内存占申请物理内存总量的百分比(%)。

内存使用量

用于统计测量对象实际已经使用的物理内存(MB)。

网络IO上行速率

网络接收数据速率,该指标用于统计测试对象的入方向网络流速(Bytes/s)。

网络IO下行速率

网络发送数据速率,该指标用于统计测试对象的出方向网络流速(Bytes/s)。

磁盘读取速率

用于统计每秒从磁盘读出的数据量(KB/s)。

磁盘写入速率

用于统计每秒写入磁盘的数据量(KB/s)。

日志

日志记录了数据处理作业的运行过程和异常信息,帮助用户快速定位作业运行中出现的问题。

  • 用户日志,当前数据处理任务的标准输出日志,支持下载。
  • 系统日志,CloudRobo云端平台产生的系统日志,主要用于定位平台问题。

在页面可以查看日志内容,还可以下载日志文件至本地查看。

图3 日志示例

Pod事件

Pod事件记录了底层容器Kubernetes集群中Pod的生命周期事件和异常情况。

图4 Pod事件示例

相关文档