更新时间:2026-08-05 GMT+08:00
分享

查看数据处理详情

在“数据处理”页面的处理任务列表,找到目标处理任务,单击任务名称,进入处理任务详情界面,可以查看该任务概览、数据预览、监控、日志。

概览

图1 数据处理任务概览详情示例
表1 概览信息

参数

说明

基础信息

任务名称

数据处理的任务名称。

任务ID

本次处理任务的任务ID。

单击,即可复制该任务ID。

创建时间

本次任务的创建时间。

完成时间

本次任务的完成时间。

描述

本次任务的描述信息。

数据信息

输入数据集

本次任务所选的数据集。

输出数据集

本次任务所选的输出数据集。

处理信息

处理算法

本次任务选择的处理算法。

启动命令

本次处理任务选择的处理算法对应的启动命令。

数据来源

输入数据集

本次处理任务选择的输入数据集来源和OBS路径。

输出数据集

本次处理任务完成后输出的数据集名称。

环境变量

参数名称

本次处理任务所输入的环境变量的参数名称。

本次处理任务所输入的环境变量的值。

描述

本次任务的环境信息。

运行环境

资源池

本次处理任务的资源池类型,支持“公共资源池”和“专属资源池”。

集群类型

本次处理任务的集群类型,支持“K8S集群”和“RAY集群”。

worker资源规格

本次处理任务所选择的worker资源规格。

动态存储

本次处理任务所输入的动态存储值。

数据预览

在“数据预览”页面,选择输入或输出,在文件树中选择路径,单击数据名称查看预览数据。

数据预览支持数据目录结构预览,文本、图片等。

监控

在“监控”页签提供数据处理作业的资源使用情况监控,可以查看当前作业占用的CPU、内存,网络IO上/下行速率、磁盘写入/读取速率等监控指标。

按照手动刷新、每10S刷新、每30S刷新、每60S刷新来刷新监控页面图表数据,还可以选择或者自定义时间段查看监控数据。

图2 监控
表2 监控项信息

监控项

说明

CPU使用率

用于统计测量对象的CPU使用率(%)。

CPU使用量

用于统计测量对象已经使用的CPU核个数(Core)。

内存使用率

用于统计测量对象已使用内存占申请物理内存总量的百分比(%)。

内存使用量

用于统计测量对象实际已经使用的物理内存(MB)。

网络IO上行速率

网络接收数据速率,该指标用于统计测试对象的入方向网络流速(Bytes/s)。

网络IO下行速率

网络发送数据速率,该指标用于统计测试对象的出方向网络流速(Bytes/s)。

磁盘读取速率

用于统计每秒从磁盘读出的数据量(KB/s)。

磁盘写入速率

用于统计每秒写入磁盘的数据量(KB/s)。

日志

日志记录了数据处理作业的运行过程和异常信息,帮助用户快速定位作业运行中出现的问题。

  • 用户日志,当前数据处理任务的标准输出日志,支持下载。
  • 系统日志,CloudRobo云端平台产生的系统日志,主要用于定位平台问题。

在页面可以查看日志内容,还可以下载日志文件至本地查看。

图3 日志示例

相关文档