查看数据处理详情
在“数据处理”页面的处理任务列表,找到目标处理任务,单击任务名称,进入处理任务详情界面,可以查看该任务概览、数据预览、监控、日志。
概览
| 参数 | 说明 |
|---|---|
| 基础信息 | |
| 任务名称 | 数据处理的任务名称。 |
| 任务ID | 本次处理任务的任务ID。 单击 |
| 创建时间 | 本次任务的创建时间。 |
| 完成时间 | 本次任务的完成时间。 |
| 描述 | 本次任务的描述信息。 |
| 数据信息 | |
| 输入数据集 | 本次任务所选的数据集。 |
| 输出数据集 | 本次任务所选的输出数据集。 |
| 处理信息 | |
| 处理算法 | 本次任务选择的处理算法。 |
| 启动命令 | 本次处理任务选择的处理算法对应的启动命令。 |
| 数据来源 | |
| 输入数据集 | 本次处理任务选择的输入数据集来源和OBS路径。 |
| 输出数据集 | 本次处理任务完成后输出的数据集名称。 |
| 环境变量 | |
| 参数名称 | 本次处理任务所输入的环境变量的参数名称。 |
| 值 | 本次处理任务所输入的环境变量的值。 |
| 描述 | 本次任务的环境信息。 |
| 运行环境 | |
| 资源池 | 本次处理任务的资源池类型,支持“公共资源池”和“专属资源池”。 |
| 集群类型 | 本次处理任务的集群类型,支持“K8S集群”和“RAY集群”。 |
| worker资源规格 | 本次处理任务所选择的worker资源规格。 |
| 动态存储 | 本次处理任务所输入的动态存储值。 |
数据预览
在“数据预览”页面,选择输入或输出,在文件树中选择路径,单击数据名称查看预览数据。
数据预览支持数据目录结构预览,文本、图片等。
监控
在“监控”页签提供数据处理作业的资源使用情况监控,可以查看当前作业占用的CPU、内存,网络IO上/下行速率、磁盘写入/读取速率等监控指标。
按照手动刷新、每10S刷新、每30S刷新、每60S刷新来刷新监控页面图表数据,还可以选择或者自定义时间段查看监控数据。
| 监控项 | 说明 |
|---|---|
| CPU使用率 | 用于统计测量对象的CPU使用率(%)。 |
| CPU使用量 | 用于统计测量对象已经使用的CPU核个数(Core)。 |
| 内存使用率 | 用于统计测量对象已使用内存占申请物理内存总量的百分比(%)。 |
| 内存使用量 | 用于统计测量对象实际已经使用的物理内存(MB)。 |
| 网络IO上行速率 | 网络接收数据速率,该指标用于统计测试对象的入方向网络流速(Bytes/s)。 |
| 网络IO下行速率 | 网络发送数据速率,该指标用于统计测试对象的出方向网络流速(Bytes/s)。 |
| 磁盘读取速率 | 用于统计每秒从磁盘读出的数据量(KB/s)。 |
| 磁盘写入速率 | 用于统计每秒写入磁盘的数据量(KB/s)。 |
日志
日志记录了数据处理作业的运行过程和异常信息,帮助用户快速定位作业运行中出现的问题。
- 用户日志,当前数据处理任务的标准输出日志,支持下载。
- 系统日志,CloudRobo云端平台产生的系统日志,主要用于定位平台问题。
在页面可以查看日志内容,还可以下载日志文件至本地查看。
