- 功能总览
- 产品介绍
- 快速入门
- 用户指南
- API参考
- SDK参考
- 常见问题
- 文档下载
- 通用参考
链接复制成功!
作业总览
在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。
- 数据回放类型的算子作业不需要选择输出仓库。
- 当选择数据集算子时,数据类型可支持选择通用存储和数据场景。
创建作业(数据包)
- 在左侧菜单栏中,选择“数据处理 > 数据处理”。
- 选择“作业总览”页签,单击“创建作业”。
- 处理算子:根据需要选择算子。
- 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建,支持选择带有GPU的资源规格。
- 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。
- 环境变量:配置算子的环境变量。允许添加的环境变量个数不超过10个。
- Key:只能由英文、数字、和特殊符号(,-_)组成,且需要以字母开头 。长度不超过64个字符。
- Value:只能由英文、数字和特殊符号(\/,.[]-_)组成 。长度不超过64个字符。
- 数据类型:选择“数据包”。
- 选择数据:选择需要操作的数据包中的数据。
- 输出目录:选择可输出的通用存储的目录。
- 单击“创建”, 在作业总览页面可查看创建好的作业。
创建作业(通用存储)
- 在左侧菜单栏中,单击“数据处理 > 数据处理”。
- 选择“作业总览”页签,单击“创建作业”。
- 处理算子:选择输出类型为数据集的算子。
- 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建,支持选择带有GPU的资源规格。
- 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。
- 数据类型:选择“通用存储”。
- 选择存储目录:选择需要操作的通用存储中的数据。
- 输出目录:选择可输出的通用存储的目录。
- 单击“创建”, 在作业总览页面可查看创建好的作业。
创建作业(数据场景)
- 在左侧菜单栏中,单击“数据处理 > 数据处理”。
- 选择“作业总览”页签,单击“创建作业”。
- 处理算子:选择输出类型为数据集的算子。
- 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建,支持选择带有GPU的资源规格。
- 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。
- 数据类型:选择“数据场景”。
- 选择数据场景:选择需要操作的数据场景中的数据。
- 输出目录:选择可输出的通用存储的目录。
- 单击“创建”, 在作业总览页面可查看创建好的作业。
数据处理作业相关操作
- 在“作业总览”页签,针对算子作业还可以完成以下操作。
表1 作业总览相关操作 任务
操作步骤
作业详情
单击操作栏中的“详情”,可查看作业的详情和日志信息。当作业出现异常时,请参见表2分析定位问题。
重启作业
单击操作栏中的“重启”,可根据需要保持或修改资源规格(默认显示当前资源规格),将目标作业进行重启。
说明:
仅支持作业状态为“失败”、“停止”、“运行异常”和“上传失败”的作业。
停止作业
- 选择单个作业,选择操作栏的“更多 > 停止”,停止单个作业。
- 勾选多个作业,单击列表上方的“停止”,可批量停止作业。
说明:
当作业状态为过程态(排队中、启动中、运行中)时,可以停止作业。
删除作业
- 选择单个作业,选择操作栏的“更多 > 删除”,删除单个作业。
- 勾选多个作业,单击列表上方的“删除”,可删除多个作业。
说明:
当作业状态为终止态(提交失败、已停止、已完成、运行异常)时,可以删除作业。
重新上传作业
选择操作栏中的“更多 > 重新上传”,可重新上传作业。
说明:
仅支持作业状态为“上传失败”的作业。
搜索作业
可根据“作业ID”、“数据ID”、“算子”、“创建时间”、“输出类型”或“状态”搜索作业。
表2 作业异常提示信息和处理方法 数据作业异常提示信息
处理方法
输入文件不存在
请检查输入数据是否存在
创建容器配置失败
请尝试重启作业
镜像拉取失败
请检查镜像是否已上传
无效镜像
请检查镜像是否正确
容器启动异常
请尝试重启作业
创建容器失败
请尝试重启作业
未选择数据仓库
请重新创建作业并指定数据仓库
数据包不存在
请检查数据包是否存在
资源不可用,请检查资源规格
请检查资源规格是否可用
场景片段不存在或源文件不存在
请选择其他场景片段
数据来源与算子类型不匹配
检查算子类型和输入数据类型是否匹配
镜像不存在
请检查镜像是否已上传
pvc不存在
请检查PVC是否已创建
通知导入模块失败
请尝试重新上传或者联系运维人员
导入作业结果超时
请尝试重新上传或者联系运维人员
导入作业结果失败
请尝试重新上传或者联系运维人员
算子不存在
请检查算子是否存在
预处理失败
请尝试重启作业
获取实例资源异常
请检查运维配置是否正确
资源需求超出节点总量
请检查作业资源规格和节点资源总量
标签或自定义属性无效
请检查算子输出的标签或自定义属性是否正确
数据仓库ES操作异常
请尝试重新上传或者联系运维人员
标签或属性数量超过上限
请减少算子输出的标签或自定义属性数量
数据仓库服务重启,导入信息丢失
请尝试重新上传或者联系运维人员
作业运行超时
请优化算子逻辑或者增加作业资源规格
作业运行失败
请查看作业日志或者检查算子逻辑是否正确
内部异常
请查看日志内容或者检查CCE作业是否正常
其他情况
请查看日志内容或者检查CCE作业是否正常
- 在“作业总览”页签,针对内部作业还可以完成以下操作。
表3 作业总览相关操作 任务
操作步骤
作业详情
单击操作栏中的“详情”,可查看作业的详情和作业日志。
删除作业
- 选择单个作业,单击操作栏的“删除”,删除单个作业。
- 勾选多个作业,单击列表上方的“删除”,可删除多个作业。
说明:
当作业状态为终止态(提交失败、已停止、已完成、运行异常)时,可以删除作业。
搜索作业
可根据“作业ID”、“数据ID”、“作业类型”、“创建时间”或“状态”搜索作业。