更新时间:2024-11-01 GMT+08:00
分享

处理数据

在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。

  1. 数据回放类型的算子作业不需要选择输出仓库。
  2. 当选择数据集算子时,数据类型可支持选择通用存储。

创建作业

  1. 在左侧菜单栏中,单击“数据处理 > 数据处理”。
  2. 选择“作业总览”页签,单击“创建作业”。

    图1 创建作业
    • 处理算子:根据需要选择算子。
    • 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。
    • 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。
    • 环境变量:配置算子的环境变量。允许添加的环境变量个数不超过10个。
      • Key:只能由英文、数字、和特殊符号(,-_)组成,且需要以字母开头 。长度不超过64个字符。
      • Value:只能由英文、数字和特殊符号(\/,.[]-_)组成 。长度不超过64个字符。
    • 数据类型:选择“数据包”。
    • 选择数据:选择需要操作的数据包中的数据。
    • 输出目录:选择可输出的通用存储的目录。

  3. 单击“创建”, 在作业总览页面可查看创建好的作业。

相关文档