更新时间:2024-07-22 GMT+08:00
分享

新建作业

作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。开发作业前请先新建作业

前提条件

作业在每个工作空间的最大配额为10000,作业目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额。

新建普通目录

如果已存在可用的目录,则可以跳过当前操作。

  1. 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 在数据开发主界面的左侧导航栏,选择数据开发 > 作业开发
  4. 在作业目录中,右键单击目录名称,选择“新建目录”
  5. 在弹出的“新建目录”页面,配置如表1所示的参数。
    表1 作业目录参数

    参数

    说明

    目录名称

    作业目录的名称,只能包含英文字母、数字、中文字符、“_”“-”,且长度为1~64个字符。

    选择目录

    选择该作业目录的父级目录,父级目录默认为根目录。

  6. 单击“确定”,新建目录。

新建作业

  1. 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 在数据开发主界面的左侧导航栏,选择数据开发 > 作业开发
  4. 在作业目录中,右键单击目录名称,选择“新建作业”
    图1 新建作业
  5. 在弹出的“新建作业”页面,配置如表2所示的参数。
    表2 作业参数

    参数

    说明

    作业名称

    自定义作业的名称,只能包含英文字母、数字、中文、“-”“_”“.”,且长度为1~128个字符。

    作业类型

    选择作业的类型。

    • 批处理作业:按调度计划定期处理批量数据,主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线,以流水线作为一个整体被调度。被调度触发后,任务执行一段时间必须结束,即任务不能无限时间持续运行。

      批处理作业可以配置作业级别的调度任务,即以作业为一整体进行调度,具体请参见配置作业调度任务(批处理作业)

    • 实时处理作业:处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。

      实时处理作业可以配置节点级别的调度任务,即每一个节点可以独立调度,具体请参见配置节点调度任务(实时作业)

    模式

    • Pipeline:即传统的流水线式作业,作业通过画布编辑,可以拖入一个或多个节点组成作业,各节点依次被流水线式地执行。
      说明:

      在企业模式下,实时处理作业类型不支持Pipeline模式,仅支持单任务模式。

    • 单任务:单任务作业可以认为是有且只有一个节点的批处理作业,整个作业即为一个脚本节点。当前支持DLI SQL、DWS SQL、RDS SQL、MRS Hive SQL、MRS Spark SQL、Doris SQL、DLI Spark、Flink SQL和Flink JAR类型的单任务作业,相比于先新建脚本再在作业中以节点引用脚本的开发方式,单任务作业可以直接在SQL编辑器中调测脚本并进行调度配置。
      说明:

      单任务Flink SQL目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。

    迁移类型

    “模式”“单任务Data Migration”时,才需要配置。

    默认为表/文件迁移。

    选择目录

    选择作业所属的目录,默认为根目录。

    责任人

    填写该作业的责任人。

    作业优先级

    选择作业的优先级,提供高、中、低三个等级。

    说明:

    作业优先级是作业的一个标签属性,不影响作业的实际调度执行的先后顺序。

    委托配置

    配置委托后,作业执行过程中,以委托的身份与其他服务交互。若该工作空间已配置过委托,参见配置公共委托,则新建的作业默认使用该工作空间级委托。您也可参见配置作业委托,修改为作业级委托。

    说明:

    作业级委托优先于工作空间级委托。

    日志路径

    选择作业日志的OBS存储路径。日志默认存储在以dlf-log-{Projectid}命名的桶中。

    说明:
    • 若您想自定义存储路径,请参见(可选)修改作业日志存储路径选择您已在OBS服务侧创建的桶。
    • 请确保您已具备该参数所指定的OBS路径的读、写权限,否则系统将无法正常写日志或显示日志。
  6. 单击“确定”,创建作业。

相关文档