更新时间:2024-10-18 GMT+08:00

配置任务组

通过配置任务组,可以更细粒度的进行当前任务组中的作业节点的并发数控制。

约束限制

  • 该功能不支持实时处理作业,只支持批处理作业。
  • 任务组不能跨工作空间去使用。
  • 对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了作业级任务组,则优先级高于节点的任务组。

配置方法

  1. 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”
  4. 选择“任务组”。
  5. 单击“创建任务组”进入“创建任务组”的界面。
  6. 配置相关参数。

    表1 创建任务组参数

    参数

    说明

    任务组名称

    任务组的名称。任务组名称不能重名。

    最大并发数

    当前任务组作业节点最大并发数。

    最大节点并发数即为当前DataArts Studio实例的并发数。

    当前DataArts Studio实例的节点并发数上限为1000,请不要超过该上限。

    最大并发数与DataArts Studio实例规格有关,不同规格的实例的节点并发数上限值,则各有不同。

    描述

    描述信息。

  7. 单击“确定”,任务组创建完成。

    配置完成后,请前往作业开发界面,在所需作业画布右侧“调度配置”页签,选择任务组,即可按照设置好的任务组更细粒度的进行当前任务组中的作业节点的并发数控制。

后续操作

修改:单击“修改”,可以修改已配置好的任务组。任务组的修改是实时生效的。

删除:单击“删除”,可以删除已配置好的任务组。如果任务组被作业引用,无法删除。

查看引用:单击“查看引用”,可以查看该任务组被引用的详细信息。