配置任务组
通过配置任务组,可以更细粒度地进行当前任务组中的作业节点的并发数控制。
约束限制
- 该功能不支持实时处理作业,只支持批处理作业。
- 任务组不能跨工作空间去使用。
- 对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了节点级任务组,则优先级高于作业级的任务组。
配置方法
- 登录DataArts Studio管理控制台。
详情请参考访问DataArts Studio实例控制台。
- 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
- 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
- 选择“并发数配置”。
- 选择“任务组”。
- 单击“创建”进入“创建任务组”的界面。
- 配置相关参数。
表1 创建任务组参数 参数
说明
基本信息
任务组名称
任务组的名称。任务组名称不能重名。
默认并发数
该任务组默认的工作空间作业节点并发数。
说明:如果设置了当前工作空间的节点并发数上限值,任务组的默认并发数不能超过该上限。默认并发数为当前工作空间所配置的节点并发数。
最大并发数
当前任务组作业节点最大并发数。
最大节点并发数即为当前DataArts Studio实例的并发数。
当前DataArts Studio实例的节点并发数上限为1000,请不要超过该上限。
最大并发数与DataArts Studio实例规格有关,不同规格的实例的节点并发数上限值,则各有不同。
描述(可选)
描述信息。
分时并发策略
分时并发策略
开启后,支持按每日特定时段设置并发上限。未配置规则的时段,将使用任务组的默认并发数。
您可以根据业务的需要,设置生效时间和结束时间,以及在这个时段上的并发上限。最多可以添加10个分时并发策略。
- 单击“确定”,任务组创建完成。
配置完成后,请前往作业开发界面,在所需作业画布右侧“调度配置”页签,选择任务组,即可按照设置好的任务组更细粒度地进行当前任务组中的作业节点的并发数控制。
后续操作
修改:单击“修改”,可以修改已配置好的任务组。任务组的修改是实时生效的。
删除:单击“删除”,可以删除已配置好的任务组。如果任务组被作业引用,无法删除。
查看引用:单击“查看引用”,可以查看该任务组被引用的详细信息。
查看监控:单击“查看监控”,可以查看该任务组的监控详细信息。任务组监控信息包含:历史节点并发数的折线图,运行中的作业以及排队中的作业的详情。
查看关联对象:单击“关联对象”列的数字,可以查看该任务组被关联的对象信息。关联对象信息包含:作业名称、作业ID、类型。节点名称等。