# 调度作业
对已编排好的作业设置调度方式。
- 如果您的作业是批处理作业，您可以配置作业级别的调度任务，即以作业为一个整体进行调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见[配置作业调度任务（批处理作业）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0470.html#dataartsstudio_01_0470__zh-cn_topic_0099797007_section1590152794714)。
- 如果您的作业是实时处理作业，您可以配置节点级别的调度任务，即每一个节点可以独立调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见[配置节点调度任务（实时作业）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0470.html#dataartsstudio_01_0470__zh-cn_topic_0099797007_section644754422910)。
#### 前提条件
- 已完成[开发Pipeline作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0435.html)或[开发批处理单任务SQL作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1436.html)。
- 当前用户已锁定该作业，否则需要通过"抢锁"锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定，详情参见[编辑锁定功能](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0913.html)。
 
#### 约束限制
- 调度周期需要合理设置，单个作业最多允许5个实例并行执行，如果作业实际执行时间大于作业配置的调度周期，会导致后面批次的作业实例堆积，从而出现计划时间和开始时间相差大。例如CDM、ETL作业的调度周期至少应在5分钟以上，并根据作业表的数据量、源端表更新频次等调整。
- 如果通过DataArts Studio数据开发调度CDM迁移作业，CDM迁移作业处也配置了定时任务，则两种调度均会生效。为了业务运行逻辑统一和避免调度冲突，推荐您启用数据开发调度即可，无需配置CDM定时任务。
 
 #### 配置作业调度任务（批处理作业）
配置批处理作业的作业调度任务，支持单次调度、周期调度、事件驱动调度几种方式。操作方法如下：
单击画布右侧"调度配置"页签，展开配置页面，配置如[表1]所示的参数。
 表1作业调度配置 
| 参数       | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
|:---|:---|
| 调度方式       | 选择作业的调度方式： - 单次调度：手动触发作业单次运行。  - 周期调度：周期性自动运行作业，参数说明请参见[表2]。 - 需要人工确认才执行：勾选后，需要人工确认执行后，作业实例才能够运行。如果不进行人工确认，影响后续作业实例执行。 说明： **作业实例运行场景下**，在实例监控页面，作业实例运行状态显示为"待确认执行"，可以进行手动确认执行，单击"确认执行"后，作业实例运行状态显示为"等待运行"。 **重跑实例时**，作业实例运行状态显示为"待确认执行"，可以进行手动确认执行，单击"确认执行"后，作业实例运行状态显示为"等待运行"。 **补数据场景下**，在补数据监控页面，补数据作业实例运行状态显示为"待确认执行"，可以在实例监控页面进行手动确认执行，单击"确认执行"后，补数据作业实例运行状态显示为"等待运行"。 **批作业监控场景下**，在批作业监控页面，作业实例运行状态显示为"待确认执行"，可以进行手动确认执行，单击"确认执行"后，作业实例运行状态显示为"等待运行"。     - 事件驱动调度：根据外部条件触发作业运行，参数说明请参见[表3]。具体使用教程可参见[跨空间进行作业调度](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0101.html)。   |
| 计算资源 说明： 调度配置的计算资源参数，仅涉及Notebook作业。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  ||
| 资源组      | 选择资源组。创建资源组请参见[管理Notebook资源组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1569.html)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
| 资源规格(CU) | 选择资源规格。 - 0.5 CU  - 1 CU  - 2 CU  - 4 CU  - 8 CU  - 16 CU 1CU=1核4GB内存                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
| 镜像选择      | 选择镜像。创建镜像请参见[管理镜像](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0762.html)。 支持自定义镜像和系统镜像。 说明： 自定义镜像：在管理中心创建的镜像。 系统镜像：系统预置的镜像。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
| 镜像版本      | 选择所需要的镜像版本。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
| 是否空跑     | 如果勾选了空跑，任务不会实际执行，将直接返回成功。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
| 任务组       | 选择已配置好的任务组。配置方法请参见[配置任务组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1284.html)。 系统默认"不选择任务组"。 任务组配置好后，可以更细粒度地进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 举例1：任务组里面最大并发数配置为2，作业节点有5个，当作业运行时，只有两个节点在运行中，其他节点在等待运行。 举例2：任务组里面最大并发数配置为2，补数据的并发周期数设置为5，当作业进行补数据时，有两个补数据生成的作业实例在运行中，其他的在等待运行。等待运行的实例，一段时间后，可以正常下发。 举例3：如果多个作业配置同一个任务组，任务组里面最大并发数配置为2，只有两个作业是运行中，其他作业在等待执行。如果多个作业节点上配置了任务组，任务组里面最大并发数配置为2，作业节点总共有5个，根据作业调度时间，只有两个节点在运行中，其他节点在等待运行。 说明： 对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了节点级任务组，则优先级高于作业级的任务组。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
| 最大并发实例数  | 输入值必须在1到15之间。在作业运行时，不允许修改调度配置。 在"执行调度"时，会显示实例名称，系统默认为作业名称，支持自定义。同时可以查看已配置的作业参数，支持修改参数值以及EL表达式。 作业运行时，系统会自动给作业实例名称追加**C_** 前缀。作业运行完成后，在实例监控可以看到该作业实例前面自动增加了**C_**前缀。 说明： 仅批处理作业单次调度类型作业，支持多次立即运行。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
   
 表2"周期调度"的参数配置 
| 参数                  | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
|:---|:---|
| 生效时间               | 调度任务的生效时间段。 系统支持生效时间可以快速选到今天和明天。单击生效时间的时间框，在时间框界面单击"今天"或"明天"，可以快速选择当前日期。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
| 调度周期              | 选择调度任务的执行周期，并配置相关参数。 说明： 影响作业运行的因素较多，并不意味着定时时间到了，作业就会立即执行。在作业执行前，会检测上游作业是否运行成功、工作空间并发数是否满足、任务组并发数是否满足、调度资源是否充足，当上述条件均已满足后，才开始运行作业。 调度周期需要合理设置，单个作业最多允许5个实例并行执行，如果作业实际执行时间大于作业配置的调度周期，会导致后面批次的作业实例堆积，从而出现计划时间和开始时间相差大。例如CDM、ETL作业的调度周期至少应在5分钟以上，并根据作业表的数据量、源端表更新频次等调整。 已经在运行中的作业，可以修改其调度周期。 - 分钟：支持在小时整点开始调度运行，调度周期可按间隔时间配置为分钟级别，在当天结束时间结束调度后第二天再自动开始调度。 说明： 调度周期选择"分钟"时，系统不支持按照配置的时间间隔固定频率去运行，即不支持跨小时按照固定频率去运行。举例如下： - 2024年6月19日14点20分配置了分钟调度，开始时间为0时30分，间隔时间为30分钟，结束时间为23时59分，则实际作业运行时间周期为2024-06-19 14:30:00、2024-06-19 15:30:00、2024-06-19 16:30:00、2024-06-19 17:30:00、2024-06-18 18:30:00等。  - 2024年6月19日14点20分配置了分钟调度，开始时间为0时0分，间隔时间为50分钟，结束时间为23时59分，则实际作业运行时间周期为2024-06-19 14:50:00、2024-06-19 15:00:00、2024-06-19 15:50:00、2024-06-19 16:00:00、2024-06-19 16:50:00、2024-06-19 17:00:00、2024-06-19 17:50:00等。     - 小时：支持按间隔小时配置调度周期，在某一时刻开始调度运行，调度周期可按间隔时间配置为小时级别，在当天结束时间结束调度后第二天再自动开始调度。同时支持按离散小时进行调度周期配置，可以指定一天内的任意小时和分钟进行调度，离散小时调度仅支持自然周期调度。  - 天：支持在某天的某一时刻开始调度运行，调度周期为1天。  - 周：支持在一周中选择一天或多天的某一时刻开始调度运行。  - 月：支持在一月中选择一天或多天的某一时刻开始调度运行。同时系统支持可以选择"每月最后一天"进行业务调度。   说明： 因为DataArts Studio不支持底层服务（例如，以前的CDM、DLI等服务）的补数据实例和周期调度作业实例并发运行，为了保证补数据实例不影响周期调度作业实例运行，两种类型作业实例不会抢占并发，所以，作业的周期调度的日期与该作业补数据的业务日期不能重合，周期调度和补数据不能同时运行，避免出现运行异常问题。 |
| 是否设置运行时间段                                | - 否：表示调度时间范围内的所有时间都可执行 系统默认为否。   - 是：表示调度时间在运行时间段内才可以执行 说明： 每天最多可设置5个运行时间段。运行时间段精确到分钟。比如：03:00-04:00。 仅支持天以上的大周期调度作业进行配置。比如：周、月、季、年等。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
| 调度日历                                       | 根据已配置的日历信息，选择所需的调度日历。系统默认不使用调度日历。配置调度日历的操作请参见[配置调度日历](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1283.html)。 - 使用按日历进行自定义工作日期进行周期调度，如果非工作日，作业会进行空跑。例如作业周期调度、补数据。  - 配置好的调度日历，如果工作日期进行变更，已经在执行的作业实例无法生效，还没生成的作业实例可以立即生效。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
| 监听OBS                                      | 打开监听OBS开关后，系统会自动监听OBS路径是否有新作业文件。关闭开关后不再监听OBS路径。 配置参数如下： - OBS文件，支持EL表达式。  - 监听间隔，可设置为1-60之间，单位为分钟。  - 超时时间，可设置为1-1440之间，单位为分钟。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
| 偏移量                                       | 偏移量的单位为天。 输入偏移量的值。输入值必须在-366到366之间。默认为1。 当工作空间模式为业务日期模式时，偏移量设置为1时，则表示处理的是昨天的业务数据，偏移量设置为-1时，则表示处理的是明天的业务数据，偏移量设置为0时，则表示处理的是今天的业务数据。 业务日期模式下，作业实例的生效时间是业务日期，如果作业偏移量为-1，作业在调度时间为6月7日的时候，会生成业务日期为6月8日的作业实例。 说明： - 在工作空间模式为业务日期模式时，修改偏移量时，系统会提示"在工作空间模式为业务日期模式时，修改偏移量会影响作业调度的业务日期时间，确认修改吗？"，单击"确认"，进行偏移量修改。如果将作业的偏移量从0修改为1，从作业的调度计划时间看，某一天的实例可能会跳过；如果将作业的偏移量从0修改为-1，从作业的调度计划时间看，某一天的实例可能会重叠。  - 修改偏移量，仅修改当前目录下的作业偏移量，子目录里面的作业不会进行修改。  - 同一个翻牌目录的作业，偏移量需要保持一致。  - 在工作空间模式为普通模式时，修改偏移量，对作业自身的实例生成没有影响。如果这个作业下游有业务日期工作空间的作业，才会影响作业的依赖关系。  - 上下游作业偏移量相同场景下，作业实例运行时间相同。上下游作业偏移量不同场景下，下游作业偏移量为0，上游作业偏移量为1时，上游作业实例运行时间比下游作业实例运行时间早一天。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
| 依赖作业               | 此处可以选择不同工作空间的周期调度作业作为依赖作业，则仅当依赖的作业运行完成时，才开始执行当前作业。支持单击"自动解析依赖"对作业依赖关系进行自动识别。 说明： 跨工作空间的作业依赖规则，请参见[作业依赖规则](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_04501.html#dataartsstudio_01_04501__section45021415123915)。 数据开发当前支持两种调度依赖策略：传统周期调度依赖和自然周期调度依赖。这两种周期调度依赖只能选择其中一种。对于新的应用实例而言，默认使用自然周期调度作为DataArts Studio新实例默认选项。 图1传统周期调度作业依赖关系全景图 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001544363930.png "点击放大") 图2自然周期调度作业依赖关系全景图 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001544044742.png "点击放大") 关于设置依赖作业的条件，以及设置依赖作业后的作业运行原理请参见[周期调度依赖策略](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_2219.html)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
| 依赖的作业失败后，当前作业处理策略  | 当依赖的作业在当前作业周期内存在运行失败实例后，选择当前作业的处理策略： - 等待执行 等待执行当前作业，等待执行的作业会阻塞后续作业的执行。您可以手动将依赖的作业强制成功，解决阻塞问题。   - 继续执行 继续执行当前作业。   - 取消执行 取消执行当前作业，当前作业的状态为"取消"。    例如，当前作业调度周期为1小时， 依赖作业调度周期为5分钟。 - 如果当前参数配置的是取消执行，依赖的作业12个实例中只要有一个失败的，当前作业就取消执行。  - 如果当前参数配置的是继续执行，只要依赖的作业12个实例跑完了，当前作业就继续执行。 说明： 依赖的作业失败后，当前作业处理策略可通过配置默认项进行批量设置，无需每个作业单独设置。具体请参见[配置默认项](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_04501.html)。该配置仅对新建作业有效。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
| 等待依赖作业的上一周期结束，才能运行 | 当作业依赖其他作业时，默认情况下等待某时间区间（详见[设置依赖作业后的作业运行原理](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0219.html#section2)）内是否有依赖的作业实例运行完成，然后才执行当前作业。如果依赖的作业实例未成功运行结束，则当前作业为等待运行状态。 当勾选此选项后，检查此时间区间的上一周期区间内是否有作业实例运行完，然后再执行当前作业。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
| 配置作业依赖时，可以对所依赖的作业是否在调度中进行过滤                 | 配置作业依赖关系时，可以对所依赖的作业是否在调度中进行过滤，避免上游依赖的作业未开始调度，从而导致下游作业失败。 - 全部作业  - 调度中的作业                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
| 配置作业依赖时，支持选择依赖周期                            | - 同周期 说明： 勾选"最近"，仅对天周期作业依赖小时/分钟周期作业，或小时周期作业依赖分钟周期作业生效。默认不勾选，按原有的依赖规则依赖实例。勾选后，下游作业只会依赖距离其定时运行时间最近的一个上游作业实例。 不支持"最近"依赖关系时，"最近"勾选框，会置灰处理，提示用户不支持此配置。 间隔小时作业依赖同周期的分钟调度的所有实例。其他场景所有实例会置灰。 **系统内置的依赖规则包含下面三种方式：** **默认**：按原有的依赖规则依赖实例。 **所有实例**：仅对间隔小时周期作业依赖分钟周期作业生效。下游作业会依赖同周期的所有上游作业实例。 **最近**：仅对天周期作业依赖小时/分钟周期作业，或小时周期作业依赖分钟周期作业生效。下游作业只会依赖距离其定时运行时间最近的一个上游作业实例。 **用户自定义依赖规则：** 支持选择自定义的作业依赖规则。创建自定义依赖规则的详细内容，请参见[配置依赖规则](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1370.html)。   - 上N周期，输入值必须在1到30之间。 说明： - 天作业依赖间隔小时作业时，上一周期依赖关系支持"所有实例"、"任意实例"、"最后一个实例"和"默认"四种依赖规则。"默认"表示依赖最后一个实例。  - 天作业依赖离散小时作业时，上一周期依赖关系支持"所有实例"、"任意实例"、"最后一个实例"和"默认"四种依赖规则。"默认"表示依赖所有实例。  - 其余的调度周期作业依赖关系保持不变，依赖规则系统显示"默认"。 根据以上的依赖规则：天作业依赖小时作业时，依赖规则支持配置。其余依赖规则为"默认"。"默认"：依赖间隔小时作业，依赖规则为"最后一个实例"；依赖离散小时作业，依赖规则为"所有实例"。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
| 跨周期依赖              | 选择作业实例之间的依赖关系。 - 不依赖上一调度周期。此处可以配置并发数，表示多个作业实例并行执行的个数。如果并发数配置为1，前一个批次执行完成后（包括成功、取消、或失败），下一批次才开始执行。 说明： CDM Job算子作业不支持并行运行，周期调度和补数据会互相冲突，请勿在周期调度任务执行时进行补数据操作，且作业并发数必须设置为1。 以下场景不支持并发度\>1，可能会执行失败： 1. CTAS语句（CREATE TABLE AS SELECT）：先写数据再建元数据，非原子操作，并发会导致文件残留和路径冲突。  2. INSERT OVERWRITE写同一张表：并发写入同一目标路径，数据互相覆盖。  3. DDL操作（ALTER／DROP／TRUNCATE）：修改表结构需排他锁，并发互斥。     - 自依赖（上一调度周期的作业实例执行成功下一周期才会执行，否则处于等待运行状态。等待上一调度周期结束才能继续运行）。  - 跳过等待的实例，运行最近的批次（如果勾选该参数，跳过的作业实例将被置为取消状态且不再执行，当单作业实例执行时间过长时，可能会造成后续多批次作业全部被跳过。当作业实例需要持续执行时，强行跳过可能会造成业务逻辑错误，如当输出为分区表时，跳过冗余作业实例可能会造成"分区空洞"，建议谨慎配置此选项）。 说明： - "跳过等待的实例，运行最近的批次"当前只支持分钟或小时调度的作业实例跳过。  - 作业并发数配置比较低，实例未生成情况下，阻塞实例不会跳过。  - 小周期依赖大周期时，可能会存在部分实例没有跳过，仍然执行。  - 选择不依赖上一调度周期，并发数\>1并且有正在等待且小于节点计划开始执行时间的节点则跳过。  - 选择自依赖，当前不是最后一个周期实例并且下次计划开始执行时间小于当前时间则跳过。                                                                                                                                                                                                                                                                                                                                     |
| 是否清理超期等待运行的作业实例                           | - 不清理  - 清理 选择清理时，需要配置超期天数。输入值必须在1到60之间。 若不配置该参数，默认会按照空间级配置来清理超期的等待运行作业实例。用户可根据实际场景设置是否取消等待运行的作业实例。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
| 计算资源 说明： 调度配置的计算资源参数，仅涉及Notebook作业。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          ||
| 资源组                                      | 选择资源组。创建资源组请参见[管理Notebook资源组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1569.html)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
| 资源规格(CU)                                  | 选择资源规格。 - 0.5 CU  - 1 CU  - 2 CU  - 4 CU  - 8 CU  - 16 CU 1CU=1核4GB内存                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |
| 镜像选择                                        | 选择镜像。创建镜像请参见[管理镜像](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0762.html)。 支持自定义镜像和系统镜像。 说明： 自定义镜像：在管理中心创建的镜像。 系统镜像：系统预置的镜像。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
| 镜像版本                                       | 选择所需要的镜像版本。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
| 是否空跑                                      | 如果勾选了空跑，任务不会实际执行，将直接返回成功。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
| 任务组                                       | 选择已配置好的任务组。配置方法请参见[配置任务组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1284.html)。 系统默认"不选择任务组"。 任务组配置好后，可以更细粒度地进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 说明： 对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了节点级任务组，则优先级高于作业级的任务组。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
   
 表3"事件驱动调度"的参数配置 
| 参数        | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
|:---|:---|
| 触发事件类型      | 选择触发作业运行的事件类型。 - **"DIS"**  - **"KAFKA"**  - **"OBS"**                                                                                                                                                                                                                                                                                                                                                    |
| **"DIS"**触发事件类型的参数                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         ||
| DIS通道名称    | 选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
| 事件处理并发数    | 选择作业并行处理的数量，最大并发数为128。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
| 事件检测间隔     | 配置时间间隔，检测DIS通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
| 读取策略     | 选择数据的读取位置： - 从上次位置读取：首次启动时，从最新的位置读取数据。后续启动时，则从前一次记录的位置读取数据。  - 从最新位置读取：每次启动都会从最新的位置读取数据。                                                                                                                                                                                                                                                                                                                                                                                                       |
| 失败策略      | 选择调度失败后的策略： - 挂起  - 忽略失败，读取下一个事件                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
| 计算资源 说明： 调度配置的计算资源参数，仅涉及Notebook作业。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               ||
| 资源组       | 选择资源组。创建资源组请参见[管理Notebook资源组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1569.html)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
| 资源规格(CU)   | 选择资源规格。 - 0.5 CU  - 1 CU  - 2 CU  - 4 CU  - 8 CU  - 16 CU 1CU=1核4GB内存       |
| 镜像选择        | 选择镜像。创建镜像请参见[管理镜像](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0762.html)。 支持自定义镜像和系统镜像。 说明： 自定义镜像：在管理中心创建的镜像。 系统镜像：系统预置的镜像。                                                                                                                                                                                                                                                                                                                                                                                                              |
| 镜像版本        | 选择所需要的镜像版本。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
| 是否空跑     | 如果勾选了空跑，任务不会实际执行，将直接返回成功。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
| 任务组        | 选择已配置好的任务组。配置方法请参见[配置任务组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1284.html)。 系统默认"不选择任务组"。 任务组配置好后，可以更细粒度地进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 说明： 对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了节点级任务组，则优先级高于作业级的任务组。                                                                                                                                                                                                                                                                                                      |
| **"KAFKA"**触发事件类型的参数                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       ||
| 连接名称      | 选择数据连接，需先在"管理中心"创建MRS kafka数据连接或者DMS kafka数据连接。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
| Topic    | 选择需要发往kafka的消息Topic。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |
| 消费组       | 输入消费组信息。 不填写使用默认消费组，不同的作业会使用不同的消费组；当事件处理并发数不满足要求时，可以配置多个作业相同的消费组实现期望的并发处理数。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
| 事件处理并发数     | 选择作业并行处理的数量，最大并发数为128。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
| 事件检测间隔     | 配置时间间隔，检测通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
| 读取策略      | 选择数据的读取位置： - 从上次位置读取：首次启动时，从最新的位置读取数据。后续启动时，则从前一次记录的位置读取数据。  - 从最新位置读取：每次启动都会从最新的位置读取数据。                                                                                                                                                                                                                                                                                                                                                                                                       |
| 失败策略       | 选择调度失败后的策略： - 挂起  - 忽略失败，读取下一个事件                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
| 计算资源 说明： 调度配置的计算资源参数，仅涉及Notebook作业。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              ||
| 资源组       | 选择资源组。创建资源组请参见[管理Notebook资源组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1569.html)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
| 资源规格(CU) | 选择资源规格。 - 0.5 CU  - 1 CU  - 2 CU  - 4 CU  - 8 CU  - 16 CU 1CU=1核4GB内存    |
| 镜像选择    | 选择镜像。创建镜像请参见[管理镜像](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0762.html)。 支持自定义镜像和系统镜像。 说明： 自定义镜像：在管理中心创建的镜像。 系统镜像：系统预置的镜像。                                                                                                                                                                                                                                                                                                                                                                                                              |
| 镜像版本     | 选择所需要的镜像版本。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
| 是否空跑      | 如果勾选了空跑，任务不会实际执行，将直接返回成功。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
| 任务组     | 选择已配置好的任务组。配置方法请参见[配置任务组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1284.html)。 系统默认"不选择任务组"。 任务组配置好后，可以更细粒度地进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 说明： 对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了节点级任务组，则优先级高于作业级的任务组。                                                                                                                                                                                                                                                                                                        |
| **"OBS"**触发事件类型的参数（当前仅上海二区域支持） 说明： **"OBS"**触发事件类型的事件驱动调度，依赖于OBS的"事件通知 -\> DIS通知"功能。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                ||
| OBS路径     | 选择要监听的OBS路径。如果该路径下有您在OBS控制台配置的指定OBS事件产生，通知则触发调度。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
| DIS通道名称     | 选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
| 最大处理文件数    | 节点被驱动运行时，每批次最多可处理的文件数。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
| 事件处理并发数      | 选择作业并行处理的数量，最大并发数为128。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
| 事件检测间隔     | 配置时间间隔，检测OBS路径下是否有指定事件产生。时间间隔单位可以配置为秒或分钟。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
| 失败策略       | 选择调度失败后的策略： - 挂起  - 忽略失败，读取下一个事件                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
| 是否空跑      | 如果勾选了空跑，任务不会实际执行，将直接返回成功。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
| 任务组       | 选择已配置好的任务组。配置方法请参见[配置任务组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1284.html)。 系统默认"不选择任务组"。 任务组配置好后，可以更细粒度地进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 说明： 对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了节点级任务组，则优先级高于作业级的任务组。                                                                                                                                                                                                                                                                                                  |
   
 #### 配置节点调度任务（实时作业）
配置实时处理作业的节点调度任务，支持单次调度、周期调度、事件驱动调度三种方式。操作方法如下：
单击画布中的节点，在右侧显示"调度配置"页签，单击此页签，展开配置页面，配置如[表4]所示的参数。
 表4节点调度配置 
| 参数      | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                |
|:---|:---|
| 调度方式    | 选择作业的调度方式： - 单次调度：手动触发作业单次运行。  - 周期调度：周期性自动运行作业。  - 事件驱动调度：根据外部条件触发作业运行。                                                                                                                                                                                                                                                                                                                                                                         |
| **"周期调度"的参数**                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    ||
| 生效时间    | 调度任务的生效时间段。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
| 调度周期   | 选择调度任务的执行周期，并配置相关参数： - 分钟  - 小时  - 天  - 周  - 月   调度周期需要合理设置，如CDM、ETL作业的调度周期至少应在5分钟以上，并根据作业表的数据量、源端表更新频次等调整。 已经在运行中的作业，可以修改其调度周期。 |
| 跨周期依赖     | 选择作业下实例之间的依赖关系。 - 不依赖上一调度周期 选择"并发数"。多个作业实例并行执行的个数。如果并发数配置为1，前一个批次执行完成后（包括成功、取消、或失败），下一批次才开始执行。   - 自依赖（上一调度周期的作业实例执行成功下一周期才会执行，否则处于等待运行状态。）                                                                                                                                                                                                                                                                                                                                              |
| **"事件驱动调度"的参数**                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     ||
| 触发事件类型  | 选择触发作业运行的事件类型。 - **"DIS"**  - **"KAFKA"**  - **"OBS"**                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
| DIS通道名称  | 选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。 当"触发事件类型"选择"DIS"或"OBS"时才需要配置。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
| 连接名称                          | 选择数据连接，需先在"管理中心"创建MRS kafka数据连接。当"触发事件类型"选择"KAFKA"时才需要配置。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
| Topic                          | 选择需要发往kafka的消息Topic。当"触发事件类型"选择"KAFKA"时才需要配置。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
| OBS路径                           | 选择要监听的OBS路径，如果该路径下有新增文件，则触发调度；新增的文件的路径名，可以通过变量Job.trigger.obsNewFiles引用。前提条件：该OBS路径已经配置DIS消息通知。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
| 最大处理文件数                       | 节点被驱动运行时，每批次最多可处理的文件数。当"触发事件类型"选择"OBS"时才需要配置。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
| 消费组                            | 消费者组是kafka提供的可扩展且具有容错性的消费者机制。 它是一个组，所以内部可以有多个消费者，这些消费者共用一个ID，一个组内的所有消费者共同协作，完成对订阅的主题的所有分区进行消费。其中一个主题中的一个分区只能由一个消费者消费。 说明： 1. 一个消费者组可以有多个消费者。  2. Group ID是一个字符串，在一个kafka集群中，它标识唯一的一个消费者组。  3. 每个消费者组订阅的所有主题中，每个主题的每个分区只能由一个消费者消费。消费者组之间不影响。   当触发事件类型选择了DIS或KAFKA时，会自动关联出消费组的ID，用户也可以手动修改。                                                                                                                                                                                                                                                    |
| 事件处理并发数 | 选择作业并行处理的数量，最大并发数为128。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
| 事件检测间隔 | 配置时间间隔，检测DIS通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
| 读取策略                            | - 从上次位置读起  - 从最新位置读起 当"触发事件类型"选择"DIS"或"KAFKA"时才需要配置。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
| 失败策略   | 选择节点执行失败后的策略： - 挂起  - 忽略失败，继续调度                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |