配置默认项

使用场景

当某参数被多个作业或者脚本调用时，可将此参数提取出来作为默认配置项，无需每个作业或者脚本都配置该参数。使用默认配置项有以下优势。

提升配置效率：避免在每个作业或脚本中重复填写相同参数，减少人工操作量。

降低维护成本：通用场景的业务在设置时，只需修改默认配置项，所有使用该参数的作业或者脚本将自动同步更新。

部分默认配置项修改以后，会对存量业务产生影响，存量业务的作业或者脚本会按照修改后的默认规则去运行。

配置周期调度

• 当前作业所依赖的作业执行失败后，当前作业的处理策略是根据配置的默认策略来执行，配置默认策略操作如下。
  1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
  2. 单击“默认项设置”，可设置“周期调度”配置项。
     

     策略支持如下三种，系统默认配置为“取消执行”。

     • 等待执行：当被依赖的作业执行失败后，当前作业会等待执行。
     • 继续执行：当被依赖的作业执行失败后，当前作业会继续执行。
     • 取消执行：当被依赖的作业执行失败后，当前作业会取消执行。
  3. 单击“保存”，对设置的配置项进行保存。该配置仅对新建作业有效。
• 依赖的作业停止时，当前作业实例的处理策略是根据配置的默认策略来执行，配置默认策略操作如下。
  1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
  2. 单击“默认项设置”，可设置“周期调度”配置项。
     

     策略支持如下两种，系统默认配置为“取消执行”。

     • 等待运行：当被依赖的作业执行失败后，当前作业实例会等待运行。
     • 取消执行：当被依赖的作业执行失败后，当前作业实例会取消执行。
  3. 单击“保存”，对设置的配置项进行保存。该配置仅对新建作业有效。

配置多IF策略

节点执行依赖多个IF条件的处理策略，配置默认策略操作如下。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“多IF策略”配置项。
   

   策略支持如下两种，系统默认策略为“逻辑或”。

   • 逻辑或：表示多个IF判断条件只要任意一个满足条件则执行。
   • 逻辑与：表示多个IF判断条件需要所有条件满足时才执行。

   具体使用方法请参见多IF条件下当前节点的执行策略。

3. 单击“保存”，对设置的配置项进行保存。

配置软硬锁策略

作业或脚本的抢锁操作依赖于软硬锁处理策略。软硬锁的最大的区别在于普通用户抢锁时，软锁可以任意抢锁（无论锁是否在自己手上），硬锁只能对自己持有锁的文件进行操作（包括抢锁、解锁操作）。发布、运行、调度等操作不受锁的影响，无锁也可操作。

用户可根据实际场景，配置相应的软硬锁策略。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“软硬锁策略”配置项。
   

   系统默认策略为“软锁”。

   • 软锁：忽略当前作业或脚本是否被他人锁定，可以进行抢锁或解锁。
   • 硬锁：若作业或脚本被他人锁定，则需锁定的用户解锁之后，当前使用人方可抢锁，空间管理员或DAYU Administrator可以任意抢锁或解锁。

3. 单击“保存”，对设置的配置项进行保存。

脚本变量定义

SQL脚本的变量格式有${}和${dlf.}两种，支持用户根据实际情况进行配置。配置的变量格式会作用于SQL脚本、作业中SQL语句、单节点作业，环境变量。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“脚本变量定义”配置项。
   

   系统默认脚本变量格式为${}。

   • ${}格式：识别脚本中${}格式的定义，解析其中的字段为变量名，如${xxx}，识别为变量名：xxx。
   • ${dlf.}格式：识别脚本中${dlf.}格式的定义，解析其中的dlf.字段为变量名，其他${}格式定义不再识别为变量，如${dlf.xxx}，识别为变量名：dlf.xxx。

3. 单击“保存”，对设置的配置项进行保存。

配置数据导出策略

系统默认支持所有用户都能下载和转储SQL脚本的执行结果。如果您不希望所有用户都有该操作权限，可参考下如下步骤对数据导出策略进行配置。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“数据导出策略”配置项。
   

   系统默认的数据导出策略是“所有用户都可以”。

   • 所有用户都可以：所有用户都能对SQL执行结果做“下载”或“转储”操作。
   • 所有用户都不能：所有用户都不能对SQL执行结果做“下载”或“转储”操作。
   • 仅工作空间管理员可以：只有工作空间管理员可以对SQL执行结果做“下载”或“转储”操作。

3. 单击“保存”，对设置的配置项进行保存。

禁用作业节点名称同步变化

在作业开发界面，系统默认选择脚本或关联其他云服务的功能时会同步更新节点名称，使之与脚本或功能名称一致。当前支持配置作业节点名称是否同步变更。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可勾选“禁用作业节点名称同步”的节点。
   

   • 当前系统支持对CDM Job、DIS Stream、DLI SQL、DWS SQL、MRS Spark SQL、MRS Hive SQL、MRS Presto SQL、MRS HetuEngine、MRS ClickHouse、MRS Impala SQL、Shell、DORIS SQL、RDS SQL、Python、Subjob、For Each节点的名称是否同步为脚本或功能名称做配置。
   • 系统默认为不勾选，即选择脚本或功能时会同步更新节点名称。
   • 如果勾选了节点，在选择脚本或功能时，不会同步更新节点的名称。

3. 单击“保存”，对设置的配置项进行保存。

新建作业默认配置

创建作业时默认配置作业类型和模式。

比如，默认批处理的Pipeline作业。

设置好默认值后，单击“保存”，对设置的配置项进行保存。

是否使用简易变量集

简易变量集提供了一系列自定义的变量，实现在任务调度时间内参数的动态替换。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“是否使用简易变量集”配置项。
   

   • 是：支持使用简易变量集。通过简易变量集提供的一系列自定义的变量，自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。
   • 否：不支持使用简易变量集。

3. 单击“保存”，对设置的配置项进行保存。

忽略失败的通知策略

对于运行状态为忽略失败的作业，可选择支持发送的通知类型。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“忽略失败的通知策略”配置项。
3. 选择忽略失败状态节点的通知类型。
   

   • 在作业基本信息界面，对于“当前节点失败后，后续节点处理策略 > 继续执行下一节点”的作业可理解为忽略失败的作业，系统默认运行结果为成功。
   • 对于运行状态为忽略失败的作业，支持发送的通知类型如下：

     运行异常/失败：对于运行状态为忽略失败的作业，支持发送的通知类型为“运行异常/失败”。

     运行成功：对于运行状态为忽略失败的作业，支持发送的通知类型为“运行成功”，系统默认策略为运行成功。

4. 单击“保存”，对设置的配置项进行保存。

节点超时是否重试

对于作业节点运行超时导致失败的作业，可选择是否支持重试。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“节点超时是否重试”配置项。
3. 配置节点运行超时是否重试。
   

   • 否：作业节点运行超时导致失败后，不重新执行节点。
   • 是，作业节点运行超时导致失败后，可以重新执行节点。

4. 单击“保存”，对设置的配置项进行保存。

实例超时是否忽略等待时间

对于作业实例运行超时以后，可以配置实例超时是否忽略等待时间。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“实例超时是否忽略等待时间”配置项。
3. 配置实例超时是否忽略等待时间。
   

   是：实例运行时超时计算将忽略等待时间。

   否：实例运行时超时计算将等待时间会包含进去。

4. 单击“保存”，对设置的配置项进行保存。

MRS jar包参数拆分规则

对MRS MapReduce算子和MRS Spark算子jar包参数中字符串参数（使用""括起来的参数）拆分规则进行配置。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“MRS jar包参数拆分规则”配置项。
3. 配置MRS jar包参数拆分规则。
   

   按空格拆分字符串参数：如"select * from table"会按空格被拆分成四个参数，分别为select、*、from、table。

   不拆分字符串参数：如"select * from table"会被当成一个完整的参数，不进行拆分。当配置规则为不拆分字符串参数时，jar包参数支持传入json格式的数据。

4. 单击“保存”，对设置的配置项进行保存。

等待运行实例同步作业版本策略

已生成的等待运行的作业实例，此时发布新的作业版本后，实例是否会使用最新的作业版本运行。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“等待运行实例同步作业版本策略”配置项。
3. 配置等待运行实例同步作业版本策略。
   

   是：等待运行的作业实例，当发布新的作业版本后，作业实例在运行时，会使用最新版本作业运行。

   否：等待运行的作业实例，当发布新的作业版本后，作业实例在运行时，依旧使用当前版本的作业运行。

4. 单击“保存”，对设置的配置项进行保存。

Hive SQL及Spark SQL执行方式

执行Hive SQL及Spark SQL语句时，DataArts Studio支持把SQL语句放在OBS中，同时还支持把SQL语句放在请求的消息体中。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“Hive sql及Spark sql执行方式”配置项。
3. 配置Hive SQL及Spark SQL的执行方式。
   

   SQL语句放置在OBS中：执行Hive SQL及Spark SQL语句时，把SQL语句放在OBS中，将OBS路径返回给MRS。

   SQL语句放置在请求的消息体中：执行Hive SQL及Spark SQL语句时，把SQL语句放在请求的消息体中，将脚本内容返回给MRS。

4. 单击“保存”，对设置的配置项进行保存。
   

   Hive SQL和Spark SQL脚本、Pipeline作业以及单任务作业支持Hive SQL及Spark SQL执行方式的配置。

补数据优先级设置

设置补数据作业的优先级。当系统资源不充足时，可以优先满足优先级较高的作业的计算资源，数字越大优先级越高。当前只支持对DLI SQL算子设置优先级。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“补数据优先级设置”配置项。
3. 配置补数据的优先级策略。
4. 单击“保存”，对设置的配置项进行保存。
   

   补数据优先级设置和DLI的spark.sql.dli.job.priority优先级的映射关系如下：

   补数据的优先级设置为1时，映射到DLI优先级spark.sql.dli.job.priority=1；

   补数据的优先级设置为2时，映射到DLI优先级spark.sql.dli.job.priority=3；

   补数据的优先级设置为3时，映射到DLI优先级spark.sql.dli.job.priority=5；

   补数据的优先级设置为4时，映射到DLI优先级spark.sql.dli.job.priority=8；

   补数据的优先级设置为5时，映射到DLI优先级spark.sql.dli.job.priority=10。

历史作业实例取消策略

配置等待运行作业实例的超期天数。当作业实例等待运行的时间超过了所配置的期限天数时，作业实例将取消执行。超期天数最小需要配置1天，即至少需要等待1天，才可以取消未运行的作业实例，超期天数默认为60天，单位为天。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“历史作业实例取消策略”配置项。
3. 配置等待运行作业实例的超期天数。
4. 单击“保存”，对设置的配置项进行保存。

配置实例超期取消是否发送告警。若选择“是”，当历史作业实例被超期取消，且作业配置运行取消通知类型时，将会发送告警通知。如果选择“否”，将不会发送告警通知。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“历史作业实例取消策略”配置项。
3. 配置实例超期取消是否发送告警。
4. 单击“保存”，对设置的配置项进行保存。

历史作业实例告警策略

通知管理中配置的告警通知能监控的作业实例天数范围，配置默认为7天，即对7天内满足触发条件的作业实例都能正常上报告警通知，但7天之前的作业实例不会再次上报告警。

例如：告警监控天数配置为2天时，昨天和今天的作业实例触发监控时会告警，但是前天以及3天前的作业实例，即使满足触发条件也不会再次发送通知告警。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“历史作业实例告警策略”配置项。
3. 配置“通知管理”中通知告警能监控的天数范围。
   

   告警监控天数配置默认为7天，最小为1天，最大为270天。

   告警监控天数配置好以后，告警通知只提示告警设置以后的作业实例，不再展示历史上的异常记录。

4. 单击“保存”，对设置的配置项进行保存。

作业告警通知主题

配置作业告警通知主题，此处所配置的主题是按责任人发送通知时所使用的主题。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“作业告警通知主题”配置项。
3. 配置作业告警通知主题。单击“查看主题”可以跳转到消息通知服务界面查看已创建的主题。
   

   此处选择的主题需要在消息通知服务SMN界面新配置一个主题（防止与之前所配置的按主题发送通知的主题重复），只能由空间管理员配置。

4. 单击“保存”，对设置的配置项进行保存。

作业算子失败重试默认策略

设置作业算子失败重试默认策略后，仅对当前工作空间作业新增的作业算子生效，历史作业算子默认值不受影响。系统初始默认值为否。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“作业算子失败重试默认策略”配置项。
3. 配置作业算子失败重试默认策略。
   

   设置作业算子失败重试默认策略后，新增的作业算子最大重试次数默认为1，重试间隔时间默认120秒。

4. 单击“保存”，对设置的配置项进行保存。

作业每次重试失败即告警

配置作业每次重试失败即告警后，当作业配置了失败重试时，在第一次运行失败后就上报告警。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“作业每次重试失败即告警”配置项。
3. 配置作业每次重试失败即告警。
   

   • 当作业配置失败告警的时候，该配置项会触发作业每次重试失败即告警，可作用于全部作业、实时作业和批作业。
   • 若选择不支持，则作业达到最大失败重试次数时才触发失败告警。

4. 单击“保存”，对设置的配置项进行保存。

作业运行自动传递脚本名称

作业运行自动传递脚本名称开关打开后，系统自动传参将生效，将对当前空间内作业运行时，将Hive sql脚本set mapreduce.job.name=“脚本名称”自动传递至MRS。

仅对脚本中未设置上述参数值的情况下生效，如脚本中已设置此参数值，则优先以读取人工设置的值传递至MRS。特别提醒：如MRS集群是安全模式，则不支持此设置方式，需提前将集群设置为非安全模式。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“作业运行自动传递脚本名称”配置项。
3. 配置作业运行自动传递脚本名称。
   

   • 是：作业运行时系统会自动传递Hive sql脚本名称到MRS。
   • 否：作业运行时系统不会自动传递Hive sql脚本名称到MRS。

4. 单击“保存”，对设置的配置项进行保存。

作业依赖规则

作业能被其他空间作业依赖，需要该空间作业列表的查询权限。工作空间内的默认角色均有该权限，自定义角色需要在有数据开发下的作业查询权限。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“作业依赖规则”配置项。
3. 配置作业依赖规则。
   

   • 作业不能被其他工作空间依赖：该空间的作业不能被其他空间作业依赖。
   • 作业能被其他工作空间依赖：该空间的作业能被其他空间作业依赖，不需要为该用户配置所依赖空间的权限。
   • 作业能被其他空间作业依赖（需要该空间作业列表的查询权限）：该空间的作业能被其他空间作业依赖，需要为该用户配置所依赖空间的权限。如果没有为该用户配置权限的话，在跨空间配置作业依赖关系时，系统会提示“当前用户没有工作空间xxx的获取作业列表的权限”。

4. 单击“保存”，对设置的配置项进行保存。

作业停止调度

当作业有下游依赖时，可配置是否允许作业停止调度。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“作业停止调度”配置项。
3. 当作业有下游依赖时，配置是否允许作业停止调度。
   

   是：当作业有下游依赖时，停止作业的调度有提示信息，但可以继续停止调度。

   否：当作业有下游依赖时，不允许停止作业的调度。

4. 单击“保存”，对设置的配置项进行保存。

脚本执行历史展示

配置脚本执行历史展示后，可以对脚本执行历史的查看进行权限管控。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“脚本执行历史展示”配置项。
3. 配置脚本执行历史展示。
   

   • 仅自己可见：脚本执行历史只显示本用户的操作历史。
   • 所有用户可见：脚本执行历史显示所有用户的操作历史。

4. 单击“保存”，对设置的配置项进行保存。

作业测试运行使用的身份

配置作业测试运行使用的身份后，在作业测试运行时，可以对作业测试运行的身份进行指定。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“作业测试运行使用的身份”配置项。
3. 配置作业测试运行使用的身份。
   

   • 公共委托或IAM账号：使用配置的公共委托或公共IAM账号身份执行作业。
   • 个人账号：使用点击测试作业用户的身份执行作业。

     如果没有配置工作空间委托或IAM账号，作业测试运行统一使用个人账号身份

     如果是联邦账户，必须配置为公共调度身份，即配置为公共委托或IAM账号。

4. 单击“保存”，对设置的配置项进行保存。

Spark SQL作业/脚本默认模板配置

Spark SQL作业/脚本配置运行时，通过默认参数模板去管控是否允许用户去设置任意参数覆盖模板设置的默认参数。

在MRS API连接方式下，Spark SQL脚本支持配置默认运行参数。代理连接不支持。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“Spark SQL作业/脚本默认模板配置”配置项。
3. 配置Spark SQL作业/脚本运行时，是否允许用户设置任意参数。
   

   • 是：表示不配置这种参数，作业/脚本随便设置参数。
   • 否：表示必须选择一个模板给这类作业/脚本绑定好，并且在作业/脚本配置中这些参数不允许被覆盖。选择“否”时，设置已经配置好的默认参数模板。配置模板请参见配置模板。

     设置好以后，请到Spark SQL作业界面的基本信息或Spark SQL脚本界面，单击右上角的去查看所配置的默认运行程序参数，预置的默认参数置灰，不能修改。

     用户根据需要也可以自定义运行程序参数，最终Spark SQL作业/脚本运行时，设置的模板参数可以允许作业/脚本参数进行覆盖。

Hive SQL作业/脚本默认模板配置

Hive SQL作业/脚本配置运行时，通过默认参数模板去管控是否允许用户去设置参数覆盖模板设置的默认参数。

在MRS API连接方式下，Hive SQL脚本支持配置默认运行参数。代理连接不支持。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“Hive SQL作业/脚本默认模板配置”配置项。
3. 配置Hive SQL作业/脚本运行时，是否允许用户设置任意参数。
   

   • 是：表示不配置这种参数，作业/脚本随便设置参数。
   • 否：表示必须选择一个模板给这类作业/脚本绑定好，并且在作业/脚本配置中这些参数不允许被覆盖。选择“否”时，设置已经配置好的默认参数模板。配置模板请参见配置模板。

     设置好以后，请到Hive SQL作业界面的基本信息或Hive SQL脚本界面，单击右上角的去查看所配置的默认运行程序参数，预置的默认参数置灰，不能修改。

     用户根据需要也可以继续添加自定义运行程序参数，最终Hive SQL作业/脚本运行时，设置的模板参数可以允许作业/脚本参数进行覆盖。

4. 单击“保存”，对设置的配置项进行保存。

作业/脚本变更管理

在工作空间配置作业/脚本变更管理后，可以将工作空间A的作业/脚本的变更记录（新增、修改、删除）导出来，同时可以将导出的zip包（作业/脚本的变更记录）导入到工作空间B。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“作业/脚本变更管理”配置项。
3. 配置工作空间是否开启作业/脚本变更管理。
   

   • 是：表示作业/脚本变化时记录变更事件，支持根据时间点增量导出和导入所有变化的作业/脚本。
   • 否：表示作业/脚本变化时不记录变更事件，只支持选定作业/脚本的导出和导入。

4. 单击“保存”，对设置的配置项进行保存。
   

   当“作业/脚本变更管理”配置项开启后，才能够在作业/脚本的进行工作空间的导出和导入。

查看日志打开方式

支持配置查看日志的打开方式，在新标签页或者弹窗打开日志进行查看。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“查看日志打开方式”配置项。
3. 选择“新标签页”或者“弹窗”。
   

   • 新标签页：日志将在浏览器新标签页中打开。
   • 弹窗：日志将在当前标签页中以弹窗打开。

4. 单击“保存”，对设置的配置项进行保存。

标签不存在处理策略

您可以通过该配置项，可以管控在作业中是否可以直接创建标签。

1. 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。
2. 单击“默认项设置”，可设置“标签不存在处理策略”配置项。
3. 可设置为“严格模式”或者“自动创建新标签”。
   

   严格模式：允许手动输入或选择已有标签，若标签不存在则自动创建。

   自动创建新标签：仅允许选择已有标签，若提交时检测到新标签，则报错提示“标签不存在，请在标签管理中添加。”。

4. 单击“保存”，对设置的配置项进行保存。