计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
态势感知 SA
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive

配置默认项

更新时间:2025-01-22 GMT+08:00

本章节主要介绍默认项的配置。当前只有具备DAYU AdministratorTenant Administrator账号权限的用户才有默认配置项的相关操作权限。

使用场景

当某参数被多个作业调用时,可将此参数提取出来作为默认配置项,无需每个作业都配置该参数。

表1 配置项列表

配置项

影响模块

主要用途

配置周期调度

作业调度

  • 当前作业所依赖的作业执行失败后,当前作业的处理策略。

配置多IF策略

作业调度

节点执行依赖多个IF条件的处理策略。

配置软硬锁策略

脚本/作业开发

作业或脚本的抢锁操作依赖于软硬锁处理策略。

脚本变量定义

脚本开发

脚本变量的格式定义。SQL脚本的变量格式有${}和${dlf.}两种。

配置数据导出策略

脚本/作业开发

对SQL执行结果框中的数据配置下载或转储的策略。

  • 所有用户都可以
  • 所有用户都不能
  • 仅工作空间管理员可以

禁用作业节点名称同步变化

作业开发

DataArts Studio作业中的节点关联脚本或者其他服务的作业时,节点名称不会同步变化。

是否使用简易变量集

作业开发

简易变量集提供了一系列自定义的变量,实现在任务调度时间内参数的动态替换。

忽略失败的通知策略

运维调度

对于运行状态为忽略失败的作业,支持发送的通知类型。

节点超时是否重试

作业运行

作业节点运行超时导致的失败也会重试。

实例超时是否忽略等待时间

作业运行

实例运行时超时计算将忽略等待时间。

MRS jar包参数拆分规则

作业开发

MRS MapReduce算子和MRS Spark算子jar包参数中字符串参数(使用""括起来的参数)拆分规则。

等待运行实例同步作业版本策略

运维调度

已生成的等待运行的作业实例,此时发布新的作业版本后,实例是否会使用最新的作业版本运行。

Hive SQL及Spark SQL执行方式

脚本/作业开发

  • SQL语句放置在OBS中:将OBS路径返回给MRS。
  • SQL语句放置在请求的消息体中:将脚本内容返回给MRS。

补数据优先级设置

运维调度-补数据

设置补数据作业的优先级。当系统资源不充足时,可以优先满足优先级较高的作业的计算资源,数字越大优先级越高,当前只支持对DLI SQL算子设置优先级。

历史作业实例取消策略

运维调度

配置等待运行作业实例的超期天数。当作业实例等待运行的时间,超过了所配置的期限天数时,作业实例将取消执行。超期天数,最小需配置2天,即至少需要等待2天,才可取消未运行的作业实例。超期天数默认为60天,单位:天。

历史作业实例告警策略

运维调度

配置“通知管理”中通知告警能监控的天数范围。

通知管理中配置的告警通知能监控的作业实例天数范围,默认配置为7天,即对7天内满足触发条件的作业实例都能正常上报通知告警,但7天之前的作业实例不会再上报告警。

作业告警通知主题

通知配置

按责任人发送通知时所使用的主题。

作业算子失败重试默认策略

运维调度

设置作业算子失败重试默认策略。

作业每次重试失败即告警

运维调度

当作业配置失败告警的时候,该配置项会触发作业每次重试失败即告警,可作用于全部作业、实时作业和批作业。

若选择不支持,则作业达到最大失败重试次数时才触发失败告警。

作业运行自动传递脚本名称

作业开发(作业运行)

开关打开后,系统自动传参将生效:将对当前空间内作业运行时,将Hive SQL脚本set mapreduce.job.name=脚本名称,自动传递至MRS。

作业依赖规则

作业调度

作业能被其他空间作业依赖,需要该空间作业列表的查询权限。工作空间内的默认角色均有该权限,自定义角色需要在有数据开发下的作业查询权限。

脚本执行历史展示

脚本/作业开发

对脚本执行历史结果进行权限管控。

  • 仅自己可见:脚本执行历史只显示本用户的执行历史。
  • 所有用户可见:脚本执行历史显示所有用户的执行历史。

作业测试运行使用的身份

作业开发(作业测试运行)

配置作业测试运行使用的身份。

  • 公共委托或IAM账号:使用配置的公共委托或公共IAM账号身份执行作业。
  • 个人账号:使用点击测试作业用户的身份执行作业。

Spark SQL作业/脚本默认模板配置

Spark SQL脚本/作业开发

Spark SQL作业/脚本配置运行,是否允许用户设置任意参数。

Hive SQL作业/脚本默认模板配置

Hive SQL脚本/作业开发

Hive SQL作业/脚本配置运行,是否允许用户设置任意参数。

作业/脚本变更管理

作业/脚本的导入和导出

工作空间是否开启作业/脚本变更管理。

  • 是:表示作业/脚本变化时记录变更事件,支持根据时间点增量导出和导入所有变化的作业/脚本。
  • 否:表示作业/脚本变化时不记录变更事件,只支持选定作业/脚本的导出和导入。

配置周期调度

  • 当前作业所依赖的作业执行失败后,当前作业的处理策略是根据配置的默认策略来执行,配置默认策略操作如下。
    1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
    2. 单击“默认项设置”,可设置“周期调度”配置项。
      说明:

      策略支持如下三种,系统默认配置为“取消执行”。

      • 等待执行:当被依赖的作业执行失败后,当前作业会等待执行。
      • 继续执行:当被依赖的作业执行失败后,当前作业会继续执行。
      • 取消执行:当被依赖的作业执行失败后,当前作业会取消执行。
    3. 单击“保存”,对设置的配置项进行保存。该配置仅对新建作业有效。

配置多IF策略

节点执行依赖多个IF条件的处理策略,配置默认策略操作如下。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“多IF策略”配置项。

    说明:

    策略支持如下两种,系统默认策略为“逻辑或”。

    • 逻辑或:表示多个IF判断条件只要任意一个满足条件则执行。
    • 逻辑与:表示多个IF判断条件需要所有条件满足时才执行。

    具体使用方法请参见多IF条件下当前节点的执行策略

  3. 单击“保存”,对设置的配置项进行保存。

配置软硬锁策略

作业或脚本的抢锁操作依赖于软硬锁处理策略。软硬锁的最大的区别在于普通用户抢锁时,软锁可以任意抢锁(无论锁是否在自己手上),硬锁只能对自己持有锁的文件进行操作(包括抢锁、解锁操作)。发布、运行、调度等操作不受锁的影响,无锁也可操作。

用户可根据实际场景,配置相应的软硬锁策略。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“软硬锁策略”配置项。

    说明:

    系统默认策略为“软锁”。

    • 软锁:忽略当前作业或脚本是否被他人锁定,可以进行抢锁或解锁。
    • 硬锁:若作业或脚本被他人锁定,则需锁定的用户解锁之后,当前使用人方可抢锁,空间管理员或DAYU Administrator可以任意抢锁或解锁。

  3. 单击“保存”,对设置的配置项进行保存。

脚本变量定义

SQL脚本的变量格式有${}和${dlf.}两种,支持用户根据实际情况进行配置。配置的变量格式会作用于SQL脚本、作业中SQL语句、单节点作业,环境变量。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“脚本变量定义”配置项。

    说明:

    系统默认脚本变量格式为${}。

    • ${}格式:识别脚本中${}格式的定义,解析其中的字段为变量名,如${xxx},识别为变量名:xxx。
    • ${dlf.}格式:识别脚本中${dlf.}格式的定义,解析其中的dlf.字段为变量名,其他${}格式定义不再识别为变量,如${dlf.xxx},识别为变量名:dlf.xxx。

  3. 单击“保存”,对设置的配置项进行保存。

配置数据导出策略

系统默认支持所有用户都能下载和转储SQL脚本的执行结果。如果您不希望所有用户都有该操作权限,可参考下如下步骤对数据导出策略进行配置。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“数据导出策略”配置项。

    说明:

    系统默认的数据导出策略是“所有用户都可以”。

    • 所有用户都可以:所有用户都能对SQL执行结果做“下载”或“转储”操作。
    • 所有用户都不能:所有用户都不能对SQL执行结果做“下载”或“转储”操作。
    • 仅工作空间管理员可以:只有工作空间管理员可以对SQL执行结果做“下载”或“转储”操作。

  3. 单击“保存”,对设置的配置项进行保存。

禁用作业节点名称同步变化

在作业开发界面,系统默认选择脚本或关联其他云服务的功能时会同步更新节点名称,使之与脚本或功能名称一致。当前支持配置作业节点名称是否同步变更。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可勾选“禁用作业节点名称同步”的节点。

    说明:
    • 当前系统支持对CDM Job、DIS Stream、DLI SQL、DWS SQL、MRS Spark SQL、MRS Hive SQL、MRS Presto SQL、MRS HetuEngine、MRS ClickHouse、MRS Impala SQL、Shell、DORIS SQL、RDS SQL、Python、Subjob、For Each节点的名称是否同步为脚本或功能名称做配置。
    • 系统默认为不勾选,即选择脚本或功能时会同步更新节点名称。
    • 如果勾选了节点,在选择脚本或功能时,不会同步更新节点的名称。

  3. 单击“保存”,对设置的配置项进行保存。

是否使用简易变量集

简易变量集提供了一系列自定义的变量,实现在任务调度时间内参数的动态替换。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“是否使用简易变量集”配置项。

    说明:
    • 是:支持使用简易变量集。通过简易变量集提供的一系列自定义的变量,自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。
    • 否:不支持使用简易变量集。

  3. 单击“保存”,对设置的配置项进行保存。

忽略失败的通知策略

对于运行状态为忽略失败的作业,可选择支持发送的通知类型。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“忽略失败的通知策略”配置项。
  3. 选择忽略失败状态节点的通知类型。

    说明:
    • 在作业基本信息界面,对于“当前节点失败后,后续节点处理策略 > 继续执行下一节点”的作业可理解为忽略失败的作业,系统默认运行结果为成功。
    • 对于运行状态为忽略失败的作业,支持发送的通知类型如下:

      运行异常/失败:对于运行状态为忽略失败的作业,支持发送的通知类型为“运行异常/失败”。

      运行成功:对于运行状态为忽略失败的作业,支持发送的通知类型为“运行成功”,系统默认策略为运行成功。

  4. 单击“保存”,对设置的配置项进行保存。

节点超时是否重试

对于作业节点运行超时导致失败的作业,可选择是否支持重试。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“节点超时是否重试”配置项。
  3. 配置节点运行超时是否重试。

    说明:
    • 否:作业节点运行超时导致失败后,不重新执行节点
    • 是,作业节点运行超时导致失败后,可以重新执行节点

  4. 单击“保存”,对设置的配置项进行保存。

实例超时是否忽略等待时间

对于作业实例运行超时以后,可以配置实例超时是否忽略等待时间。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“实例超时是否忽略等待时间”配置项。
  3. 配置实例超时是否忽略等待时间。

    说明:

    是:实例运行时超时计算将忽略等待时间。

    否:实例运行时超时计算将等待时间会包含进去。

  4. 单击“保存”,对设置的配置项进行保存。

MRS jar包参数拆分规则

对MRS MapReduce算子和MRS Spark算子jar包参数中字符串参数(使用""括起来的参数)拆分规则进行配置。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“MRS jar包参数拆分规则”配置项。
  3. 配置MRS jar包参数拆分规则。

    说明:

    按空格拆分字符串参数:如"select * from table"会按空格被拆分成四个参数,分别为select、*、from、table。

    不拆分字符串参数:如"select * from table"会被当成一个完整的参数,不进行拆分。

  4. 单击“保存”,对设置的配置项进行保存。

等待运行实例同步作业版本策略

已生成的等待运行的作业实例,此时发布新的作业版本后,实例是否会使用最新的作业版本运行。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“等待运行实例同步作业版本策略”配置项。
  3. 配置等待运行实例同步作业版本策略。

    说明:

    是:等待运行的作业实例,当发布新的作业版本后,作业实例在运行时,会使用最新版本作业运行。

    否:等待运行的作业实例,当发布新的作业版本后,作业实例在运行时,依旧使用当前版本的作业运行。

  4. 单击“保存”,对设置的配置项进行保存。

Hive SQL及Spark SQL执行方式

执行Hive SQL及Spark SQL语句时,DataArts Studio支持把SQL语句放在OBS中,同时还支持把SQL语句放在请求的消息体中。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“Hive sql及Spark sql执行方式”配置项。
  3. 配置Hive SQL及Spark SQL的执行方式。

    说明:

    SQL语句放置在OBS中:执行Hive SQL及Spark SQL语句时,把SQL语句放在OBS中,将OBS路径返回给MRS。

    SQL语句放置在请求的消息体中:执行Hive SQL及Spark SQL语句时,把SQL语句放在请求的消息体中,将脚本内容返回给MRS。

  4. 单击“保存”,对设置的配置项进行保存。

    说明:

    Hive SQL和Spark SQL脚本、Pipeline作业以及单任务作业支持Hive SQL及Spark SQL执行方式的配置。

补数据优先级设置

设置补数据作业的优先级。当系统资源不充足时,可以优先满足优先级较高的作业的计算资源,数字越大优先级越高。当前只支持对DLI SQL算子设置优先级。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“补数据优先级设置”配置项。
  3. 配置补数据的优先级策略。
  4. 单击“保存”,对设置的配置项进行保存。

    说明:

    补数据优先级设置和DLI的spark.sql.dli.job.priority优先级的映射关系如下:

    补数据的优先级设置为1时,映射到DLI优先级spark.sql.dli.job.priority=1;

    补数据的优先级设置为2时,映射到DLI优先级spark.sql.dli.job.priority=3;

    补数据的优先级设置为3时,映射到DLI优先级spark.sql.dli.job.priority=5;

    补数据的优先级设置为4时,映射到DLI优先级spark.sql.dli.job.priority=8;

    补数据的优先级设置为5时,映射到DLI优先级spark.sql.dli.job.priority=10。

历史作业实例取消策略

配置等待运行作业实例的超期天数。当作业实例等待运行的时间超过了所配置的期限天数时,作业实例将取消执行。超期天数最小需要配置2天,即至少需要等待2天,才可以取消未运行的作业实例,超期天数默认为60天,单位为天。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“历史作业实例取消策略”配置项。
  3. 配置等待运行作业实例的超期天数。
  4. 单击“保存”,对设置的配置项进行保存。

配置实例超期取消是否发送告警。若选择“是”,当历史作业实例被超期取消,且作业配置运行取消通知类型时,将会发送告警通知。如果选择“否”,将不会发送告警通知。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“历史作业实例取消策略”配置项。
  3. 配置实例超期取消是否发送告警。
  4. 单击“保存”,对设置的配置项进行保存。

历史作业实例告警策略

通知管理中配置的告警通知能监控的作业实例天数范围,配置默认为7天,即对7天内满足触发条件的作业实例都能正常上报告警通知,但7天之前的作业实例不会再次上报告警。

例如:告警监控天数配置为2天时,昨天和今天的作业实例触发监控时会告警,但是前天以及3天前的作业实例,即使满足触发条件也不会再次发送通知告警。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“历史作业实例告警策略”配置项。
  3. 配置“通知管理”中通知告警能监控的天数范围。

    说明:

    告警监控天数配置默认为7天,最小为1天,最大为270天。

    告警监控天数配置好以后,告警通知只提示告警设置以后的作业实例,不再展示历史上的异常记录。

  4. 单击“保存”,对设置的配置项进行保存。

作业告警通知主题

配置作业告警通知主题,此处所配置的主题是按责任人发送通知时所使用的主题。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业告警通知主题”配置项。
  3. 配置作业告警通知主题。单击“查看主题”可以跳转到消息通知服务界面查看已创建的主题。

    说明:

    此处选择的主题需要在消息通知服务SMN界面新配置一个主题(防止与之前所配置的按主题发送通知的主题重复),只能由空间管理员配置。

  4. 单击“保存”,对设置的配置项进行保存。

作业算子失败重试默认策略

设置作业算子失败重试默认策略后,仅对当前工作空间作业新增的作业算子生效,历史作业算子默认值不受影响。系统初始默认值为否。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业算子失败重试默认策略”配置项。
  3. 配置作业算子失败重试默认策略。

    说明:

    设置作业算子失败重试默认策略后,新增的作业算子最大重试次数默认为1,重试间隔时间默认120秒。

  4. 单击“保存”,对设置的配置项进行保存。

作业每次重试失败即告警

配置作业每次重试失败即告警后,当作业配置了失败重试时,在第一次运行失败后就上报告警。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业每次重试失败即告警”配置项。
  3. 配置作业每次重试失败即告警。

    说明:
    • 当作业配置失败告警的时候,该配置项会触发作业每次重试失败即告警,可作用于全部作业、实时作业和批作业。
    • 若选择不支持,则作业达到最大失败重试次数时才触发失败告警。

  4. 单击“保存”,对设置的配置项进行保存。

作业运行自动传递脚本名称

作业运行自动传递脚本名称开关打开后,系统自动传参将生效,将对当前空间内作业运行时,将Hive sql脚本set mapreduce.job.name=“脚本名称”自动传递至MRS。

说明:

仅对脚本中未设置上述参数值的情况下生效,如脚本中已设置此参数值,则优先以读取人工设置的值传递至MRS。特别提醒:如MRS集群是安全模式,则不支持此设置方式,需提前将集群设置为非安全模式。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业运行自动传递脚本名称”配置项。
  3. 配置作业运行自动传递脚本名称。

    说明:
    • 是:作业运行时系统会自动传递Hive sql脚本名称到MRS。
    • 否:作业运行时系统不会自动传递Hive sql脚本名称到MRS。

  4. 单击“保存”,对设置的配置项进行保存。

作业依赖规则

作业能被其他空间作业依赖,需要该空间作业列表的查询权限。工作空间内的默认角色均有该权限,自定义角色需要在有数据开发下的作业查询权限。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业依赖规则”配置项。
  3. 配置作业依赖规则。

    说明:
    • 作业不能被其他工作空间依赖:该空间的作业不能被其他空间作业依赖。
    • 作业能被其他工作空间依赖:该空间的作业能被其他空间作业依赖,不需要为该用户配置所依赖空间的权限。
    • 作业能被其他空间作业依赖(需要该空间作业列表的查询权限):该空间的作业能被其他空间作业依赖,需要为该用户配置所依赖空间的权限。如果没有为该用户配置权限的话,在跨空间配置作业依赖关系时,系统会提示“当前用户没有工作空间xxx的获取作业列表的权限”。

  4. 单击“保存”,对设置的配置项进行保存。

脚本执行历史展示

配置脚本执行历史展示后,可以对脚本执行历史的查看进行权限管控。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“脚本执行历史展示”配置项。
  3. 配置脚本执行历史展示。

    说明:
    • 仅自己可见:脚本执行历史只显示本用户的操作历史。
    • 所有用户可见:脚本执行历史显示所有用户的操作历史。

  4. 单击“保存”,对设置的配置项进行保存。

作业测试运行使用的身份

配置作业测试运行使用的身份后,在作业测试运行时,可以对作业测试运行的身份进行指定。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业测试运行使用的身份”配置项。
  3. 配置作业测试运行使用的身份。

    说明:
    • 公共委托或IAM账号:使用配置的公共委托或公共IAM账号身份执行作业。
    • 个人账号:使用点击测试作业用户的身份执行作业。

      如果没有配置工作空间委托或IAM账号,作业测试运行统一使用个人账号身份

      如果是联邦账户,必须配置为公共调度身份,即配置为公共委托或IAM账号。

  4. 单击“保存”,对设置的配置项进行保存。

Spark SQL作业/脚本默认模板配置

Spark SQL作业/脚本配置运行时,通过默认参数模板去管控是否允许用户去设置任意参数覆盖模板设置的默认参数。

在MRS API连接方式下,Spark SQL脚本支持配置默认运行参数。代理连接不支持。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“Spark SQL作业/脚本默认模板配置”配置项。
  3. 配置Spark SQL作业/脚本运行时,是否允许用户设置任意参数。

    说明:
    • 是:表示不配置这种参数,作业/脚本随便设置参数。
    • 否:表示必须选择一个模板给这类作业/脚本绑定好,并且在作业/脚本配置中这些参数不允许被覆盖。选择“否”时,设置已经配置好的默认参数模板。配置模板请参见配置模板

      设置好以后,请到Spark SQL作业界面的基本信息或Spark SQL脚本界面,单击右上角的去查看所配置的默认运行程序参数,预置的默认参数置灰,不能修改。

      用户根据需要也可以自定义运行程序参数,最终Spark SQL作业/脚本运行时,设置的模板参数可以允许作业/脚本参数进行覆盖。

Hive SQL作业/脚本默认模板配置

Hive SQL作业/脚本配置运行时,通过默认参数模板去管控是否允许用户去设置参数覆盖模板设置的默认参数。

在MRS API连接方式下,Hive SQL脚本支持配置默认运行参数。代理连接不支持。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“Hive SQL作业/脚本默认模板配置”配置项。
  3. 配置Hive SQL作业/脚本运行时,是否允许用户设置任意参数。

    说明:
    • 是:表示不配置这种参数,作业/脚本随便设置参数。
    • 否:表示必须选择一个模板给这类作业/脚本绑定好,并且在作业/脚本配置中这些参数不允许被覆盖。选择“否”时,设置已经配置好的默认参数模板。配置模板请参见配置模板

      设置好以后,请到Hive SQL作业界面的基本信息或Hive SQL脚本界面,单击右上角的去查看所配置的默认运行程序参数,预置的默认参数置灰,不能修改。

      用户根据需要也可以继续添加自定义运行程序参数,最终Hive SQL作业/脚本运行时,设置的模板参数可以允许作业/脚本参数进行覆盖。

  4. 单击“保存”,对设置的配置项进行保存。

作业/脚本变更管理

在工作空间配置作业/脚本变更管理后,可以将工作空间A的作业/脚本的变更记录(新增、修改、删除)导出来,同时可以将导出的zip包(作业/脚本的变更记录)导入到工作空间B。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业/脚本变更管理”配置项。
  3. 配置工作空间是否开启作业/脚本变更管理。

    说明:
    • 是:表示作业/脚本变化时记录变更事件,支持根据时间点增量导出和导入所有变化的作业/脚本。
    • 否:表示作业/脚本变化时不记录变更事件,只支持选定作业/脚本的导出和导入。

  4. 单击“保存”,对设置的配置项进行保存。

    说明:

    当“作业/脚本变更管理”配置项开启后,才能够在作业/脚本的进行工作空间的导出和导入。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容