网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
云手机服务器 CPH
专属主机 DeH
弹性伸缩 AS
镜像服务 IMS
函数工作流 FunctionGraph
云耀云服务器(旧版)
VR云渲游平台 CVR
Huawei Cloud EulerOS
云化数据中心 CloudDC
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
CDN与智能边缘
内容分发网络 CDN
智能边缘云 IEC
智能边缘平台 IEF
CloudPond云服务
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
可信智能计算服务 TICS
推荐系统 RES
云搜索服务 CSS
数据可视化 DLV
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
湖仓构建 LakeFormation
智能数据洞察 DataArts Insight
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
开天aPaaS
应用平台 AppStage
开天企业工作台 MSSE
开天集成工作台 MSSI
API中心 API Hub
云消息服务 KooMessage
交换数据空间 EDS
云地图服务 KooMap
云手机服务 KooPhone
组织成员账号 OrgID
云空间服务 KooDrive
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
区块链
区块链服务 BCS
数字资产链 DAC
华为云区块链引擎服务 HBS
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
价格
成本优化最佳实践
专属云商业逻辑
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
其他
管理控制台
消息中心
产品价格详情
系统权限
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
云服务信任体系能力说明
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
存储容灾服务 SDRS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
云存储网关 CSG
专属分布式存储服务 DSS
数据工坊 DWR
地图数据 MapDS
键值存储服务 KVS
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
云原生服务中心 OSC
应用服务网格 ASM
华为云UCS
数据库
云数据库 RDS
数据复制服务 DRS
文档数据库服务 DDS
分布式数据库中间件 DDM
云数据库 GaussDB
云数据库 GeminiDB
数据管理服务 DAS
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
AI开发平台ModelArts
华为HiLens
图引擎服务 GES
图像识别 Image
文字识别 OCR
自然语言处理 NLP
内容审核 Moderation
图像搜索 ImageSearch
医疗智能体 EIHealth
企业级AI应用开发专业套件 ModelArts Pro
人脸识别服务 FRS
对话机器人服务 CBS
语音交互服务 SIS
人证核身服务 IVS
视频智能分析服务 VIAS
城市智能体
自动驾驶云服务 Octopus
盘古大模型 PanguLargeModels
IoT物联网
设备接入 IoTDA
全球SIM联接 GSL
IoT数据分析 IoTA
路网数字化服务 DRIS
IoT边缘 IoTEdge
设备发放 IoTDP
企业应用
域名注册服务 Domains
云解析服务 DNS
企业门户 EWP
ICP备案
商标注册
华为云WeLink
华为云会议 Meeting
隐私保护通话 PrivateNumber
语音通话 VoiceCall
消息&短信 MSGSMS
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
云桌面 Workspace
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMA Exchange
API全生命周期管理 ROMA API
政企自服务管理 ESM
视频
实时音视频 SparkRTC
视频直播 Live
视频点播 VOD
媒体处理 MPC
视频接入服务 VIS
数字内容生产线 MetaStudio
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
专属云
专属计算集群 DCC
开发者工具
SDK开发指南
API签名指南
DevStar
华为云命令行工具服务 KooCLI
Huawei Cloud Toolkit
CodeArts API
云化转型
云架构中心
云采用框架
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
支持计划
专业服务
合作伙伴支持计划
我的凭证
华为云公共事业服务云平台
工业软件
工业数字模型驱动引擎
硬件开发工具链平台云服务
工业数据转换引擎云服务

配置默认项

更新时间:2025-02-21 GMT+08:00
分享

本章节主要介绍默认项的配置。当前只有具备DAYU AdministratorTenant Administrator账号权限的用户才有默认配置项的相关操作权限。

使用场景

当某参数被多个作业调用时,可将此参数提取出来作为默认配置项,无需每个作业都配置该参数。

表1 配置项列表

配置项

影响模块

主要用途

配置工作空间模式

作业调度

  • 普通模式
  • 业务日期模式

系统支持按照作业调度计划时间去运行,同时支持按照业务日期去运行。

配置周期调度

作业调度

  • 当前作业所依赖的作业执行失败后,当前作业的处理策略。
  • 依赖的作业停止时,当前作业实例处理策略。

配置多IF策略

作业调度

节点执行依赖多个IF条件的处理策略。

配置软硬锁策略

脚本/作业开发

作业或脚本的抢锁操作依赖于软硬锁处理策略。

脚本变量定义

脚本开发

脚本变量的格式定义。SQL脚本的变量格式有${}和${dlf.}两种。

配置数据导出策略

脚本/作业开发

对SQL执行结果框中的数据配置下载或转储的策略。

  • 所有用户都可以
  • 所有用户都不能
  • 仅工作空间管理员可以

禁用作业节点名称同步变化

作业开发

DataArts Studio作业中的节点关联脚本或者其他服务的作业时,节点名称不会同步变化。

是否使用简易变量集

作业开发

简易变量集提供了一系列自定义的变量,实现在任务调度时间内参数的动态替换。

忽略失败的通知策略

运维调度

对于运行状态为忽略失败的作业,支持发送的通知类型。

节点超时是否重试

作业运行

作业节点运行超时导致的失败也会重试。

实例超时是否忽略等待时间

作业运行

实例运行时超时计算将忽略等待时间。

MRS jar包参数拆分规则

作业开发

MRS MapReduce算子和MRS Spark算子jar包参数中字符串参数(使用""括起来的参数)拆分规则。

等待运行实例同步作业版本策略

运维调度

已生成的等待运行的作业实例,此时发布新的作业版本后,实例是否会使用最新的作业版本运行。

Hive SQL及Spark SQL执行方式

脚本/作业开发

  • SQL语句放置在OBS中:将OBS路径返回给MRS。
  • SQL语句放置在请求的消息体中:将脚本内容返回给MRS。

补数据优先级设置

运维调度-补数据

设置补数据作业的优先级。当系统资源不充足时,可以优先满足优先级较高的作业的计算资源,数字越大优先级越高,当前只支持对DLI SQL算子设置优先级。

历史作业实例取消策略

运维调度

配置等待运行作业实例的超期天数。当作业实例等待运行的时间,超过了所配置的期限天数时,作业实例将取消执行。超期天数,最小需配置2天,即至少需要等待2天,才可取消未运行的作业实例。超期天数默认为60天,单位:天。

历史作业实例告警策略

运维调度

配置“通知管理”中通知告警能监控的天数范围。

通知管理中配置的告警通知能监控的作业实例天数范围,默认配置为7天,即对7天内满足触发条件的作业实例都能正常上报通知告警,但7天之前的作业实例不会再上报告警。

作业告警通知主题

通知配置

按责任人发送通知时所使用的主题。

作业算子失败重试默认策略

运维调度

设置作业算子失败重试默认策略。

作业每次重试失败即告警

运维调度

当作业配置失败告警的时候,该配置项会触发作业每次重试失败即告警,可作用于全部作业、实时作业和批作业。

若选择不支持,则作业达到最大失败重试次数时才触发失败告警。

作业运行自动传递脚本名称

作业开发(作业运行)

开关打开后,系统自动传参将生效:将对当前空间内作业运行时,将Hive SQL脚本set mapreduce.job.name=脚本名称,自动传递至MRS。

作业依赖规则

作业调度

作业能被其他空间作业依赖,需要该空间作业列表的查询权限。工作空间内的默认角色均有该权限,自定义角色需要在有数据开发下的作业查询权限。

脚本执行历史展示

脚本/作业开发

对脚本执行历史结果进行权限管控。

  • 仅自己可见:脚本执行历史只显示本用户的执行历史。
  • 所有用户可见:脚本执行历史显示所有用户的执行历史。

作业测试运行使用的身份

作业开发(作业测试运行)

配置作业测试运行使用的身份。

  • 公共委托或IAM账号:使用配置的公共委托或公共IAM账号身份执行作业。
  • 个人账号:使用点击测试作业用户的身份执行作业。

Spark SQL作业/脚本默认模板配置

Spark SQL脚本/作业开发

Spark SQL作业/脚本配置运行,是否允许用户设置任意参数。

Hive SQL作业/脚本默认模板配置

Hive SQL脚本/作业开发

Hive SQL作业/脚本配置运行,是否允许用户设置任意参数。

作业/脚本变更管理

作业/脚本的导入和导出

工作空间是否开启作业/脚本变更管理。

  • 是:表示作业/脚本变化时记录变更事件,支持根据时间点增量导出和导入所有变化的作业/脚本。
  • 否:表示作业/脚本变化时不记录变更事件,只支持选定作业/脚本的导出和导入。

Flink调试OBS桶

Flink SQL实时作业开发

在进行Flink SQL作业调试时,调试OBS桶必须选择并行桶。

展示层脱敏配置

脚本开发和作业开发

进行脚本和作业开发执行结果、表数据预览操作时,支持配置是否开启前端展示层脱敏。

配置工作空间模式

系统支持按照作业调度计划时间去运行,同时支持按照业务日期去运行。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“工作空间模式”配置项。
    说明:

    工作空间模式支持如下两种,系统默认配置为“普通模式”。

    • 普通模式:作业配置的启动时间和补数据的时间范围作为作业的调度计划时间,作业依赖关系按照调度计划时间判断。
    • 业务日期模式:作业配置的启动时间和补数据时间范围为业务数据日期时间,作业依赖关系按照业务日期判断。业务日期模式景下,作业实例的生效时间为业务日期。
    • 普通模式切换为业务日期模式时,如果存在多个翻牌目录下的作业偏移量不一致,系统不会一起进行校验,只要校验出其中有一个有问题,就会报错提示“由于翻牌单元xxxxx下的作业的偏移量不一致,不能切换调度模式。”。
  3. 单击“保存”,对设置的配置项进行保存。

配置周期调度

  • 当前作业所依赖的作业执行失败后,当前作业的处理策略是根据配置的默认策略来执行,配置默认策略操作如下。
    1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
    2. 单击“默认项设置”,可设置“周期调度”配置项。
      说明:

      策略支持如下三种,系统默认配置为“取消执行”。

      • 等待执行:当被依赖的作业执行失败后,当前作业会等待执行。
      • 继续执行:当被依赖的作业执行失败后,当前作业会继续执行。
      • 取消执行:当被依赖的作业执行失败后,当前作业会取消执行。
    3. 单击“保存”,对设置的配置项进行保存。该配置仅对新建作业有效。
  • 依赖的作业停止时,当前作业实例的处理策略是根据配置的默认策略来执行,配置默认策略操作如下。
    1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
    2. 单击“默认项设置”,可设置“周期调度”配置项。
      说明:

      策略支持如下两种,系统默认配置为“取消执行”。

      • 等待运行:当被依赖的作业执行失败后,当前作业实例会等待运行。
      • 取消执行:当被依赖的作业执行失败后,当前作业实例会取消执行。
    3. 单击“保存”,对设置的配置项进行保存。该配置仅对新建作业有效。

配置多IF策略

节点执行依赖多个IF条件的处理策略,配置默认策略操作如下。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“多IF策略”配置项。

    说明:

    策略支持如下两种,系统默认策略为“逻辑或”。

    • 逻辑或:表示多个IF判断条件只要任意一个满足条件则执行。
    • 逻辑与:表示多个IF判断条件需要所有条件满足时才执行。

    具体使用方法请参见多IF条件下当前节点的执行策略

  3. 单击“保存”,对设置的配置项进行保存。

配置软硬锁策略

作业或脚本的抢锁操作依赖于软硬锁处理策略。软硬锁的最大的区别在于普通用户抢锁时,软锁可以任意抢锁(无论锁是否在自己手上),硬锁只能对自己持有锁的文件进行操作(包括抢锁、解锁操作)。发布、运行、调度等操作不受锁的影响,无锁也可操作。

用户可根据实际场景,配置相应的软硬锁策略。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“软硬锁策略”配置项。

    说明:

    系统默认策略为“软锁”。

    • 软锁:忽略当前作业或脚本是否被他人锁定,可以进行抢锁或解锁。
    • 硬锁:若作业或脚本被他人锁定,则需锁定的用户解锁之后,当前使用人方可抢锁,空间管理员或DAYU Administrator可以任意抢锁或解锁。

  3. 单击“保存”,对设置的配置项进行保存。

脚本变量定义

SQL脚本的变量格式有${}和${dlf.}两种,支持用户根据实际情况进行配置。配置的变量格式会作用于SQL脚本、作业中SQL语句、单节点作业,环境变量。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“脚本变量定义”配置项。

    说明:

    系统默认脚本变量格式为${}。

    • ${}格式:识别脚本中${}格式的定义,解析其中的字段为变量名,如${xxx},识别为变量名:xxx。
    • ${dlf.}格式:识别脚本中${dlf.}格式的定义,解析其中的dlf.字段为变量名,其他${}格式定义不再识别为变量,如${dlf.xxx},识别为变量名:dlf.xxx。

  3. 单击“保存”,对设置的配置项进行保存。

配置数据导出策略

系统默认支持所有用户都能下载和转储SQL脚本的执行结果。如果您不希望所有用户都有该操作权限,可参考下如下步骤对数据导出策略进行配置。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“数据导出策略”配置项。

    说明:

    系统默认的数据导出策略是“所有用户都可以”。

    • 所有用户都可以:所有用户都能对SQL执行结果做“下载”或“转储”操作。
    • 所有用户都不能:所有用户都不能对SQL执行结果做“下载”或“转储”操作。
    • 仅工作空间管理员可以:只有工作空间管理员可以对SQL执行结果做“下载”或“转储”操作。

  3. 单击“保存”,对设置的配置项进行保存。

禁用作业节点名称同步变化

在作业开发界面,系统默认选择脚本或关联其他云服务的功能时会同步更新节点名称,使之与脚本或功能名称一致。当前支持配置作业节点名称是否同步变更。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可勾选“禁用作业节点名称同步”的节点。

    说明:
    • 当前系统支持对CDM Job、DIS Stream、DLI SQL、DWS SQL、MRS Spark SQL、MRS Hive SQL、MRS Presto SQL、MRS HetuEngine、MRS ClickHouse、MRS Impala SQL、Shell、DORIS SQL、RDS SQL、Python、Subjob、For Each节点的名称是否同步为脚本或功能名称做配置。
    • 系统默认为不勾选,即选择脚本或功能时会同步更新节点名称。
    • 如果勾选了节点,在选择脚本或功能时,不会同步更新节点的名称。

  3. 单击“保存”,对设置的配置项进行保存。

是否使用简易变量集

简易变量集提供了一系列自定义的变量,实现在任务调度时间内参数的动态替换。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“是否使用简易变量集”配置项。

    说明:
    • 是:支持使用简易变量集。通过简易变量集提供的一系列自定义的变量,自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。
    • 否:不支持使用简易变量集。

  3. 单击“保存”,对设置的配置项进行保存。

忽略失败的通知策略

对于运行状态为忽略失败的作业,可选择支持发送的通知类型。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“忽略失败的通知策略”配置项。
  3. 选择忽略失败状态节点的通知类型。

    说明:
    • 在作业基本信息界面,对于“当前节点失败后,后续节点处理策略 > 继续执行下一节点”的作业可理解为忽略失败的作业,系统默认运行结果为成功。
    • 对于运行状态为忽略失败的作业,支持发送的通知类型如下:

      运行异常/失败:对于运行状态为忽略失败的作业,支持发送的通知类型为“运行异常/失败”。

      运行成功:对于运行状态为忽略失败的作业,支持发送的通知类型为“运行成功”,系统默认策略为运行成功。

  4. 单击“保存”,对设置的配置项进行保存。

节点超时是否重试

对于作业节点运行超时导致失败的作业,可选择是否支持重试。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“节点超时是否重试”配置项。
  3. 配置节点运行超时是否重试。

    说明:
    • 否:作业节点运行超时导致失败后,不重新执行节点
    • 是,作业节点运行超时导致失败后,可以重新执行节点

  4. 单击“保存”,对设置的配置项进行保存。

实例超时是否忽略等待时间

对于作业实例运行超时以后,可以配置实例超时是否忽略等待时间。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“实例超时是否忽略等待时间”配置项。
  3. 配置实例超时是否忽略等待时间。

    说明:

    是:实例运行时超时计算将忽略等待时间。

    否:实例运行时超时计算将等待时间会包含进去。

  4. 单击“保存”,对设置的配置项进行保存。

MRS jar包参数拆分规则

对MRS MapReduce算子和MRS Spark算子jar包参数中字符串参数(使用""括起来的参数)拆分规则进行配置。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“MRS jar包参数拆分规则”配置项。
  3. 配置MRS jar包参数拆分规则。

    说明:

    按空格拆分字符串参数:如"select * from table"会按空格被拆分成四个参数,分别为select、*、from、table。

    不拆分字符串参数:如"select * from table"会被当成一个完整的参数,不进行拆分。

  4. 单击“保存”,对设置的配置项进行保存。

等待运行实例同步作业版本策略

已生成的等待运行的作业实例,此时发布新的作业版本后,实例是否会使用最新的作业版本运行。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“等待运行实例同步作业版本策略”配置项。
  3. 配置等待运行实例同步作业版本策略。

    说明:

    是:等待运行的作业实例,当发布新的作业版本后,作业实例在运行时,会使用最新版本作业运行。

    否:等待运行的作业实例,当发布新的作业版本后,作业实例在运行时,依旧使用当前版本的作业运行。

  4. 单击“保存”,对设置的配置项进行保存。

Hive SQL及Spark SQL执行方式

执行Hive SQL及Spark SQL语句时,DataArts Studio支持把SQL语句放在OBS中,同时还支持把SQL语句放在请求的消息体中。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“Hive sql及Spark sql执行方式”配置项。
  3. 配置Hive SQL及Spark SQL的执行方式。

    说明:

    SQL语句放置在OBS中:执行Hive SQL及Spark SQL语句时,把SQL语句放在OBS中,将OBS路径返回给MRS。

    SQL语句放置在请求的消息体中:执行Hive SQL及Spark SQL语句时,把SQL语句放在请求的消息体中,将脚本内容返回给MRS。

  4. 单击“保存”,对设置的配置项进行保存。

    说明:

    Hive SQL和Spark SQL脚本、Pipeline作业以及单任务作业支持Hive SQL及Spark SQL执行方式的配置。

补数据优先级设置

设置补数据作业的优先级。当系统资源不充足时,可以优先满足优先级较高的作业的计算资源,数字越大优先级越高。当前只支持对DLI SQL算子设置优先级。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“补数据优先级设置”配置项。
  3. 配置补数据的优先级策略。
  4. 单击“保存”,对设置的配置项进行保存。

    说明:

    补数据优先级设置和DLI的spark.sql.dli.job.priority优先级的映射关系如下:

    补数据的优先级设置为1时,映射到DLI优先级spark.sql.dli.job.priority=1;

    补数据的优先级设置为2时,映射到DLI优先级spark.sql.dli.job.priority=3;

    补数据的优先级设置为3时,映射到DLI优先级spark.sql.dli.job.priority=5;

    补数据的优先级设置为4时,映射到DLI优先级spark.sql.dli.job.priority=8;

    补数据的优先级设置为5时,映射到DLI优先级spark.sql.dli.job.priority=10。

历史作业实例取消策略

配置等待运行作业实例的超期天数。当作业实例等待运行的时间超过了所配置的期限天数时,作业实例将取消执行。超期天数最小需要配置2天,即至少需要等待2天,才可以取消未运行的作业实例,超期天数默认为60天,单位为天。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“历史作业实例取消策略”配置项。
  3. 配置等待运行作业实例的超期天数。
  4. 单击“保存”,对设置的配置项进行保存。

配置实例超期取消是否发送告警。若选择“是”,当历史作业实例被超期取消,且作业配置运行取消通知类型时,将会发送告警通知。如果选择“否”,将不会发送告警通知。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“历史作业实例取消策略”配置项。
  3. 配置实例超期取消是否发送告警。
  4. 单击“保存”,对设置的配置项进行保存。

历史作业实例告警策略

通知管理中配置的告警通知能监控的作业实例天数范围,配置默认为7天,即对7天内满足触发条件的作业实例都能正常上报告警通知,但7天之前的作业实例不会再次上报告警。

例如:告警监控天数配置为2天时,昨天和今天的作业实例触发监控时会告警,但是前天以及3天前的作业实例,即使满足触发条件也不会再次发送通知告警。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“历史作业实例告警策略”配置项。
  3. 配置“通知管理”中通知告警能监控的天数范围。

    说明:

    告警监控天数配置默认为7天,最小为1天,最大为270天。

    告警监控天数配置好以后,告警通知只提示告警设置以后的作业实例,不再展示历史上的异常记录。

  4. 单击“保存”,对设置的配置项进行保存。

作业告警通知主题

配置作业告警通知主题,此处所配置的主题是按责任人发送通知时所使用的主题。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业告警通知主题”配置项。
  3. 配置作业告警通知主题。单击“查看主题”可以跳转到消息通知服务界面查看已创建的主题。

    说明:

    此处选择的主题需要在消息通知服务SMN界面新配置一个主题(防止与之前所配置的按主题发送通知的主题重复),只能由空间管理员配置。

  4. 单击“保存”,对设置的配置项进行保存。

作业算子失败重试默认策略

设置作业算子失败重试默认策略后,仅对当前工作空间作业新增的作业算子生效,历史作业算子默认值不受影响。系统初始默认值为否。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业算子失败重试默认策略”配置项。
  3. 配置作业算子失败重试默认策略。

    说明:

    设置作业算子失败重试默认策略后,新增的作业算子最大重试次数默认为1,重试间隔时间默认120秒。

  4. 单击“保存”,对设置的配置项进行保存。

作业每次重试失败即告警

配置作业每次重试失败即告警后,当作业配置了失败重试时,在第一次运行失败后就上报告警。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业每次重试失败即告警”配置项。
  3. 配置作业每次重试失败即告警。

    说明:
    • 当作业配置失败告警的时候,该配置项会触发作业每次重试失败即告警,可作用于全部作业、实时作业和批作业。
    • 若选择不支持,则作业达到最大失败重试次数时才触发失败告警。

  4. 单击“保存”,对设置的配置项进行保存。

作业运行自动传递脚本名称

作业运行自动传递脚本名称开关打开后,系统自动传参将生效,将对当前空间内作业运行时,将Hive sql脚本set mapreduce.job.name=“脚本名称”自动传递至MRS。

说明:

仅对脚本中未设置上述参数值的情况下生效,如脚本中已设置此参数值,则优先以读取人工设置的值传递至MRS。特别提醒:如MRS集群是安全模式,则不支持此设置方式,需提前将集群设置为非安全模式。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业运行自动传递脚本名称”配置项。
  3. 配置作业运行自动传递脚本名称。

    说明:
    • 是:作业运行时系统会自动传递Hive sql脚本名称到MRS。
    • 否:作业运行时系统不会自动传递Hive sql脚本名称到MRS。

  4. 单击“保存”,对设置的配置项进行保存。

作业依赖规则

作业能被其他空间作业依赖,需要该空间作业列表的查询权限。工作空间内的默认角色均有该权限,自定义角色需要在有数据开发下的作业查询权限。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业依赖规则”配置项。
  3. 配置作业依赖规则。

    说明:
    • 作业不能被其他工作空间依赖:该空间的作业不能被其他空间作业依赖。
    • 作业能被其他工作空间依赖:该空间的作业能被其他空间作业依赖,不需要为该用户配置所依赖空间的权限。
    • 作业能被其他空间作业依赖(需要该空间作业列表的查询权限):该空间的作业能被其他空间作业依赖,需要为该用户配置所依赖空间的权限。如果没有为该用户配置权限的话,在跨空间配置作业依赖关系时,系统会提示“当前用户没有工作空间xxx的获取作业列表的权限”。

  4. 单击“保存”,对设置的配置项进行保存。

脚本执行历史展示

配置脚本执行历史展示后,可以对脚本执行历史的查看进行权限管控。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“脚本执行历史展示”配置项。
  3. 配置脚本执行历史展示。

    说明:
    • 仅自己可见:脚本执行历史只显示本用户的操作历史。
    • 所有用户可见:脚本执行历史显示所有用户的操作历史。

  4. 单击“保存”,对设置的配置项进行保存。

作业测试运行使用的身份

配置作业测试运行使用的身份后,在作业测试运行时,可以对作业测试运行的身份进行指定。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业测试运行使用的身份”配置项。
  3. 配置作业测试运行使用的身份。

    说明:
    • 公共委托或IAM账号:使用配置的公共委托或公共IAM账号身份执行作业。
    • 个人账号:使用点击测试作业用户的身份执行作业。

      如果没有配置工作空间委托或IAM账号,作业测试运行统一使用个人账号身份

      如果是联邦账户,必须配置为公共调度身份,即配置为公共委托或IAM账号。

  4. 单击“保存”,对设置的配置项进行保存。

Spark SQL作业/脚本默认模板配置

Spark SQL作业/脚本配置运行时,通过默认参数模板去管控是否允许用户去设置任意参数覆盖模板设置的默认参数。

在MRS API连接方式下,Spark SQL脚本支持配置默认运行参数。代理连接不支持。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“Spark SQL作业/脚本默认模板配置”配置项。
  3. 配置Spark SQL作业/脚本运行时,是否允许用户设置任意参数。

    说明:
    • 是:表示不配置这种参数,作业/脚本随便设置参数。
    • 否:表示必须选择一个模板给这类作业/脚本绑定好,并且在作业/脚本配置中这些参数会校验最大值,最小值,以及是否允许被覆盖。选择“否”时,设置已经配置好的默认参数模板。配置模板请参见配置模板

      设置好以后,请到Spark SQL作业界面的基本信息或Spark SQL脚本界面,单击右上角的去查看所配置的默认运行程序参数,预置的默认参数置灰,不能修改。

      用户根据需要也可以自定义运行程序参数,最终Spark SQL作业/脚本运行时,设置的模板参数可以允许作业/脚本参数进行覆盖。

Hive SQL作业/脚本默认模板配置

Hive SQL作业/脚本配置运行时,通过默认参数模板去管控是否允许用户去设置参数覆盖模板设置的默认参数。

在MRS API连接方式下,Hive SQL脚本支持配置默认运行参数。代理连接不支持。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“Hive SQL作业/脚本默认模板配置”配置项。
  3. 配置Hive SQL作业/脚本运行时,是否允许用户设置任意参数。

    说明:
    • 是:表示不配置这种参数,作业/脚本随便设置参数。
    • 否:表示必须选择一个模板给这类作业/脚本绑定好,并且在作业/脚本配置中这些参数会校验最大值,最小值,以及是否允许被覆盖。选择“否”时,设置已经配置好的默认参数模板。配置模板请参见配置模板

      设置好以后,请到Hive SQL作业界面的基本信息或Hive SQL脚本界面,单击右上角的去查看所配置的默认运行程序参数,预置的默认参数置灰,不能修改。

      用户根据需要也可以继续添加自定义运行程序参数,最终Hive SQL作业/脚本运行时,设置的模板参数可以允许作业/脚本参数进行覆盖。

  4. 单击“保存”,对设置的配置项进行保存。

作业/脚本变更管理

在工作空间配置作业/脚本变更管理后,可以将工作空间A的作业/脚本的变更记录(新增、修改、删除)导出来,同时可以将导出的zip包(作业/脚本的变更记录)导入到工作空间B。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“作业/脚本变更管理”配置项。
  3. 配置工作空间是否开启作业/脚本变更管理。

    说明:
    • 是:表示作业/脚本变化时记录变更事件,支持根据时间点增量导出和导入所有变化的作业/脚本。
    • 否:表示作业/脚本变化时不记录变更事件,只支持选定作业/脚本的导出和导入。

  4. 单击“保存”,对设置的配置项进行保存。

    说明:

    当“作业/脚本变更管理”配置项开启后,才能够在作业/脚本的进行工作空间的导出和导入。

Flink调试OBS桶

在进行Flink SQL作业调试时,调试OBS桶必须选择并行桶,可以在工作空间进行默认配置。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“Flink调试OBS桶”配置项。
  3. 配置Flink调试OBS桶。
  4. 单击“保存”,对设置的配置项进行保存。

展示层脱敏配置

进行脚本和作业开发执行结果、表数据预览操作时,支持配置是否开启前端展示层脱敏。

  1. 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
  2. 单击“默认项设置”,可设置“展示层脱敏配置”配置项。
  3. 配置是否开启展示层脱敏配置。

    说明:
    • 是:表示在进行脚本、作业开发查询的时候,在对表数据预览的时候,会按照数据安全配置的展示层脱敏策略,对结果数据前端页面展示进行敏感信息脱敏操作。
    • 否:表示在进行脚本作业开发以及表数据预览的时候,不会对结果数据进行敏感数据脱敏。

      该配置项功能与数据安全组件强相关,开关默认关闭,只有开关打开并且在数据安全启用了展示层脱敏策略时,该功能生效。

  4. 单击“保存”,对设置的配置项进行保存。
提示

您即将访问非华为云网站,请注意账号财产安全

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容