计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive

最新动态

更新时间:2024/11/06 GMT+08:00

本文介绍了数据治理中心 DataArts Studio各特性版本的功能发布和对应的文档动态,欢迎体验。

2024年11月

序号

功能名称

功能描述

阶段

相关文档

1

API接口开放

  • 开放数据架构API接口,支持通过API访问数据架构。
  • 开放数据质量API接口,支持通过API访问数据质量。
  • 开放数据服务API接口,支持通过API访问数据服务。

商用

数据架构API概览

数据质量API概览

数据服务API概览

2024年10月

序号

功能名称

功能描述

阶段

相关文档

1

数据开发

DataArts Studio支持离线处理集成作业功能,支持跨集群下发数据迁移作业,实现常用的批作业迁移能力。离线处理集成作业功能当前需申请白名单后才能使用,如需使用该特性,请提交工单。

公测

离线处理集成作业开发

2

版本模式切换

为了实现灵活的资源配置并提供轻量化的数据治理能力,DataArts Studio对部分区域的版本模式进行了切换。
  • 对于后续新购买的DataArts Studio,仅能选择按照新版本模式的版本进行购买,具体包含初级版、专家版和企业版版本,并上线了规格增量包。
  • 对于切换前已购买的DataArts Studio,实例依然为旧版本模式的版本,具体包含初级版、基础版、高级版、专业版和企业版版本。

新版本模式相对于旧版本模式,价格门槛更低、资源拓展更加灵活。如果您需要体验新版本模式,建议您重新购买DataArts Studio实例,可参考DataArts Studio配置数据搬迁简介将业务数据迁移到新实例后,再将旧版本模式的DataArts Studio实例退订。

商用

如何选择版本

购买作业节点调度次数/天增量包

购买技术资产数量增量包

购买数据模型数量增量包

2024年06月

序号

功能名称

功能描述

阶段

相关文档

1

数据集成

下线管理Agent功能。

商用

管理连接

2023年10月

序号

功能名称

功能描述

阶段

相关文档

1

管理控制台

购买批量数据迁移增量包时,支持CDM集群关联多个工作空间

商用

购买功能增量包

2023年09月

序号

功能名称

功能描述

阶段

相关文档

1

数据开发

DataArts Studio支持yarn队列与空间绑定,作业自动区分实时离线作业分别提交各自队列,MRS作业算子增加了“MRS资源队列”参数,涉及5个算子节点(MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job)

商用

MRS Spark SQL

MRS Spark

MRS Hive SQL

MRS Spark Python

2

数据架构

  • 在关联技术指标时,可以选择原子指标
  • 支持在页面配置映射时实现搜索功能,包含维度表、物理表、维度、事实表
  • 数据标准业务对象支持自动编码  L3支持自动编码
  • 关系建模逻辑实体转换物理表

商用

业务指标

新建物理模型

管理配置中心 > 编码规则

逻辑模型设计 > 逻辑模型转换为物理模型

3

数据质量

  • 设置异常表时,默认添加后缀
  • 数据质量运维管理界面作业实例新增操作人列,并支持搜索和导出
  • 数据质量报告导出后支持下载
  • 数据质量持修改当前已有的规则模板

商用

新建质量作业

查看作业实例

查看质量报告

新建规则模板

4

数据质量

质量作业周期调度时可手动调节并发数

质量规则界面支持基于业务对象或者逻辑实体及属性名称进行搜索

数据质量报告能够重新刷新历史数据

创建质量任务的时候搜索框大小写敏感

商用

查看作业实例

新建质量作业

查看质量报告

新建质量作业

5

数据开发

  • 补数监控的作业名称增加搜索框功能
  • yarn队列与空间绑定,作业自动区分实时离线作业分别提交各自队列,作业算子可以配置MRS资源队列(支持MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job等算子)

商用

补数据监控

MRS Spark SQL

6

数据开发

  • 作业失败后重跑成功,用户可以进行配置
  • 重跑作业实例,支持会使用最新的作业版本重跑
  • 配置重试的作业,支持在第一次失败后就上报告警
  • 对于跨周期依赖的作业,跳过等待的实例去运行最近的批次支持分钟或小时调度的作业实例跳过

商用

管理通知 > 配置通知

实例监控 > 重跑作业实例

默认配置项 > 作业算子首次失败告警

调度作业 > 跨周期依赖

7

数据开发

  • 补数据支持离散业务日期补数据
  • DataArts Studio支持批量配置作业超时重试以及作业算子节点支持超时重试配置
  • 作业内算子默认失败重试一次

商用

批作业监控:补数据

批量配置作业

默认配置项 > 作业算子失败重试默认策略

2023年08月

序号

功能名称

功能描述

阶段

相关文档

1

数据开发

  • 运行异常/失败的任务支持任务未修复前可以配置多次告警提醒。作业运行失败时,重跑作业并且作业运行成功后,会发送作业实例恢复通知。
  • 监控消息通知服务支持选择任务负责人
  • Import GES算子点边数据集支持可以直接选择对应的OBS桶中的点边数据集csv文件,也支持选择对应的边数据集的OBS路径
  • 告警通知类型增加“运行取消”

商用

管理通知 > 配置通知

终端订阅管理

Import GES

管理通知

2

数据服务

配置方式生成API时,支持复制请求参数,实现多个输入的绑定参数条件匹配绑定字段。

商用

配置方式生成API

2023年07月

序号

功能名称

功能描述

阶段

相关文档

1

数据质量

  • 数据质量异常表生成逻辑的链接,可以在作业配置以及日志中体现
  • 数据质量SQL规则,支持多表、多参数灵活配置
  • 数据质量管理对多个表配置规则时,不同表的数据范围可支持独立设置

商用

新建质量作业

2

数据质量

数据质量的业务指标、质量作业、对账作业支持clickhouse数据源

数据质量支持传参

数据质量支持批量停止调度/运行的能力

数据质量运维管理查看质量作业结果支持升序和降序排序

商用

新建指标

新建质量作业

批量调度质量作业

查看作业实例

3

数据架构

  • 数据架构支持MySQL和Oracle数据源。
  • 关系建模时,支持自定义数仓分层的命名。
  • 物理模型建表时,支持表字段关联逻辑属性。
  • 复合指标类型支持同比增长率和环比增长率。

商用

DataArts Studio支持的数据源

新建物理模型

新建表并发布

新建复合指标

4

数据开发

  • 批作业监控、实例监控、补数据监控支持去除对上游单个实例的依赖关系
  • 补数据任务需要添加停止时间和失败停止按钮
  • 设置告警通知时,支持筛选出未配置某一种通知类型的作业,以便进行批量设置
  • 配置环境变量增加变量解释字段

商用

实例监控

批作业监控 > 补数据

批作业监控

配置环境变量 > 配置方法

5

数据开发

  • 补数据时支持设置作业优先级
  • 通知管理中配置的告警通知能监控的作业实例天数范围
  • 配置等待运行作业实例的超期天数。当作业实例等待运行的时间超过了所配置的期限天数时,作业实例将取消执行
  • DataArts的python spark任务需要支持在线编写python代码的能力(包含Spark python脚本和作业算子)

商用

默认配置项 > 补数据优先级设置

默认配置项 > 历史作业实例告警策略

默认配置项 > 历史作业实例取消策略

MRS Spark Python

2023年06月

序号

功能名称

功能描述

阶段

相关文档

1

数据开发

  • Pipeline算子脚本参数增加参数值预览
  • DataArts Studio支持在运维概览里面查看任务数统计的图形

商用

开发Pipeline作业

运维概览

2

数据开发

企业模式下,发布脚本/作业任务时,可以指定审批人进行审批。

  • 可指定工作空间下所有管理员和部署者作为审批人
  • 每次发布必须指定一位审批人
  • 可以通过审批人管理维护审批人信息

商用

发布作业任务

发布脚本任务

3

数据开发

  • 作业监控的详情页可以查看看该作业的调度配置信息
  • 作业关系依赖图支持按照依赖名下载作业的依赖关系文件
  • EL表达式支持使用DateUtil获取日期的季度
  • DataArts Studio支持批量设置依赖作业失败后的处理调度策略

商用

批作业监控

查看作业依赖关系图

DateUtil内嵌对象

批量配置作业

4

数据开发

  • 导出作业支持导出到OBS路径
  • DataArts Studio增加作业参数预览功能
  • Subjob和For Each节点支持配置作业节点名称是否同步变化
  • DataArts Studio补数据支持按照批次并发

商用

导出导入作业

开发一个Pipeline作业

配置默认项

批作业监控:补数据

5

管理控制台

支持置顶和删除工作空间。

商用

创建并管理工作空间

6

管理中心

  • 编辑数据连接时,无需再次输入密码。
  • 资源导入时,支持选择OBS和本地上传场景。

商用

新建数据连接

资源迁移

2023年05月

序号

功能名称

功能描述

阶段

相关文档

1

数据开发

  • DataArts Studio提交版本系统保留最近100条的版本记录
  • 创建DLI表时支持创建分区
  • DataArts Studio支持提前冻结作业实例

商用

提交版本并解锁

创建数据表

批作业监控

2

数据开发

  • 支持保存多个未提交的版本
  • 调度周期支持离散小时进行分钟级配置
  • 单算子作业支持 Ctrl + S 快捷键进行保存
  • 支持SQL编辑器进行风格配置

商用

开发SQL脚本

调度作业

开发一个单任务作业

作业开发流程

3

数据开发

  • 运维概览优化
  • DataArts Studio增加作业类型筛选功能
  • DataArts Studio补数据监控支持根据操作人和创建时间进行筛选
  • 创建DLI表的时候可以自动创建OBS目录

商用

运维概览

批作业监控

补数据监控

新建数据表

4

企业模式

新增企业模式,支持开发与生产环境隔离,实现安全、规范的代码发布管控流程。

  • 支持新建企业模式,或将简单模式升级到企业模式
  • 支持作业任务发布到生产环境
  • 支持脚本任务发布到生产环境

公测

企业模式

作业任务发布

脚本任务发布

5

数据开发

  • 通过作业树的右键快捷操作可以直接跳转到作业监控页面
  • 支持进行全局搜索
  • 查询作业实例列表API支持精确查询
  • SQL脚本执行结果可以通过下载中心进行查看

商用

前往监控

脚本开发流程

查询作业实例列表

下载中心

6

数据开发

  • 已生成的等待运行的作业实例,此时发布新的作业版本后,实例是否会使用最新的作业版本运行支持通过默认项配置进行设置
  • 等待运行的时间是否计算在超时时间内支持通过默认项配置进行设置
  • DataArts Studio作业调度支持调度作业强制优先执行操作 

商用

默认项配置 > 等待运行实例同步作业版本策略

默认项配置 > 实例超时是否忽略等待时间

实例监控

2023年04月

序号

功能名称

功能描述

阶段

相关文档

1

数据开发

  • 自然周期调度作为DataArts Studio新实例默认选项
  • 新增脚本和作业审批能力。提交任务版本的时候,可以指定审核人员进行审批
  • 批量作业监控支持按照调度方式、调度周期进行筛选
  • DataArts Studio支持单任务流式Flink SQL

商用

调度作业

审批中心

批作业监控

创建作业

2

数据开发

  • 脚本参数界面优化
  • 通过作业树目录查看作业依赖关系图
  • Flink SQL支持自定义模板
  • DataArts Studio支持开放作业最后修改人的API接口

商用

脚本开发流程

查看作业依赖关系图

配置模板

创建作业

3

数据开发

  • 单任务作业支持关联质量作业
  • DataArts Studio支持Python3脚本
  • 查找作业后可方便复制出较长的脚本名,对未提交或未调度的作业会以颜色进行识别
  • DataArts Studio依赖的页面支持按依赖名进行搜索和复制

商用

质量监控

开发Python脚本

作业开发流程

查看作业依赖关系图

2023年03月

序号

功能名称

功能描述

阶段

相关文档

1

数据开发

  • DLI Spark节点支持选择Spark版本
  • 支持设置工作空间同一时间并行运行的节点数上限
  • 支持设置工作空间公共执行用户

商用

DLI Spark

配置节点并发数

配置调度身份

2

数据开发

  • 补数据时,选择上下游作业时支持展示完整作业依赖关系
  • 支持配置作业忽略失败的通知策略
  • 跨周期依赖支持作业跳过阻塞未执行的批次

商用

批作业监控

配置默认项

调度作业

2023年02月

序号

功能名称

功能描述

阶段

相关文档

1

管理中心

  • MRS Hive连接支持LDAP认证场景。
  • 编辑连接时的密码变更为可选参数。
  • 资源迁移导入时支持OBS和本地上传两种方式。

商用

创建数据连接

资源迁移

2022年12月

序号

功能名称

功能描述

阶段

相关文档

1

数据集成

新增如下功能:

  • 支持MRS ClickHouse数据源。
  • 支持MRS Hudi数据源。
  • 迁移CSV文件时支持列名的显示。
  • 迁移CSV文件时支持配置首行为标题行。

商用

支持的数据源

新建表/文件迁移作业

配置OBS源端参数

2022年08月

序号

功能名称

功能描述

阶段

相关文档

1

数据集成

CDM集群对接TMS标签系统。

商用

管理集群标签

2022年07月

序号

功能名称

功能描述

阶段

相关文档

1

服务名称变更

服务名称由“数据湖治理中心DGC(Data Lake Governance Center)”变更为“数据治理中心DataArts Studio”。

商用

数据治理中心 DataArts Studio

2022年04月

序号

功能名称

功能描述

阶段

相关文档

1

数据集成

不再支持集群关机功能(集群关机后,资源可能会被占用,导致无法正常使用)。

商用

管理集群

2021年12月

序号

功能名称

功能描述

阶段

相关文档

1

数据架构

“配置中心-功能配置”增加属性自定义项。

商用

配置中心

2021年11月

序号

功能名称

功能描述

阶段

相关文档

1

数据质量

  • 规则模板增加导出、导入功能。
  • 质量作业增加导出、导入功能。
  • 对账作业增加导出、导入功能。
  • 质量报告评分支持自定义评分体系。

商用

数据质量监控概述

2

数据开发

  • 界面风格重构,优化细节体验,提升视觉效果。
  • 作业开发时右键节点支持“从当前节点测试运行”。
  • 作业参数支持以掩码显示。
  • SQL脚本开发支持可视化读取数据表并生成SQL语句。
  • DLI SQL脚本执行支持展示最多1000条数据。
  • 脚本开发和数据开发窗口页签支持自定义拖动调整前后位置。
  • 脚本开发和数据开发时支持浏览器数据缓存,避免误操作导致页面数据丢失。

商用

数据开发概述

2021年09月

序号

功能名称

功能描述

阶段

相关文档

1

数据集成

下线场景迁移功能。

商用

2021年07月

序号

功能名称

功能描述

阶段

相关文档

1

数据架构

“配置中心-功能配置”增加“数据标准是否重名”配置项

商用

配置中心

2

数据集成

  • 对于Oracle、Sqlserver、Mysql源支持按ID批量增量抽取。
  • 下线官网中不支持的数据源。
  • hive端repair接口优化。

商用

支持的数据源

2021年05月

序号

功能名称

功能描述

阶段

相关文档

1

数据开发

  • 连接目录树、脚本目录树和资源管理目录树,右键菜单新增“查看引用”选项。
  • 脚本目录树和作业目录树,右键菜单新增“复制名称”选项,目录名称长度限制为64字符。
  • 脚本开发时,SQL编辑器增加快捷键。
  • 脚本开发时,脚本的执行结果支持多结果页,支持多结果页的查询、过滤、复制等。
  • 作业开发时,Open/Close Resource节点配置ECS服务时,支持搜索ECS服务器。
  • 作业开发时,CDM Job节点右键菜单新增“编辑CDM作业”选项。
  • 脚本开发和作业开发时,多人同时编辑同一个对象时,新增提示信息。
  • 脚本开发和作业开发时,“提交版本”按钮修改为“保存并提交版本”,按钮位置调整。
  • 作业监控列表,支持按照“优先级”条件进行筛选。
  • 实例监控列表,支持根据“计划开始时间”、“开始时间”、“结束时间”、“运行时间”条件进行排序;支持根据“状态”条件进行筛选;新增“版本”信息。

商用

数据开发

2

数据集成

CDM支持部分数据源的导入导出功能变更。

商用

支持的数据源

2021年02月

序号

功能名称

功能描述

阶段

相关文档

1

数据架构

  • 支持通用条件设置时间类字段。

商用

数据架构

2

数据开发

  • 调度周期为分钟的作业可以依赖到调度周期为天的作业。

商用

数据开发

3

数据集成

  • DWS作为目标端时,支持insert into和冲突时update两种模式。
  • CDM支持DLI外表读、写能力。
  • MySQL的同步任务支持目标表刷新模式:insert into; update; overwrite。

商用

支持的数据源

2021年01月

序号

功能名称

功能描述

阶段

相关文档

1

数据质量

  • 自定义作业支持绑定表和维度,支持评分设置。
  • 规则模板支持上线下线操作,支持批量迁移。
  • 数据质量总览加强,补充作业统计相关信息。

商用

数据质量

2

数据开发

  • 作业依赖关系图显示优化:支持查看上下游完整依赖作业,支持拖拽与放大缩小,作业关系呈现更清晰。
  • 版本管理与提交:作业和脚本新增提交版本功能,用于区分开发态的作业(脚本)和正式调度中 使用的作业(脚本)。在正式调度中,作业依赖、实例重跑、补数据等场景均是关联最新的已提交版本。

商用

数据开发

3

数据集成

  • CDM支持达梦数据库。

商用

支持的数据源

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容