最新动态

1

Notebook

• Notebook支持纵向鉴权防护和横向越权防护。
• 同一Notebook支持多人协作。Notebook实例增加共享功能，最多共享100人。别人共享的你的，只能进行打开和查看详情的操作。不可以进行其他操作。
• Notebook支持CTS对接。
• Notebook支持手动启停操作。用户只能手动启动已经停止运行的Notebook实例。用户只能手动停止当前正在运行的Notebook实例。

商用

审计日志 > 数据开发操作列表

创建Notebook实例 > 更多操作

2

Notebook

• Notebook支持开发语言Scale（DLI Spark (Scale)）
• Notebook任务统一到数据开发进行调度
• DataArts Studio支持在Notebook安装Python依赖

商用

开发Launcher任务 > 开发DLI Spark(Scala)任务

Notebook任务在数据开发的Pipeline作业进行统一调度

在Notebook中安装外部库

1

数据架构

数据架构支持异常表配置时选择已有表。在详情界面，单击编辑按钮，打开生成异常数据开关，自定义异常表增加了选择已有表（包含关系建模、逻辑模型、维度表、事实表、汇总表等）

DataArts Studio支持数据架构逆向数据库时，搜索允许多项搜索。在进行逆向数据库时，选择数据表为部分时，支持多表筛选。

数据架构的业务指标，新建业务指标时，刷新频率可以更加灵活。刷新频率的枚举值增加每15分钟，每半小时。

数据架构的指标支持按名称、指标编码模糊搜索。

商用

数据集市

关系建模

业务指标

2

数据质量

系统规则模板增加全量表波动率。

创建质量作业时，当“规则类型”选择“表级规则”，并且“模板名称”选择波动率相关的规则模板名称时，则需要配置表分区参数。

系统支持设置“表分区”和“全表”两种方式。

商用

新建数据质量作业

1

数据架构

数据架构支持数据字典（配置好数据词典后，在码表、数据标准、逻辑实体、物理表、维度、事实表、汇总表等界面创建英文名称时进行应用。）

通过配置命名词典，在数据建模生成表名时支持根据词库来自动匹配对应的英文，避免一个中文词在表名上出现多种英文命名，规范了英文表名。

商用

命名词典

2

数据架构

物理表和逻辑实体支持通过标签筛选导出数据。

编辑逻辑实体进入逻辑实体属性tab页后，增加一个关联质量规则的按钮，可以关联质量规则，配置质量规则的参数。

汇总表从指标导入时，支持模糊搜索。

架构自动生成的质量作业，按照主题结构同步到数据质量对应的目录下。（涉及逻辑实体、物理表、维度表、事实表、汇总表等）

数据架构指标支持按名称、指标编码模糊搜索。

商用

逻辑实体 > 逻辑实体更多操作 > 编辑

关系建模 > 物理表更多操作 > 标签

汇总表 > 新建汇总表并发布

新建业务指标

3

Notebook

DataArts Studio的数据开发组件提供独立的Notebook服务开发能力。

DataArts Studio的Notebook是一个交互式开发环境，提供全托管式JupyterLab云化版本，即开即用。帮助数据工程师及数据科学家轻松完成开发、调试、调度集群作业，并支持实时探索、处理和数据可视化。

目前支持DLI、Python等两种开发语言。

公测

Notebook开发

1

数据质量

• 数据质量系统模板“字段长度校验”、“字段值范围校验”和“字段时间校验”修改为有效性。
• 自定义规则模板的定义关系目前最多支持10张表20个字段。
• 数据质量作业支持自定义的质量规则模板在质量报告中显示评分和规则。
• 质量作业自定义规则，质量监测结果显示表名而非默认字符串。
• 数据质量支持自定义SQL场景使用数据开发参数。
• 数据质量自定义SQL质量作业运行结果页面支持展示多行数据，SQL结果展示最多300条。
• 数据质量开放API（批量删除质量作业、批量删除对账作业、批量停止实例）。

商用

创建数据质量规则

新建数据质量作业

查看数据质量报告

1

API接口开放

• 开放数据架构API接口，支持通过API访问数据架构。
• 开放数据质量API接口，支持通过API访问数据质量。
• 开放数据服务API接口，支持通过API访问数据服务。

商用

数据架构API概览

数据质量API概览

数据服务API概览

1

数据开发

DataArts Studio支持离线处理集成作业功能，支持跨集群下发数据迁移作业，实现常用的批作业迁移能力。离线处理集成作业功能当前需申请白名单后才能使用，如需使用该特性，请提交工单。

公测

离线处理集成作业开发

2

版本模式切换

新版本模式相对于旧版本模式，价格门槛更低、资源拓展更加灵活。如果您需要体验新版本模式，建议您重新购买DataArts Studio实例，可参考DataArts Studio配置数据搬迁简介将业务数据迁移到新实例后，再将旧版本模式的DataArts Studio实例退订。

商用

如何选择版本

购买作业节点调度次数/天增量包

购买技术资产数量增量包

购买数据模型数量增量包

1

数据集成

下线管理Agent功能。

商用

管理连接

1

管理控制台

购买批量数据迁移增量包时，支持CDM集群关联多个工作空间

商用

购买批量数据迁移增量包

1

数据开发

DataArts Studio支持yarn队列与空间绑定，作业自动区分实时离线作业分别提交各自队列，MRS作业算子增加了“MRS资源队列”参数，涉及5个算子节点（MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job）

商用

MRS Spark SQL

MRS Spark

MRS Hive SQL

MRS Spark Python

2

数据架构

• 在关联技术指标时，可以选择原子指标
• 支持在页面配置映射时实现搜索功能，包含维度表、物理表、维度、事实表
• 数据标准业务对象支持自动编码  L3支持自动编码
• 关系建模逻辑实体转换物理表

商用

业务指标

新建物理模型

管理配置中心 > 编码规则

逻辑模型设计 > 逻辑模型转换为物理模型

3

数据质量

• 设置异常表时，默认添加后缀
• 数据质量运维管理界面作业实例新增操作人列，并支持搜索和导出
• 数据质量报告导出后支持下载
• 数据质量持修改当前已有的规则模板

商用

新建质量作业

查看作业实例

查看质量报告

新建规则模板

4

数据质量

质量作业周期调度时可手动调节并发数

质量规则界面支持基于业务对象或者逻辑实体及属性名称进行搜索

数据质量报告能够重新刷新历史数据

创建质量任务的时候搜索框大小写敏感

商用

查看作业实例

新建质量作业

查看质量报告

新建质量作业

5

数据开发

• 补数监控的作业名称增加搜索框功能
• yarn队列与空间绑定，作业自动区分实时离线作业分别提交各自队列，作业算子可以配置MRS资源队列（支持MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job等算子）

商用

补数据监控

MRS Spark SQL

6

数据开发

• 作业失败后重跑成功，用户可以进行配置
• 重跑作业实例，支持会使用最新的作业版本重跑
• 配置重试的作业，支持在第一次失败后就上报告警
• 对于跨周期依赖的作业，跳过等待的实例去运行最近的批次支持分钟或小时调度的作业实例跳过

商用

管理通知 > 配置通知

实例监控 > 重跑作业实例

默认配置项 > 作业算子首次失败告警

调度作业 > 跨周期依赖

7

数据开发

• 补数据支持离散业务日期补数据
• DataArts Studio支持批量配置作业超时重试以及作业算子节点支持超时重试配置
• 作业内算子默认失败重试一次

商用

批作业监控：补数据

批量配置作业

默认配置项 > 作业算子失败重试默认策略

1

数据开发

• 运行异常/失败的任务支持任务未修复前可以配置多次告警提醒。作业运行失败时，重跑作业并且作业运行成功后，会发送作业实例恢复通知。
• 监控消息通知服务支持选择任务负责人
• Import GES算子点边数据集支持可以直接选择对应的OBS桶中的点边数据集csv文件，也支持选择对应的边数据集的OBS路径
• 告警通知类型增加“运行取消”

商用

管理通知 > 配置通知

终端订阅管理

Import GES

管理通知

2

数据服务

配置方式生成API时，支持复制请求参数，实现多个输入的绑定参数条件匹配绑定字段。

商用

配置方式生成API

1

数据质量

• 数据质量异常表生成逻辑的链接，可以在作业配置以及日志中体现
• 数据质量SQL规则，支持多表、多参数灵活配置
• 数据质量管理对多个表配置规则时，不同表的数据范围可支持独立设置

商用

新建质量作业

2

数据质量

数据质量的业务指标、质量作业、对账作业支持clickhouse数据源

数据质量支持传参

数据质量支持批量停止调度/运行的能力

数据质量运维管理查看质量作业结果支持升序和降序排序

商用

新建指标

新建质量作业

批量调度质量作业

查看作业实例

3

数据架构

• 数据架构支持MySQL和Oracle数据源。
• 关系建模时，支持自定义数仓分层的命名。
• 物理模型建表时，支持表字段关联逻辑属性。
• 复合指标类型支持同比增长率和环比增长率。

商用

DataArts Studio支持的数据源

新建物理模型

新建表并发布

新建复合指标

4

数据开发

• 批作业监控、实例监控、补数据监控支持去除对上游单个实例的依赖关系
• 补数据任务需要添加停止时间和失败停止按钮
• 设置告警通知时，支持筛选出未配置某一种通知类型的作业，以便进行批量设置
• 配置环境变量增加变量解释字段

商用

实例监控

批作业监控 > 补数据

批作业监控

配置环境变量 > 配置方法

5

数据开发

• 补数据时支持设置作业优先级
• 通知管理中配置的告警通知能监控的作业实例天数范围
• 配置等待运行作业实例的超期天数。当作业实例等待运行的时间超过了所配置的期限天数时，作业实例将取消执行
• DataArts的python spark任务需要支持在线编写python代码的能力（包含Spark python脚本和作业算子）

商用

默认配置项 > 补数据优先级设置

默认配置项 > 历史作业实例告警策略

默认配置项 > 历史作业实例取消策略

MRS Spark Python

1

管理控制台

支持置顶和删除工作空间。

商用

创建简单模式工作空间

2

数据开发

• Pipeline算子脚本参数增加参数值预览
• DataArts Studio支持在运维概览里面查看任务数统计的图形

商用

开发Pipeline作业

运维概览

3

数据开发

企业模式下，发布脚本/作业任务时，可以指定审批人进行审批。

• 可指定工作空间下所有管理员和部署者作为审批人
• 每次发布必须指定一位审批人
• 可以通过审批人管理维护审批人信息

商用

发布作业任务

发布脚本任务

4

数据开发

• 作业监控的详情页可以查看看该作业的调度配置信息
• 作业关系依赖图支持按照依赖名下载作业的依赖关系文件
• EL表达式支持使用DateUtil获取日期的季度
• DataArts Studio支持批量设置依赖作业失败后的处理调度策略

商用

批作业监控

查看作业依赖关系图

DateUtil内嵌对象

批量配置作业

5

数据开发

• 导出作业支持导出到OBS路径
• DataArts Studio增加作业参数预览功能
• Subjob和For Each节点支持配置作业节点名称是否同步变化
• DataArts Studio补数据支持按照批次并发

商用

导出导入作业

开发一个Pipeline作业

配置默认项

批作业监控：补数据

6

管理中心

• 编辑数据连接时，无需再次输入密码。
• 资源导入时，支持选择OBS和本地上传场景。

商用

新建数据连接

资源迁移

1

数据开发

• DataArts Studio提交版本系统保留最近100条的版本记录
• 创建DLI表时支持创建分区
• DataArts Studio支持提前冻结作业实例

商用

提交版本并解锁

创建数据表

批作业监控

2

数据开发

• 支持保存多个未提交的版本
• 调度周期支持离散小时进行分钟级配置
• 单算子作业支持 Ctrl + S 快捷键进行保存
• 支持SQL编辑器进行风格配置

商用

开发SQL脚本

调度作业

开发一个单任务作业

作业开发流程

3

数据开发

• 运维概览优化
• DataArts Studio增加作业类型筛选功能
• DataArts Studio补数据监控支持根据操作人和创建时间进行筛选
• 创建DLI表的时候可以自动创建OBS目录

商用

运维概览

批作业监控

补数据监控

新建数据表

4

企业模式

新增企业模式，支持开发与生产环境隔离，实现安全、规范的代码发布管控流程。

• 支持新建企业模式，或将简单模式升级到企业模式
• 支持作业任务发布到生产环境
• 支持脚本任务发布到生产环境

公测

企业模式

作业任务发布

脚本任务发布

5

数据开发

• 通过作业树的右键快捷操作可以直接跳转到作业监控页面
• 支持进行全局搜索
• 查询作业实例列表API支持精确查询
• SQL脚本执行结果可以通过下载中心进行查看

商用

前往监控

脚本开发流程

查询作业实例列表

下载中心

6

数据开发

• 已生成的等待运行的作业实例，此时发布新的作业版本后，实例是否会使用最新的作业版本运行支持通过默认项配置进行设置
• 等待运行的时间是否计算在超时时间内支持通过默认项配置进行设置
• DataArts Studio作业调度支持调度作业强制优先执行操作 

商用

默认项配置 > 等待运行实例同步作业版本策略

默认项配置 > 实例超时是否忽略等待时间

实例监控

1

数据开发

• 自然周期调度作为DataArts Studio新实例默认选项
• 新增脚本和作业审批能力。提交任务版本的时候，可以指定审核人员进行审批
• 批量作业监控支持按照调度方式、调度周期进行筛选
• DataArts Studio支持单任务流式Flink SQL

商用

调度作业

审批中心

批作业监控

创建作业

2

数据开发

• 脚本参数界面优化
• 通过作业树目录查看作业依赖关系图
• Flink SQL支持自定义模板
• DataArts Studio支持开放作业最后修改人的API接口

商用

脚本开发流程

查看作业依赖关系图

配置模板

创建作业

3

数据开发

• 单任务作业支持关联质量作业
• DataArts Studio支持Python3脚本
• 查找作业后可方便复制出较长的脚本名，对未提交或未调度的作业会以颜色进行识别
• DataArts Studio依赖的页面支持按依赖名进行搜索和复制

商用

质量监控

开发Python脚本

作业开发流程

查看作业依赖关系图

1

数据开发

• DLI Spark节点支持选择Spark版本
• 支持设置工作空间同一时间并行运行的节点数上限
• 支持设置工作空间公共执行用户

商用

DLI Spark

配置节点并发数

配置调度身份

2

数据开发

• 补数据时，选择上下游作业时支持展示完整作业依赖关系
• 支持配置作业忽略失败的通知策略
• 跨周期依赖支持作业跳过阻塞未执行的批次

商用

批作业监控

配置默认项

调度作业

1

管理中心

• MRS Hive连接支持LDAP认证场景。
• 编辑连接时的密码变更为可选参数。
• 资源迁移导入时支持OBS和本地上传两种方式。

商用

创建数据连接

资源迁移

1

数据集成

新增如下功能：

• 支持MRS ClickHouse数据源。
• 支持MRS Hudi数据源。
• 迁移CSV文件时支持列名的显示。
• 迁移CSV文件时支持配置首行为标题行。

商用

支持的数据源

新建表/文件迁移作业

配置OBS源端参数

1

数据集成

CDM集群对接TMS标签系统。

商用

管理集群标签

1

服务名称变更

服务名称由“数据湖治理中心DGC(Data Lake Governance Center)”变更为“数据治理中心DataArts Studio”。

商用

数据治理中心 DataArts Studio

1

数据集成

不再支持集群关机功能（集群关机后，资源可能会被占用，导致无法正常使用）。

商用

管理集群

1

数据架构

“配置中心-功能配置”增加属性自定义项。

商用

配置中心

1

数据质量

• 规则模板增加导出、导入功能。
• 质量作业增加导出、导入功能。
• 对账作业增加导出、导入功能。
• 质量报告评分支持自定义评分体系。

商用

数据质量监控概述

2

数据开发

• 界面风格重构，优化细节体验，提升视觉效果。
• 作业开发时右键节点支持“从当前节点测试运行”。
• 作业参数支持以掩码显示。
• SQL脚本开发支持可视化读取数据表并生成SQL语句。
• DLI SQL脚本执行支持展示最多1000条数据。
• 脚本开发和数据开发窗口页签支持自定义拖动调整前后位置。
• 脚本开发和数据开发时支持浏览器数据缓存，避免误操作导致页面数据丢失。

商用

数据开发概述

1

数据集成

下线场景迁移功能。

商用

无

1

数据架构

“配置中心-功能配置”增加“数据标准是否重名”配置项

商用

配置中心

2

数据集成

• 对于Oracle、Sqlserver、Mysql源支持按ID批量增量抽取。
• 下线官网中不支持的数据源。
• hive端repair接口优化。

商用

支持的数据源

1

数据开发

• 连接目录树、脚本目录树和资源管理目录树，右键菜单新增“查看引用”选项。
• 脚本目录树和作业目录树，右键菜单新增“复制名称”选项，目录名称长度限制为64字符。
• 脚本开发时，SQL编辑器增加快捷键。
• 脚本开发时，脚本的执行结果支持多结果页，支持多结果页的查询、过滤、复制等。
• 作业开发时，Open/Close Resource节点配置ECS服务时，支持搜索ECS服务器。
• 作业开发时，CDM Job节点右键菜单新增“编辑CDM作业”选项。
• 脚本开发和作业开发时，多人同时编辑同一个对象时，新增提示信息。
• 脚本开发和作业开发时，“提交版本”按钮修改为“保存并提交版本”，按钮位置调整。
• 作业监控列表，支持按照“优先级”条件进行筛选。
• 实例监控列表，支持根据“计划开始时间”、“开始时间”、“结束时间”、“运行时间”条件进行排序；支持根据“状态”条件进行筛选；新增“版本”信息。

商用

数据开发

2

数据集成

CDM支持部分数据源的导入导出功能变更。

商用

支持的数据源

1

数据架构

• 支持通用条件设置时间类字段。

商用

数据架构

2

数据开发

• 调度周期为分钟的作业可以依赖到调度周期为天的作业。

商用

数据开发

3

数据集成

• DWS作为目标端时，支持insert into和冲突时update两种模式。
• CDM支持DLI外表读、写能力。
• MySQL的同步任务支持目标表刷新模式：insert into; update; overwrite。

商用

支持的数据源

1

数据质量

• 自定义作业支持绑定表和维度，支持评分设置。
• 规则模板支持上线下线操作，支持批量迁移。
• 数据质量总览加强，补充作业统计相关信息。

商用

数据质量

2

数据开发

• 作业依赖关系图显示优化：支持查看上下游完整依赖作业，支持拖拽与放大缩小，作业关系呈现更清晰。
• 版本管理与提交：作业和脚本新增提交版本功能，用于区分开发态的作业（脚本）和正式调度中 使用的作业（脚本）。在正式调度中，作业依赖、实例重跑、补数据等场景均是关联最新的已提交版本。

商用

数据开发

3

数据集成

• CDM支持达梦数据库。

商用

支持的数据源