最新动态

1

API接口开放

• 开放数据架构API接口，支持通过API访问数据架构。
• 开放数据质量API接口，支持通过API访问数据质量。
• 开放数据服务API接口，支持通过API访问数据服务。

商用

数据架构API概览

数据质量API概览

数据服务API概览

1

数据开发

DataArts Studio支持离线处理集成作业功能，支持跨集群下发数据迁移作业，实现常用的批作业迁移能力。离线处理集成作业功能当前需申请白名单后才能使用，如需使用该特性，请提交工单。

公测

离线处理集成作业开发

2

数据开发

DataArts Studio支持实时数据同步功能，该功能方便用户使用表同步方式或整库同步方式，将源端数据库中部分或全部表数据实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。

实时处理集成作业功能当前在新加坡、拉美-墨西哥城已上线（其他region后续会逐步放开，敬请期待！），需申请白名单后才能使用，如需使用该特性，请提交工单。

公测

实时处理集成作业开发

3

版本模式切换

新版本模式相对于旧版本模式，价格门槛更低、资源拓展更加灵活。如果您需要体验新版本模式，建议您重新购买DataArts Studio实例，可参考DataArts Studio配置数据搬迁简介将业务数据迁移到新实例后，再将旧版本模式的DataArts Studio实例退订。

商用

如何选择版本

购买作业节点调度次数/天增量包

购买技术资产数量增量包

购买数据模型数量增量包

1

数据集成

下线管理Agent功能。

商用

管理连接

1

管理控制台

购买批量数据迁移增量包时，支持CDM集群关联多个工作空间

商用

购买功能增量包

1

数据开发

DataArts Studio支持yarn队列与空间绑定，作业自动区分实时离线作业分别提交各自队列，MRS作业算子增加了“MRS资源队列”参数，涉及5个算子节点（MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job）

商用

MRS Spark SQL

MRS Spark

MRS Hive SQL

MRS Spark Python

2

数据架构

• 在关联技术指标时，可以选择原子指标
• 支持在页面配置映射时实现搜索功能，包含维度表、物理表、维度、事实表
• 数据标准业务对象支持自动编码  L3支持自动编码
• 关系建模逻辑实体转换物理表

商用

业务指标

新建物理模型

管理配置中心 > 编码规则

逻辑模型设计 > 逻辑模型转换为物理模型

3

数据质量

• 设置异常表时，默认添加后缀
• 数据质量运维管理界面作业实例新增操作人列，并支持搜索和导出
• 数据质量报告导出后支持下载
• 数据质量持修改当前已有的规则模板

商用

新建质量作业

查看作业实例

查看质量报告

新建规则模板

4

数据质量

质量作业周期调度时可手动调节并发数

质量规则界面支持基于业务对象或者逻辑实体及属性名称进行搜索

数据质量报告能够重新刷新历史数据

创建质量任务的时候搜索框大小写敏感

商用

查看作业实例

新建质量作业

查看质量报告

新建质量作业

5

数据开发

• 补数监控的作业名称增加搜索框功能
• yarn队列与空间绑定，作业自动区分实时离线作业分别提交各自队列，作业算子可以配置MRS资源队列（支持MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job等算子）

商用

补数据监控

MRS Spark SQL

6

数据开发

• 作业失败后重跑成功，用户可以进行配置
• 重跑作业实例，支持会使用最新的作业版本重跑
• 配置重试的作业，支持在第一次失败后就上报告警
• 对于跨周期依赖的作业，跳过等待的实例去运行最近的批次支持分钟或小时调度的作业实例跳过

商用

管理通知 > 配置通知

实例监控 > 重跑作业实例

默认配置项 > 作业算子首次失败告警

调度作业 > 跨周期依赖

7

数据开发

• 补数据支持离散业务日期补数据
• DataArts Studio支持批量配置作业超时重试以及作业算子节点支持超时重试配置
• 作业内算子默认失败重试一次

商用

批作业监控：补数据

批量配置作业

默认配置项 > 作业算子失败重试默认策略

1

数据开发

• 运行异常/失败的任务支持任务未修复前可以配置多次告警提醒。作业运行失败时，重跑作业并且作业运行成功后，会发送作业实例恢复通知。
• 监控消息通知服务支持选择任务负责人
• Import GES算子点边数据集支持可以直接选择对应的OBS桶中的点边数据集csv文件，也支持选择对应的边数据集的OBS路径
• 告警通知类型增加“运行取消”

商用

管理通知 > 配置通知

终端订阅管理

Import GES

管理通知

2

数据服务

配置方式生成API时，支持复制请求参数，实现多个输入的绑定参数条件匹配绑定字段。

商用

配置方式生成API

1

数据质量

• 数据质量异常表生成逻辑的链接，可以在作业配置以及日志中体现
• 数据质量SQL规则，支持多表、多参数灵活配置
• 数据质量管理对多个表配置规则时，不同表的数据范围可支持独立设置

商用

新建质量作业

2

数据质量

数据质量的业务指标、质量作业、对账作业支持clickhouse数据源

数据质量支持传参

数据质量支持批量停止调度/运行的能力

数据质量运维管理查看质量作业结果支持升序和降序排序

商用

新建指标

新建质量作业

批量调度质量作业

查看作业实例

3

数据架构

• 数据架构支持MySQL和Oracle数据源。
• 关系建模时，支持自定义数仓分层的命名。
• 物理模型建表时，支持表字段关联逻辑属性。
• 复合指标类型支持同比增长率和环比增长率。

商用

DataArts Studio支持的数据源

新建物理模型

新建表并发布

新建复合指标

4

数据开发

• 批作业监控、实例监控、补数据监控支持去除对上游单个实例的依赖关系
• 补数据任务需要添加停止时间和失败停止按钮
• 设置告警通知时，支持筛选出未配置某一种通知类型的作业，以便进行批量设置
• 配置环境变量增加变量解释字段

商用

实例监控

批作业监控 > 补数据

批作业监控

配置环境变量 > 配置方法

5

数据开发

• 补数据时支持设置作业优先级
• 通知管理中配置的告警通知能监控的作业实例天数范围
• 配置等待运行作业实例的超期天数。当作业实例等待运行的时间超过了所配置的期限天数时，作业实例将取消执行
• DataArts的python spark任务需要支持在线编写python代码的能力（包含Spark python脚本和作业算子）

商用

默认配置项 > 补数据优先级设置

默认配置项 > 历史作业实例告警策略

默认配置项 > 历史作业实例取消策略

MRS Spark Python

1

数据开发

• Pipeline算子脚本参数增加参数值预览
• DataArts Studio支持在运维概览里面查看任务数统计的图形

商用

开发Pipeline作业

运维概览

2

数据开发

企业模式下，发布脚本/作业任务时，可以指定审批人进行审批。

• 可指定工作空间下所有管理员和部署者作为审批人
• 每次发布必须指定一位审批人
• 可以通过审批人管理维护审批人信息

商用

发布作业任务

发布脚本任务

3

数据开发

• 作业监控的详情页可以查看看该作业的调度配置信息
• 作业关系依赖图支持按照依赖名下载作业的依赖关系文件
• EL表达式支持使用DateUtil获取日期的季度
• DataArts Studio支持批量设置依赖作业失败后的处理调度策略

商用

批作业监控

查看作业依赖关系图

DateUtil内嵌对象

批量配置作业

4

数据开发

• 导出作业支持导出到OBS路径
• DataArts Studio增加作业参数预览功能
• Subjob和For Each节点支持配置作业节点名称是否同步变化
• DataArts Studio补数据支持按照批次并发

商用

导出导入作业

开发一个Pipeline作业

配置默认项

批作业监控：补数据

5

管理控制台

支持置顶和删除工作空间。

商用

创建并管理工作空间

6

管理中心

• 编辑数据连接时，无需再次输入密码。
• 资源导入时，支持选择OBS和本地上传场景。

商用

新建数据连接

资源迁移

1

数据开发

• DataArts Studio提交版本系统保留最近100条的版本记录
• 创建DLI表时支持创建分区
• DataArts Studio支持提前冻结作业实例

商用

提交版本并解锁

创建数据表

批作业监控

2

数据开发

• 支持保存多个未提交的版本
• 调度周期支持离散小时进行分钟级配置
• 单算子作业支持 Ctrl + S 快捷键进行保存
• 支持SQL编辑器进行风格配置

商用

开发SQL脚本

调度作业

开发一个单任务作业

作业开发流程

3

数据开发

• 运维概览优化
• DataArts Studio增加作业类型筛选功能
• DataArts Studio补数据监控支持根据操作人和创建时间进行筛选
• 创建DLI表的时候可以自动创建OBS目录

商用

运维概览

批作业监控

补数据监控

新建数据表

4

企业模式

新增企业模式，支持开发与生产环境隔离，实现安全、规范的代码发布管控流程。

• 支持新建企业模式，或将简单模式升级到企业模式
• 支持作业任务发布到生产环境
• 支持脚本任务发布到生产环境

公测

企业模式

作业任务发布

脚本任务发布

5

数据开发

• 通过作业树的右键快捷操作可以直接跳转到作业监控页面
• 支持进行全局搜索
• 查询作业实例列表API支持精确查询
• SQL脚本执行结果可以通过下载中心进行查看

商用

前往监控

脚本开发流程

查询作业实例列表

下载中心

6

数据开发

• 已生成的等待运行的作业实例，此时发布新的作业版本后，实例是否会使用最新的作业版本运行支持通过默认项配置进行设置
• 等待运行的时间是否计算在超时时间内支持通过默认项配置进行设置
• DataArts Studio作业调度支持调度作业强制优先执行操作 

商用

默认项配置 > 等待运行实例同步作业版本策略

默认项配置 > 实例超时是否忽略等待时间

实例监控

1

数据开发

• 自然周期调度作为DataArts Studio新实例默认选项
• 新增脚本和作业审批能力。提交任务版本的时候，可以指定审核人员进行审批
• 批量作业监控支持按照调度方式、调度周期进行筛选
• DataArts Studio支持单任务流式Flink SQL

商用

调度作业

审批中心

批作业监控

创建作业

2

数据开发

• 脚本参数界面优化
• 通过作业树目录查看作业依赖关系图
• Flink SQL支持自定义模板
• DataArts Studio支持开放作业最后修改人的API接口

商用

脚本开发流程

查看作业依赖关系图

配置模板

创建作业

3

数据开发

• 单任务作业支持关联质量作业
• DataArts Studio支持Python3脚本
• 查找作业后可方便复制出较长的脚本名，对未提交或未调度的作业会以颜色进行识别
• DataArts Studio依赖的页面支持按依赖名进行搜索和复制

商用

质量监控

开发Python脚本

作业开发流程

查看作业依赖关系图

1

数据开发

• DLI Spark节点支持选择Spark版本
• 支持设置工作空间同一时间并行运行的节点数上限
• 支持设置工作空间公共执行用户

商用

DLI Spark

配置节点并发数

配置调度身份

2

数据开发

• 补数据时，选择上下游作业时支持展示完整作业依赖关系
• 支持配置作业忽略失败的通知策略
• 跨周期依赖支持作业跳过阻塞未执行的批次

商用

批作业监控

配置默认项

调度作业

1

管理中心

• MRS Hive连接支持LDAP认证场景。
• 编辑连接时的密码变更为可选参数。
• 资源迁移导入时支持OBS和本地上传两种方式。

商用

创建数据连接

资源迁移