1

数据架构

• 在数据架构主题设计目录中，可以根据选中的主题，进行主题的导出。
• 在数据架构中，数据标准设计、数据建模、指标设计的审批发布可以支持多级审批，所有人审批生效后才能正式发布（除主题、流程外）。

商用

主题设计-导出主题

新建数据标准

2

数据架构

• 衍生指标的通用限定配置支持从码表选择。当选择的字段是字符串类型（例如string、varchar）时，并且条件选择“属于”或“不属于”时，支持从码表中导入数据。单击“从码表导入”，在码表配置页面，选择“码表”和“码表字段”。导入的码表值数量不能超过50。
• 数据架构支持在模型设计时配置字段密级。（关系建模：创建逻辑模型（逻辑实体属性）、创建物理模型（表字段）、维度建模（创建维度、事实表、汇总表）、管理配置中心（模型配置中添加启用密级配置）
• DataArts Studio数据架构的数据建模可集成Powet Designer，逻辑模型导入支持.ldm格式的逻辑模型。导入时先从第三方系统Powet Designer导出来，导入LDM模型时，请先选择一个主题。不选择则无法导入。导入的LDM模型支持的版本：16.x。

商用

新建衍生指标

管理中心配置-模型配置

逻辑模型设计-导入

1

数据质量

• 数据质量报告导出功能支持下载质量报告大文件到本地
• 数据质量模块支持MRS ClickHouse数据源（新建质量作业、新建对账作业）
• 数据质量规则配置页面，参数需要在SQL里填写，同时也要在参数框里填写。现在参数框为非必填项，提升产品易用性
• 数据质量作业支持问题处理人配置，方便后续找到解决数据问题的责任人

商用

查看质量报告

新建质量作业/建对账作业

新建质量作业

2

数据质量

• 创建规则模板时，异常表模板支持语义校验，以及支持检查引擎等
• 数据质量作业/对账作业告警支持n次调度中连续x次发生告警后在发送告警通知能力
• 数据质量算子适配企业模式，支持生产开发环境隔离
• 数据对账作业告警规则优化，支持加减乘除以及绝对值等四则混合运算

商用

新建规则模板

新建质量作业/对账作业

运行质量作业/对账作业

新建对账作业

1

数据架构

• 属性标签和标准的设置支持批量设置能力
• 数据架构表级自定义项上限数量扩充到30条

商用

数据架构的逻辑实体、物理表、维度、事实表、汇总表均支持批量设置属性标签和数据标准的能力

管理中心配置

2

数据架构

• 模型设计支持从数据标准导入字段
• 逆向表时支持用描述作为名称
• 维度建模中针对维度表名称、维度名称、表编码等在模块间定义保持一致性
• 数据架构优化显示状态：待发布改为发布审核中，待下线改为下线审核中

商用

新建逻辑实体、物理表、维度、事实表、汇总表

逆向数据库（在关系建模、码表管理、维度建模（维度、事实表）的逆向界面）

创建码表、数据标准

数据架构所有待发布和待下线的流程状态

3

数据服务

• 控制台进入数据服务时，可根据用户习惯直接进入共享版/专享版内，提升开发效率。
• API列表支持根据修改时间进行API排序，并可在高级搜索通过表名检索API。
• API导入导出功能增强：
  • 新增导入导出功能的API接口。
  • 导出API时，支持导出API的完整路径、API ID和相关的数据表。
  • 全量导出API时，支持将全量API按照当前的筛选条件进行导出。

商用

数据服务概览

数据服务API

1

数据安全

• 支持对数据安全能力进行全面诊断，并根据诊断结果，给出修复建议及解决方案
• 支持对数据地图资产按照密级进行分级管控，控制不同用户对元数据的访问权限

商用

诊断数据安全风险

管控敏感数据

2

数据架构

• 数据架构模型设计支持设计模型按WPS et文件格式导出（数据架构导出功能支持“xlsx”和“et”两种格式）
• 关系建模支持前缀校验（物理模型和逻辑模型）
• 数据架构的标准模块要同时支持中文与英文的自定义（自定义项支持配置选项英文名称）

商用

管理配置中心 > 功能配置

新建逻辑模型

管理中心配置 > 标准模板管理

3

数据架构

• 关系建模的逻辑模型和物理模型在下拉列表分开
• 数据标准支持配置字段名，且通过数据标准建立/校验字段（可选项增加了一个英文名称）
• 数据标准目录树使用主题设计中的目录树，保证GUID与数据资产的L1-L3一致
• 汇总表支持关联新指标管理中的指标

商用

数据架构概述

管理配置中心 > 标准模板管理

新建数据标准目录

新建汇总表

4

数据开发

• 脚本开发（Spark SQL与Hive SQL脚本以及单任务）支持管理员配置不允许覆盖的默认执行参数
• 在MRS API连接方式下，Spark SQL和HIve SQL脚本支持配置指定参数和参数值
• 资源页面不支持删除作业
• 补数据功能支持周期补数据

商用

Spark SQL作业/脚本默认模板配置

开发SQL脚本

删除资源

批作业监控：补数据

5

数据开发

• 告警通知类型支持“作业改动”
• DataArts Studio支持通过数据连接的方式去连接CSS的https协议的集群
• DataArts Studio支持更细粒度的并发数控制（配置任务组，配置周期调度时选择任务组）
• 配置作业依赖时，只能选择有调度的作业，避免上游作业没有调度，导致下游作业失败

商用

配置通知

CSS

配置任务组

配置作业调度任务（批处理作业）---周期调度

1

数据安全

• 数据安全组件由公测转商用
• 支持订阅动态脱敏策略，通过动态脱敏订阅可以实现同步第三方平台的动态脱敏策略

商用

数据安全概述

订阅动态脱敏策略

1

数据安全

• 支持用户的数据权限申请、审批与回收流程
• 支持队列权限管理，为当前工作空间分配可使用的MRS Yarn和DLI队列资源，并为用户组/用户配置对应的队列权限策略
• 支持数据访问审计，提供DWS、HIVE和DLI数据源上详细的数据操作日志记录
• 敏感数据发现任务支持支持调整数据识别规则阈值

公测

申请与审批权限

配置队列权限

数据访问审计

发现敏感数据

2

数据开发

• 在MRS api连接模式下，单算子作业hive sql、spark sql 支持程序运行参数
• 创建MRS Flink作业时，作业名称支持自动填写，Flink作业名称按照工作空间-作业名称格式自动填入
• DataArts Studio支持ModelArts Workflow2.0版本

商用

开发批处理单任务SQL作业

开发实时处理单任务Flink SQL作业

ModelArts Train

3

数据开发

• DataArts Studio对于运行异常作业支持一键重跑功能
• 在MRS API连接模式下，MRS Spark SQL和MRS Hive SQL运行完以后，在执行结果中查看运行日志，增加一键跳转MRS Yarn查看日志的链接
• 通知配置的最小通知间隔改为5-60分钟
• 脚本执行历史展示支持工作空间级可配置
• DataArts Studio支持Flink代码语义检查和调试代码

商用

实例监控

管理通知

配置默认项 > 脚本执行历史展示

开发实时处理单任务Flink SQL作业

4

数据开发

• DataArts Studio作业编排MRS Spark算子支持流处理运行模式
• 企业模式下，支持从脚本/作业开发界面快速前往发布界面
• DataArts Studio支持版本提交前可以提醒提交版本内容和上一个版本的差异
• DataArts Studio已支持提供Flink日志查看链接（实时作业监控）
• 支持配置作业测试运行使用的身份

商用

MRS Spark

提交版本（脚本、作业）

实时作业监控

配置默认项 > 作业测试运行使用的身份

1

数据安全

支持DWS行级访问控制策略，为不同开发者按照行数据进行授权

公测

配置行级访问控制

2

数据开发

• 系统支持实时Flink SQL/Flink Jar作业运行前能够查询历史checkpoint，并选择从指定checkpoint启动
• 作业运行时自动传递Hive SQL脚本名称
• SQL查询结果展示支持表格和列表两种展示方式
• DataArts Studio支持全量作业执行时长导出（包含批作业监控和实例监控）
• DataArts Studio支持DLI Flink Job的flink opensource sql类型

商用

开发实时处理单任务Flink SQL作业

默认配置项 > 作业运行自动传递脚本名称

批作业监控

DLI Flink Job

3

数据开发

• DataArts Studio支持Flink SQL作业进行代码语义校验
• DataArts Studio支持创建MRS Flink SQL作业时作业名称自动填写

商用

开发实时处理单任务Flink SQL作业

4

数据开发

• 对于Flink SQL和Flink JAR两种实时处理的单任务作业，作业运行完成后，可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。
• DataArts Studio支持对于运行异常作业可以进行一键重跑功能，支持“手工重试”。

• 在MRS API连接模式下，单任务MRS Spark SQL和MRS Hive SQL运行完以后，在执行结果中查看运行日志，增加一键跳转MRS Yarn查看日志的链接。作业和脚本都支持一键跳转。

• 支持对脚本执行历史展示进行配置，可以配置为“仅自己可见”或“所有用户可见”。

商用

实时作业监控

实例监控

作业开发流程

脚本执行历史展示

5

数据开发

• 作业测试运行的使用的身份支持可配置，可以配置为“公共委托或IAM账号”或“个人账号”
• DataArts Studio跨空间作业依赖，支持作业依赖规则可配置（作业不能被其他工作空间依赖、作业能被其他工作空间依赖，不需要为该用户配置所依赖空间的权限、作业能被其他空间作业依赖，需要该空间作业列表的查询权限）
• 通知配置的最小通知间隔可以设置为5~60，单位min
• MRS api连接模式下，单算子作业hive sql和spark sql 支持程序运行参数配置

商用

配置默认项 > 作业测试运行使用的身份

配置默认项 > 作业依赖规则

配置通知

开发批处理单任务SQL作业

6

数据质量

• 正则表达式规则长度增强（质量作业、对账作业）
• 规则模板增加3个相关波动率规则监控的系统模板
• 多个字段唯一性检验支持MRS Hive/MRS Spark引擎（质量作业、对账作业、规则模板）
• 作业导入和导出的单元格突破现有大小限制，增加到65534个字符（导入/导出质量作业、导入/导出对账作业）
• 数据质量作业支持从数据开发传参

商用

新建质量作业

新建对账作业

新建规则模板

导出质量作业

7

数据架构

• 关系建模在发布新版本时支持判断上一版本是否执行成功，同时在列表中增加“线上版本”列
• 支持业务资产与技术资产对比功能（物理表增加了关联逻辑实体列、逻辑实体增加关联物理表列、逻辑实体详情界面呈现所关联的物理表）
• 指标管理支持版本对比和血缘图（业务指标、新建原子指标、新建衍生指标、新建复合指标）
• 码表目录和数据标准目录与主题命名规范保持一致

商用

管理维度表

新建物理表

新建原子指标

新建数据标准目录

1

数据开发

• 支持yarn队列与空间绑定，作业自动区分实时离线作业分别提交各自队列，涉及五个算子节点（MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job）增加了“MRS资源队列”参数
• DataArts Studio支持全量作业执行时长导出功能，涉及批作业监控、实时作业监控、实例监控
• 重跑策略支持选择历史的某个CP点，涉及实时处理单任务Flink SQL作业和Flink Jar作业
• DataArts Studio支持DLI的flink opensource sql类型，DLI Flink Job算子的配置参数“作业类型”增加flink opensource sql类型

商用

MRS Spark SQL

批作业监控

开发实时处理单任务Flink SQL作业

DLI Flink Job

2

数据安全

数据安全组件全新上线上海一、华南广州和北京四区域，支持访问权限管理2.0，并新增支持数据分类、动态脱敏等功能

公测

数据安全组件（公测）

3

管理控制台

购买批量数据迁移增量包时，支持CDM集群关联多个工作空间

商用

购买功能增量包

4

管理中心

支持MRS Doris数据连接

商用

DataArts Studio支持的数据源

配置MRS Doris数据连接

1

数据开发

DataArts Studio支持yarn队列与空间绑定，作业自动区分实时离线作业分别提交各自队列，MRS作业算子增加了“MRS资源队列”参数，涉及5个算子节点（MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job）

商用

MRS Spark SQL

MRS Spark

MRS Hive SQL

MRS Spark Python

2

数据架构

• 在关联技术指标时，可以选择原子指标
• 支持在页面配置映射时实现搜索功能，包含维度表、物理表、维度、事实表
• 数据标准业务对象支持自动编码  L3支持自动编码
• 关系建模逻辑实体转换物理表

商用

业务指标

新建物理模型

管理配置中心 > 编码规则

逻辑模型设计 > 逻辑模型转换为物理模型

3

数据质量

• 设置异常表时，默认添加后缀
• 数据质量运维管理界面作业实例新增操作人列，并支持搜索和导出
• 数据质量报告导出后支持下载
• 数据质量持修改当前已有的规则模板

商用

新建质量作业

查看作业实例

查看质量报告

新建规则模板

4

数据质量

质量作业周期调度时可手动调节并发数

质量规则界面支持基于业务对象或者逻辑实体及属性名称进行搜索

数据质量报告能够重新刷新历史数据

创建质量任务的时候搜索框大小写敏感

商用

查看作业实例

新建质量作业

查看质量报告

新建质量作业

5

数据开发

• 补数监控的作业名称增加搜索框功能
• yarn队列与空间绑定，作业自动区分实时离线作业分别提交各自队列，作业算子可以配置MRS资源队列（支持MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job等算子）

商用

补数据监控

MRS Spark SQL

6

数据开发

• 作业失败后重跑成功，用户可以进行配置
• 重跑作业实例，支持会使用最新的作业版本重跑
• 配置重试的作业，支持在第一次失败后就上报告警
• 对于跨周期依赖的作业，跳过等待的实例去运行最近的批次支持分钟或小时调度的作业实例跳过

商用

管理通知 > 配置通知

实例监控 > 重跑作业实例

默认配置项 > 作业算子首次失败告警

调度作业 > 跨周期依赖

7

数据开发

• 补数据支持离散业务日期补数据
• DataArts Studio支持批量配置作业超时重试以及作业算子节点支持超时重试配置
• 作业内算子默认失败重试一次

商用

批作业监控：补数据

批量配置作业

默认配置项 > 作业算子失败重试默认策略

1

数据服务

配置方式生成API时，支持复制请求参数，实现多个输入的绑定参数条件匹配绑定字段。

商用

配置模式生成API

2

数据开发

• 运行异常/失败的任务支持任务未修复前可以配置多次告警提醒。作业运行失败时，重跑作业并且作业运行成功后，会发送作业实例恢复通知。
• 监控消息通知服务支持选择任务负责人
• Import GES算子点边数据集支持可以直接选择对应的OBS桶中的点边数据集csv文件，也支持选择对应的边数据集的OBS路径
• 告警通知类型增加“运行取消”

商用

管理通知 > 配置通知

终端订阅管理

Import GES

管理通知

1

数据质量

• 数据质量异常表生成逻辑的链接，可以在作业配置以及日志中体现
• 数据质量SQL规则，支持多表、多参数灵活配置
• 数据质量管理对多个表配置规则时，不同表的数据范围可支持独立设置

商用

新建质量作业

2

数据质量

数据质量的业务指标、质量作业、对账作业支持clickhouse数据源

数据质量支持传参

数据质量支持批量停止调度/运行的能力

数据质量运维管理查看质量作业结果支持升序和降序排序

商用

新建指标

新建质量作业

批量调度质量作业

查看作业实例

3

数据架构

• 数据架构支持MySQL和Oracle数据源。
• 关系建模时，支持自定义数仓分层的命名。
• 物理模型建表时，支持表字段关联逻辑属性。
• 复合指标类型支持同比增长率和环比增长率。

商用

DataArts Studio支持的数据源

新建物理模型

新建表并发布

新建复合指标

4

数据开发

• 指定基线的作业能够进行代码评审
• 基线运维支持小时作业的基线

商用

审批中心

基线管理

5

数据开发

• 批作业监控、实例监控、补数据监控支持去除对上游单个实例的依赖关系
• 补数据任务需要添加停止时间和失败停止按钮
• 设置告警通知时，支持筛选出未配置某一种通知类型的作业，以便进行批量设置
• 配置环境变量增加变量解释字段

商用

实例监控

批作业监控 > 补数据

批作业监控

配置环境变量 > 配置方法

6

数据开发

• 补数据时支持设置作业优先级
• 通知管理中配置的告警通知能监控的作业实例天数范围
• 配置等待运行作业实例的超期天数。当作业实例等待运行的时间超过了所配置的期限天数时，作业实例将取消执行
• DataArts的python spark任务需要支持在线编写python代码的能力（包含Spark python脚本和作业算子）

商用

默认配置项 > 补数据优先级设置

默认配置项 > 历史作业实例告警策略

默认配置项 > 历史作业实例取消策略

MRS Spark Python

1

管理中心

• 编辑数据连接时，无需再次输入密码。
• 资源导入时，支持选择OBS和本地上传场景。

商用

新建数据连接

资源迁移

2

管理控制台

支持置顶和删除工作空间。

商用

创建并管理工作空间

3

数据开发

Pipeline 算子脚本参数增加参数值预览

DataArts Studio支持在运维概览里面查看任务数统计的图形

商用

开发Pipeline作业

运维概览

4

数据开发

企业模式下，发布脚本/作业任务时，可以指定审批人进行审批。

• 可指定工作空间下所有管理员和部署者作为审批人
• 每次发布必须指定一位审批人
• 可以通过审批人管理维护审批人信息

商用

发布作业任务

发布脚本任务

5

数据开发

• 作业监控的详情页可以查看看该作业的调度配置信息
• 作业关系依赖图支持按照依赖名下载作业的依赖关系文件
• EL表达式支持使用DateUtil获取日期的季度
• DataArts Studio支持批量设置依赖作业失败后的处理调度策略

商用

批作业监控

查看作业依赖关系图

DateUtil内嵌对象

批量配置作业

6

数据开发

• 导出作业支持导出到OBS路径
• DataArts Studio增加作业参数预览功能
• Subjob和For Each节点支持配置作业节点名称是否同步变化
• DataArts Studio补数据支持按照批次并发

商用

导出导入作业

开发一个Pipeline作业

配置默认项

批作业监控：补数据

7

数据集成

• 支持MRS Hudi->MRS Hbase迁移功能
• 支持SFTP/FTP->OBS二进制文件迁移功能
• 支持DLI->MongoDB迁移功能
• 支持SAP HANA->DWS迁移功能

商用

新建表/文件迁移作业

8

数据集成

支持MRS Hudi整库迁移。

商用

新建整库迁移作业

9

数据集成

CDM支持年、月形式的时间宏偏移量类型。

商用

时间宏变量使用解析

10

数据集成

• 支持LogHub（SLS）数据源
• 支持神通（ST）数据源

商用

支持的数据源