最新动态

1

数据质量

数据质量作业和对账作业支持配置计算引擎（Spark/Hive/DLI）优化参数（如Spark的shuffle分区数、Hive的并行度等），便于在特定业务场景下进行性能调优。

商用

新建数据质量作业

新建数据对账作业

1

数据开发

作业实例停止或者暂停作业调度支持下个周期生效。

作业监控支持查看Spark SQL和Flink SQL节点的SQL复杂度。

商用

作业监控 > 批作业监控

实例监控

2

数据开发

实例监控目录视图下，支持暂停和恢复作业实例。

运维概览支持指定时间查询任务完成情况和运行状态。

导入脚本时支持选择“开发态”或者“生产态”。

作业标签功能优化：默认配置项新增“标签不存在处理策略”，支持批量删除标签，以及根据标签筛选、导出作业。

商用

实例监控

运维概览

导入导出脚本 > 导出指定脚本

配置默认项 > 标签不存在处理策略

3

数据集成

数据集成（离线作业）：

• 新增FTP、SFTP、DataArts Fabric SQL、LTS、Apache RocketMq数据源。
• 支持DWS、DLI、HIVE、Hudi、 ClickHouse、Doris、MySQL、DataArts Fabric SQL数据源编辑态一键建表。

数据集成（实时作业）：

• 新增支持MySQL > Elasticsearch，PostgreSQL > Doris，GaussDB >Doris，SQLServe > DWS 的链路操作指导及相关约束说明。
• 支持部分链路性能调优。
• 功能优化，如表数量限制提升到500张（Hudi链路限制200张）；源表与目标表映射支持批量添加/编辑附加字段；支持通过excel批量导入库表。

商用

支持的数据源

实时集成作业使用教程

任务性能调优

1

数据质量

• 数据质量支持在订阅配置中设置主题属性（包质量作业、含对账作业）
• 数据质量质量校验结果支持按一定规则进行邮件通知（包质量作业、含对账作业）
• 数据质量的质量作业配置多个子规则时支持保存草稿的功能（质量作业）

商用

新建质量作业

新建对账作业

1

盘古助手

DataArts Studio智能助手可以辅助您轻松、高效地完成数据治理工作。

DataArts Studio智能助手当前支持的功能如下：

• 模型
• SQL生成
• 快捷找表
• SQL解释
• SQL改写
• SQL纠错
• SQL注释
• SQL优化
• SQL测试
• DataArts Studio智能助手与数据开发的交互
• 新建会话
• DataArts Studio智能助手常用功能

公测

DataArts智能助手概述

1

数据架构

• 数据架构模块的数据标准和码表的目录支持英文的点。
• 数据架构增加模型和标准码值的快速链接。逻辑实体与物理表，在关联数据标准时，单击编码可以快速跳转数据标准详情页。
• 业务对象可以在线修改上级主题。
• 数据架构创建的表能自动关联数据标准。在新建或编辑逻辑实体、物理模型、维度、事实表、以及汇总表以页面，能够按照字段名称、英文名称自动关联数据标准。

商用

新建码表

关系建模

主题设计

新建事实表

2

数据架构

数据架构的逻辑模型可以体现变化点，例如，版本对比里面，增加字段，版本发起人。

数据架构支持事实表映射创建时显示英文名称。

DataArts-数据架构建模时支持选择已有模型，类似模板功能。用户在新建/编辑表（物理表、维度、事实表）时，可以导入已有表的字段作为新字段。

数据架构支持概念模型。

商用

新建维度

逻辑建模 > 概念模型

3

数据开发

• foreach算子支持循环异常处理策略（继续执行或者退出循环）
  • 继续执行：子作业存在运行失败，后续子作业继续运行，直到所有子作业运行完成。
  • 退出循环：如果子作业并发数设置为1，子作业运行失败，后续子作业实例不再生成，foreach节点实例状态为失败。如果子作业并发数设置为大于1（例如，并发数设置为2），子作业运行失败，后续子作业实例不再生成，待正在运行的子作业运行完成，foreach节点实例状态为失败。
• 数据开发支持通过标签筛选查询作业。单击向下的过滤标签后，支持通过“作业标签”进行过滤查询，方便快速过滤出所要查询的作业，并将作业进行导出。
• 工作空间标签管理支持批量删除
• 新增配置项：标签不存在处理策略。该配置项可以控制在创建作业时标签是否可以直接创建。

商用

For Each

作业开发流程

管理作业标签

默认配置项 > 标签不存在处理策略

1

Notebook

• Notebook支持开发语言Scale（DLI Spark (Scale)）
• Notebook任务统一到数据开发进行调度
• DataArts Studio支持在Notebook安装Python依赖

商用

开发Launcher任务 > 开发DLI Spark(Scala)任务

Notebook任务在数据开发的Pipeline作业进行统一调度

在Notebook中安装外部库

2

Notebook

• Notebook支持纵向鉴权防护和横向越权防护。
• 同一Notebook支持多人协作。Notebook实例增加共享功能，最多共享100人。别人共享的你的，只能进行打开和查看详情的操作。不可以进行其他操作。
• Notebook支持CTS对接。
• Notebook支持手动启停操作。用户只能手动启动已经停止运行的Notebook实例。用户只能手动停止当前正在运行的Notebook实例。

商用

审计日志 > 数据开发操作列表

创建Notebook实例 > 更多操作

3

数据开发

数据开发作业监控指标支持查看Spark SQL和Flink SQL复杂度（包含批处理作业和实时处理作业）

商用

实时作业监控 > SQL复杂度

1

数据架构

数据架构支持异常表配置时选择已有表。在详情界面，单击编辑按钮，打开生成异常数据开关，自定义异常表增加了选择已有表（包含关系建模、逻辑模型、维度表、事实表、汇总表等）

DataArts Studio支持数据架构逆向数据库时，搜索允许多项搜索。在进行逆向数据库时，选择数据表为部分时，支持多表筛选。

数据架构的业务指标，新建业务指标时，刷新频率可以更加灵活。刷新频率的枚举值增加每15分钟，每半小时。

数据架构的指标支持按名称、指标编码模糊搜索。

商用

数据集市

关系建模

业务指标

2

数据质量

系统规则模板增加全量表波动率。

创建质量作业时，当“规则类型”选择“表级规则”，并且“模板名称”选择波动率相关的规则模板名称时，则需要配置表分区参数。

系统支持设置“表分区”和“全表”两种方式。

商用

新建数据质量作业

1

数据架构

数据架构的修改支持同步到数据地图。

数据标准关联码表时支持where条件且码表支持通过字段筛选。数据架构新建/编辑数据标准时，增加对码表过滤条件的配置。

数据架构增加模型感知标准变化机制。审批中心增加“消息通知”的功能。

码表管理，导入模板中字段编码，中英文名称保持统一。

数据标准名称解除限制，支持一些常用的命名符号。比如.（点号）。

商用

新建码表 > 码表导入

新建数据标准

审核中心 > 消息通知

2

数据架构

物理表和逻辑实体支持通过标签筛选导出数据。

编辑逻辑实体进入逻辑实体属性tab页后，增加一个关联质量规则的按钮，可以关联质量规则，配置质量规则的参数。

汇总表从指标导入时，支持模糊搜索。

架构自动生成的质量作业，按照主题结构同步到数据质量对应的目录下。（涉及逻辑实体、物理表、维度表、事实表、汇总表等）

数据架构指标支持按名称、指标编码模糊搜索。

商用

逻辑实体 > 逻辑实体更多操作 > 编辑

关系建模 > 物理表更多操作 > 标签

汇总表 > 新建汇总表并发布

新建业务指标

3

Notebook

DataArts Studio的数据开发组件提供独立的Notebook服务开发能力。

DataArts Studio的Notebook是一个交互式开发环境，提供全托管式JupyterLab云化版本，即开即用。帮助数据工程师及数据科学家轻松完成开发、调试、调度集群作业，并支持实时探索、处理和数据可视化。

目前支持DLI、python等两种开发语言。

公测

Notebook开发

4

数据架构

数据架构支持数据字典（配置好数据词典后，在码表、数据标准、逻辑实体、物理表、维度、事实表、汇总表等界面创建英文名称时进行应用。）

通过配置命名词典，在数据建模生成表名时支持根据词库来自动匹配对应的英文，避免一个中文词在表名上出现多种英文命名，规范了英文表名。

商用

命名词典

1

数据安全

• 新建/编辑权限集前端界面，管理员最大配置人数增加至5人。
• 配置行级访问控制策略时，支持选择数据连接所在工作空间，允许跨空间选择数据连接。

商用

配置权限集

配置行级访问控制

2

数据质量

• 数据质量系统模板“字段长度校验”、“字段值范围校验”和“字段时间校验”修改为有效性。
• 自定义规则模板的定义关系目前最多支持10张表20个字段。
• 数据质量作业支持自定义的质量规则模板在质量报告中显示评分和规则。
• 质量作业自定义规则，质量监测结果显示表名而非默认字符串。
• 数据质量支持自定义SQL场景使用数据开发参数。
• 数据质量自定义SQL质量作业运行结果页面支持展示多行数据，SQL结果展示最多300条。
• 数据质量开放API（批量删除质量作业、批量删除对账作业、批量停止实例）。

商用

创建数据质量规则

新建数据质量作业

查看数据质量报告

1

数据安全

• 支持配置未来表权限，为指定Schema配置未来表的建表用户。

商用

配置未来表权限（高级特性）

1

数据安全

• 支持管理权限有效期，包括续期权限、变更有效期、配置权限到期提醒、订阅权限到期提醒等。
• 支持账号映射，将当前用户身份映射成MRS系统账号或ldap账号后进行认证鉴权，从而做到实现不同用户具有不同的数据权限。
• DWS授权时，支持为DWS数据源开启逻辑集群功能后的授权。
• 支持建库申请，可通过申请审批的流程在数据源上创建数据库。

商用

管理权限有效期（高级特性）

启用账号映射（高级特性）

配置角色

配置建库申请（高级特性）

2

数据安全

• 支持数据加密功能，包含密钥管理、文件加密以及对接外部接口等。
• 支持配置目录权限，对数据开发中脚本和作业的目录、数据服务专享版中API的目录以及数据架构中的物理模型和逻辑模型进行权限控制。

商用

数据加密（高级特性）

配置目录权限（高级特性）

3

数据质量

数据质量作业在自定义异常表选项中，支持“选择已有表”，可以选择数据表。

商用

新建数据质量作业 > 异常表参数配置

4

数据质量

数据质量支持Hetu数据源（数据质量规则模板、质量作业、对账作业均支持Hetu连接）

商用

新建数据质量规则

1

数据安全

• 支持配置数据入湖检测规则（高级特性），可用于多种场景下的实时敏感信息检测。
• 支持推荐识别（高级特性），包括入湖检测规则和AI推荐识别两种方式。

商用

配置数据入湖检测规则（高级特性）

配置推荐识别（高级特性）

2

数据安全

• 权限申请时，支持按表字段粒度申请权限。
• 支持检测文件敏感数据（高级特性），可以快速识别文件中的敏感信息。
• 支持配置下载权限（高级特性），对数据开发中SQL脚本执行结果的转储以及在下载中心下载操作进行权限控制。
• 支持展示层脱敏功能，可以实现在数据开发表数据预览时，按照展示层脱敏策略对数据展示进行敏感信息脱敏。

商用

申请与审批权限（部分高级特性）

检测文件敏感数据（高级特性）

配置下载权限（高级特性）

展示层脱敏（高级特性）

3

数据质量

数据质量作业在数据连接为Hive类型时，支持配置执行队列。

商用

新建数据质量作业

1

数据安全

• 支持管理权限有效期，包括按时长申请权限等。
• 支持配置组合规则，组合规则的多个子规则间可进行与或非逻辑判断，单个子规则支持Groovy脚本、正则表达式、等于、长度判断、内置规则等算法。

商用

管理权限有效期（高级特性）

展示层脱敏（高级特性）

2

数据开发

• Spark SQL、Hive SQL、Flink SQL（脚本及单任务作业）支持引用公共模板。
• 数据开发运维概览支持查看基线看板数据。

商用

开发单任务作业

基线看板

3

数据开发

DataArts Studio支持实时数据同步功能，该功能方便用户使用表同步方式或整库同步方式，将源端数据库中部分或全部表数据实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。

实时处理集成作业功能当前在北京四、上海一、广州、新加坡已上线（其他region后续会逐步放开，敬请期待！），需申请白名单后才能使用，如需使用该特性，请提交工单。

公测

实时处理集成作业开发

4

数据架构

• 数据标准、码表和逻辑实体等名称都支持英文的点
• 数据架构支持自定义角色审批（权限列表，数据架构增加“操作审批中心”）
• DataArts Studio企业模式，数据架构支持发布生产环境自动切换到生产库

商用

新建码表

权限列表

5

数据质量

• 数据质量支持通过标签筛选导出数据（质量规则模板、质量作业、对账作业）
• 支持DataArts Studio质量作业运行（包含调度方式和手动执行方式）完毕后，可以立即获得数据质量报告
• 数据质量支持快速定位到告警子作业
• 质量作业支持多阈值模式以适应工作日和节假日（质量作业）

商用

新建数据质量规则

查看数据质量报告

查看作业实例

新建数据质量作业

6

数据开发

• Flink SQL作业支持代码调试
• 查看SQL脚本执行结果时，双击任意一行的一个字段，可以查看该行的结果详情，支持复制字段名称。
• 支持天作业依赖小时作业（间隔小时和离散小时）上一周期的“所有实例”、“最后一个实例”、“任意一个实例”。

商用

开发实时处理单任务MRS Flink SQL作业

开发批处理单任务SQL作业

调度作业

7

数据开发

• 数据开发实例监控支持作业暂停和恢复
• 作业开发和脚本开发，在搜索时支持通过创建人和更新时间进行过滤
• 数据开发EL表达式支持传递日历名称

商用

实例监控

脚本开发流程

EL表达式 > Job内嵌对象

8

数据开发

• 数据开发支持对前端展示层数据进行敏感数据脱敏
• 数据开发Hive SQL、Spark SQL运行程序参数支持空间级模板统一控制（参数值支持默认值，最小值，最大值的配置）
• 数据开发批作业监控支持作业诊断

商用

默认配置项 > 展示层脱敏配置

配置模板

批作业监控

1

帮助文档

基于场景导向，帮助文档大纲和内容双重优化，助您数据之旅畅通无阻。

商用

DataArts Studio帮助文档焕新升级

2

数据开发

DataArts Studio支持离线处理集成作业功能，支持跨集群下发数据迁移作业，实现常用的批作业迁移能力。离线处理集成作业功能当前需申请白名单后才能使用，如需使用该特性，请提交工单。

公测

离线处理集成作业开发

1

数据开发

• 批作业进行测试运行增加单次执行能力。
• 作业调度增加“偏移量”参数设置。
• 默认配置项增加会计日期调度模式。
• 默认配置项-周期调度（新增依赖的作业停止时 ，当前作业实例处理策略：等待运行、取消执行）。

商用

开发Pipeline作业(测试运行)

作业调度配置

默认配置项 > 配置工作空间模式/配置周期调度

2

数据安全

• 新建脱敏算法时，哈希算法类型下新增支持dws-SM3密码杂凑算法和通用-SM3密码杂凑算法。
• 新建脱敏算法时，新增支持置空、随机脱敏、字符替换、键值脱敏、数值区间变换、模糊脱敏等更多算法类型，其中随机脱敏和字符替换类型支持样本库脱敏。
• 数据安全运营，支持通过表权限视图查看表权限的拥有者，以及通过成员权限视图查看用户的权限。

商用

管理脱敏算法

管理样本库

查看表权限的拥有者

查看用户的权限

3

数据开发

• 作业实例监控界面中增加”作业标签“和”版本描述“列。
• 作业监控界面中增加“最终修改时间”、“最新版本”、“调度身份”等字段。
• DataArts Studio支持工作空间内作业及脚本全量和增量变化导入与导出。
• 作业实例重跑支持显示重跑次数和查看重跑历史实例。增加了“重跑次数”列，当重跑次数不为0时，操作列添加“查看重跑历史”。

商用

批作业监控

实例监控

作业导入与导出

实例监控 > 查看重跑历史

4

数据开发

• 支持GBase脚本开发和作业节点。
• Shell作业算子可以定义shell的返回结果码中哪些返回码代表失败，需要重跑。
• Flink SQL实时作业支持语法检查。在编辑器上方，单击“语法检查”，可以对SQL语句进行语义校验。SQL语句校验完成后，可以在下方查看语法校验结果。
• DataArts Studio导出SQL查询结果到OBS，支持引用字符和转义字符参数配置。

商用

开发SQL脚本

Shell作业算子

开发实时处理单任务MRS Flink SQL作业

SQL脚本 > 下载或转储脚本执行结果

5

数据架构

• 数据架构管理配置中心，主题流程配置的主题自定义项的可选值支持一次性输入多个值。
• 数据架构维度建模中事实表和维度表支持字段级关联。
• 数据架构模型级支持细粒度权限管控（权限管控在数据安全模块进行配置）。
• 数据架构支持自定义数仓分层
• 数据架构主题设计中，不同L1层级下的业务对象支持重名。

商用

管理配置中心 > 主题流程配置

新建事实表

数仓规划

主题设计

6

数据开发

• Flink SQL实时作业支持代码调试。
• DLI SQL支持配置hoodie开头的环境变量参数（DLI SQL脚本、DLI SQL单任务作业、DLI SQL作业算子）。
• 脚本运行结果支持单行结果可以展示查询结果详情。
• 配置作业调度依赖时，支持天作业依赖小时作业上一周期的“所有实例”、“最后一个实例”、“任意一个实例”。

商用

开发实时处理单任务Flink SQL作业

DLI SQL算子

开发SQL脚本

作业调度配置

7

数据质量

• 质量作业输出异常表以及运维导出报告中的字段需要包含作业级别字段。
• 创建质量作业时，异常表设置增加“清理异常数据”参数，基本信息增加“超时时间”参数。
• 创建质量作业时，来源对象增加参数“输出结果说明”参数，基本信息增加“超时时间”参数。
• 数据质量作业运维管理界面增加作业实例超时状态。

商用

查看作业实例

新建数据质量作业

新建数据对账作业

8

盘古助手

盘古助手基于盘古大模型，为您提供了自然语言SQL生成、SQL优化改写、SQL注释、数据资产检索、文档知识问答等AI助理能力。

该功能目前仅在上海一进行开放。

公测

盘古助手

1

数据开发

• DataArts Studio支持Spark SQL库表字段查看、代码提示、语法校验和自动补全能力
• 工作空间默认项配置作业每次重试失败即告警
  

商用

新建数据库

默认项配置 > 作业每次重试失败即告警

2

数据集成

下线管理Agent功能。

商用

管理连接

3

数据开发

• DLI数据连接支持选择lakeformation数据库（DLI脚本，DLI单任务作业，DLI SQl作业算子）
• SQL执行结果数据已支持在底部显示统计计量单位
• DLI SQL脚本支持查看队列近24小时性能情况

商用

DLI SQL

开发SQL脚本

4

数据服务

• 数据服务专享版集群支持跨工作空间共享使用。
• 专享版导入API时，支持导入后直接发布API、更新重名API，以及按照导入文件定义自动新建审核人。
• 专享版APP类型的应用支持重置AppSecret。

商用

购买专享版集群

全量导出/导出/导入API

调用API

5

数据安全

• 支持配置默认数据密级，MRS Hive和DWS数据源中所有未被标记密级的数据表和字段将被标记为默认密级。
• 新增回收站功能，可以恢复误删的权限集（包含空间权限集、权限集以及通用角色）和动态脱敏策略数据。

商用

定义数据密级

管理回收站

1

数据架构

• 衍生指标的通用限定配置支持从码表选择。当选择的字段是字符串类型（例如string、varchar）时，并且条件选择“属于”或“不属于”时，支持从码表中导入数据。单击“从码表导入”，在码表配置页面，选择“码表”和“码表字段”。导入的码表值数量不能超过50。
• 数据架构支持在模型设计时配置字段密级。（关系建模：创建逻辑模型（逻辑实体属性）、创建物理模型（表字段）、维度建模（创建维度、事实表、汇总表）、管理配置中心（模型配置中添加启用密级配置）
• DataArts Studio数据架构的数据建模可集成Power Designer，逻辑模型导入支持.ldm格式的逻辑模型。导入时先从第三方系统Power Designer导出来，导入LDM模型时，请先选择一个主题。不选择则无法导入。导入的LDM模型支持的版本：16.x。

商用

新建衍生指标

管理中心配置-模型配置

逻辑模型设计-导入

2

数据安全

DWS敏感数据发现任务能力增强：

• 支持以通配符匹配方式匹配表。
• 支持配置采样条数。
• 支持断点续扫。
• 支持日志展示任务进度。

商用

发现敏感数据

3

数据开发

• 支持MRS资源队列参数是否为必填项，通过默认项配置“MRS资源队列是否必填”设置是否为必填。如果设置为必填，则涉及5个作业算子（MRS Spark SQL、MRS Hive SQL、MRS Spark、MRS Spark Python、MRS Flink Job）、2个实时作业（Flink Jar/Flink SQL）、2个批处理单任务作业（Hive SQL/Spark SQL）。
• 支持作业名称按照作业名称_节点名称格式自动填，涉及5个作业算子（MRS Spark SQL、MRS Hive SQL、MRS Spark、MRS Spark Python、MRS Flink Job）。支持Flink作业名称按照工作空间-作业名称格式自动填入，涉及2个实时作业（Flink Jar/Flink SQL）。MRS作业名称持按照作业名称自动填入，涉及2个批处理单任务作业（Hive SQL/Spark SQL）。

商用

MRS Flink Job

MRS Spark SQL

4

数据开发

• DataArts Studio支持impala脚本和作业在选择数据连接时可以输入资源队列信息。
• DataArts Studio导出SQL查询结果（比如，DLI）到OBS时支持配置引用字符和转义字符（包含SQL脚本开发和单任务SQL作业）
• 在提交作业审批时，作业配置不仅需要按基线配置，同时要支持自定义配置功能。
• 作业批量配置增加备注信息。

商用

MRS Impala SQL

开发SQL脚本

审批中心

批量配置作业

5

数据架构

• 在数据架构主题设计目录中，可以根据选中的主题，进行主题的导出。
• 在数据架构中，数据标准设计、数据建模、指标设计的审批发布可以支持多级审批，所有人审批生效后才能正式发布（除主题、流程外）。

商用

主题设计-导出主题

新建数据标准

1

数据服务

• 新增API编排功能，提供拖拽式、可视化的API工作流编排能力。
• 控制台新增审核待办提醒。
• API导出时支持导出MyBatis类型的API。
• 新增开放查询集群信息、通过API名称查询API、查询数据服务目录等接口。

商用

编排API

数据服务API

2

数据安全

• 权限应用支持MRS Hive的调度态细粒度认证，使数据开发中的脚本执行、作业测试运行和作业调度使用当前用户身份认证鉴权。
• 数据权限管理新增同步MRS Hive和Hetu权限功能，支持将Hive权限自动同步至Hetu端，增强权限管理一致性和易用性。
• 数据分类支持在不同的父节点下创建同名的分类。
• 权限申请、审批和静态脱敏时，支持展示数据密级和分类。

商用

启用细粒度认证

同步MRS Hive和Hetu权限

定义数据分类

3

数据质量

• 数据质量报告导出功能支持下载质量报告大文件到本地
• 数据质量模块支持MRS ClickHouse数据源（新建质量作业、新建对账作业）
• 数据质量规则配置页面，参数需要在SQL里填写，同时也要在参数框里填写。现在参数框为非必填项，提升产品易用性
• 数据质量作业支持问题处理人配置，方便后续找到解决数据问题的责任人

商用

查看质量报告

新建质量作业/建对账作业

新建质量作业

4

数据质量

• 创建规则模板时，异常表模板支持语义校验，以及支持检查引擎等
• 数据质量作业/对账作业告警支持n次调度中连续x次发生告警后在发送告警通知能力
• 数据质量算子适配企业模式，支持生产开发环境隔离
• 数据对账作业告警规则优化，支持加减乘除以及绝对值等四则混合运算

商用

新建规则模板

新建质量作业/对账作业

运行质量作业/对账作业

新建对账作业

1

数据安全

• 数据分类支持导入预置数据分类。
• DLI敏感数据发现任务支持以通配符匹配方式匹配表，并支持配置计算资源规格。
• DWS数据权限配置中，库/schema/表授权时支持以“*”作为通配符匹配授权目标。

商用

定义数据分类

发现敏感数据

配置权限集

配置角色

2

数据架构

• 模型设计支持从数据标准导入字段
• 逆向表时支持用描述作为名称
• 维度建模中针对维度表名称、维度名称、表编码等在模块间定义保持一致性
• 数据架构优化显示状态：待发布改为发布审核中，待下线改为下线审核中

商用

新建逻辑实体、物理表、维度、事实表、汇总表

逆向数据库（在关系建模、码表管理、维度建模（维度、事实表）的逆向界面）

创建码表、数据标准

数据架构所有待发布和待下线的流程状态

3

数据架构

• 属性标签和标准的设置支持批量设置能力
• 数据架构表级自定义项上限数量扩充到30条

商用

数据架构的逻辑实体、物理表、维度、事实表、汇总表均支持批量设置属性标签和数据标准的能力

管理中心配置

4

数据服务

• 控制台进入数据服务时，可根据用户习惯直接进入共享版/专享版内，提升开发效率。
• API列表支持根据修改时间进行API排序，并可在高级搜索通过表名检索API。
• API导入导出功能增强：
  • 新增导入导出功能的API接口。
  • 导出API时，支持导出API的完整路径、API ID和相关的数据表。
  • 全量导出API时，支持将全量API按照当前的筛选条件进行导出。

商用

数据服务概览

数据服务API

1

数据安全

• 支持对数据安全能力进行全面诊断，并根据诊断结果，给出修复建议及解决方案
• 支持对数据地图资产按照密级进行分级管控，控制不同用户对元数据的访问权限

商用

诊断数据安全风险

管控敏感数据

2

数据开发

• 告警通知类型支持“作业改动”
• DataArts Studio支持通过数据连接的方式去连接CSS的https协议的集群
• DataArts Studio支持更细粒度的并发数控制（配置任务组，配置周期调度时选择任务组）
• 配置作业依赖时，只能选择有调度的作业，避免上游作业没有调度，导致下游作业失败

商用

配置通知

CSS

配置任务组

配置作业调度任务（批处理作业）---周期调度

3

数据开发

• 脚本开发（Spark SQL与Hive SQL脚本以及单任务）支持管理员配置不允许覆盖的默认执行参数
• 在MRS API连接方式下，Spark SQL和HIve SQL脚本支持配置指定参数和参数值
• 资源页面不支持删除作业
• 补数据功能支持周期补数据

商用

Spark SQL作业/脚本默认模板配置

开发SQL脚本

删除资源

批作业监控：补数据

4

数据架构

• 数据架构模型设计支持设计模型按WPS et文件格式导出（数据架构导出功能支持“xlsx”和“et”两种格式）
• 关系建模支持前缀校验（物理模型和逻辑模型）
• 数据架构的标准模块要同时支持中文与英文的自定义（自定义项支持配置选项英文名称）

商用

管理配置中心 > 功能配置

新建逻辑模型

管理中心配置 > 标准模板管理

5

数据架构

• 关系建模的逻辑模型和物理模型在下拉列表分开
• 数据标准支持配置字段名，且通过数据标准建立/校验字段（可选项增加了一个英文名称）
• 数据标准目录树使用主题设计中的目录树，保证GUID与数据资产的L1-L3一致
• 汇总表支持关联新指标管理中的指标

商用

数据架构概述

管理配置中心 > 标准模板管理

新建数据标准目录

新建汇总表

1

数据安全

• 数据安全组件由公测转商用
• 支持订阅动态脱敏策略，通过动态脱敏订阅可以实现同步第三方平台的动态脱敏策略

商用

数据安全概述

订阅动态脱敏策略

1

数据安全

• 支持用户的数据权限申请、审批与回收流程
• 支持队列权限管理，为当前工作空间分配可使用的MRS Yarn和DLI队列资源，并为用户组/用户配置对应的队列权限策略
• 支持数据访问审计，提供DWS、HIVE和DLI数据源上详细的数据操作日志记录
• 敏感数据发现任务支持支持调整数据识别规则阈值

公测

申请与审批权限

配置队列权限

数据访问审计

发现敏感数据

2

数据开发

• DataArts Studio作业编排MRS Spark算子支持流处理运行模式
• 企业模式下，支持从脚本/作业开发界面快速前往发布界面
• DataArts Studio支持版本提交前可以提醒提交版本内容和上一个版本的差异
• DataArts Studio已支持提供Flink日志查看链接（实时作业监控）
• 支持配置作业测试运行使用的身份

商用

MRS Spark

提交版本（脚本、作业）

实时作业监控

配置默认项 > 作业测试运行使用的身份

3

数据开发

• DataArts Studio对于运行异常作业支持一键重跑功能
• 在MRS API连接模式下，MRS Spark SQL和MRS Hive SQL运行完以后，在执行结果中查看运行日志，增加一键跳转MRS Yarn查看日志的链接
• 通知配置的最小通知间隔改为5-60分钟
• 脚本执行历史展示支持工作空间级可配置
• DataArts Studio支持Flink代码语义检查和调试代码

商用

实例监控

管理通知

配置默认项 > 脚本执行历史展示

开发实时处理单任务Flink SQL作业

4

数据开发

• 在MRS api连接模式下，单算子作业hive sql、spark sql 支持程序运行参数
• 创建MRS Flink作业时，作业名称支持自动填写，Flink作业名称按照工作空间-作业名称格式自动填入
• DataArts Studio支持ModelArts Workflow2.0版本

商用

开发批处理单任务SQL作业

开发实时处理单任务Flink SQL作业

ModelArts Train

1

数据安全

支持DWS行级访问控制策略，为不同开发者按照行数据进行授权

公测

配置行级访问控制

2

数据开发

• 系统支持实时Flink SQL/Flink Jar作业运行前能够查询历史checkpoint，并选择从指定checkpoint启动
• 作业运行时自动传递Hive SQL脚本名称
• SQL查询结果展示支持表格和列表两种展示方式
• DataArts Studio支持全量作业执行时长导出（包含批作业监控和实例监控）
• DataArts Studio支持DLI Flink Job的flink opensource sql类型

商用

开发实时处理单任务Flink SQL作业

默认配置项 > 作业运行自动传递脚本名称

批作业监控

DLI Flink Job

3

数据开发

• 对于Flink SQL和Flink JAR两种实时处理的单任务作业，作业运行完成后，可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。
• DataArts Studio支持对于运行异常作业可以进行一键重跑功能，支持“手工重试”。

• 在MRS API连接模式下，单任务MRS Spark SQL和MRS Hive SQL运行完以后，在执行结果中查看运行日志，增加一键跳转MRS Yarn查看日志的链接。作业和脚本都支持一键跳转。

• 支持对脚本执行历史展示进行配置，可以配置为“仅自己可见”或“所有用户可见”。

商用

实时作业监控

实例监控

作业开发流程

脚本执行历史展示

4

数据开发

• DataArts Studio支持Flink SQL作业进行代码语义校验
• DataArts Studio支持创建MRS Flink SQL作业时作业名称自动填写

商用

开发实时处理单任务Flink SQL作业

5

数据开发

• 作业测试运行的使用的身份支持可配置，可以配置为“公共委托或IAM账号”或“个人账号”
• DataArts Studio跨空间作业依赖，支持作业依赖规则可配置（作业不能被其他工作空间依赖、作业能被其他工作空间依赖，不需要为该用户配置所依赖空间的权限、作业能被其他空间作业依赖，需要该空间作业列表的查询权限）
• 通知配置的最小通知间隔可以设置为5~60，单位min
• MRS api连接模式下，单算子作业hive sql和spark sql 支持程序运行参数配置

商用

配置默认项 > 作业测试运行使用的身份

配置默认项 > 作业依赖规则

配置通知

开发批处理单任务SQL作业

6

数据架构

• 关系建模在发布新版本时支持判断上一版本是否执行成功，同时在列表中增加“线上版本”列
• 支持业务资产与技术资产对比功能（物理表增加了关联逻辑实体列、逻辑实体增加关联物理表列、逻辑实体详情界面呈现所关联的物理表）
• 指标管理支持版本对比和血缘图（业务指标、新建原子指标、新建衍生指标、新建复合指标）
• 码表目录和数据标准目录与主题命名规范保持一致

商用

管理维度表

新建物理表

新建原子指标

新建数据标准目录

7

数据质量

• 正则表达式规则长度增强（质量作业、对账作业）
• 规则模板增加3个相关波动率规则监控的系统模板
• 多个字段唯一性检验支持MRS Hive/MRS Spark引擎（质量作业、对账作业、规则模板）
• 作业导入和导出的单元格突破现有大小限制，增加到65534个字符（导入/导出质量作业、导入/导出对账作业）
• 数据质量作业支持从数据开发传参

商用

新建质量作业

新建对账作业

新建规则模板

导出质量作业

1

管理控制台

购买批量数据迁移增量包时，支持CDM集群关联多个工作空间

商用

购买批量数据迁移增量包

2

数据开发

• 支持yarn队列与空间绑定，作业自动区分实时离线作业分别提交各自队列，涉及五个算子节点（MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job）增加了“MRS资源队列”参数
• DataArts Studio支持全量作业执行时长导出功能，涉及批作业监控、实时作业监控、实例监控
• 重跑策略支持选择历史的某个CP点，涉及实时处理单任务Flink SQL作业和Flink Jar作业
• DataArts Studio支持DLI的flink opensource sql类型，DLI Flink Job算子的配置参数“作业类型”增加flink opensource sql类型

商用

MRS Spark SQL

批作业监控

开发实时处理单任务Flink SQL作业

DLI Flink Job

3

数据安全

数据安全组件全新上线上海一、华南广州和北京四区域，支持访问权限管理2.0，并新增支持数据分类、动态脱敏等功能

公测

数据安全组件（公测）

4

管理中心

支持MRS Doris数据连接

商用

DataArts Studio支持的数据源

配置MRS Doris数据连接

1

数据质量

• 设置异常表时，默认添加后缀
• 数据质量运维管理界面作业实例新增操作人列，并支持搜索和导出
• 数据质量报告导出后支持下载
• 数据质量支持修改当前已有的规则模板

商用

新建质量作业

查看作业实例

查看质量报告

新建规则模板

2

数据开发

• 补数据监控的作业名称增加搜索框功能
• yarn队列与空间绑定，作业自动区分实时离线作业分别提交各自队列，作业算子可以配置MRS资源队列（支持MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job等算子）

商用

补数据监控

MRS Spark SQL

3

数据开发

DataArts Studio支持yarn队列与空间绑定，作业自动区分实时离线作业分别提交各自队列，MRS作业算子增加了“MRS资源队列”参数，涉及5个算子节点（MRS Spark SQL、MRS Spark、MRS Hive SQL、MRS Spark Python、MRS Flink Job）

商用

MRS Spark SQL

MRS Spark

MRS Hive SQL

MRS Spark Python

4

数据架构

• 在关联技术指标时，可以选择原子指标
• 支持在页面配置映射时实现搜索功能，包含维度表、物理表、维度、事实表
• 数据标准业务对象支持自动编码  L3支持自动编码
• 关系建模逻辑实体转换物理表

商用

业务指标

新建物理模型

管理配置中心 > 编码规则

逻辑模型设计 > 逻辑模型转换为物理模型

5

数据质量

质量作业周期调度时可手动调节并发数

质量规则界面支持基于业务对象或者逻辑实体及属性名称进行搜索

数据质量报告能够重新刷新历史数据

创建质量任务的时候搜索框大小写敏感

商用

查看作业实例

新建质量作业

查看质量报告

新建质量作业

6

数据开发

• 作业失败后重跑成功，用户可以进行配置
• 重跑作业实例，支持会使用最新的作业版本重跑
• 配置重试的作业，支持在第一次失败后就上报告警
• 对于跨周期依赖的作业，跳过等待的实例去运行最近的批次支持分钟或小时调度的作业实例跳过

商用

管理通知 > 配置通知

实例监控 > 重跑作业实例

默认配置项 > 作业算子首次失败告警

调度作业 > 跨周期依赖

7

数据开发

• 补数据支持离散业务日期补数据
• DataArts Studio支持批量配置作业超时重试以及作业算子节点支持超时重试配置
• 作业内算子默认失败重试一次

商用

批作业监控：补数据

批量配置作业

默认配置项 > 作业算子失败重试默认策略

1

管理中心

创建数据连接时，支持选择当前连接的适用组件。

商用

新建数据连接

2

数据服务

配置方式生成API时，支持复制请求参数，实现多个输入的绑定参数条件匹配绑定字段。

商用

配置模式生成API

3

数据开发

• 运行异常/失败的任务支持任务未修复前可以配置多次告警提醒。作业运行失败时，重跑作业并且作业运行成功后，会发送作业实例恢复通知。
• 监控消息通知服务支持选择任务负责人
• Import GES算子点边数据集支持可以直接选择对应的OBS桶中的点边数据集csv文件，也支持选择对应的边数据集的OBS路径
• 告警通知类型增加“运行取消”

商用

管理通知 > 配置通知

终端订阅管理

Import GES

管理通知

1

数据开发

• DataArts Studio数据开发作业的FDI算子支持跨资源集选择
• Hive sql、Spark sql支持把sql语句放到请求的body体中
• 实例监控的更多操作里面支持查看历史性能
• 运维概览支持查看未来一周调度结束情况

商用

ROMA FDI Job

配置默认项

实例监控

运维概览

2

数据开发

DataArts Studio数据开发支持审批管理

商用

审批中心

3

数据质量

数据质量的业务指标、质量作业、对账作业支持clickhouse数据源

数据质量支持传参

数据质量支持批量停止调度/运行的能力

数据质量运维管理查看质量作业结果支持升序和降序排序

商用

新建指标

新建质量作业

批量调度质量作业

查看作业实例

4

数据质量

• 数据质量异常表生成逻辑的链接，可以在作业配置以及日志中体现
• 数据质量SQL规则，支持多表、多参数灵活配置
• 数据质量管理对多个表配置规则时，不同表的数据范围可支持独立设置

商用

新建质量作业

5

数据架构

• 数据架构支持MySQL和Oracle数据源。
• 关系建模时，支持自定义数仓分层的命名。
• 物理模型建表时，支持表字段关联逻辑属性。
• 复合指标类型支持同比增长率和环比增长率。

商用

DataArts Studio支持的数据源

新建物理模型

新建表并发布

新建复合指标

6

数据开发

• 补数据时支持设置作业优先级
• 通知管理中配置的告警通知能监控的作业实例天数范围
• 配置等待运行作业实例的超期天数。当作业实例等待运行的时间超过了所配置的期限天数时，作业实例将取消执行
• DataArts的python spark任务需要支持在线编写python代码的能力（包含Spark python脚本和作业算子）

商用

默认配置项 > 补数据优先级设置

默认配置项 > 历史作业实例告警策略

默认配置项 > 历史作业实例取消策略

MRS Spark Python

7

数据开发

• 批作业监控、实例监控、补数据监控支持去除对上游单个实例的依赖关系
• 补数据任务需要添加停止时间和失败停止按钮
• 设置告警通知时，支持筛选出未配置某一种通知类型的作业，以便进行批量设置
• 配置环境变量增加变量解释字段

商用

实例监控

批作业监控 > 补数据

批作业监控

配置环境变量 > 配置方法

1

管理中心

支持置顶和删除工作空间。

商用

创建并管理工作空间

2

管理中心

• 编辑数据连接时，无需再次输入密码。
• 资源导入时，支持选择OBS和本地上传场景。

商用

新建数据连接

资源迁移

3

数据开发

Pipeline 算子脚本参数增加参数值预览

DataArts Studio支持在运维概览里面查看任务数统计的图形

商用

开发Pipeline作业

运维概览

4

数据开发

企业模式下，发布脚本/作业任务时，可以指定审批人进行审批。

• 可指定工作空间下所有管理员和部署者作为审批人
• 每次发布必须指定一位审批人
• 可以通过审批人管理维护审批人信息

商用

发布作业任务

发布脚本任务

5

数据开发

• 作业监控的详情页可以查看看该作业的调度配置信息
• 作业关系依赖图支持按照依赖名下载作业的依赖关系文件
• EL表达式支持使用DateUtil获取日期的季度
• DataArts Studio支持批量设置依赖作业失败后的处理调度策略

商用

批作业监控

查看作业依赖关系图

DateUtil内嵌对象

批量配置作业

6

数据开发

• 导出作业支持导出到OBS路径
• DataArts Studio增加作业参数预览功能
• Subjob和For Each节点支持配置作业节点名称是否同步变化
• DataArts Studio补数据支持按照批次并发

商用

导出导入作业

开发一个Pipeline作业

配置默认项

批作业监控：补数据

7

数据集成

• 支持LogHub（SLS）数据源
• 支持神通（ST）数据源

商用

支持的数据源

8

数据集成

CDM支持年、月形式的时间宏偏移量类型。

商用

时间宏变量使用解析

9

数据集成

• 支持MRS Hudi->MRS Hbase迁移功能
• 支持SFTP/FTP->OBS二进制文件迁移功能
• 支持DLI->MongoDB迁移功能
• 支持SAP HANA->DWS迁移功能

商用

新建表/文件迁移作业

10

数据集成

支持MRS Hudi整库迁移。

商用

新建整库迁移作业

1

数据开发

• DataArts Studio提交版本系统保留最近100条的版本记录
• 创建DLI表时支持创建分区
• DataArts Studio支持提前冻结作业实例

商用

提交版本并解锁

创建数据表

批作业监控

2

数据开发

• 支持保存多个未提交的版本
• 调度周期支持离散小时进行分钟级配置
• 单算子作业支持 Ctrl + S 快捷键进行保存
• 支持SQL编辑器进行风格配置

商用

开发SQL脚本

调度作业

开发一个单任务作业

作业开发流程

3

数据开发

• 通过作业树的右键快捷操作可以直接跳转到作业监控页面
• 支持进行全局搜索
• 查询作业实例列表API支持精确查询
• SQL脚本执行结果可以通过下载中心进行查看

商用

前往监控

脚本开发流程

查询作业实例列表

下载中心

4

数据开发

• 已生成的等待运行的作业实例，此时发布新的作业版本后，实例是否会使用最新的作业版本运行支持通过默认项配置进行设置
• 等待运行的时间是否计算在超时时间内支持通过默认项配置进行设置
• DataArts Studio作业调度支持调度作业强制优先执行操作 

商用

默认项配置 > 等待运行实例同步作业版本策略

默认项配置 > 实例超时是否忽略等待时间

实例监控

5

数据开发

• 运维概览优化
• DataArts Studio增加作业类型筛选功能
• DataArts Studio补数据监控支持根据操作人和创建时间进行筛选
• 创建DLI表的时候可以自动创建OBS目录

商用

运维概览

批作业监控

补数据监控

新建数据表

6

企业模式

新增企业模式，支持开发与生产环境隔离，实现安全、规范的代码发布管控流程。

• 支持新建企业模式，或将简单模式升级到企业模式
• 支持作业任务发布到生产环境
• 支持脚本任务发布到生产环境

公测

企业模式

作业任务发布

脚本任务发布

1

数据开发

• 脚本参数界面优化
• 通过作业树目录查看作业依赖关系图
• Flink SQL支持自定义模板
• DataArts Studio支持开放作业最后修改人的API接口

商用

脚本开发流程

查看作业依赖关系图

配置模板

创建作业

2

数据开发

• 单任务作业支持关联质量作业
• DataArts Studio支持Python3脚本
• 查找作业后可方便复制出较长的脚本名。对未提交或未调度的作业会以颜色进行识别
• DataArts Studio依赖的页面支持按依赖名进行搜索和复制

商用

质量监控

开发Python脚本

作业开发流程

查看作业依赖关系图

3

数据开发

• 自然周期调度作为DataArts Studio新实例默认选项
• 新增脚本和作业审批能力。提交任务版本的时候，可以指定审核人员进行审批
• 批量作业监控支持按照调度方式、调度周期进行筛选
• DataArts Studio支持单任务流式Flink SQL

商用

调度作业

审批中心

批作业监控

创建作业

1

数据开发

• 补数据时，选择上下游作业时支持展示完整作业依赖关系
• 忽略失败的通知策略
• 跨周期依赖支持作业跳过阻塞未执行的批次

商用

批作业监控

配置默认项

调度作业

2

数据架构

• 数据架构支持ClickHouse数据源。

• 数据架构支持码表自动生成。

商用

DataArts Studio支持的数据源

新建码表

3

数据质量

质量作业新增批量处理功能。

商用

批量运行质量作业

4

数据开发

• DLI Spark节点支持选择Spark版本
• 支持设置工作空间同一时间并行运行的节点数上限
• 支持设置工作空间公共执行用户
• 补数据时，选择上下游作业时支持展示完整作业依赖关系
• 忽略失败的通知策略
• 跨周期依赖支持作业跳过阻塞未执行的批次

商用

DLI Spark

配置节点并发数

配置调度身份

1

数据架构

• 维度建模支持高级属性配置。

• 功能配置页面新增是否开启公共层空间。

• 数据连接类型为DWS时，新增压缩等级选项。

• 导入模板中新增关联质量规则Sheet页。

商用

新建维度

功能配置

导入导出

2

管理中心

• MRS Hive连接支持LDAP认证场景。
• 编辑连接时的密码变更为可选参数。
• 资源迁移导入时支持OBS和本地上传两种方式。

商用

创建数据连接

资源迁移

3

数据开发

新增功能：

简易变量集

商用

简易变量集

1

数据架构

新增如下功能：

• 维度建模支持高级属性配置。
• 关系建模导入模板新增“关联质量规则”sheet页。
• 当数据连接类型选择DWS，物理模型数据表新增“压缩等级”选项。
• 配置中心的功能配置页签新增“公共层配置是否开启”选项。
• 新增API：创建表模型、更新表模型、删除表模型。

商用

管理配置中心

物理模型设计

导入导出

数据架构API

1

数据架构

• 配置中心新增指标配置，功能配置页签新增“物理表同步业务资产”项。
• 业务指标基本信息参数新增“自定义指标”项，业务指标支持导入导出。
• 新建原子指标新增函数说明。
• 导入表到物理模型的模板文件新增DWS表 DISTRIBUTE BY、HUDI表 PreCombineField。
• 当标准编码不存在，系统新增报错拦截及报错编码名称显示。
•  

商用

管理配置中心

业务指标

新建原子指标

导入导出

2

数据服务

• 新增日志转储功能。
• 云日志服务接入数据服务组件。

商用

设置日志转储

云日志接入

3

数据开发

• 支持 ModelArts Train节点。
• 支持 MRS ClickHouse节点。

商用

ModelArts Train

MRS ClickHouse

4

管理中心

新增支持MRS ClickHouse数据源。

商用

创建数据连接

5

数据集成

新增如下功能：

• 支持MRS ClickHouse数据源。
• 支持MRS Hudi数据源。
• 迁移CSV文件时支持列名的显示。
• 迁移CSV文件时支持配置首行为标题行。

商用

支持的数据源

新建表/文件迁移作业

配置OBS源端参数

6

版本模式

新增“免费版”，支持免费试用DataArts Studio。

商用

如何选择DataArts Studio版本

1

数据质量

新增如下规则模板：正则表达式校验忽略Null

商用

新建规则模板

2

数据架构

主题设计支持发布功能。

商用

主题设计

3

数据质量

优化如下功能体验：

1. 质量作业、质量子作业和对账作业的描述长度限制拓展至1024字符。
2. 规则模板、质量作业、对账作业导入时，映射资源信息改为可选。
3. 作业实例和质量报告调整为保留最近90天的结果。

商用

新建质量作业

4

数据质量

数据质量作业支持批量运行。

商用

新建质量作业

5

数据质量

新增同步主题为目录功能，支持将数据架构主题同步到数据质量组件作为目录使用。

商用

新建规则模板

新建质量作业

新建对账作业

6

数据质量

新增如下规则模板：多字段唯一性校验忽略Null

商用

新建规则模板

7

数据质量

新增如下功能：

• 将数据架构的主题同步到数据质量作为目录。
• 批量运行质量作业。
• 描述信息长度限制不超过1024个字符
• 默认配置原映射资源信息

新增如下规则模板：

• 枚举值校验忽略Null
• 多字段唯一性校验忽略Null
• 正则表达式校验忽略Null

商用

新建规则模板

新建质量作业

新建对账作业

8

数据架构

主题设计新增发布功能。

商用

主题设计

9

数据开发

新增如下功能：

• 脚本变量定义。
• 禁用作业节点名称同步。

商用

脚本变量定义

禁用作业节点名称同步

1

权限体系

支持自定义工作空间角色功能。

商用

DataArts Studio权限管理

自定义工作空间角色

2

管理中心

开放管理中心API接口，支持通过API访问管理中心。

商用

管理中心API

1

版本模式

为了提供轻量化的数据治理能力、满足资源按需灵活配置的需求，DataArts Studio提供了全新的版本模式，支持初级版、专家版和企业版，同时提供规格增量包。

新版本模式相对于旧版本模式，价格门槛更低、资源拓展更加灵活，新版本模式上线后，新创建的DataArts Studio实例默认使用新版本模式，不支持回退；对于旧模式的DataArts Studio实例，建议您手动将旧模式切换到新模式下，实现版本的对等平滑切换。

商用

新版本模式说明

如何选择增量包

2

管理中心

DWS、Oracle和RDS连接类型，支持通过域名进行连接。

商用

创建数据连接

3

数据质量

新增如下规则模板：

• 多字段唯一性校验
• 字段长度校验
• 字段值范围校验
• 字段时间校验
• 跨字段时间校验

商用

新建规则模板

4

数据集成

新增支持ClickHouse数据源。

商用

支持的数据源

新建表/文件迁移作业

1

数据开发

控制台上线抽屉式帮助。

商用

无

2

数据集成

CDM集群对接TMS标签系统。

商用

管理CDM集群标签

1

数据开发

• 支持脚本/脚本目录、作业/作业目录的移动。
• 作业和节点支持空跑。
• 作业日志支持在弹窗界面刷新查看。
• DLI Spark作业配置的资源新增obs方式。
• 支持脚本运行日志实时查看过程中的信息。
• 支持根据作业名称精确搜索查询。

商用

移动脚本/脚本目录

移动作业/作业目录

调度作业

DLI Spark

2

服务名称变更

服务名称由“数据湖治理中心DGC(Data Lake Governance Center)”变更为“数据治理中心DataArts Studio”。

商用

数据治理中心 DataArts Studio

1

数据开发

对脚本执行结果页签，支持通过右键进行重命名和关闭操作。

商用

开发SQL脚本

开发Shell脚本

开发Python脚本

1

数据目录

开放数据目录API接口，支持通过API访问数据目录。

商用

数据目录API

2

数据开发

• 作业监控支持筛选未配置通知的作业，并支持批量配置通知。
• 通知管理支持批量管理作业通知。
• 同类型脚本支持最多创建5个临时窗口。
• 脚本支持配置责任人信息。
• 支持查看7天内的脚本、作业和单节点的个人执行历史。
• 编辑锁定功能支持配置软硬锁策略，支持批量解锁功能。
• 多个业务周期不冲突的补数据任务，支持选择同一作业。

商用

数据开发

1

数据质量

开放数据质量API接口，支持通过API访问数据质量。

商用

数据质量API

2

数据架构

• 资产概览支持展示数据架构中所有对象的总量。
• 配置中心的编码规则支持自定义编码，主题配置支持属性自定义项。
• 开放数据架构API接口，支持通过API访问数据架构。

商用

数据架构概述

配置中心

数据架构API

3

数据服务

• 新增支持API全量导出。
• 数据服务脚本模式API支持返回别名。
• 开放数据服务API接口，支持通过API访问数据服务。

商用

全量导出\导出\导入API

脚本模式生成API

数据服务API

4

数据集成

• 不再支持集群关机功能（集群关机后，资源可能会被占用，导致无法正常使用）。
• 表/文件迁移支持的源端和对应目的端的数据源重新调整，聚焦数据入湖和数据上云两大场景。

商用

管理集群

CDM支持的数据源

5

数据开发

• 支持通过ctrl+f对脚本查询结果进行搜索定位。
• 作业引用脚本时，支持查看该脚本的引用情况。
• 作业开发支持全局配置多IF条件时的与或关系。

商用

开发脚本

开发作业

IF条件判断教程

1

数据开发

脚本开发和作业开发支持编辑锁定。

商用

脚本开发-提交版本并锁定

作业开发-提交版本并锁定

1

数据开发

• 作业监控列表支持通过作业标签筛选。
• 作业责任人的操作和查询功能优化。

商用

数据开发概述

1

数据开发

• 支持编辑脚本描述信息。
• 资源管理支持HDFS路径。
• 实例监控支持展示脚本版本。
• SQL编辑器支持自定义配置。
• 新增脚本自动生成作者和创建时间等头部信息。
• 作业树支持根据作业责任人进行筛选。

商用

数据开发概述

2

DataArts Studio安全加固

修复tomcat log4j安全漏洞。

商用

无

1

数据架构

“配置中心-功能配置”增加属性自定义项。

商用

配置中心

1

数据质量

• 规则模板增加导出、导入功能。

• 质量作业增加导出、导入功能。

• 对账作业增加导出、导入功能。

• 质量报告评分支持自定义评分体系。

商用

数据质量监控概述

2

管理中心

华南-广州Region，数据连接规格由20变更为50。

商用

创建数据连接

3

数据开发

• 界面风格重构，优化细节体验，提升视觉效果。

• 作业开发时右键节点支持“从当前节点测试运行”。

• 作业参数支持以掩码显示。

• SQL脚本开发支持可视化读取数据表并生成SQL语句。

• DLI SQL脚本执行支持展示最多1000条数据。

• 脚本开发和数据开发窗口页签支持自定义拖动调整前后位置。

• 脚本开发和数据开发时支持浏览器数据缓存，避免误操作导致页面数据丢失。

商用

数据开发概述

1

数据集成

下线场景迁移功能。

商用

管理作业

1

数据集成

• 对于Oracle、Sqlserver、Mysql源支持按ID批量增量抽取。
• 下线官网中不支持的数据源。
• Hive端repair接口优化。

商用

支持的数据源

2

数据架构

“配置中心-功能配置”增加“数据标准是否重名”配置项。

商用

配置中心

3

数据服务

数据服务专享版集群公测转商用，计费方式改为包年包月形式。

商用

数据服务专享版集群正式商用后，如何继续使用公测期间创建的数据服务专享版集群和API？

1

帮助文档

新增了最佳实践栏目，以便用户更好地了解DataArts Studio的典型应用场景及业务配置。

商用

最佳实践

2

数据开发

• 连接目录树、脚本目录树和资源管理目录树，右键菜单新增“查看引用”选项。
• 脚本目录树和作业目录树，右键菜单新增“复制名称”选项，目录名称长度限制为64字符。
• 脚本开发时，SQL编辑器增加快捷键。
• 脚本开发时，脚本的执行结果支持多结果页，支持多结果页的查询、过滤、复制等。
• 作业开发时，Open/Close Resource节点配置ECS服务时，支持搜索ECS服务器。
• 作业开发时，CDM Job节点右键菜单新增“编辑CDM作业”选项。
• 脚本开发和作业开发时，多人同时编辑同一个对象时，新增提示信息。
• 脚本开发和作业开发时，“提交版本”按钮修改为“保存并提交版本”，按钮位置调整。
• 作业监控列表，支持按照“优先级”条件进行筛选。
• 实例监控列表，支持根据“计划开始时间”、“开始时间”、“结束时间”、“运行时间”条件进行排序；支持根据“状态”条件进行筛选；新增“版本”信息。

商用

数据开发

3

数据集成

CDM支持部分数据源的导入导出功能变更。

商用

支持的数据源

1

数据集成

• DWS作为目标端时，支持insert into和冲突时update两种模式。
• CDM支持DLI外表读、写能力。
• MySQL的同步任务支持目标表刷新模式：insert into; update; overwrite。

商用

支持的数据源

2

数据架构

支持通用条件设置时间类字段。

商用

数据架构

3

数据开发

调度周期为分钟的作业可以依赖到调度周期为天的作业。

商用

数据开发

1

数据开发

• 作业依赖关系图显示优化：支持查看上下游完整依赖作业，支持拖拽与放大缩小，作业关系呈现更清晰。
• 版本管理与提交：作业和脚本新增提交版本功能，用于区分开发态的作业（脚本）和正式调度中使用的作业（脚本）。在正式调度中，作业依赖、实例重跑、补数据等场景均是关联最新的已提交版本。

商用

数据开发

2

数据集成

CDM支持达梦数据库。

商用

支持的数据源

3

数据质量

• 自定义作业支持绑定表和维度，支持评分设置。
• 规则模板支持上线下线操作。
• 数据质量总览加强，补充作业统计相关信息。

商用

数据质量