文档首页 > >

最新动态

最新动态

分享
更新时间:2021/01/22 GMT+08:00

本文介绍了DGC各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。

2020年10月

序号

功能名称

功能描述

阶段

相关文档

1

数据安全

  • 新增访问权限管理,通过创建权限策略实现对资源的访问控制。
  • 新增敏感数据识别,内置数据识别规则,自动发现敏感数据并进行分级分类。
  • 新增数据静态脱敏,支持DWS和Hive数据源。
  • 新增数据水印嵌入,支持DWS和Hive数据源。
  • 新增数据水印溯源,支持CSV文件格式。
  • 新增授权/鉴权审计。

公测

详情请参见DGC用户指南的数据安全

2

规范设计

  • 支持导入数据标准时,校验标准名称的唯一性。

商用

详情请参见DGC用户指南的规范设计

3

数据资产

  • 支持DWS元数据采集时,配置单个数据表采集超时时间。

商用

详情请参见DGC用户指南的数据资产

4

数据质量

  • 数据质量监控总览页面要素增强,丰富视图展示。
  • 数据质量作业生成异常数据时,支持配置是否输出空值。

商用

详情请参见DGC用户指南的数据质量

2020年8月

序号

功能名称

功能描述

阶段

相关文档

1

规范设计

  • 界面样式升级,升级华为云4.0规范版本。
  • Mapping优化,自动生成数据开发ETL作业。
  • 指标拆解,原子、衍生、复合指标功能上线。
  • 数据资产同步不区分大小。

商用

详情请参见DGC用户指南的规范设计

2

数据质量

  • 规则模板支持发布版本,按版本管理及不同版本之间的对比。
  • 规则模板支持按目录管理。

商用

详情请参见DGC用户指南的数据质量

3

数据资产

  • 元数据采集新增支持Oracle、PostGre数据源。
  • DWS采集视图时,可直接解析视图同物理表之间的血缘关系。

商用

详情请参见DGC用户指南的数据资产

4

数据服务

  • 数据服务新增专享版。
  • 总览与服务监控合并重制,丰富监控数据视图展示。
  • API编辑支持细粒度的服务市场可见性分级。
  • 数据服务专享版支持对接API专享版、ROMA-APIC网关。
  • 审核中心支持发起者撤销待审核的申请。
  • 审核中心支持管理员具备所有角色权限。
  • API编辑支持用户自定义API最低保留期限。
  • 数据服务新增支持RDS数据源。
  • 数据服务支持工作空间导出和导入API数据和流控数据。
  • 优化若干交互细节,修复若干已知问题。

商用

详情请参见DGC用户指南的数据服务

5

数据开发

  • EL表达式支持判断OBS文件是否存在。
  • 支持从本地导入作业、脚本。
  • 数据开发中支持保存CDM作业内容。

商用

详情请参见DGC用户指南的数据开发

2020年6月

序号

功能名称

功能描述

阶段

相关文档

1

规范设计

  • 界面新增规范设计概览(方法论)。
  • 码表逆向数据库支持MRS_HIVE、DWS。
  • 逻辑模型支持逆向数据库。
  • 逻辑模型支持转换为物理模型,支持增量转换。
  • 字段类型支持配置管理,开放自定义添加、修改字段类型及类型映射管理。

商用

详情请参见DGC用户指南的规范设计

2

管理中心

  • 新增DIS类型数据源。

商用

详情请参见DGC用户指南的管理中心

3

数据资产

  • 数据分类支持用户确认机制。
  • HBase数据表支持数据预览。
  • 资产总览交互优化、数据目录查询的搜索结果提示优化。
  • 数据表权限按照数据连接分类。

商用

详情请参见DGC用户指南的数据资产

4

数据开发

  • 新增跨空间作业依赖调度。
  • 新增OBSUtil内嵌对象。

商用

详情请参见DGC用户指南的数据开发

2020年5月

序号

功能名称

功能描述

阶段

相关文档

1

规范设计

  • DDL模板功能增强,支持实时预览编辑结果。
  • 所有对象开放版本管理,所有审批对象支持版本管理、版本对比、变化信息查看。
  • 规范设计概览增加标准引用统计。
  • 维度管理功能增强,增加码表维度、层级维度管理。

商用

详情请参见DGC用户指南的规范设计

2

管理中心

  • 工作空间支持冻结及解冻。

商用

详情请参见DGC用户指南的管理中心

3

数据资产

  • 数据资产审计功能增强,新增密级变更审计。
  • 数据目录权限支持基于密级配置。
  • 数据目录支持指标资产管理。

商用

详情请参见DGC用户指南的数据资产

4

数据服务

数据服务专享版上线,支持对接API专享版、ROMA-APIC网关。

商用

详情请参见DGC用户指南的数据服务

5

数据开发

  • 数据开发支持跨账号作业调度。
  • 支持MRS Presto SQL节点。
  • 支持OCR节点。

商用

详情请参见DGC用户指南的数据开发

6

数据集成

支持从Hive到DWS数据源的整库迁移。

商用

详情请参见DGC用户指南的数据集成

2020年3月

序号

功能名称

功能描述

阶段

相关文档

1

规范设计

  • 关系建模支持DWS和MRS Hive。
  • 关系建模支持批量导入/导出关系和映射,并支持自动创建关系名称和映射名称,映射支持跨模型配置。
  • 支持导出关系模型。
  • 数据模型可视化。
  • 数据标准的允许值、码表、字符串长度支持自动生成数据质量规则。
  • 码表导入支持自动生成标准,进而模型可以直接使用码表。
  • 主题设计支持排序。
  • 表模型支持按同步状态过滤。
  • 支持逻辑模型:支持模型创建、模型继承、模型可视化、模型转换为物理模型。
  • 支持单张表发布历史管理(版本管理):支持变更历史、变更详情、变更脚本查看、支持版本对比。
  • 支持数据标准、码表带目录全量导入导出。

商用

详情请参见DGC用户指南的规范设计

2

管理中心

  • 新增支持Shell和Kafka。
  • 新建数据连接去除Agent的依赖,支持VPC终端节点。

商用

详情请参见DGC用户指南的管理中心

3

数据资产

  • 元数据采集任务日志可以实时刷新。
  • 支持字段级数据血缘(DLISQL、DWSSQL、CDMJOB、MRSHiveSQL)。
  • 支持数据预览,可以预览表中的业务数据内容。
  • 数据安全支持数据分类,可以自动进行数据分类。
  • 支持DLI表权限控制。
  • 支持Hive、DWS的元数据更新、删除策略。
  • 数据搜索支持筛选未分级分类的数据资产。
  • 去除Mysql数据类型,统一使用RDS-Mysql类型。
  • 支持数据脱敏。

商用

详情请参见DGC用户指南的数据资产

4

数据服务

  • 支持管理实例。
  • 支持无认证、黑白名单、IAM的Token认证。
  • 支持不限层级的数据服务目录。
  • 支持HBase数据源(rowkey、scan的prefixFilter)。

商用

详情请参见DGC用户指南的数据服务

5

数据开发

  • 支持全链路监控。
  • 作业调度支持事件驱动,支持MRS Kafka。
  • 重跑作业实例时,支持选择所有依赖的节点重跑。
  • 补历史数据操作流程优化。

商用

详情请参见DGC用户指南的数据开发

6

数据质量

  • 支持问题数据生成,当前仅MRS部分规则支持该功能,支持的规则在Console界面上有提示,异常数据规则固定(不是按报警条件的异常数据)。
  • 支持自定义SQL创建数据质量作业。
  • 业务指标监控自定义SQL长度放大到16KB。

商用

详情请参见DGC用户指南的数据质量

7

数据集成

  • 批量数据迁移针对HDFS(CSV)支持写文件头。
  • 批量数据迁移在大规模任务提交时支持队列功能,保持专线使用率。
  • 批量数据迁移支持OBS->HDFS文件列表迁移功能。
  • 批量数据迁移内存过载保护。
  • 批量数据迁移数据库性能优化。
  • 实时数据接入支持高级通道收费。
  • 实时数据接入对接安全OBS。
  • 实时数据接入支持订阅指定通道的告警。

商用

详情请参见DGC用户指南的数据集成

历史变更

关于数据湖治理中心(DGC)更多历史版本变更内容,请单击“查看PDF”详细了解。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问
{{site}}{{lan}}
{{site}}{{language}}