文档首页 > > 用户指南>

DGC使用简介

DGC使用简介

分享
更新时间:2021/04/30 GMT+08:00

数据湖治理中心DGC是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。

使用DGC的用户

根据人员的职能进行划分,使用DGC的用户主要可以分为以下四类。四类角色具有不同的DGC权限,详情请参见DGC权限列表

  • 管理员

    面向熟悉业务并具有管理、决策、审核权限的管理人员。管理员具有除创建工作空间之外的其他所有DGC权限,包括开发者权限、审核人员权限、工作空间管理、数据资产管理、配置管理等权限。例如,在规范设计、数据服务模块中,审核人员可以对开发人员发布的数据模型、API等数据对象进行审核,把好质量关。

  • 开发者

    面向数据建模师、熟悉脚本开发的开发人员。DGC为开发者提供了从管理中心、规范设计、数据集成、数据开发、数据质量、数据资产到数据服务的端到端开发和运营流程,帮助您快速、简单且高效地构建一个智能数据系统。

    数据系统构建完成后,其他开发人员就可以通过SDK的方式调用DGC提供的数据服务API进行数据分析。

    开发者具有除审核人员权限、工作空间及其成员管理等少数权限以外的大部分DGC权限。

  • 运维者

    面向运维人员。运维者主要具有查看详细信息、运维调度、资源监控等权限。DGC的数据资产360度全链路可视化,数据质量可检验,数据使用可控、可追溯,帮助运维人员实现端到端的作业调度和监控,从数据采集到数据消费运维一条龙服务。

  • 访客

    访客仅具备只读权限,可以查看详细信息。

DGC使用流程简介

DGC典型的端到端开发流程如下图所示:

图1 DGC使用流程
使用DGC平台,通常包括以下步骤:
表1 DGC全流程开发

主流程

说明

子任务

操作指导

准备工作

如果您是第一次使用DGC,需要先完成注册华为云帐号、购买DGC实例、创建工作空间、创建用户并授予DGC权限、添加工作空间成员和角色等一系列操作。

使用DGC前的准备

DGC准备工作

获取数据源的连接地址等信息,并确保数据源所在的主机和华为云网络互通。

准备数据源

准备数据源

根据业务场景选择符合需求的云服务作为数据湖,用于存储原始数据和数据治理过程中的数据,并进行数据开发、治理和运营。

准备数据湖

准备数据湖

创建数据连接

根据自身的业务特点和源数据类型,进行数据存储与分析系统的选型,选取合适的云服务用于存储源数据并进行数据查询和分析。然后,创建该云服务相应的数据连接。

创建数据连接

创建数据连接

数据集成(批量数据迁移)

通过DGC平台将源数据上传或者接入到云上。

批量数据迁移提供同构/异构数据源之间批量数据迁移的服务,支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。

批量数据迁移

支持的数据源

创建连接

创建作业

数据集成(实时数据接入)

通过DGC平台将源数据上传或者接入到云上。

实时数据接入可以将云下的实时数据接入到云服务中。

实时数据接入

按需计费方式购买实时数据接入的增量包

发送数据到接入通道

从DIS获取数据

数据资产采集

为了在DGC平台中对迁移到云上的原始数据层进行管理和监控,先对其元数据进行采集并监控。

元数据采集

元数据采集

规范设计

规范设计以关系建模、维度建模理论支撑实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。

根据业务需求设计关系模型、维度模型,在规范设计模块中,一步一步建立模型中的对象,例如维度、事实表、指标、汇总表等。

规范设计实施流程

规范设计流程简介

添加审核人

添加审核人

主题设计

主题设计

码表管理

码表管理

制定数据标准

数据标准

关系建模

关系建模

维度建模

维度建模

数据开发

可管理多种大数据服务,提供一站式的大数据开发环境。

使用DGC数据开发,用户可进行数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控等操作,轻松完成整个数据的处理分析流程。

脚本开发

脚本开发

作业开发

作业开发

数据质量监控

对业务指标和数据指标进行监控。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。支持数据的清洗和标准化,能够根据数据标准自动生成清洗和标准化的质量规则。支持周期性的监控和清洗。

业务指标监控

  1. 新建指标
  2. 新建规则
  3. 新建业务场景

数据质量监控

  1. 新建规则模板
  2. 新建质量作业

数据资产管理

DGC数据资产模块中,您可以查看数据地图,还可以对数据资产进行数据权限管理和数据安全管理。

-

数据地图

数据权限

数据安全

数据服务API开发

统一管理对内对外的API服务,提供快速将数据表生成数据API的能力,同时支持将现有的API快速注册到数据服务平台以统一管理和发布。

添加审核人

新建审核人

新建API并发布

新建API

发布API

审核API

授权/申请权限

调用API

调用API

运营管理

运营API

分享:

    相关文档

    相关产品