文档首页 > > 快速入门>

示例场景说明

示例场景说明

分享
更新时间:2021/05/14 GMT+08:00
本文档是一个DGC入门教程,旨在介绍如何在DGC平台完成端到端的全流程数据运营。基于某市的出租车出行数据,使用DGC实施数据治理。期望通过实施数据治理达到以下目标:
  • 数据标准化、模型标准化
  • 统一统计口径,提供高质量数据报告
  • 数据质量监控告警
  • 统计每天收入
  • 统计某月收入
  • 统计不同支付类型收入占比

流程简介

完成本入门教程所涉及的数据运营流程如下图所示:

图1 DGC使用流程

本入门指导将参考如表1所示的流程,实现示例场景的数据治理和运营。

表1 DGC数据运营流程

主流程

说明

子任务

操作指导

步骤1:流程设计

在使用DGC前,您需要进行业务调研和需求分析设计。

需求分析、业务调研与业务流程设计

需求分析

业务调研

流程设计

步骤2:准备工作

如果您是第一次使用DGC,请先完成注册华为云帐号、购买DGC实例、创建工作空间等一系列操作。

使用DGC前的准备

使用DGC前的准备

模拟源数据,本示例源端数据为OBS文件。

除了获取数据源的连接地址等信息,还需确保数据源所在的主机和华为云网络互通。

准备数据源

准备数据源

根据业务场景选择符合需求的云服务或数据仓库作为数据湖,用于存储原始数据和数据治理过程中的数据,并进行数据开发、服务和运营。

准备数据湖

准备数据湖

在管理中心创建数据连接

创建数据库

创建数据表

步骤3:数据集成

通过DGC平台将源数据上传或者接入到云上。

  • 批量数据迁移:可以将离线或历史数据迁移到云上。提供同构/异构数据源之间批量数据迁移的服务,支持单表/文件迁移、整库迁移、增量迁移,支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。
  • 实时数据接入:可以将实时数据接入到云上。

批量数据迁移

  1. 创建访问密钥(AK和SK)
  2. 新建数据迁移的源连接、目的连接
  3. 新建表/文件迁移作业

实时数据接入

本示例不涉及

步骤4:数据资产采集

为了在DGC平台中对迁移到云上的原始数据层进行管理和监控,必须先对其元数据进行采集并监控。

元数据采集

步骤4:数据资产采集

步骤5:规范设计

规范设计以关系建模、维度建模理论支撑实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。

添加审核人

添加审核人

主题设计

主题设计

码表管理

新建码表并发布

数据标准

新建数据标准并发布

关系建模

关系建模:新建SDI层和DWI层两个模型

维度建模

维度建模:在DWR层新建并发布维度

维度建模:在DWR层新建并发布事实表

维度建模:在DM层新建并发布汇总表

指标设计

指标设计:新建并发布技术指标

步骤6:数据开发

可管理多种大数据服务,提供一站式的大数据开发环境。

使用DGC数据开发,用户可进行数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控等操作,轻松完成整个数据的处理分析流程。

脚本开发

脚本开发

开发批处理作业

开发批处理作业

运维调度

运维调度

步骤7:数据质量监控

对业务指标和数据指标进行监控。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。支持数据的标准化,能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。

业务指标监控

本示例不展开描述。

数据质量监控

查看质量作业

步骤8:数据资产管理

DGC数据资产模块中,您可以查看数据地图,还可以对数据资产进行数据权限管理和数据安全管理。

数据地图

查看业务资产和技术资产

数据权限

本示例不涉及

步骤9:数据服务API开发

统一管理对内对外的API服务,提供快速将数据表生成数据API的能力,同时支持将现有的API快速注册到数据服务平台以统一管理和发布。

添加审核人

添加审核人

新建API并发布

创建API并发布API

审核人员审核API

授权/申请权限

添加授权

调用API

调用API

运营管理

本示例不展开描述。

分享:

    相关文档

    相关产品