文档首页 > > 快速入门> DAYU使用流程简介

DAYU使用流程简介

分享
更新时间: 2020/06/17 GMT+08:00

本文档是一个DAYU入门教程,介绍了如何在DAYU控制台完成端到端的全流程数据运营。

智能数据湖运营平台(DAYU)是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。

使用DAYU的用户角色

根据DAYU使用人员的职能进行划分,使用DAYU的用户角色主要可以分为以下四类。四类角色具有不同的DAYU权限,详情请参见DAYU权限列表

  • 管理员

    面向熟悉业务并具有管理、决策、审核权限的管理人员。管理员具有除创建工作空间之外的其他所有DAYU权限,包括开发者权限、审核人员权限、工作空间管理、数据资产管理、配置管理等权限。例如,在规范设计、数据服务模块中,审核人员可以对开发人员发布的数据模型、API等数据对象进行审核,把好质量关。

  • 开发者

    面向数据建模师、熟悉脚本开发的开发人员。DAYU为开发者提供了从管理中心、规范设计、数据集成、数据开发、数据质量、数据资产到数据服务的端到端开发和运营流程,帮助您快速、简单且高效地构建一个智能数据系统。

    数据系统构建完成后,其他开发人员就可以通过SDK的方式调用DAYU提供的数据服务API进行数据分析。

    开发者具有除审核人员权限、工作空间及其成员管理等少数权限以外的大部分DAYU权限。

  • 运维者

    面向运维人员。运维者主要具有查看详细信息、运维调度、资源监控等权限。DAYU的数据资产360度全链路可视化,数据质量可检验,数据使用可控、可追溯,帮助运维人员实现端到端的作业调度和监控,从数据采集到数据消费运维一条龙。

  • 访客

    访客仅具备只读权限,可以查看详细信息。

DAYU使用流程简介

DAYU典型的端到端数据运营流程如下图所示:

图1 DAYU使用流程
表1 DAYU数据运营流程

主流程

说明

子任务

操作指导

步骤1:准备工作

如果您是第一次使用DAYU,请先完成注册华为云账号、购买DAYU实例、创建工作空间等一系列操作。

使用DAYU前的准备

使用DAYU前的准备

获取数据源的连接地址等信息,并确保数据源所在的主机和华为云网络互通。

准备数据源

准备数据源(源端)

根据业务场景选择符合需求的云服务或数据仓库作为数据湖,用于存储原始数据和数据治理过程中的数据,并进行数据开发、服务和运营。

准备数据湖

准备数据湖(目的端)

步骤2:数据集成

通过DAYU平台将源数据上传或者接入到云上。

  • 批量数据迁移:可以将离线或历史数据迁移到云上。提供同构/异构数据源之间批量数据迁移的服务,支持单表/文件迁移、整库迁移、增量迁移,支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。
  • 实时数据接入:可以将实时数据接入到云上。

批量数据迁移

  1. 创建访问密钥(AK和SK)
  2. 新建数据迁移的源连接、目的连接和迁移作业

实时数据接入

本示例不涉及

步骤3:数据资产采集

为了在DAYU平台中对迁移到云上的原始数据层进行管理和监控,必须先对其元数据进行采集并监控。

-

步骤3:数据资产采集

步骤4:规范设计

规范设计以关系建模、维度建模理论支撑实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。

规范设计实施流程

规范设计实施流程

添加审核人

添加审核人

主题设计

主题设计

标准管理

本示例不涉及

关系建模

  1. 模型设计
  2. 审核人员审核对象

维度建模

本示例不涉及

指标建设

本示例不涉及

步骤5:数据开发

可管理多种大数据服务,提供一站式的大数据开发环境。

使用DAYU数据开发,用户可进行数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控等操作,轻松完成整个数据的处理分析流程。

脚本开发

脚本开发

开发批处理作业

开发批处理作业导入历史数据

步骤6:数据质量监控

对业务指标和数据指标进行监控。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。支持数据的清洗和标准化,能够根据数据标准自动生成清洗和标准化的质量规则。支持周期性的监控和清洗。

业务指标监控

  1. 新建指标
  2. 新建规则
  3. 新建业务场景
  4. 运行业务场景并查看监控结果

数据质量监控

本示例不展开描述。

步骤7:数据资产管理

在DAYU数据资产模块中,您可以查看数据地图,还可以对数据资产进行数据权限管理和数据安全管理。

-

步骤7:数据资产管理

步骤8:数据服务API开发

统一管理对内对外的API服务,提供快速将数据表生成数据API的能力,同时支持将现有的API快速注册到数据服务平台以统一管理和发布。

添加审核人

添加审核人

新建API并发布

创建API并发布API

审核人员审核API

授权/申请权限

添加授权

调用API

调用API

运营管理

本示例不展开描述。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问