更新时间:2024-08-05 GMT+08:00

DataArts Studio使用流程

数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据,加快数据变现,实现数字化转型。

DataArts Studio使用流程简介

使用DataArts Studio平台,通常包括以下步骤:
表1 DataArts Studio全流程开发

主流程

说明

子任务

操作指导

流程设计

在使用DataArts Studio前,建议您通过流程设计提前分析业务情况,明确业务诉求,并结合DataArts Studio服务的能力进行业务流程设计。
  1. 需求分析。分析业务情况,明确业务诉求,并提炼出数据治理流程的实现框架,支撑具体数据治理实施流程的设计。
  2. 业务调研。明确DataArts Studio服务的能力边界,并分析后续的业务负载情况。
  3. 流程设计。以实际业务情况结合DataArts Studio服务的业务能力,完成数据治理业务流程设计,后续的数据治理操作均基于所设计的业务流程完成。
  1. 需求分析
  2. 业务调研
  3. 流程设计

流程设计与实际业务强相关,您可以参考基于出租车出行数据的数据治理流程设计进行流程设计,或通过咨询了解。

购买并配置DataArts Studio

如果您是第一次使用DataArts Studio,需要先完成注册华为账号、购买DataArts Studio实例、创建工作空间等一系列操作。

购买并配置DataArts Studio

购买并配置DataArts Studio

授权用户使用DataArts Studio

如果您需要授权其他IAM用户使用DataArts Studio,则需要完成创建用户并授权的操作。

授权用户使用DataArts Studio

授权用户使用DataArts Studio

管理中心

根据自身的业务特点和源数据类型,进行数据存储与分析系统的选型,选取合适的云服务用于存储源数据并进行数据查询和分析。然后,创建该云服务相应的数据连接。

新建数据连接

创建DataArts Studio数据连接

数据集成

通过DataArts Studio平台将源数据上传或者接入到云上。

数据集成提供同构/异构数据源之间批量数据迁移的服务,支持自建和云上的文件系统,以及关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。

数据集成

支持的数据源

创建CDM集群

创建CDM与数据源之间的连接

新建表/文件迁移作业

数据目录(元数据采集)

为了在DataArts Studio对迁移到云上的原始数据层进行管理和监控,先对其元数据进行采集并监控。

元数据采集

采集数据源的元数据

数据架构

数据架构以关系建模、维度建模理论支撑实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。

根据业务需求设计关系模型、维度模型,在数据架构模块中,逐步建立模型中的对象,例如维度、事实表、指标、汇总表等。

添加审核人

添加审核人

管理配置中心

管理配置中心

流程设计

流程设计

主题设计

主题设计

码表管理

新建码表

制定数据标准

新建数据标准

关系建模

关系建模

维度建模

维度建模

业务指标

业务指标

技术指标

技术指标

数据集市建设

数据集市

数据开发

可管理多种大数据服务,提供一站式的大数据开发环境。

使用DataArts Studio数据开发,用户可进行数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控等操作,轻松完成整个数据的处理分析流程。

数据管理

数据管理流程

脚本开发

脚本开发流程

作业开发

作业开发流程

运维调度

运维概览

数据质量

对业务指标和数据指标进行监控。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。支持数据的标准化,能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。

业务指标监控

新建指标

新建规则

新建业务场景

数据质量监控

新建数据质量规则

新建数据质量作业

新建数据对账作业

数据目录(数据地图与数据权限)

DataArts Studio数据目录模块中,您可以查看数据地图,还可以进行数据权限管理。

数据地图

查看工作空间内的数据资产

数据权限

数据权限简介

数据服务

统一管理对内对外的API服务,提供快速将数据表生成数据API的能力,同时支持将现有的API快速注册到数据服务平台以统一管理和发布。

开发API

购买并管理专享版集群

新建数据服务审核人

创建API

调试API

发布API

管理API

编排API

配置API调用流控策略

授权API调用

调用API

申请API授权

通过不同方式调用API