更新时间:2023-12-22 GMT+08:00

DataArts Studio使用简介

数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据,加快数据变现,实现数字化转型。

DataArts Studio使用流程简介

使用DataArts Studio平台,通常包括以下步骤:
表1 DataArts Studio全流程开发

主流程

说明

子任务

操作指导

流程设计

在使用DataArts Studio前,建议您通过流程设计提前分析业务情况,明确业务诉求,并结合DataArts Studio服务的能力进行业务流程设计。
  1. 需求分析。分析业务情况,明确业务诉求,并提炼出数据治理流程的实现框架,支撑具体数据治理实施流程的设计。
  2. 业务调研。明确DataArts Studio服务的能力边界,并分析后续的业务负载情况。
  3. 流程设计。以实际业务情况结合DataArts Studio服务的业务能力,完成数据治理业务流程设计,后续的数据治理操作均基于所设计的业务流程完成。
  1. 需求分析
  2. 业务调研
  3. 流程设计

流程设计与实际业务强相关,您可以参考基于出租车出行数据的数据治理流程设计进行流程设计,或通过咨询了解。

准备工作

如果您是第一次使用DataArts Studio,需要先完成注册华为账号、购买DataArts Studio实例、创建工作空间、创建用户并授予DataArts Studio权限、添加工作空间成员和角色等一系列操作。

准备工作

准备工作

管理中心

根据自身的业务特点和源数据类型,进行数据存储与分析系统的选型,选取合适的云服务用于存储源数据并进行数据查询和分析。然后,创建该云服务相应的数据连接。

创建数据连接

管理数据连接

数据集成

通过DataArts Studio平台将源数据上传或者接入到云上。

数据集成提供同构/异构数据源之间批量数据迁移的服务,支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。

数据集成

支持的数据源

创建CDM集群

新建连接

新建表/文件迁移作业

数据目录(元数据采集)

为了在DataArts Studio对迁移到云上的原始数据层进行管理和监控,先对其元数据进行采集并监控。

元数据采集

元数据采集

数据架构

数据架构以关系建模、维度建模理论支撑实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。

根据业务需求设计关系模型、维度模型,在数据架构模块中,一步一步建立模型中的对象,例如维度、事实表、指标、汇总表等。

添加审核人

添加审核人

管理配置中心

管理配置中心

流程设计

流程设计

主题设计

主题设计

码表管理

新建码表

制定数据标准

新建数据标准

关系建模

关系建模

维度建模

维度建模

业务指标

业务指标

技术指标

技术指标

数据集市建设

新建汇总表

数据开发

可管理多种大数据服务,提供一站式的大数据开发环境。

使用DataArts Studio数据开发,用户可进行数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控等操作,轻松完成整个数据的处理分析流程。

数据管理

数据管理流程

脚本开发

脚本开发流程

作业开发

作业开发流程

运维调度

运维概览

数据质量

对业务指标和数据指标进行监控。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。支持数据的标准化,能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。

业务指标监控

新建指标

新建规则

新建业务场景

数据质量监控

新建规则模板

新建质量作业

新建对账作业

数据目录(数据地图与数据权限)

DataArts Studio数据目录模块中,您可以查看数据地图,还可以进行数据权限管理。

数据地图

数据地图简介

数据权限

数据权限简介

数据服务

统一管理对内对外的API服务,提供快速将数据表生成数据API的能力,同时支持将现有的API快速注册到数据服务平台以统一管理和发布。

开发API

准备工作

创建API

调试API

发布API

管理API

流量控制

调用API

调用API