文档首页 > > 产品介绍> 产品概述

产品概述

分享
更新时间: 2020/05/12 GMT+08:00

产品背景

企业在进行数据管理时,通常会遇到下列挑战。

  • 数据治理的挑战
    • 缺乏企业数据体系标准和数据规范定义的方法论,数据语言不统一。
    • 缺乏面向普通业务人员的高效、准确的数据搜索工具,数据找不到。
    • 缺乏技术元数据与业务元数据的关联,数据读不懂。
    • 缺乏数据的质量管控和评估手段,数据不可信。
  • 数据运营的挑战
    • 数据运营效率低,业务环境的快速变化带来大量多样化的数据分析报表需求,因为缺乏高效的数据运营工具平台,数据开发周期长、效率低,不能满足业务运营决策人员的诉求;
    • 数据运营成本高,数据未服务化,导致数据拷贝多、数据口径不一致,同时数据重复开发,造成资源浪费;
  • 数据创新的挑战
    • 企业内部存在大量数据孤岛,导致数据不共享、不流通,无法实现跨领域的数据分析与数据创新;
    • 数据的应用还停留在数据分析报表阶段,缺乏基于数据反哺业务推动业务创新的解决方案;

什么是智能数据湖运营平台

智能数据湖运营平台(DAYU)是为了应对上述挑战、针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台,包含数据集成、规范设计、数据开发、数据质量监控、数据资产管理、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。

产品架构如图1所示。

图1 产品架构
  • 数据集成

    支持批量数据迁移、实时数据集成和数据库实时同步,支持20+异构数据源,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。

  • 规范设计

    作为数据治理的一个核心模块,承担数据治理过程中的数据加工并业务化的功能,提供智能数据规划、自定义主题数据模型、统一数据标准、可视化数据建模、标注数据标签等功能,有利于改善数据质量,有效支撑经营决策。

  • 数据开发

    大数据开发环境,降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。支持数据建模、数据集成、脚本开发、工作流编排等操作,轻松完成整个数据的处理分析流程。

  • 数据质量

    数据全生命周期管控,数据处理全流程质量监控,异常事件实时通知。

  • 数据资产

    提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。

  • 数据服务

    标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。

  • 智能数据湖

    DAYU集成了丰富的数据引擎,支持对接所有华为云的数据湖与数据库云服务,例如DLI、DWS等,也支持对接企业传统数据仓库,例如Oracle、Greenplum等。

DAYU版本规格说明

表1 DAYU版本规格说明

DAYU功能

初级版

基础版

高级版

专业版

企业版

DAYU数据集成节点

节点数量:1个

规格名称:cdm.medium

vCPUs/内存:4核 8GB

基准/最大带宽:0.4/1.5Gbps

作业并发数:20

节点数量:1个

规格名称:cdm.medium

vCPUs/内存:4核 8GB

基准/最大带宽:0.4/1.5Gbps

作业并发数:20

节点数量:1个

规格名称:cdm.large

vCPUs/内存:8核 16GB

基准/最大带宽:0.8/3Gbps

作业并发数:30

节点数量:1个

规格名称:cdm.xlarge

vCPUs/内存:16核 32GB

基准/最大带宽:4/10Gbps

作业并发数:100

节点数量:1个

规格名称:cdm.xlarge

vCPUs/内存:16核 32GB

基准/最大带宽:4/10Gbps

作业并发数:100

数据作业节点调度次数/天

(包括数据开发作业、数据质量监控作业、元数据采集作业)

5,000次/天

20,000次/天

40,000次/天

80,000次/天

200,000次/天

数据治理支持的对象数量

(元数据采集、数据建模、质量监控等功能可操作的表、schema等对象数量)

不支持

1,000

2,000

4,000

10,000

实时数据接入通道

支持,需另外购买实时数据接入增量包

支持,需另外购买实时数据接入增量包

支持,需另外购买实时数据接入增量包

支持,需另外购买实时数据接入增量包

支持,需另外购买实时数据接入增量包

管理中心

规范设计

x

数据开发

数据质量

x

数据资产

x

数据服务

x

如何选择DAYU版本

版本

建议使用场景

初级版

建设初数据湖项目,无全职数据开发人员、不涉及数据治理。

基础版

拥有1~2名全职数据开发人员,原始数据规模小于1000张表。

高级版

拥有5~10名全职数据开发人员,有明确的数据标准、数据质量管理、数据规模小于2000张表。

专业版

有完善的数据管理团队和体系,拥有10~30名全职数据开发人员,中大型企业规模。

企业版

大型企业,多分支机构企业。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问