方案概述

应用场景

企业数据中台建设

随着企业信息化日臻完善以及DT时代的来临，数据量不断加速增长，企业信息化建设开始出现诸多发展瓶颈和痛点

• 实时性要求越来越高，旧有的企业数据管理和分析体系无法支持业务系统的柔性响应、精准服务、快速迭代等需要，迫切需要建设数据中台，以更好的实现数据汇聚链接，驱动企业决策。
• 大数据发展至今，技术组件纷繁复杂，而企业缺乏统一的开发和管理工具，导致数据中台的建设存在成本高、周期长、建设运维复杂等痛点。
• 随着信息化的深入，在传统烟囱式IT建设方式下，企业独立采购或者自建的各种企业信息系统，在内部形成诸多数据孤岛。

通过本方案实现的业务效果：

• 平台组件统一部署，开发工具开箱即用，可视化开发维护易使用，数据任务智能化监控，异常告警及时处理。
• 非浸入式地多种不同存储引擎之间实时同步，进行数据统一汇聚，解决数据孤岛问题，基于WAL架构下的CKP异常自动保存技术，实现断点续传，面对再复杂的网络状况，也能保证数据传输的稳定性。
• 兼容多种技术组件，屏蔽技术细节，支持多人协作，从而降低系统建设复杂度，提高建设效率，缩短上线时间。
• 提供统一的企业数据共享服务，对数据消费方实行严格的数据权限管控，同时监控和分析服务来评估数据价值。
• 提供数据安全能力，基于多租户技术保障业务隔离和数据隔离，使用数据权限保证，从数据采集、数据存储、数据传输到数据使用的各个环节进行权限控制。
• 提供规范的数据模型、加工及服务能力，保障建模流程规范可控，使企业数据标准化。

方案架构

图1 架构图

方案描述：

• 基于华为云计算底座构建基于开源、易于开发、面向业务的大数据平台，实现数据的集中管理；
• 统一数据标准，统一统计口径，实现各业务系统间数据打通、端到端的数据处理及应用；
• 打造支撑企业战略发展的核心指标体系，提供了精准、高效的数据指标服务，切实有效地帮助管理者提升业务洞察和辅助决策能力。

方案优势

• 实时高性能数据同步：基于CDC机制，实现复网络环境下的实时数据实时同步，轻松应对海量异构数据源，全面覆盖各类数据同步场景
• 技术兼容开放：兼容开源生态，支持多种计算引擎并可随心切换；兼容多种存储标准，满足多模态数据存储需求
• 简单易用多人协作：提供敏捷开发IDE，通过简单SQL编译即可让企业拥有大数据开发能力；多人协作设计、开发提高效率，缩短开发周期
• 生态开放：对外提供数据基础设施的各项能力，通过OpenAPI，助力实现多种大数据应用业务场景。
• 全流程数据质量监控：支持ETL全流程的事前、事中、事后数据质量检查和告警，形成数据质量报告，帮助客户提升数据质量。
• 一站式数据开发：覆盖数据采集、建模、离线/实时开发、运维监控、服务开发等环节，数据开发者只需专注于业务开发；
• 支持复杂调度场景：支持ETL流程多层嵌套、跨项目、跨流程依赖调度，支持不同周期时间的调度。