中软国际数据治理专业服务解决方案实践

读取Hudi数据概述 Hudi的读操作，作用于Hudi的三种视图之上，可以根据需求差异选择合适的视图进行查询。 Hudi 支持多种查询引擎Spark、Hive、HetuEngine，具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y

查看更多 →

读取Hudi数据概述 Hudi的读操作，作用于Hudi的三种视图之上，可以根据需求差异选择合适的视图进行查询。 Hudi 支持多种查询引擎Spark和Hive，具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y Spark（SparkSQL）

查看更多 →

数据源概述 数据源是数据分析的基础，首先要将数据源接入DataArts Insight后再分析数据。 当前DataArts Insight支持接入 GaussDB (DWS)数据源、GaussDB数据源、MySQL数据源、PostgreSQL数据源、Doris数据源、ClickHou

查看更多 →

导出ORC数据概述 GaussDB(DWS)数据库支持通过HDFS外表导出ORC格式数据至 MRS ，通过外表设置的导出模式、导出数据格式等信息来指定导出的数据文件，利用多DN并行的方式，将数据从GaussDB(DWS)数据库导出到外部，存放在HDFS文件系统上，从而提高整体导出性能。

查看更多 →

数据集成概述 DataArts Studio 数据集成是一种高效、易用的数据集成服务，围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移（Cloud

查看更多 →

数据血缘方案概述 什么是数据血缘 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中

查看更多 →

师查询数据时，支持通过动态脱敏策略或字段访问权限来保护敏感数据。 统一数据安全策略：包括统一权限治理、敏感数据治理、隐私保护策略和数据安全运营四大能力。 数据安全组件当前在上海一、上海二、乌兰察布一、华南广州和北京四区域部署上线。 使用场景 数据安全可满足不同角色（如数据开发工程

查看更多 →

从MRS导入数据概述 MapReduce服务 （MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海

查看更多 →

运维数据开发概述 监控服务提供对运维数据进行处理的能力，请参见表1，已获取服务运维岗位权限人员可以进行运维数据处理。 表1 运维数据开发功能说明 功能 数据类型 说明 数据管理 Kafka 按照分布式事务日志架构的大规模发布/订阅消息队列，用于日志数据及spark和flink清洗后的数据存储的消息队列。

查看更多 →

keyspace命令查询得到。 用于确认迁移是否涉及多数据库，非AOF文件方式迁移，部分开源工具可能须逐库处理导出和导入。 D CS 缓存实例中，单机和主备实例支持0-255共256个数据库，集群默认只提供一个数据库。 各数据库的key数量 用于迁移后进行数据完整性验证。 数据类型 CDM 迁移服务当前支持H

查看更多 →

数据库治理概述 数据库治理（WiseCloudDBAService，WiseDBA）是一站式数据库管理平台与数据库专家服务。为用户提供数据库台账、自动化SQL变更、数据查询、数据库风险诊断等功能。 构建云原生DevOps全流程可信build-in的数据库治理解决方案，业务开箱即用。

查看更多 →

运维数据采集概述 监控服务支持采集主机各项监控指标，并以报表的形式呈现监控指标数据。 功能说明 表1 运维数据采集功能说明 功能 说明 插件管理 用户可在插件管理界面下载插件或查看插件详情。 模板管理 用户可在模板管理界面定义本服务的监控模板，在模板内用户可添加需要使用的插件。 绑定管理

查看更多 →

RocketMQ元数据迁移概述 操作场景 RocketMQ业务迁移主要涉及以下场景： 将其他厂商的RocketMQ迁移到云上RocketMQ实例 将自建的RocketMQ迁移到云上RocketMQ实例 将云上一个RocketMQ实例迁移到云上另一个RocketMQ实例 迁移准备 配置网络环境。

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

数据集服务概述 通过介绍如何使用数据集服务发布数据集、配置数据集授权、订阅数据集和下载数据集，指导您快速上手使用数据集服务。 角色介绍 数据服务中定义了7个角色，如表1所示。 表1 数据服务角色介绍 角色名称 说明 Data Acquisition Engineer 表示数据采集

查看更多 →

运维数据开发概述 监控服务提供对运维数据进行处理的能力，请参见表1，已获取服务运维岗位权限人员可以进行运维数据处理。 表1 运维数据开发功能说明 功能 数据类型 说明 数据管理 Kafka 按照分布式事务日志架构的大规模发布/订阅消息队列，用于日志数据及spark和flink清洗后的数据存储的消息队列。

查看更多 →

CarbonData数据类型概述 简介 CarbonData中的数据存储在table实体中。CarbonData table与RDBMS中的表类似。RDBMS数据存储在由行和列构成的表中。CarbonData table存储的也是结构化的数据，拥有固定列和数据类型。 支持数据类型 CarbonData支持以下数据类型：

查看更多 →

CarbonData数据类型概述 简介 CarbonData中的数据存储在table实体中。CarbonData table与RDBMS中的表类似。RDBMS数据存储在由行和列构成的表中。CarbonData table存储的也是结构化的数据，拥有固定列和数据类型。 支持数据类型 CarbonData支持以下数据类型：

查看更多 →

date Date timestamp DateTime 数据比较任务 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。相关操作请参见创建CDL数据比较任务作业。 父主题： 使用CDL

查看更多 →

如图6所示，选择开发场景为“大屏”，单击右侧区域的“开发”，进入到配置的AppCube大屏开发环境。 图6 进入大屏开发环境 如果使用系统默认提供开发环境，进入到默认环境的业务大屏。 如果使用配置的开发环境，进入到配置的开发地址，配置的地址不是直接进入业务大屏，参见下图进入业务大屏。 如图7所示，单击“导入项目包”。

查看更多 →