中软国际数据治理专业服务解决方案实践

读取Hudi数据概述 Hudi的读操作，作用于Hudi的三种视图之上，可以根据需求差异选择合适的视图进行查询。 Hudi支持多种查询引擎Spark、Hive、HetuEngine，具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y

查看更多 →

如果需要将原Kafka的已消费数据也迁移到Kafka实例，可以使用Smart Connect工具，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例，具体步骤请参考配置Kafka间的数据复制。 需要注意的是，云上Kafka实例为3

查看更多 →

数据连接概述 DLV 提供了丰富的数据源，您在使用大屏时可以根据数据存储的位置，进行数据连接，在大屏上展示数据结果。 登录DLV控制台，单击“我的数据”，您可以对数据源进行管理。 DLV目前支持接入以下几种类型的数据源： API类 数据库类 文件类 其他 API类 DLV目前只支持API数据源。

查看更多 →

全量校验：全量对比所有数据，适用与需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。 小时级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。在24小

查看更多 →

数据管理概述 仿真数据管理提供数据的生命周期管理、使用云端数据进行在线前处理和提交云端求解计算的能力。 仿真数据生命周期管理：支持文件夹生命周期管理（新建、重命名、下载、移动、复制和删除文件夹）和数据生命周期管理（上传、重命名、下载、移动、复制和删除数据）。 提交云端求解（创建作

查看更多 →

业数字模型驱动引擎-数据建模引擎（xDM Foundation，简称xDM-F）的数据模型包括数据实体、关系实体和接口模型三种类型。应用责任人或应用开发人员可通过图形化方式进行建模，无需关心底层数据表的设计，通过创建数据模型即可定义应用的数据模型格式。 数据实体 实体指现实世界中

查看更多 →

数据实例概述 数据实例是数据模型实例化的数据。当数据实体和关系实体同时满足如下条件时，可以在应用运行态管理数据实例。 表1 实例约束 实体类型 满足条件 数据实体 “模型类型”为“实体模型”的数据实体。 已在设计态中发布且部署至运行态。 基本信息中的“实例界面显示”选择为“是”。

查看更多 →

Kafka数据消费概述 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数

查看更多 →

示。 图11 大屏效果 单击右上角右“保存”，输入大屏的名称，单击“确定”，大屏保存成功。 步骤5：管理大屏 切换大屏发布状态 在控制台右侧“我的项目”单击项目名称，进入项目页面。 单击“数据分析 > 大屏”，进入大屏页面。 单击大屏名称，进入大屏编辑页面。 发布大屏：单击页面右上角“保存并发布”，大屏发布成功。

查看更多 →

数据源配置概述 IoT数据分析服务支持多种数据源类型，用户可选择合适的数据源并进行配置： IoTDA实时数据源：将IoT 设备接入服务 （IoTDA）作为数据源，IoT设备接入服务将转发设备上报的数据到IoT数据分析服务，之后您可以通过IoT数据分析服务分析设备上报数据。 DIS数据

查看更多 →

敏感数据识别概述 敏感数据自动识别分类，从海量数据中自动发现并分析敏感数据使用情况，基于数据识别引擎，对其储存结构化数据（RDS、DWS等）和非结构化数据（OBS）进行扫描、分类、分级，解决数据“盲点”，以此做进一步安全防护。 使用约束 对于 MRS 中的HIVE数据，在敏感数据识别

查看更多 →

"true" ); 在开启了写时合并选项的Unique表中，数据在导入阶段就会将被覆盖和被更新的数据进行标记删除，同时将新的数据写入到新的文件。在查询时，所有被标记删除的数据都会在文件级别被过滤，读取出来的数据是最新的数据，消除了读时合并中数据聚合的过程，并且支持多种谓词的下推，因此在聚合查询场景下能带来较大的性能提升。

查看更多 →

数据集服务概述 通过介绍如何使用数据集服务发布数据集、配置数据集授权、订阅数据集和下载数据集，指导您快速上手使用数据集服务。 角色介绍 数据服务中定义了7个角色，如表1所示。 表1 数据服务角色介绍 角色名称 说明 Data Acquisition Engineer 表示数据采集

查看更多 →

MRS集群元数据概述 MRS的数据连接用于管理集群中组件使用的外部源连接，如Hive的元数据可以通过数据连接关联使用外部的关系型数据库。 本地元数据：元数据存储于集群内的本地 GaussDB 中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。 外置数据连接：

查看更多 →

CarbonData数据类型概述 简介 CarbonData中的数据存储在table实体中。CarbonData table与RDBMS中的表类似。RDBMS数据存储在由行和列构成的表中。CarbonData table存储的也是结构化的数据，拥有固定列和数据类型。 支持数据类型 CarbonData支持以下数据类型：

查看更多 →

数据库使用概述 云数据库GaussDB实例创建成功后，您可根据业务需要，通过DAS或SQL语句方式进行创建数据库、创建数据库用户、创建表、向表中插入数据、删除表中数据等数据库的基本操作，如表1所示。 进行数据库基本操作时，需要遵循相关设计规范建议，详情请参见开发设计建议。 您还可

查看更多 →

date Date timestamp DateTime 数据比较任务 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。相关操作请参见创建CDL数据比较任务作业。 父主题： 使用CDL

查看更多 →

CarbonData数据类型概述 简介 CarbonData中的数据存储在table实体中。CarbonData table与RDBMS中的表类似。RDBMS数据存储在由行和列构成的表中。CarbonData table存储的也是结构化的数据，拥有固定列和数据类型。 支持数据类型 CarbonData支持以下数据类型：

查看更多 →

从MRS导入数据概述 MapReduce服务 （MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海

查看更多 →

迁移数据场景概述 为了将分散在不同系统中的数据迁移到 DLI ，确保数据可以在DLI集中分析和管理，你可以通过云数据迁移服务 CDM 等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率。

查看更多 →

迁移其他RocketMQ的元数据到华为云上RocketMQ实例。其他RocketMQ元数据包括如下内容： 其他厂商的RocketMQ元数据 自建RocketMQ实例的元数据 华为云上另一个RocketMQ实例的元数据 迁移RabbitMQ的元数据到华为云上RocketMQ实例。

查看更多 →