的情况下，同步任务将执行对源端数据向目标端数据的全量同步。在组件上可以看到同步的数据量及运行时长等信息。 图5 全量同步 数据补录 当发生源端历史数据变更等情况时，通过在读取组件自定义 SQL，可以添加针对日期字段进行过滤的 WHERE 条件，可以实现针对特定时间段的数据补录需要。 图6 数据补录 增量同步

查看更多 →

数据集成 数据集成主要包含三块：离线集成，实时集成，集成任务。 图1 数据集成 离线集成 主要为结构化集成和非结构化集成两种，结构化集成主要是离线集成部署方式，非结构化集成为API部署方式。 结构化集成 图2 结构化集成 集成作业 图3 集成作业 任务名称：自定义数据 需求类型：目前只支持新增

查看更多 →

数据集成 支持接入的日志 接入数据 父主题： 设置

查看更多 →

数据集成 体积计算作业过程中，得到的计算结果有以下几种： 表1 体积计算产物类型 名称 文件类型 本地打开方式 云端集成 雷达一点 云地图 .pcd CloudCompare 可集成到客户系统实现可视化 雷达二点云地图 .pcd CloudCompare 可集成到客户系统实现可视化

查看更多 →

数据集成 数据集成普通任务 数据集成组合任务

查看更多 →

数据集成 数据集成概述、工具介绍及入湖范围 数据集成前探查 全量数据同步 增量数据同步 父主题： 实施步骤

查看更多 →

数据集成权限 表1 数据集成权限 权限 对应API接口 授权项（Action） 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建任务 POST /v2/{project_id}/fdi/instances/{instance_id}/tasks

查看更多 →

项目ID。 源端数据源ID 源端数据源ID。 目标端数据源ID 目标端数据源ID。 源端数据源的名称 源端数据源的名称。 目标端数据源的名称 目标端数据源的名称。 源端数据源所属集成应用ID 源端数据源所属集成应用ID。 目标端数据源所属集成应用ID 目标端数据源所属集成应用ID。 源端数据源所属集成应用名称

查看更多 →

数据集成API 集群管理 作业管理 连接管理 附：公共数据结构

查看更多 →

数据集成指导 业务使用介绍 接入数据源 创建数据集成任务（普通任务） 创建数据集成任务（组合任务） 创建数据集成任务（编排任务） 启停数据集成任务 数据集成任务管理 连接器

查看更多 →

数据集成任务 MRS Hive目标端写入时出现数据乱码 MRS Hive写入时数据全部写在第一个字段里 目标端任务报任务运行超时 MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes

查看更多 →

数据集成API 数据源管理 任务监控管理 任务管理

查看更多 →

数据集成概述 DataArts Studio 数据集成是一种高效、易用的数据集成服务，围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移（Cloud

查看更多 →

文档数据库（MongoDB） 文档数据库（MongoDB）为用户提供常见的文档数据操作管理功能，如查询文档、删除文档、更新文档等。完全兼容MongoDB协议，可以访问MongoDB数据库。包含“创建集合”、“删除集合”、“删除文档”等执行动作。 连接参数 创建文档数据库连接时连接

查看更多 →

数据转发至MongoDB存储 场景说明 对于平台的流转数据可以选择让平台将设备上报数据转发给文档数据库服务（DDS），由DDS进行存储（华为云DDS完全兼容MongoDB协议），用户无需做额外的数据存储代码开发即可使用设备数据进行业务处理。本示例为将流转数据转发至文档数据库服务存储。

查看更多 →

找。 描述 填写数据源的描述信息。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串 选择连接数据库模式。 否：由系统根据用户配置自动拼接数据源连接字符串。 是：由用户自己输入数据源连接字符串。 连接地址

查看更多 →

数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的 CDM 作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业，可以导出到本地保存。

查看更多 →

字段注释、数据类型、数据长度、数据量、数据主键、时间戳字段以及数据空值及分布情况等内容。在获取数据接入授权与数据源端连接信息后，确定数据探查方法并实施探查，参照数据标准与数据集成需求对探查结果进行分析，最终输出数据探查分析结果，形成问题清单，指导数据集成方案设计。 数据探查实施

查看更多 →

cdm_endpoint MySQL数据库 IP地址 本地的MySQL数据库的IP地址，且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户，该用户

查看更多 →

中的原始样例数据需要导入OBS中，并标准化为点数据集和边数据集。 MySQL到MRS Hive迁移作业：正式业务流程中，需要将MySQL中的原始样例数据需要导入MRS Hive中，并标准化为点数据集和边数据集。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式

查看更多 →

步骤3：数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集群

查看更多 →