-
数据集成API概览
![]()
数据集成API概览 表1 数据集成API类型 类型 说明 集群管理 集群管理类型接口。 作业管理 作业管理类型接口。 连接管理 连接管理类型接口。 集群管理 表2 集群管理 API 说明 流控策略 查询集群详情 查询集群详情接口。 cdm_common 删除集群 删除集群接口。 cdm_b
来自：帮助中心 -
FDI各类数据库支持哪些数据类型？
![]()
FDI各类数据库支持哪些数据类型？ FDI各类数据库支持的数据类型有： Kafka数据库：string MySQL数据库：integer，bigint，number，varchar，char，float，date，timestamp，datetime Oracle数据库：inte
来自：帮助中心 -
用户创建的FDI任务，同一账号的其他用户可见吗？
![]()
用户创建的FDI任务，同一账号的其他用户可见吗？ FDI任务是做的用户隔离，如果没有授权，同一账号的其他用户看不到，用户要看到其他用户的任务需要通过集成应用授权。 父主题： 数据集成普通任务
来自：帮助中心 -
数据集成配置数据搬迁
-
使用ROMA Connect集成数据
![]()
使用ROMA Connect集成数据 概述 ROMA Connect支持接入多种类型的数据源，并通过数据集成任务实现源端到目标端的数据集成转换。ROMA Connect支持相同结构数据之间进行集成转换，也支持异构数据之间进行集成转换。 本章节通过完成一个API到MQS的数据集成配置样例，帮助您快速熟悉使用ROMA
来自：帮助中心 -
DWS变成只读状态导致FDI任务运行失败
![]()
DWS变成只读状态导致FDI任务运行失败 原因分析 在DWS磁盘空间达到阈值，例如80%，或者某些大数据量的表存在数据倾斜时，DWS集群会变为只读状态。从FDI侧来看，在某个时间点，所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题，恢复数据库服务后，如果FDI的任务停止时
来自：帮助中心 -
数据集成组合任务
![]()
forma”错误 FDI任务失败，修改问题后任务写入仍然报错 表名存在乱码导致Camel访问数据库失败 插入数据违反非空约束 DWS变成只读状态导致FDI任务运行失败 向DWS写入数据时越来越慢怎么解决
来自：帮助中心 -
数据集成任务管理
![]()
-
数据集成（实时作业）
![]()
数据集成（实时作业） 问题案例总览 数据源和migration资源组网络不通如何排查？ 数据源安全组放通哪些端口可满足Migration访问？ 如何配置Hudi Compaction的Spark周期任务？ MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL
来自：帮助中心 -
数据集成（离线作业）
![]()
数据集成（离线作业） 离线作业概述 约束限制 支持的数据源 使用前自检概览 网络打通 新建离线处理集成作业 配置离线处理集成作业 配置作业源端参数 配置作业目的端参数 字段转换器配置指导 新增字段操作指导
来自：帮助中心 -
启停数据集成任务
![]()
启停数据集成任务 概述 数据集成任务创建后，“任务状态”为“停止”状态，此时任务不会执行，需先启动任务。 定时任务启动后，ROMA Connect按照任务计划进行数据集成。首次执行时，会把所有符合条件的源端数据集成到目标端，后续根据任务配置，集成符合条件的全量数据或只集成增量数据。
来自：帮助中心 -
查看数据集成任务
![]()
查看数据集成任务 概述 数据集成任务创建后，您可以查看任务的相关信息，包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置，修改任务的操作跟创建任务类似，具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息，避免目标端出现脏数据或者数据集成不完
来自：帮助中心 -
数据集成前探查
![]()
字段注释、数据类型、数据长度、数据量、数据主键、时间戳字段以及数据空值及分布情况等内容。在获取数据接入授权与数据源端连接信息后，确定数据探查方法并实施探查，参照数据标准与数据集成需求对探查结果进行分析，最终输出数据探查分析结果，形成问题清单，指导数据集成方案设计。 数据探查实施
来自：帮助中心 -
创建数据集成作业
-
CDL数据集成概述
![]()
date Date timestamp DateTime 数据比较任务 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。相关操作请参见创建CDL数据比较任务作业。 父主题： 使用CDL
来自：帮助中心 -
数据集成（CDM作业）
![]()
数据集成（CDM作业） CDM与其他数据迁移服务有什么区别，如何选择？ CDM有哪些优势？ CDM有哪些安全防护？ 如何降低CDM使用成本？ CDM未使用数据传输功能时，是否会计费？ 已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？ 如何查看套餐包的剩余时长？ CDM可以跨账户使用吗？
来自：帮助中心 -
数据集成应用示例
![]()
创建集群API创建。 创建连接 调用创建连接API创建MySQL连接和DWS连接。 创建迁移作业 调用指定集群创建作业API创建MySQL到DWS的迁移作业。 查看作业结果 调用启动作业API开始执行作业。 准备数据 在调用API之前，您需要准备如下数据。 表1 准备数据 数据项
来自：帮助中心 -
步骤3：数据集成
![]()
步骤3：数据集成 本章节将介绍如何使用 DataArts Studio 数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集群
来自：帮助中心 -
步骤2：数据集成
![]()
G）配置为4。 表每行数据大小为1MB以下的可以多并发抽取，超过1MB的建议单线程抽取数据。 是否写入脏数据：建议配置为“是”，然后参考图10配置相关参数。脏数据是指与目的端字段不匹的数据，该数据可以被记录到指定的OBS桶中。用户配置脏数据归档后，正常数据可以写入目的端，迁移作业不会因脏数据中断。
来自：帮助中心 -
数据集成（CDM作业）
![]()
数据集成（CDM作业） 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
来自：帮助中心 -
数据集成（实时作业）
![]()
数据集成（实时作业） 实时作业概述 约束与限制 支持的数据源 使用前自检概览 网络打通 新建实时集成作业 配置实时集成作业 使用教程 实时集成任务运维 字段类型映射关系 任务性能调优
来自：帮助中心
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
