数据集成（实时作业） 问题案例总览 数据源和资源组网络不通如何排查？ 数据源安全组放通哪些端口可满足Migration访问？ 如何配置Hudi Compaction的Spark周期任务？ MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中

查看更多 →

数据集成（离线作业） 离线作业概述 支持的数据源 新建离线处理集成作业 配置离线处理集成作业 配置作业源端参数 配置作业目的端参数 字段转换器配置指导 新增字段操作指导

查看更多 →

数据集成API概览 表1 数据集成API类型 类型 说明 集群管理 集群管理类型接口。 作业管理 作业管理类型接口。 连接管理 连接管理类型接口。 集群管理 表2 集群管理 API 说明 流控策略 查询集群详情 查询集群详情接口。 cdm_common 删除集群 删除集群接口。 cdm_b

查看更多 →

数据集成普通任务 FDI各类数据库支持哪些数据类型？ 跟踪号是什么，能跟踪到数据吗？ FDI任务是否支持清空目标表？ FDI任务只能采集单张表到单张表吗？ 用户创建的FDI任务，同一账号的其他用户可见吗？ FDI通过公网对接其他租户的 MRS HIVE如何配置？ 从OBS解析文件到

查看更多 →

查看数据集成任务 概述 数据集成任务创建后，您可以查看任务的相关信息，包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置，修改任务的操作跟创建任务类似，具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息，避免目标端出现脏数据或者数据集成不完

查看更多 →

新版本。根据独享引擎实例个数不同选择不同升级方法： 单独享引擎实例节点升级 多独享引擎实例节点升级 如果您的业务只部署了一个独享引擎实例，请参照以下操作升级实例。 建议申请一个新的独享引擎实例。 新申请的独享引擎实例为最新版本。当实例为最新版本时，“升级”按钮为灰化状态。 确保新

查看更多 →

字段注释、数据类型、数据长度、数据量、数据主键、时间戳字段以及数据空值及分布情况等内容。在获取数据接入授权与数据源端连接信息后，确定数据探查方法并实施探查，参照数据标准与数据集成需求对探查结果进行分析，最终输出数据探查分析结果，形成问题清单，指导数据集成方案设计。 数据探查实施

查看更多 →

中的原始样例数据需要导入OBS中，并标准化为点数据集和边数据集。 MySQL到MRS Hive迁移作业：正式业务流程中，需要将MySQL中的原始样例数据需要导入MRS Hive中，并标准化为点数据集和边数据集。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式

查看更多 →

步骤3：数据集成 本章节将介绍如何使用 DataArts Studio 数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集群

查看更多 →

G）配置为4。 表每行数据大小为1MB以下的可以多并发抽取，超过1MB的建议单线程抽取数据。 是否写入脏数据：建议配置为“是”，然后参考图10配置相关参数。脏数据是指与目的端字段不匹的数据，该数据可以被记录到指定的OBS桶中。用户配置脏数据归档后，正常数据可以写入目的端，迁移作业不会因脏数据中断。

查看更多 →

date Date timestamp DateTime 数据比较任务 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。相关操作请参见创建CDL数据比较任务作业。 父主题： 使用CDL

查看更多 →

数据集成（ CDM 作业） CDM与其他数据迁移服务有什么区别，如何选择？ CDM有哪些优势？ CDM有哪些安全防护？ 如何降低CDM使用成本？ CDM未使用数据传输功能时，是否会计费？ 已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？ 如何查看套餐包的剩余时长？ CDM可以跨账户使用吗？

查看更多 →

数据集成（CDM作业） 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考

查看更多 →

数据集成（实时作业） 实时作业概述 支持的数据源 使用前自检概览 网络打通 新建实时集成作业 配置实时集成作业 实时集成任务运维 字段类型映射关系 任务性能调优 使用教程

查看更多 →

cdm_endpoint MySQL数据库 IP地址 本地的MySQL数据库的IP地址，且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户，该用户

查看更多 →

创建私有资源组 测试资源组的说明与使用约束 测试资源组包含共享资源组和私有资源组两种类型，共享资源组为系统默认提供，私有资源组需要自行创建。 共享资源组的执行节点已绑定弹性IP，当被测应用有网络访问限制时，建议使用私有资源组。 共享资源组最大支持1000并发和100Mb带宽，如果

查看更多 →

配置HetuEngine资源组 资源组介绍 资源组机制从资源分配的角度控制实例的整体查询负载，并可以对查询实施排队策略。可以在一个计算实例资源下创建多个资源组，并且每个提交的查询将分配给一个特定的资源组执行。在资源组执行新查询之前，将检查当前资源组的资源负载是否超过实例分配给它的

查看更多 →

该IP不能与数据源公网IP重复。 前提条件 已购买资源组，详情请参见购买数据集成资源组。 准备工作 查询打通网络过程中所涉及到对象的网段（包含数据源、中转VPC、资源组），为便于理解，本章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源公网IP 本

查看更多 →

集成 简介 集成PC端应用到ISDP+系统 集成大屏应用到ISDP+系统 集成移动端应用到ISDP+ Mobile系统 接入端侧设备到ISDP+系统 父主题： 用户指南

查看更多 →

创建独享模式 域名 功能介绍 创建独享模式域名 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/premium-waf/host 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，对应控制台用户名->我的凭证->项目列表->项目ID

查看更多 →

删除独享模式域名 功能介绍 删除独享模式域名 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/premium-waf/host/{host_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项

查看更多 →