# 离线作业概述 #### 背景说明 CDM作业作为华为云上一代的数据集成云服务，曾为用户提供稳定的数据迁移与同步能力。随着数据开发场景的日益复杂和调度规模的不断增长，CDM作业"管理与执行耦合"的架构逐渐暴露出以下痛点： - 与数据开发、数据质量等服务割裂，需要手工拼装流程。 - 单集群瓶颈明显，在大规模并发时段容易出现队列堆积，不支持跨集群执行。 - 读写两端绑定，不支持读写链路的自由组合。 - 新功能（如作业调度委托、数据安全加解密等能力）无法在老架构中实现。 新版本的数据集成（离线作业），将作业管理完全上移至数据开发引擎，仅将CDM集群作为可横向扩展的计算资源池，从根本上解决了上述问题。 #### 离线作业核心优势 表1CDM作业与数据集成（离线作业）对比 | 维度 | CDM作业 | 数据集成（离线作业） | |:---|:---|:---| | 流程编排 | 独立任务，需手工串联 | 拖拽式与数据开发算子同画布运行 | | 功能演进 | 逐步停止更新 | 新功能均优先支持数据集成离线作业 | | 调度模式 | 单集群排队 | 支持跨多CDM 节点混合调度 | | 读写策略 | 读写链路绑定 | 读写分离，支持数据源读写自由组合 | #### 技术原理简介 - 管理面： 作业元数据、调度依赖、参数变量、调度身份等全部托管在数据开发引擎（DataArts Studio）。 - 执行面： 1. 解析作业 DAG → 生成可执行的CDM子任务。 2. 将CDM子任务随机分散至CDM集群上执行。 3. 子任务结束即刻释放资源，日志，任务监控指标统一回传运维中心。 #### 约束限制 数据集成（离线作业） 能力要求底层计算引擎 CDM-Instance 集群 版本不低于 24.4.x（2.10.0.400）版本。 兼容性说明：为确保离线作业的调度稳定性、数据传输性能及新特性兼容，请确保所关联的 CDM 集群版本已升级至 24.4.x 系列或更高版本。 风险提示：若集群版本低于 2.10.0.400，可能存在 API 接口不匹配或功能受限的风险，建议在启用数据集成能力前完成集群版本核查与升级。 #### 功能概览 数据集成（离线作业）支持多种数据源、多种场景下的离线数据同步，用户可根据自主需求，支持全量加增量同步。 图1离线处理集成作业迁移架构图 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002235204316.png "点击放大") #### 同步场景 数据集成（离线作业）支持多种拓扑类型的同步场景，用户可根据自身需求进行规划，详细说明可参考以下内容。 - **单表同步** 支持将源端一个实例下的单张表同步至目的端一个实例下的单张表。 图2单表同步原理 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002491109456.png "点击放大") - **整库同步** 支持将源端一个实例下多个库的多张表批量同步到目的端一个实例下的多个库表。 图3整库同步原理 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002523429387.png "点击放大") - **分库分表同步** 支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。 图4分库分表同步原理 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002523269673.png "点击放大") #### 操作视频 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 因不同版本操作界面可能存在差异，本视频仅供参考，具体以实际环境为准。