使用 CDM 上传数据到OBS 上传存量数据 上传增量数据 父主题： 贸易数据极简上云与统计分析

查看更多 →

使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题： 贸易数据极简上云与统计分析

查看更多 →

选择界面左侧导航栏中的“连接器管理 > 数据源管理”，进入“数据源管理”界面。 单击数据源列表上方“新增数据源”，进入“新增数据源”界面，设置OBS数据源的基本信息，具体参数如表1所示。 表1 参数说明 参数 说明 数据源类型 OBS：OBS是一个华为云基于对象的海量存储服务，为客户提供海量、安全、低成本的数据存储能力。

查看更多 →

在集群列表，单击指定集群的名称，选择“数据源>OBS数据源”。 在OBS数据源页面，单击“创建OBS数据源连接”，填写配置参数。 表1 OBS数据源连接参数说明 参数名称 说明 数据源名称 要创建的OBS数据源连接名称，由用户自定义。 该数据源名称作为后续创建OBS外表语句中指定的server名称。

查看更多 →

接入OBS数据源 概述 ROMA Connect支持把OBS（ 对象存储服务 ）作为一个数据源，并用于数据集成任务。在使用OBS数据源前，您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。 操作步骤

查看更多 →

Migration，CDM）提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业，将用户自建存储 服务器 上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接，从而实现定时、自动地将本地数据搬迁至OBS。 图1 CDM方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS

查看更多 →

使用CDM服务迁移 MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，本章节以MRS

查看更多 →

迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中，对象存储服务OBS作为统一 数据湖 存储数据。如果用户数据仍存储在本地HDFS中，则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和 OMS 方式迁移。

查看更多 →

创建CDM与数据源之间的连接 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。

查看更多 →

各工具使用场景及操作指导，请参见OBS工具指南。 CDM方式 云数据迁移 （Cloud Data Migration，CDM）提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业，将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接，从而实现定时、自动地将本地数据搬迁至OBS。

查看更多 →

创建CDM与数据源之间的连接 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。

查看更多 →

与DRS的区别： 数据库迁移使用DRS；到大数据系统的迁移使用CDM。 对象存储迁移服务 OMS 对象存储迁移 他云对象存储数据迁移到华为云 华为云各Region间的数据迁移 与CDM的区别： OMS用于他云到华为云的数据迁移；CDM主要用于OBS数据迁移到数据湖或其他大数据系统，以便对数据进行开发、清洗、治理等。

查看更多 →

与DRS的区别： 数据库迁移使用DRS；到大数据系统的迁移使用CDM。 对象存储迁移服务 OMS 对象存储迁移 他云对象存储数据迁移到华为云 华为云各Region间的数据迁移 与CDM的区别： OMS用于他云到华为云的数据迁移；CDM主要用于OBS数据迁移到数据湖或其他大数据系统，以便对数据进行开发、清洗、治理等。

查看更多 →

云数据迁移-成长地图 | 华为云 云数据迁移 云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和 智能数据湖 解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成

查看更多 →

上传存量数据 使用华为云专线，搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶，并记录OBS的访问 域名 、端口和AK/SK。 创建CDM集群。 DataArts Studio 实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包，可以跳过这部分内容。

查看更多 →

上传离线数据源至OBS RES使用对象存储服务（Object Storage Service，简称OBS）进行数据源的存储。因此，在使用RES之前您需要开通OBS服务并创建桶，然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括： 离线数据源：包含用户

查看更多 →

OBS数据源测试连接失败 原因分析 可能是以下两种原因导致： 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后，仍然连接失败，可参考数据源连接测试失败排查操作进行问题排查。

查看更多 →

使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务

查看更多 →

CDM通过该连接，将作业备份到OBS，需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业 如果之前执行过自动备份，“配置管理”页签下会显示备份列表：显示备份文件所在的OBS桶、路径、备份时间。

查看更多 →

CDM通过该连接，将作业备份到OBS，需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业 如果之前执行过自动备份，“配置管理”页签下会显示备份列表：显示备份文件所在的OBS桶、路径、备份时间。

查看更多 →

信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。 图1 CDM迁移原理 安全边界和风险规避 图2 风险规避 如上图所示，CDM可能存在以下威胁： 互联网威胁：恶意用户可能通过CDM控制台攻击CDM。 数据中心威胁：恶意CDM管理员获取用户的数据源访问信息（用户名和密码）。

查看更多 →