CDM迁移近一个月的数据

备HBase集群中约10TB数据，最近一个月新增的数据量约60TB，总共约70TB。H公司安装的云专线为20GE端口，支持CDM超大规格的集群（cdm.xlarge），综合考虑迁移时间、成本、性能等，这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。

表1 CDM集群规格
实例类型	核数/内存	最大带宽/基准带宽	并发作业数	适用场景
cdm.large	8核/16G	3/0.8 Gbps	16	单表规模≥1000万条。
cdm.xlarge	16核/32G	10/4 Gbps	32	适合10GE高速带宽进行TB以上的数据量迁移。
cdm.4xlarge	64核/128G	40/36 Gbit/s	64	-

其他场景中，可根据情况选择多个CDM集群同时迁移，加快迁移效率。MRS HDFS多副本策略会占用网络带宽，影响迁移速率。

创建2个CDM集群：

DataArts Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包，可以跳过这部分内容。

如果您需要再创建新的CDM集群，请参考购买批量数据迁移增量包章节，完成购买数据集成增量包的操作。
- 集群规格选择“cdm.xlarge”。
- 集群所属的VPC与MRS所属的VPC一致，同时也要与云专线连通的VPC的一致。
- 其它参数可以自定义，或者保持默认。
创建CDH HDFS连接：
1. 单击CDM集群操作列的“作业管理”，进入作业管理界面。
2. 选择“连接管理 > 新建连接”，进入连接器类型的选择界面，选择“Apache HDFS”。
  图1 选择连接器类型
3. 单击“下一步”，配置连接参数，依次填写相关信息。URI格式为“hdfs://NameNode IP:端口”，若CDH没有启动Kerberos认证则“认证类型”选择“SIMPLE”。
4. 单击“测试”，如果右上角显示“测试成功”，表示连接成功，单击“保存”。
创建MRS HDFS连接：
1. 在作业管理界面，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，选择“MRS HDFS”。
2. 单击“下一步”，配置连接参数，依次填写相关信息。“认证类型”选择“SIMPLE”，运行模式保持默认即可。
3. 单击“测试”，如果右上角显示“测试成功”，表示连接成功，单击“保存”。