更新时间:2024-10-11 GMT+08:00
数据拷贝
根据源集群与目标集群分别所处的区域及网络连通性,可分为以下几种数据拷贝场景:
同Region
当源集群与目标集群处于同一Region时,根据打通数据传输通道进行网络配置,打通网络传输通道。使用Distcp工具执行如下命令将源集群的HDFS、HBase、Hive数据文件以及Hive元数据备份文件拷贝至目的集群。
$HADOOP_HOME/bin/hadoop distcp <src> <dist> -p
其中,各参数的含义如下。
- $HADOOP_HOME:目的集群Hadoop客户端安装目录
- <src>:源集群HDFS目录
- <dist>:目的集群HDFS目录
不同Region
当源集群与目标集群处于不同Region时,用Distcp工具将源集群数据拷贝到OBS,借助OBS跨区域复制功能(请参见“对象存储服务 OBS > 控制台指南 > 跨区域复制”)将数据复制到对应目的集群所在Region的OBS,然后通过Distcp工具将OBS数据拷贝到目的集群的HDFS上。由于执行Distcp无法为OBS上的文件设置权限、属主/组等信息,因此当前场景在进行数据导出时也需要将HDFS的元数据信息进行导出并拷贝,以防HDFS文件属性信息丢失。
线下集群向云迁移
线下集群可以通过如下方式将数据迁移至云:
- 云专线(DC)
为源集群与目标集群之间建立云专线,打通线下集群出口网关与线上VPC之间的网络,然后参考同Region执行Distcp进行拷贝。
父主题: 数据迁移方案介绍