使用CDM迁移数据到CloudTable
通过云数据迁移(Cloud Data Migration,以下简称CDM),可以将云上云下或第三方云上的多种数据源的数据迁移到CloudTable集群的HBase表中。支持的数据源请参见《云数据迁移产品介绍》中的支持的数据源章节。
使用CDM迁移数据到CloudTable的流程如下:
创建CloudTable集群
- 登录表格存储服务管理控制台。
- 在控制台左上角选择区域。
- 创建一个CloudTable HBase集群。如果您已经有CloudTable HBase集群了,也可以跳过这一步。
例如,创建一个名为"CloudTable-demo"的CloudTable集群。
使用CDM迁移数据到CloudTable
- 登录云数据迁移管理控制台,创建一个CDM集群。
创建的CDM集群需要与CloudTable集群具有相同的区域、可用区、虚拟私有云、子网以及安全组。
详细的操作步骤,请参见《云数据迁移用户指南》中的创建集群章节。
- 在新建的CDM集群中,创建一个源连接。
CDM支持从多种数据源迁移数据到CloudTable,请根据实际的数据源创建一个连接作为源连接。该连接用于CDM连接数据源,从数据源读取数据。
有关新建连接的详细操作,请参见《云数据迁移用户指南》中的创建CDM连接章节。
- 在新建的CDM集群中,创建一个目的连接。
在CDM集群中创建一个连接类型为“表格存储服务(CloudTable)”的连接作为目的连接。该连接用于CDM连接CloudTable集群,将从数据源读取的数据导入到CloudTable集群的HBase表中。
有关新建连接的详细操作,请参见《云数据迁移用户指南》中的创建CDM连接章节。
新建目的连接的示例如下:
- 在集群管理页面,找到刚创建的CDM集群,单击该CDM集群后的“作业管理”,进入作业管理界面。
- 选择“连接管理 > 新建连接”,进入选择连接器类型的页面,选择“表格存储服务(CloudTable)”,然后单击“下一步”。
图1 选择连接器类型
- 配置连接参数。
- “名称”:输入连接名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。例如“cloudtable_connect”。
- “ZK连接地址”:需配置为CloudTable的“ZK连接地址(内网)”。登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。
- “IAM统一身份认证”:设置为否。
- “IAM统一身份认证”:表格存储服务已经不使用IAM认证功能,所以填“否”。
- “运行模式”:保留默认值即可。
图2 连接参数配置
- 单击“保存”。
- 在CDM集群中,在“表/文件迁移”页面,新建一个作业。
有关新建“表/文件迁移”作业的详细操作,请参见《云数据迁移用户指南》的新建表/文件迁移作业章节。
在新建“表/文件迁移”类型的作业时,如果待迁移的源端的表/文件在目的端CloudTable集群中不存在相应的HBase表,在作业中为目的端设置表名和字段映射(支持从源端拷贝字段名)后,作业运行时会自动在目的端新建对应的HBase表。
下面以ECS上的SFTP数据源为例,创建作业步骤如下:
- 在集群管理页面,找到刚创建的CDM集群,单击该CDM集群后的“作业管理”,进入作业管理界面。
- 选择“表/文件迁移 > 新建作业”。
- 基本信息配置如下:
图3 基本信息配置
- 字段映射配置如下:
图4 字段映射
- 任务配置如下:
图5 任务配置
- 单击“保存并运行”创建并运行作业。
在CloudTable中查看导入的数据
- 准备Linux弹性云服务器。
假设该弹性云服务器名称为“ecs_20170916”,准备的具体操作请参见准备弹性云服务器章节。
- 安装客户端并启动Shell访问CloudTable集群。
使用HBase Shell访问集群的具体操作请参见使用HBase Shell访问集群章节。
- 在CloudTable客户端中执行查询命令,查看使用CDM迁移到CloudTable的数据。
命令示例如下,其中table_name请替换为在CDM集群中新建作业时指定的表名。
scan 'table_name'