更新时间:2024-04-29 GMT+08:00

使用CDM迁移数据到CloudTable

通过云数据迁移(Cloud Data Migration,以下简称CDM),可以将云上云下或第三方云上的多种数据源的数据迁移到CloudTable集群的HBase表中。支持的数据源请参见《云数据迁移产品介绍》中的CDM支持的数据源章节。

使用CDM迁移数据到CloudTable的流程如下:

  1. 创建CloudTable集群
  2. 使用CDM迁移数据到CloudTable
  3. 在CloudTable中查看导入的数据

创建CloudTable集群

  1. 登录表格存储服务管理控制台。
  2. 在控制台左上角选择区域。
  3. 创建一个CloudTable HBase集群。如果您已经有CloudTable HBase集群了,也可以跳过这一步。

    例如,创建一个名为"CloudTable-demo"的CloudTable集群。

使用CDM迁移数据到CloudTable

  1. 登录云数据迁移管理控制台,创建一个CDM集群。

    创建的CDM集群需要与CloudTable集群具有相同的区域、可用区、虚拟私有云、子网以及安全组。

    详细的操作步骤,请参见《云数据迁移用户指南》中的创建集群

    例如,创建一个名为"CDM-demo"的CDM集群。

  2. 在新建的CDM集群中,创建一个源连接。

    CDM支持从多种数据源迁移数据到CloudTable,请根据实际的数据源创建一个连接作为源连接。该连接用于CDM连接数据源,从数据源读取数据。

    有关新建连接的详细操作,请参见《云数据迁移用户指南》中的创建CDM连接章节。

  3. 在新建的CDM集群中,创建一个目的连接。

    在CDM集群中创建一个连接类型为“表格存储服务(CloudTable)”的连接作为目的连接。该连接用于CDM连接CloudTable集群,将从数据源读取的数据导入到CloudTable集群的HBase表中。

    有关新建连接的详细操作,请参见《云数据迁移用户指南》中的创建CDM连接章节。

    新建目的连接的示例如下:

    1. 在集群管理页面,找到刚创建的CDM集群,单击该CDM集群后的“作业管理”,进入作业管理界面。
    2. 选择“连接管理 > 新建连接”,进入选择连接器类型的页面,选择“表格存储服务(CloudTable)”,然后单击“下一步”
      图1 选择连接器类型
    3. 配置连接参数。
      • “名称”:输入连接名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。例如“cloudtable_connect”。
      • “ZK连接地址”:需配置为CloudTable的“ZK连接地址(内网)”。登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。
      • :设置为否。
      • “IAM统一身份认证”:表格存储服务已经不使用IAM认证功能,所以填“否”。
      • “运行模式”:保留默认值即可。
      图2 连接参数配置
    4. 单击“保存”

  4. 在CDM集群中,在“表/文件迁移”页面,新建一个作业。

    有关新建“表/文件迁移”作业的详细操作,请参见《云数据迁移用户指南》的表/文件迁移章节。

    在新建“表/文件迁移”类型的作业时,如果待迁移的源端的表/文件在目的端CloudTable集群中不存在相应的HBase表,在作业中为目的端设置表名和字段映射(支持从源端拷贝字段名)后,作业运行时会自动在目的端新建对应的HBase表。

    下面以ECS上的SFTP数据源为例,创建作业步骤如下:

    1. 在集群管理页面,找到刚创建的CDM集群,单击该CDM集群后的“作业管理”,进入作业管理界面。
    2. 选择“表/文件迁移 > 新建作业”。
    3. 基本信息配置如下:
      图3 基本信息配置
    4. 字段映射配置如下:
      图4 字段映射
    5. 任务配置如下:
      图5 任务配置
    6. 单击“保存并运行”创建并运行作业。

在CloudTable中查看导入的数据

  1. 准备Linux弹性云服务器。

    假设该弹性云服务器名称为“ecs_20170916”,准备的具体操作请参见准备弹性云服务器章节。

  2. 安装客户端并启动Shell访问CloudTable集群。

    使用HBase Shell访问集群的具体操作请参见使用HBase Shell访问集群章节。

  3. 在CloudTable客户端中执行查询命令,查看使用CDM迁移到CloudTable的数据。

    命令示例如下,其中table_name请替换为在CDM集群中新建作业时指定的表名。

    scan 'table_name'