文档首页> > 用户指南> 集群模式> 数据批量导入> 使用CDM迁移数据到CloudTable

使用CDM迁移数据到CloudTable

分享
更新时间: 2019-05-09 18:26

通过云数据迁移(Cloud Data Migration,以下简称CDM),可以将云上云下或第三方云上的多种数据源的数据迁移到CloudTable集群的HBase表中。支持的数据源请参见《云数据迁移产品介绍》中的CDM支持的数据源章节。

使用CDM迁移数据到CloudTable的流程如下:

  1. 创建CloudTable集群
  2. 使用CDM迁移数据到CloudTable
  3. 在CloudTable中查看导入的数据

创建CloudTable集群

  1. 登录表格存储服务管理控制台,创建一个CloudTable集群。

    详细的操作步骤,请参见快速创建集群。如果您已经有CloudTable集群了,也可以跳过这一步。

    例如,创建一个名为"CloudTable-demo"的CloudTable集群。

使用CDM迁移数据到CloudTable

  1. 登录云数据迁移管理控制台,创建一个CDM集群。

    创建的CDM集群需要与CloudTable集群具有相同的区域、可用区、虚拟私有云、子网以及安全组。

    详细的操作步骤,请参见《云数据迁移用户指南》中的创建集群

    例如,创建一个名为"CDM-demo"的CDM集群。

  2. 在新建的CDM集群中,创建一个源连接。

    CDM支持从多种数据源迁移数据到CloudTable,请根据实际的数据源创建一个连接作为源连接。该连接用于CDM连接数据源,从数据源读取数据。

    有关新建连接的详细操作,请参见《云数据迁移用户指南》中的创建CDM连接章节。

  3. 在新建的CDM集群中,创建一个目的连接。

    在CDM集群中创建一个连接类型为“表格存储服务(CloudTable)”的连接作为目的连接。该连接用于CDM连接CloudTable集群,将从数据源读取的数据导入到CloudTable集群的HBase表中。

    有关新建连接的详细操作,请参见《云数据迁移用户指南》中的创建CDM连接章节。

    新建目的连接的示例如下:

    1. 在集群管理页面,找到刚创建的CDM集群,单击该CDM集群后的“作业管理”,进入作业管理界面。
    2. 选择“连接管理 > 新建连接”,进入选择连接器类型的页面,选择“表格存储服务(CloudTable)”,然后单击“下一步”
      图1 选择连接器类型
    3. 配置连接参数。
      • “名称”:输入连接名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。例如“cloudtable_connect”。
      • “ZK连接地址”:需配置为CloudTable的“ZK连接地址”“ZK连接地址”需要登录表格存储服务管理控制台,单击“集群模式”,在集群列表中搜索对应的集群名,并在“ZK连接地址”列获取该集群的ZK链接地址。

        “IAM统一身份认证”:如果创建的CloudTable集群开启了“IAM统一身份认证”,则设置该参数为“是”,否则就设置该参数为“否”

        “运行模式”:保留默认值即可。

        图2 连接参数配置
    4. 单击“保存”

  4. 在CDM集群中,在“表/文件迁移”页面,新建一个作业。

    有关新建“表/文件迁移”作业的详细操作,请参见《云数据迁移用户指南》的表/文件迁移章节。

    说明:

    在新建“表/文件迁移”类型的作业时,如果待迁移的源端的表/文件在目的端CloudTable集群中不存在相应的HBase表,在作业中为目的端设置表名和字段映射(支持从源端拷贝字段名)后,作业运行时会自动在目的端新建对应的HBase表。

    下面以ECS上的SFTP数据源为例,创建作业步骤如下:

    1. 在集群管理页面,找到刚创建的CDM集群,单击该CDM集群后的“作业管理”,进入作业管理界面。
    2. 选择“表/文件迁移 > 新建作业”。
    3. 基本信息配置如下:
      图3 基本信息配置
    4. 字段映射配置如下:
      图4 字段映射
    5. 任务配置如下:
      图5 任务配置
    6. 单击“保存并运行”创建并运行作业。

在CloudTable中查看导入的数据

  1. 准备Linux弹性云服务器。

    假设该弹性云服务器名称为“ecs_20170916”,准备的具体操作请参见准备弹性云服务器章节。

  2. 安装客户端并启动Shell访问CloudTable集群。

    使用HBase Shell访问集群的具体操作请参见使用HBase Shell访问集群章节。

  3. 在CloudTable客户端中执行查询命令,查看使用CDM迁移到CloudTable的数据。

    命令示例如下,其中table_name请替换为在CDM集群中新建作业时指定的表名。

    scan 'table_name'

如果您喜欢这篇文档,您还可以:

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区