文档首页/ 数据仓库服务 GaussDB(DWS)/ 更多文档/ 开发指南（吉隆坡地区）/ 数据迁移/ 导入数据/ 使用GDS从远端服务器导入数据/ 执行导入数据
更新时间：2022-08-16 GMT+08:00
查看PDF
分享

执行导入数据

完成GDS的安装部署及外表创建后，本节介绍如何在GaussDB(DWS)数据库中创建事实表并将数据导入事实表中。

对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。

前提条件

GDS服务器和GaussDB(DWS)集群之间网络可以互通。

  • 需要创建一个弹性云服务器作为GDS服务器。
  • 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。

操作步骤

  1. 在GaussDB(DWS)中创建目标表，用于存储导入的数据。建表语句请参见CREATE TABLE。
  2. 执行数据导入。 

    1
    		 
    INSERT INTO [目标表名] SELECT * FROM [foreign table 表名];
    • 若出现以下类似信息，说明数据导入成功。请查询错误信息表，查看是否存在数据格式错误，详细操作请参见处理错误表。 
      INSERT 0 9
    • 若出现数据加载错误，请参见处理错误表，并重新执行数据导入。
    • 若执行过程中出现数据加载错误，则数据全部导入失败，没有数据导入至目标表中。
    • 编写批处理任务脚本，实现并发批量导入数据。并发量视机器资源使用情况而定。可通过几个表测试，监控资源利用率，根据结果提高或减少并发量。常用资源监控命令有：内存和CPU监控top命令，IO监控命令iostat，网络监控命令sar等。相关案例请参见。
    • 在资源许可的情况下，多台GDS服务器并发导入会很大程度上提高数据导入效率。相关案例请参见多数据服务器并行导入。
    • 对于高并发的GDS导入场景，为了保持GDS和DN间的数据连接稳定，可以将GDS服务器环境和DN所在环境的TCP Keepalive检测时间增长（推荐增长至5分钟）。调整集群环境的TCP Keepalive参数会影响故障检测的响应时间。

任务示例

  1. 创建一个名为reasons的目标表。 

    1
2
3
4
5
6
7
    		 
    CREATE TABLE reasons
(
  r_reason_sk   integer  not null,
  r_reason_id   char(16) not null,   
  r_reason_desc char(100)
)
DISTRIBUTE BY HASH (r_reason_sk);

  2. 将数据源文件中的数据通过外表“foreign_tpcds_reasons”导入到表“reasons”中。 

    1
    		 
    INSERT INTO reasons SELECT * FROM foreign_tpcds_reasons ;

  3. 在数据导入完成后，再重新创建索引。 

    1
    		 
    CREATE INDEX reasons_idx ON reasons(r_reasons_id);