关于并行导入

概述

并行导入将存储在服务器普通文件系统中的数据导入到GaussDB数据库中。

并行导入功能通过外表设置的导入策略、导入数据格式等信息来识别数据源文件，利用多DN并行的方式，将数据从数据源文件导入到数据库中，从而提高整体导入性能。如图1所示：

• CN只负责任务的规划及下发，把数据导入的工作交给了DN，释放了CN的资源，使其有能力处理其他外部请求。
• 所有DN都参与数据导入，这样可以充分利用各设备的计算能力及网络带宽，提升导入效率。

外表灵活的OPTION设置，有利于在数据入库前对数据做预处理，例如非法字符替换、容错处理等。更多信息请参考CREATE FOREIGN TABLE (导入导出)。

图1 数据并行导入示意图

上图中所涉及的相关概念说明如下：

• CN（Coordinator Node）：GaussDB协调节点。在导入场景下，接收到应用或客户端的导入SQL指令后，负责任务的规划及下发到DN。
• DN（Data Node）：GaussDB数据节点。接收CN下发的导入任务，将数据源文件中的数据通过外表写入数据库目标表中。
• 数据源文件：存有数据的文件。文件中保存的是待导入数据库的数据。
• 数据服务器：数据源文件所在的服务器称为数据服务器。基于安全考虑，建议数据服务器和GaussDB集群处于同一内网。
• 外表Foreign Table：用于识别数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。是关联数据文件与数据库实表（目标表）的对象。
• 目标表：数据库中的实表。数据源文件中的数据最终导入到这些表中存储，包括行存表和列存表。

加载策略

从表1中的对比看，Normal策略因其扩展性强、准备工作简单、对导入的单行数据大小无限制，是优先推荐和常用的策略，其中Private和Shared模式的外表，需要初始用户或者运维模式下（operation_mode）的运维管理员权限。本章节也将主要介绍使用GDS的并行导入方法。关于另外两种方式可以参考示例2：Shared策略导入和示例3：Private策略导入。

GDS并发导入

• 数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。如图2所示。
  图2 多数据服务器并行导入
  
  

  GDS进程数目不能超过DN数目。如果超过，会出现一个DN连接多个GDS进程的情形，可能会导致部分GDS异常运行，并有可能出现“Session doesn't exists”报错。若参与某次导入的GDS数量大于DN数量，则在导入执行开始时，会返回“It is recommanded that the number of GDS should not be greater than the number of datanode”的warning。

• 数据存储在一台数据服务器上时，如果GaussDB及数据服务器上的I/O资源均还有可利用空间时，可以采用GDS多线程来支持并发导入。

  GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程，也并不会加速单个导入事务。未做过人为事务处理时，一条INSERT语句就是一个导入事务。

  综上，多线程的使用场景如下：

  • 多表并发导入时，采用多线程充分利用资源及提升并发导入效率。
  • 对数据量大的某一数据表的导入进行提速。

    将该数据表对应的数据拆分为多个数据文件，通过多外表同时入库的方式实现多线程并发导入。注意需确保每个外表所能读取的数据文件不重复。

导入流程

图3 并行导入流程