文档首页/ 云数据库 GaussDB/ 开发指南（分布式_2.x）/ 最佳实践/ 导入最佳实践
更新时间：2024-10-14 GMT+08:00
查看PDF
分享

导入最佳实践

使用GDS导入数据

  • 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。详细请参见查看数据倾斜状态。
  • 为了优化导入速度，建议拆分文件，使用多GDS进行并行导入。另外，单个导入任务可以拆分成多个导入任务并发执行导入，多个导入任务使用同一GDS时可以使用-t参数打开GDS多线程并发执行导入。GDS建议挂载在不同物理盘以及不同网卡上，避免物理IO以及网络可能出现的瓶颈。
  • 为了确保作业的正常运行，请注意根据GDS所承担的负载和并发度，在GDS所在的物理环境上配置充足的系统资源，其中包含但不限于：内存大小、句柄数量、GDS数据目录对应磁盘的空闲空间大小。如果GDS部署于GaussDB集群外部，请确保其物理环境配置与集群内部配置对齐。
  • 在GDS IO与网卡未达到物理瓶颈前，可以考虑在GaussDB开启SMP进行加速。SMP开启之后会对对应的GDS产生成倍的压力。需要特别说明的是：SMP自适应衡量的标准是GaussDB的CPU压力，而不是GDS所承受的压力。
  • GDS与GaussDB通信要求物理网络畅通，并且尽量使用万兆网。千兆网无法承载高速的数据传输压力，极易出现断连。即使用千兆网时GaussDB无法提供通信保障。满足万兆网的同时，数据磁盘组I/O性能大于GDS单核处理能力上限（约400MB/s）时，方可寻求单文件导入速率最大化。
  • 并发导入场景，与单表导入相似，至少应保证I/O性能大于网络最大速率。
  • 数据服务器上，建议一个Raid只布1~2个GDS。
  • GDS跟DN的数据比例建议在1:3至1:6之间。
  • 为了优化列存分区表的批量插入效率，在批量插入过程中会对数据进行缓存后再批量写盘。通过GUC参数“partition_mem_batch”和“partition_max_cache_size”，可以设置缓存个数以及缓存区大小。这两个参数的值越小，列存分区表的批量插入越慢。当然，越大的缓存个数和缓存分区，会带来越多的内存消耗。

使用INSERT多行插入

如果不能使用COPY命令，而您需要进行SQL插入，可以根据情况使用多行插入。如果您使用的是列存表，一次只插入一行或几行，则数据压缩效率低下。

多行插入是通过批量进行一系列插入而提高性能。下面的示例使用一条INSERT语句向一个三列表插入三行。这仍属于少量插入，只是用来说明多行插入的语法。创建表的步骤请参考创建和管理表。

向表customer_t1中插入多行数据：

1
2
3
4
 
openGauss=# INSERT INTO customer_t1 VALUES 
(68, 'a1', 'zhou','wang'),
(43, 'b1', 'wu', 'zhao'),
(95, 'c1', 'zheng', 'qian');

有关更多详情和示例，请参阅INSERT 。

使用COPY命令导入数据

COPY命令从本地或其它数据库的多个数据源并行导入数据。COPY导入大量数据的效率要比INSERT语句高很多，而且存储数据也更有效率。

有关如何使用COPY命令的更多信息，请参阅使用COPY FROM STDIN导入数据。

使用gsql元命令导入数据

\copy命令在任何psql客户端登录数据库成功后可以执行导入数据。与COPY命令相比较，\copy命令不是读取或写入指定文件的服务器，而是直接读取或写入文件。

这个操作不如SQL COPY命令有效，因为所有的数据必须通过客户端/服务器的连接来传递。对于大量的数据来说SQL命令可能会更好。

有关如何使用\copy命令的更多信息，请参阅使用gsql元命令导入数据。

\COPY只适合小批量，格式良好的数据导入，不会对非法字符做预处理，也无容错能力，无法适用于含有异常数据的场景。导入数据应优先选择GDS或COPY。

使用INSERT批量插入

带SELECT子句使用批量插入操作来实现高性能数据插入。

如果需要将数据或数据子集从一个表移动到另一个表，可以使用INSERT和CREATE TABLE AS 命令。

如果从指定表插入数据到当前表，例如在数据库中创建了一个表customer_t1的备份表customer_t2，现在需要将表customer_t1中的数据插入到表customer_t2中，则可以执行如下命令。

1
2
3
4
5
6
7
8
 
openGauss=# CREATE TABLE customer_t2
(
    c_customer_sk             integer,
    c_customer_id             char(5),
    c_first_name              char(6),
    c_last_name               char(8)
);
openGauss=# INSERT INTO customer_t2 SELECT * FROM customer_t1;

上面的示例等价于：

1
 
openGauss=# CREATE TABLE customer_t2 AS SELECT * FROM customer_t1;
父主题： 最佳实践