gs_loader导入数据

工具介绍

gs_loader工具用于进行数据导入。gs_loader将控制文件支持的语法转换为\COPY语法，然后利用已有的\COPY功能，做主要数据导入工作，同时gs_loader将\COPY结果记录到日志中。

gs_loader工具当前不支持M-Compatibility数据库。

gs_loader工具当前支持PDB。

从低版本滚动升级到该版本时，在所有节点升级完成之前禁止使用gs_loader工具。

前提条件

• 使用gs_loader前请确保gs_loader版本与gsql版本、数据库版本保持一致。
• 用户在安装部署gs_loader服务以后，将工具路径添加到PATH中。gs_loader支持SSL加密通信，使用方式同gsql方式相同。
• 设置日志级别，可以供开发者查看。设置后会在控制台打印工具运行的相应信息。

  export gs_loader_log_level=debug
  export gs_loader_log_level=info
  export gs_loader_log_level=warning
  export gs_loader_log_level=error

安装部署

在存放数据源文件的服务器上，安装并配置gs_loader客户端工具，方便使用gs_loader工具进行数据的导入。

1. 创建用于存放gs_loader工具包的目录。

   mkdir -p /opt/bin

2. 将gsql工具包上传至新创建的目录中。

   以上传EULER Linux版本的工具包为例，将软件安装包中的gsql工具包“GaussDB-Kernel_数据库版本号_操作系统版本号_64bit_gsql.tar.gz”上传至新创建的目录中。

3. 在工具包所在的目录下，解压工具包。

   cd /opt/bin
   tar -zxvf GaussDB-Kernel_数据库版本号_操作系统版本号_64bit_gsql.tar.gz
   source gsql_env.sh

4. 验证工具位置及版本信息。

   which gs_loader

5. 验证客户端版本信息。
   gs_loader工具版本与gsql工具版本相对应，直接查询gsql客户端版本即可验证客户端版本信息。

   gsql -V

6. 验证数据库版本信息，确保与客户端工具版本保持一致。
   使用gsql工具成功连接数据库后输入：

   select version();

使用权限

gs_loader工具的使用场景分为三权分立场景下及非三权分立场景下的使用。使用者可以选择将GUC参数enableSeparationOfDuty设置为on或者off来控制三权分立功能的开启或关闭。

GUC参数enable_copy_error_log是控制是否使用错误表gs_copy_error_log和日志表gs_copy_summary_log的参数，默认为off，即不使用错误表以及不使用日志表，错误记录直接记录到gs_loader的bad文件中，日志记录直接记录到gs_loader的log文件中。如果该参数设置为on，则会使用错误表gs_copy_error_log以及使用日志表gs_copy_summary_log，将错误记录插入错误表，错误表请参见表1 错误表gs_copy_error_log信息，日志表请参见表2。

--开启三权分立功能。
gs_guc set  -Z datanode -N all -I all -c "enableSeparationOfDuty = on"

--关闭三权分立功能。
gs_guc set  -Z datanode -N all -I all -c "enableSeparationOfDuty = off"

--设置enable_copy_error_log = on时，会使用错误表gs_copy_error_log。
gs_guc reload -Z datanode -N all -I all -c "enable_copy_error_log = on"

不开启三权分立（即enableSeparationOfDuty=off）时，用户可以是数据库普通用户或管理员用户。当用户为普通用户时，需要管理员用户对数据库普通用户赋权。管理员用户可以直接使用。

1. 使用管理员用户创建新的用户：

   gaussdb=# CREATE USER load_user WITH PASSWORD '********';

2. （可选）给新用户授权pg_catalog.gs_copy_summary_log表：
   

   • gs_loader使用的public.gs_copy_summary变更为pg_catalog.gs_copy_summary_log，原public.gs_copy_summary表废弃，同时为了查询兼容，新增了系统视图pg_catalog.gs_copy_summary去查询pg_catalog.gs_copy_summary_log中的数据。由于public.gs_copy_summary可能与用户表同名，因此需要用户进行识别，确认不是用户表后，将数据迁移到pg_catalog.gs_copy_summary_log表里之后，删除public.gs_copy_summary。由于存在pg_catalog.gs_copy_summary，gsql元命令\d(+)优先找到pg_catalog.gs_copy_summary，而因为是系统视图的缘故不显示，因此列表中找不到gs_copy_summary，但是实际上public.gs_copy_summary是存在的。可以直接通过public.gs_copy_summary引用。
   • pg_catalog.gs_copy_summary_log只兼容SELECT查询操作，不兼容DELETE和TRUNCATE清理操作。

   gaussdb=# GRANT INSERT,SELECT,DELETE ON  pg_catalog.gs_copy_summary_log To load_user;

3. （可选）给新用户授权错误表gs_copy_error_log：
   

   • gs_loader使用的public.pgxc_copy_error_log变更为pg_catalog.gs_copy_error_log，原public.pgxc_copy_error_log表废弃，同时为了查询兼容，新增了系统视图pg_catalog.pgxc_copy_error_log去查询pg_catalog.gs_copy_error_log中的数据。由于public.pgxc_copy_error_log可能与用户表同名，因此需要用户进行识别，确认不是用户表后，将数据迁移到pg_catalog.gs_copy_error_log表里之后，删除public.pgxc_copy_error_log。由于存在pg_catalog.pgxc_copy_error_log，gsql元命令\d(+)优先找到pg_catalog.pgxc_copy_error_log，而因为是系统视图的缘故不显示，因此列表中找不到pgxc_copy_error_log，但是实际上public.pgxc_copy_error_log是存在的。可以直接通过public.pgxc_copy_error_log引用。
   • pg_catalog.gs_copy_error_log只兼容SELECT查询操作，不兼容DELETE和TRUNCATE清理操作。

   gaussdb=# GRANT INSERT,SELECT,DELETE ON  pg_catalog.gs_copy_error_log To load_user;

开启三权分立（即enableSeparationOfDuty=on）时，使用者可以是数据库普通用户或管理员用户。使用前需要到各自的schema下创建pgxc_copy_error_log表以及gs_copy_summary并添加索引，不需要再对这两张表进行授权。

因为pg_catalog模式下始终存在pgxc_copy_error_log以及gs_copy_summary两张表，而pg_catalog模式在search_path中优先级高于用户模式，因此在三权分立场景下无法直接通过gsql元命令\d(+)查询到，使用这两张表需要显式指定用户模式。

1. 使用初始用户创建新用户：

   gaussdb=# CREATE USER load_user WITH PASSWORD '********';

2. 从初始用户切换为新用户：

   gaussdb=# \c - load_user

3. （可选）创建gs_copy_summary表并添加索引：
   

   如果GUC参数enable_copy_error_log未设置（默认为off）或者设置为off，则无需使用日志表，无需创建。否则需要创建该日志表。

   gaussdb=# CREATE TABLE load_user.gs_copy_summary(relname varchar, begintime timestamptz, endtime timestamptz, id bigint, pid bigint, readrows bigint, skiprows bigint, loadrows bigint, errorrows bigint, whenrows bigint, allnullrows bigint, detail text);
   gaussdb=# CREATE INDEX gs_copy_summary_idx ON load_user.gs_copy_summary(id);

4. （可选）创建pgxc_copy_error_log表并添加索引：
   

   如果GUC参数enable_copy_error_log未设置（默认为off）或者设置为off，则无需使用错误表，无需创建。否则需要创建该错误表。

   --创建pgxc_copy_error_log表。
   gaussdb=# CREATE TABLE load_user.pgxc_copy_error_log (relname varchar, begintime timestamptz, filename varchar, lineno int8, rawrecord text, detail text);
   
   --创建索引。
   gaussdb=# CREATE INDEX copy_error_log_relname_idx ON load_user.pgxc_copy_error_log(relname);

命令格式

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

LOAD [ DATA ]
[CHARACTERSET char_set_name]
[INFILE [directory_path] [filename ] ]
[BADFILE [directory_path] [filename ] ]
[OPTIONS(name=value)]
[{ INSERT | APPEND | REPLACE | TRUNCATE }] 
INTO TABLE table_name
[{ INSERT | APPEND | REPLACE | TRUNCATE }] 
[FIELDS CSV]
[TERMINATED [BY] { 'string' }]
[OPTIONALLY ENCLOSED BY { 'string' }]
[TRAILING NULLCOLS]
[ WHEN { (start:end) | column_name } {= | !=} 'string' ]
[(
col_name [ [ POSITION ({ start:end }) ]  ["sql_string"] ] | [ FILLER [column_type [external] ] ] | [ CONSTANT "string" ] | [ SEQUENCE ( { COUNT | MAX | integer } [, incr] ) ]|[NULLIF (COL=BLANKS)]
[, ...]
)]

参数说明

• 参数均为小写，不支持大写，同时兼容gsql登录方式：-p端口号，-h主机，-d数据库，-U用户名，-W密码方式。
• 不支持OPTIONS、INFILE、BADFILE，仅在特定场景下不报语法错误。
• gs_loader使用bad文件来记录出错数据，如果设置guc参数enable_copy_error_log开启错误表，该数据来自错误表的rawrecord字段，由于错误表对于以某种编码无法读取的错误不记录rawrecord，因此bad文件中遇到此情况时记录空行。
• gs_loader在设置guc参数a_format_load_with_constraints_violation开启支持约束冲突不回滚场景时，如果表带有BEFORE/AFTER ROW INSERT触发器，则每次提交行数不能超过1000万行。
• gs_loader在设置guc参数a_format_load_with_constraints_violation开启支持约束冲突不回滚场景时，不支持语句级触发器。
• 使用rows参数时，提交次数不要超过1000次，否则会对性能产生影响。提交次数约等于数据文件中数据行数除以rows参数取值。不指定rows参数时，rows无默认取值，表现为只进行一次提交，即所有数据都导入表中后进行一次事务提交。
• 小数据量频繁的提交会影响导入数据的性能，推荐合理配置rows参数的取值，保证每次提交的数据量大于5MB。对于常用的16U128G规格机器，一主两备部署场景下，向5个字段的表内导入13GB数据，排除网络影响，多次提交和单次提交（每次提交5MB数据）的速率基本持平，为10MB/s左右。
• compatible_nul参数实际控制guc参数loader_support_nul_character值的设置：
  • compatible_nul=true对应session级set loader_support_nul_character='s2'。
  • compatible_nul=false对应session级set loader_support_nul_character='s1'。

    建议通过命令行设置此参数且通过compatible_nul设置优先级高于guc_param中设置。

• 当前gs_loader仅支持数据文件中存在nul字符时的兼容，不支持ctl控制文件中存在nul字符。ctl文件中存在nul字符会存在不可预期的问题。
• gs_loader导入过程中，不需要转码场景下，单行数据最大不超过1GB-1；转码场景下单行数据最大不超过256MB-1。当单行数据过大而max_process_memory设置过小时会报错内存不足，需要调整max_process_memory的大小后进行重试。
• 建议单个导入文件的大小不超过1GB。gs_loader对单个导入文件的大小没有限制，但是对大文件数据的导入通常会比较耗时，因此建议在使用的过程中，对较大的数据文件进行切分，启动多个gs_loader进程以append的形式向表中写入数据（如果有truncate的需要则需要单独执行truncate，而不是将truncate写入控制文件中）。在cpu资源足够时，这种做法可以有效地提升导入速率。
• 如果是基本的数据迁移场景，建议先删除表上的索引，禁用表上的触发器，待数据迁移完成后再重建索引，恢复表上的触发器。对导入性能会有所提升。
• 指定binary参数为true后，有以下行要求：
  • 数据文件必须为通过\COPY中BINARY模式导出的二进制格式数据文件，但是该模式导出的数据文件通常兼容性及可移植性较差，建议直接使用\COPY语句进行导入。
  • gs_loader会将控制文件中语法转换为\COPY中BINARY模式下最简单的语法，即\COPY table_name FROM 'binary_file_path' BINARY; 语句。只解析控制文件中导入模式，表名信息和命令行中的control、data、binary、guc_param及数据库连接参数信息，不对其他参数语法进行解析和生效。
  • 对于gs_loader的命令行及控制文件中有以下要求：
    • 不支持字符集配置。
    • 不支持WHEN条件过滤及DISCARD生成。
    • 不支持enable_copy_error_log = off下将错误数据直接写入bad文件，将日志数据直接写入log文件，enable_copy_error_log=on下将错误数据直接写入错误表，日志数据直接写入日志表。
    • 不支持配置CSV模式，不支持指定分隔符及包裹符，不支持TRAILING NULLCOLS语法。
    • 不支持数据类型配置、POSITION配置及列表达式使用。
    • 不支持FILLER、CONSTANT、SEQUENCE、NULLIF参数。
    • 不支持skip、rows、compatible_nul、compatible_illegal_chars、parallel参数。
• 指定parallel大于1时：
  • 当同时设置binary参数为true时，parallel参数失效，按串行导入。
  • 不支持在控制文件中设置OPTIONALLY ENCLOSED BY或者FIELDS CSV。
  • 不支持在控制文件中设置SEQUENCE列。
  • 无法保证数据按数据文件中的顺序导入。如果表中存在自增列，导入后自增列值的顺序无法保证与数据文件中顺序一致。
  • 同时使用errors参数时，errors参数的意义为每个子任务允许出现的最大错误行数。
  • 同时使用skip参数时，skip参数的意义是在整个数据文件开头跳过的行数。
  • 同时使用rows参数时，分批提交的批次各子任务独立计算。
  • 在客户端CPU、内存和服务端CPU、内存、空闲线程以及网络带宽不存在瓶颈，并且bad/discard总数不超过1%时，相比于串行导入，并发度为2/4/8时的性能提升不低于1.5/3/5倍。
  • 并发度每增加1，大约增加客户端10MB内存，服务端大约35MB内存。
• 当设置GUC参数support_zero_character为on时，表示数据库支持0x00字符的写入和读取，gs_loader导入数据时，会将0x00按照原始样式导入，而不是受其他兼容性参数影响转换成0x20。对于0字符处理场景，参数优先级为support_zero_character > copy_special_character_version > compatible_illegal_chars > loader_support_nul_character。
• 当设置了copy_special_character_version='no_error'时，优先级高于compatible_illegal_chars，非法编码的数据会原样导入，而不是发生转换。
• 参数值建议使用数字、字母、汉字以及文件路径分隔符'/'等，其他字符可能会导致shell命令解析异常。

示例

示例一

1. （非三权分立）仅对于普通用户。
   1. （在管理员用户下）创建用户。

      gaussdb=# CREATE USER load_user WITH PASSWORD '********';

   2. （可选，在管理员用户下）给用户授权gs_copy_summary_log表。
      

      如果guc参数enable_copy_error_log未设置（默认为off），或者设置为off，则无需使用日志表，无需创建。否则需要创建该日志表。

      gaussdb=# GRANT INSERT,SELECT,DELETE ON  pg_catalog.gs_copy_summary_log To load_user;

   3. （可选，在管理员用户下）给用户授权错误表gs_copy_error_log。
      

      如果guc参数enable_copy_error_log未设置（默认为off），或者设置为off，则无需使用错误表，无需创建。否则需要创建该错误表。

      gaussdb=# GRANT INSERT,SELECT,DELETE ON  pg_catalog.gs_copy_error_log To load_user;

   4. 切换用户。

      gaussdb=# \c - load_user

2. （三权分立）对于普通用户和管理员用户。
   1. （在初始用户下）创建用户。

      gaussdb=# CREATE USER load_user WITH PASSWORD '********';

   2. （在初始用户下）切换为load_user用户。

      gaussdb=# \c - load_user

   3. （可选）创建gs_copy_summary表并添加索引。
      

      如果guc参数enable_copy_error_log未设置（默认为off），或者设置为off，则无需使用日志表，无需创建。否则需要创建该日志表。

      gaussdb=# CREATE TABLE load_user.gs_copy_summary(relname varchar, begintime timestamptz, endtime timestamptz, id bigint, pid bigint, readrows bigint, skiprows bigint, loadrows bigint, errorrows bigint, whenrows bigint, allnullrows bigint, detail text);
      gaussdb=# CREATE INDEX gs_copy_summary_idx ON load_user.gs_copy_summary(id);

   4. （可选）创建pgxc_copy_error_log表并添加索引。
      

      如果guc参数enable_copy_error_log未设置（默认为off），或者设置为off，则无需使用错误表，无需创建。否则需要创建该错误表。

      gaussdb=# CREATE TABLE load_user.pgxc_copy_error_log (relname varchar, begintime timestamptz, filename varchar, lineno int8, rawrecord text, detail text);
      gaussdb=# CREATE INDEX copy_error_log_relname_idx ON load_user.pgxc_copy_error_log(relname);

3. 创建表和控制文件，准备数据文件。

   创建表loader_tbl。

   1 2 3 4 5 6 7

   gaussdb=# CREATE TABLE loader_tbl ( ID NUMBER, NAME VARCHAR2(20), CON VARCHAR2(20), DT DATE );

   （在gs_loader客户端机器上）创建控制文件loader.ctl。

   1 2 3 4 5 6 7 8 9 10 11

   LOAD DATA truncate into table loader_tbl WHEN (2:2) = ',' fields terminated by ',' trailing nullcols ( id integer external, name char(32), con ":id || '-' || :name", dt date )

   （在gs_loader客户端机器上）创建guc参数文件guc.txt。

   1	set a_format_copy_version='s1';

   （在gs_loader客户端机器上）创建数据文件data.csv。

   1 2 3 4 5 6 7 8 9 10 11 12 13 14

   1,OK,,2007-07-8 2,OK,,2008-07-8 3,OK,,2009-07-8 4,OK,,2007-07-8 43,DISCARD,,2007-07-8 ,,, 32,DISCARD,,2007-07-8 a,ERROR int,,2007-07-8 8,ERROR date,,2007-37-8 ,,,, , 8,ERROR fields,,2007-37-8 ,,, 5,OK,,2021-07-30

4. 进行导入。

   （在gs_loader客户端机器上）执行导入前，先确认gs_loader工具有可执行权限。确保当前路径有文件写入权限（gs_loader在处理过程中会生成一些临时文件，导入完成后自动删除）。

   1	gs_loader control=loader.ctl data=data.csv db=testdb bad=loader.bad guc_param=guc.txt errors=5 port=8000 passwd=******** user=load_user

   执行结果：

   1 2 3 4 5 6

   gs_loader: version 0.1 5 Rows successfully loaded. log file is: loader.log

gs_copy_summary用于记录调用的copy语法及其详细情况，[badfile]_bad.log文件用于记录错误数据及其详细情况。为防止上一次导入时记录的错误数据以及详细情况被覆盖，建议每次执行导入时使用不同的bad参数。如果使用错误表记录错误数据以及详细情况，请开启GUC参数enable_copy_error_log。如需删除表中的数据，可以对错误表和日志表执行truncate或者delete操作。

示例二

bad文件对应数据为空时，需要对应错误表的内容参考源文件和行号（不识别某种编码序列，不写bad文件内容，只记录空行）。

--对于loader对应的文件，查找数据文本第一行找出源数据。
loader=# select * from pgxc_copy_error_log;
       relname        |           begintime           | filename | lineno | rawrecord |                     detail                      
----------------------+-------------------------------+----------+--------+-----------+-------------------------------------------------
 public.test_gsloader | 2023-02-09 09:20:33.646843-05 | STDIN    |      1 |           | invalid byte sequence for encoding "UTF8": 0xb4
(1 row)

示例三

NULLIF使用用例。

--创建表gsloader_test_nullif。
gaussdb=# create table gsloader_test_nullif(
col1   varchar2(100) not null enable,
col2   number(5,0) not null enable,
col3   varchar2(200) not null enable,
col4   varchar2(34) not null enable,
col5   varchar2(750),
col6   number(20,0),
col7   varchar2(4000),
col8   varchar2(200)
);

--查看数据文件test.csv。
6007 17060072021-09-0360070001102010000000230          1        600700010000218               0        1        1        229465        3
6007 17060072021-09-0360070001102010000000299          1        600700010000282               0        1        1        230467        3
6007 17060072021-09-0360070001102010000000242          1        600700010000255               0        1        1        226400        3
6007 17060072021-09-0360070001102010000000202          1        600700010000288               0        1        1        219107        3
6007 17060072021-09-0360070001102010000000294          1        600700010000243               0        1        1        204404        3
6007 17060072021-09-0360070001102010000000217          1        600700010000270               0        1        1        226644        3

--查看控制文件test.ctl。
LOAD DATA  
CHARACTERSET UTF8
TRUNCATE
INTO TABLE gsloader_test_nullif
TRAILING NULLCOLS
(COL1 POSITION(1:10) CHAR NULLIF (COL1 = BLANKS),
COL2  POSITION(11:14) CHAR NULLIF (COL2 = BLANKS),
COL3  POSITION(21:30) CHAR NULLIF (COL3 = BLANKS),
COL4  POSITION(31:40) CHAR NULLIF (COL4 = BLANKS),
COL5  sysdate,
COL6,
COL7, 
COL8 POSITION(71:80) CHAR NULLIF (COL8 = BLANKS))

--执行导入。
gs_loader -p xxx host=xxx control=test.ctl  data=test.csv -d testdb -W xxx 

--查看导入结果，显示导入成功。
loader=# select * from gsloader_test_nullif;
    col1    | col2 |    col3    |    col4    |        col5         | col6 | col7 |   col8
------------+------+------------+------------+---------------------+------+------+-----------
 6007 17060 |  720 | 0360070001 | 1020100000 | 2023-05-17 20:32:03 |      |      | 010000218
 6007 17060 |  720 | 0360070001 | 1020100000 | 2023-05-17 20:32:03 |      |      | 010000282
 6007 17060 |  720 | 0360070001 | 1020100000 | 2023-05-17 20:32:03 |      |      | 010000255
 6007 17060 |  720 | 0360070001 | 1020100000 | 2023-05-17 20:32:03 |      |      | 010000288
 6007 17060 |  720 | 0360070001 | 1020100000 | 2023-05-17 20:32:03 |      |      | 010000243
 6007 17060 |  720 | 0360070001 | 1020100000 | 2023-05-17 20:32:03 |      |      | 010000270
(6 rows)

从导入表中的数据可以看出在使用NULLIF关键字后，除指定NULLIF运算和sysdate运算的列执行导入操作后导入字段正常，其余未指定运算的列表现为导入字段为空。

示例四

ctl文件中不指定列类型，源数据不满足表中列限制（数据类型限制、数据长度限制）。

--建表。
gaussdb=# create table t_test(id int, text varchar(5));

--查看数据文件test.csv。
addf2,bbbbaaa,20220907,

--查看控制文件test.ctl。
Load Data
TRUNCATE INTO TABLE t_test
fields terminated by ','
TRAILING NULLCOLS(
id "length(trim(:id))",
text "replace(trim(:text),'bbbb','aa')"
)

--通过guc_param设置a_format_copy_version参数。
cat test_guc.txt
set a_format_copy_version='s1';

--执行导入。
gs_loader -p xxx host=xxx control=test.ctl  data=test.csv -d testdb -W xxx guc_param=test_guc.txt

--导入结果，显示导入成功。
gaussdb=# select * from t_test;
 id | text  
----+-------
  5 | aaaaa
(1 row)

示例五

ctl文件中不指定列类型，隐式类型转换（涉及隐式类型转换，建议加上兼容性参数）。

--建表。
gaussdb=# create table test(mes int, mes1 text, mes2 float8, mes3 timestamp with time zone, mes4 INTEGER);

--查看数据文件。
cat load_support_transform.data
1,mmoo,12.6789,Thu Jan 01 15:04:28 1970 PST,32767
2,yyds,180.883,Thu Jun 21 19:00:00 2012 PDT,32768

--查看控制文件。
cat load_support_transform.ctl 
Load Data
TRUNCATE INTO TABLE test
fields terminated by ','
TRAILING NULLCOLS(
mes,
mes1 "mes1 || mes2",
mes2 "mes2 + 1",
mes3 "date_trunc('year', mes3)",
mes4
)

--通过guc_param设置a_format_copy_version参数。
cat test_guc.txt
set a_format_copy_version='s1';
set a_format_dev_version='s2';
set a_format_version='10c';

--执行导入。
gs_loader -p xxx host=xxx control=load_support_transform.ctl data=load_support_transform.data -d testdb -W xxx guc_param=test_guc.txt 

--查看导入结果，显示导入成功。
gaussdb=# select * from test;
 mes |    mes1     |  mes2   |          mes3          | mes4  
-----+-------------+---------+------------------------+-------
   1 | mmoo12.6789 | 13.6789 | 1970-01-01 00:00:00+08 | 32767
   2 | yyds180.883 | 181.883 | 2012-01-01 00:00:00+08 | 32768

示例六

--建表。
gaussdb=# create table t_spec(col1 varchar(10), col2 varchar(10));

--查看数据文件。
cat t_spec.txt
1234,5678,

--查看控制文件。
cat t_spec.ctl
Load Data
TRUNCATE INTO TABLE t_spec
fields terminated by ','
TRAILING NULLCOLS(
col1 position(2:6) integer,
col2 position(5:8) smallint
)

--通过guc_param设置a_format_copy_version参数。
cat test_guc.txt
set a_format_copy_version='s1';
set a_format_dev_version='s2';
set a_format_version='10c';

--执行导入。
gs_loader -p xxx host=xxx control=t_spec.ctl data=t_spec.txt -d testdb -W xxx guc_param=test_guc.txt

--查看导入结果，显示导入成功。
gaussdb=# select * from t_spec;
   col1    | col2
-----------+-------
 741618482 | 13612
(1 row)

示例七

--建表。
gaussdb=# create table t_raw(col raw(50));

--查看数据文件。
cat t_raw.txt
12\n\x78!<~?'k^(%s)>/c[$50]

--查看控制文件。
cat t_raw.ctl
Load Data
TRUNCATE INTO TABLE t_raw
TRAILING NULLCOLS(
col position(1:50) raw
)

--通过guc_param设置a_format_copy_version参数。
cat test_guc.txt
set a_format_copy_version='s1';
set a_format_dev_version='s2';
set a_format_version='10c';

--执行导入。
gs_loader -p xxx host=xxx control=t_raw.ctl data=t_raw.txt -d testdb -W xxx guc_param=test_guc.txt

--导入结果，查看导入成功。
gaussdb=# select * from t_raw;
                          col
--------------------------------------------------------
 31325C6E5C783738213C7E3F276B5E282573293E2F635B2435305D
(1 row)