GDS导入示例

示例：多数据服务器并行导入

规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90和192.168.0.91。数据源文件格式为CSV。

创建导入的目标表tpcds.reasons。

      
           CREATE TABLE tpcds.reasons
(
  r_reason_sk integer not null,
  r_reason_id char(16) not null,
  r_reason_desc char(100)
);

以root用户登录每台GDS数据服务器，在两台数据服务器上，分别创建数据文件存放目录“/input_data”。以下以IP为192.168.0.90的数据服务器为例进行操作，剩余服务器上的操作与它一致。
```
mkdir -p /input_data
```
（可选）创建用户及其所属的用户组。此用户用于启动GDS。若该类用户及所属用户组已存在，可跳过此步骤。
```
groupadd gdsgrp
useradd -g gdsgrp gds_user
```
将数据源文件均匀分发至相应数据服务器的“/input_data”目录中。
修改每台数据服务器上数据文件及数据文件目录“/input_data”的属主为gds_user。以下以IP为192.168.0.90的数据服务器为例，进行操作。
```
chown -R gds_user:gdsgrp /input_data 
```
以gds_user用户登录每台数据服务器上分别启动GDS。
其中GDS安装路径为“/opt/bin/dws/gds”，数据文件存放在“/input_data/”目录下，数据服务器所在IP为192.168.0.90和192.168.0.91，GDS监听端口为5000，以后台方式运行。
在IP为192.168.0.90的数据服务器上启动GDS。
```
/opt/bin/dws/gds/gds -d /input_data -p 192.168.0.90:5000 -H 10.10.0.1/24 -D
```
在IP为192.168.0.91的数据服务器上启动GDS。
```
/opt/bin/dws/gds/gds -d /input_data -p 192.168.0.91:5000 -H 10.10.0.1/24  -D
```

创建外表tpcds.foreign_tpcds_reasons用于接收数据服务器上的数据。

其中设置导入模式信息如下所示：

导入模式为Normal模式。
由于启动GDS时，设置的数据源文件存放目录为“/input_data”，GDS监听端口为5000，所以设置参数“location”为“gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*”。

设置数据格式信息是根据导出时设置的详细数据格式参数信息指定的，参数设置如下所示：

数据源文件格式（format）为CSV。
编码格式（encoding）为UTF-8。
字段分隔符（delimiter）为E'\x08'。
引号字符（quote）为0x1b。
数据文件中空值（null）为没有引号的空字符串。
逃逸字符（escape）默认和quote相同。
数据文件是否包含标题行（header）为默认值false，即导入时数据文件第一行被识别为数据。

设置导入容错性如下所示：

允许出现的数据格式错误个数（PER NODE REJECT LIMIT 'value'）为unlimited，即接受导入过程中所有数据格式错误。
将数据导入过程中出现的数据格式错误信息（LOG INTO error_table_name）写入表err_tpcds_reasons。

根据以上信息，创建的外表如下所示：

      
           CREATE FOREIGN TABLE tpcds.foreign_tpcds_reasons
(
  r_reason_sk integer not null,
  r_reason_id char(16) not null,
  r_reason_desc char(100)
)
SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/* | gsfs://192.168.0.91:5000/*', format 'CSV',mode 'Normal', encoding 'utf8', delimiter E'\x08', quote E'\x1b', null '', fill_missing_fields 'false') LOG INTO err_tpcds_reasons PER NODE REJECT LIMIT 'unlimited';

通过外表tpcds.foreign_tpcds_reasons，将数据导入目标表tpcds.reasons。
1

INSERT INTO tpcds.reasons SELECT * FROM tpcds.foreign_tpcds_reasons;
查询错误信息表err_tpcds_reasons，处理数据导入错误。详细请参见处理错误表。
1

SELECT * FROM err_tpcds_reasons;

待数据导入完成后，以gds_user用户登录每台数据服务器，分别停止GDS。

以下以IP为192.168.0.90的数据服务器为例，停止GDS。其中GDS进程号为128954。

ps -ef|grep gds
gds_user 128954      1  0 15:03 ?        00:00:00 gds -d /input_data -p 192.168.0.90:5000 -D
gds_user 129003 118723  0 15:04 pts/0    00:00:00 grep gds
kill -9 128954

示例：多线程导入

规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，导入的数据源文件格式为CSV，同时导入2个目标表。

在数据库中创建导入的目标表tpcds.reasons1和tpcds.reasons2。

      
           CREATE TABLE tpcds.reasons1
(
  r_reason_sk integer not null,
  r_reason_id char(16) not null,
  r_reason_desc char(100)
) ;

      
           CREATE TABLE tpcds.reasons2
(
  r_reason_sk integer not null,
  r_reason_id char(16) not null,
  r_reason_desc char(100)
) ;

以root用户登录GDS数据服务器，创建数据文件存放目录“/input_data”，以及子目录“/input_data/import1/”和“/input_data/import2/”。
```
mkdir -p /input_data
```
将目标表tpcds.reasons1的数据源文件存放在数据服务器“/input_data/import1/”目录下，将目标表tpcds.reasons2的数据源文件存放在目录“/input_data/import2/”下。
（可选）创建用户及其所属的用户组。此用户用于启动GDS。若该用户及所属用户组已存在，可跳过此步骤。
```
groupadd gdsgrp
useradd -g gdsgrp gds_user
```
修改数据服务器上数据文件及数据文件目录“/input_data”的属主为gds_user。
```
chown -R gds_user:gdsgrp /input_data 
```
以gds_user用户登录数据服务器上启动GDS。
其中GDS安装路径为“/gds”，数据文件存放在“/input_data/”目录下，数据服务器所在IP为192.168.0.90，GDS监听端口为5000，以后台方式运行，设定并发度为2，并设定递归文件目录。
```
/gds/gds -d /input_data -p 192.168.0.90:5000 -H 10.10.0.1/24  -D -t 2 -r
```

在数据库中创建外表tpcds.foreign_tpcds_reasons1和tpcds.foreign_tpcds_reasons2用于接收数据服务器上的数据。

以下以外表tpcds.foreign_tpcds_reasons1为例，讲解设置的导入外表参数信息。

其中设置的导入模式信息如下所示：

导入模式为Normal模式。
由于启动GDS时，设置的数据源文件存放目录为“/input_data/”，GDS监听端口为5000，实际存放数据源文件目录为“/input_data/import1/”，所以设置参数“location”为“gsfs://192.168.0.90:5000/import1/*”。

设置的数据格式信息是根据导出时设置的详细数据格式参数信息指定的，参数设置如下所示：

数据源文件格式（format）为CSV。
编码格式（encoding）为UTF-8。
字段分隔符（delimiter）为E'\x08'。
引号字符（quote）为0x1b。
数据文件中空值（null）为没有引号的空字符串。
逃逸字符（escape）默认和quote相同。
数据文件是否包含标题行（header）为默认值false，即导入时数据文件第一行被识别为数据。

设置的导入容错性如下所示：

允许出现的数据格式错误个数（PER NODE REJECT LIMIT 'value'）为unlimited，即接受导入过程中所有数据格式错误。
将数据导入过程中出现的数据格式错误信息（LOG INTO error_table_name）写入表err_tpcds_reasons1。
当数据源文件中一行的最后一个字段缺失（fill_missing_fields）时，自动设置为NULL。

根据以上信息，创建的外表tpcds.foreign_tpcds_reasons1如下所示：

      
           CREATE FOREIGN TABLE tpcds.foreign_tpcds_reasons1
(
  r_reason_sk integer not null,
  r_reason_id char(16) not null,
  r_reason_desc char(100)
) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/import1/*', format 'CSV',mode 'Normal', encoding 'utf8', delimiter E'\x08', quote E'\x1b', null '',fill_missing_fields 'on')LOG INTO err_tpcds_reasons1 PER NODE REJECT LIMIT 'unlimited';

参考以上设置，创建的外表tpcds.foreign_tpcds_reasons2如下所示：

      
           CREATE FOREIGN TABLE tpcds.foreign_tpcds_reasons2
(
  r_reason_sk integer not null,
  r_reason_id char(16) not null,
  r_reason_desc char(100)
) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5000/import2/*', format 'CSV',mode 'Normal', encoding 'utf8', delimiter E'\x08', quote E'\x1b', null '',fill_missing_fields 'on')LOG INTO err_tpcds_reasons2 PER NODE REJECT LIMIT 'unlimited';

通过外表tpcds.foreign_tpcds_reasons1和tpcds.foreign_tpcds_reasons2将数据分别导入tpcds.reasons1和tpcds.reasons2。

      
           INSERT INTO tpcds.reasons1 SELECT * FROM tpcds.foreign_tpcds_reasons1;

      
           INSERT INTO tpcds.reasons2 SELECT * FROM tpcds.foreign_tpcds_reasons2;

查询错误信息表err_tpcds_reasons1和err_tpcds_reasons2，处理数据导入错误。详细请参见处理错误表。
1 2

SELECT * FROM err_tpcds_reasons1; SELECT * FROM err_tpcds_reasons2;

待数据导入完成后，以gds_user用户登录数据服务器，停止GDS。

其中GDS进程号为128954。

ps -ef|grep gds
gds_user 128954      1  0 15:03 ?        00:00:00 gds -d /input_data -p 192.168.0.90:5000 -D -t 2 -r
gds_user 129003 118723  0 15:04 pts/0    00:00:00 grep gds
kill -9 128954

父主题： GDS并行数据加载工具

上一篇：停止GDS

下一篇：gds