文档首页/ 数据仓库服务 GaussDB(DWS)/ 数据迁移与同步/ 导出数据/ 使用GDS导出数据到远端服务器/ GDS导出示例

更新时间：2024-11-05 GMT+08:00

查看PDF

GDS导出示例

Remote模式导出

规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，导出数据文件格式为CSV，所以规划的并行导出模式为Remote模式。

Remote模式并行导出数据操作示例如下所示：

以root用户登录GDS数据服务器，创建数据文件存放目录“/output_data”，启动gds_user用户及所属的用户组。
1

mkdir -p /output_data
（可选）创建用户及其所属的用户组。此用户用于启动GDS。若该类用户及所属用户组已存在，可跳过此步骤。
1 2

groupadd gdsgrp useradd -g gdsgrp gds_user
修改数据服务器上数据文件目录“/output_data”的属主为gds_user。
1

chown -R gds_user:gdsgrp /output_data

以gds_user用户登录数据服务器上分别启动GDS。

其中GDS安装路径为“/opt/bin/dws/gds”，导出数据文件存放在“/output_data/”目录下，数据服务器所在IP为192.168.0.90，GDS监听端口为5000，以后台方式运行。

       
            /opt/bin/dws/gds/bin/gds -d /output_data -p 192.168.0.90:5000 -H 10.10.0.1/24 -D

在数据库中创建外表foreign_tpcds_reasons用于接收数据服务器上的数据。

其中设置的导出模式信息如下所示：

由于启动GDS时，设置的导出数据文件存放目录为“/output_data/”，GDS监听端口为5000。创建的导出数据文件存放目录为“/output_data/”。所以设置参数“location”为“gsfs://192.168.0.90:5000/”。

设置导出的数据文件格式信息如下所示：

数据文件格式（format）为CSV。
编码格式（encoding）为UTF-8。
字段分隔符（delimiter）为E'\x08'。
引号字符（quote）为E'\x1b'。
数据文件中空值（null）为没有引号的空字符串。
逃逸字符（escape）默认和quote相同。
数据文件是否包含标题行（header）为默认值false，即导出时数据文件第一行被识别为数据。

根据以上信息，创建的外表如下所示：

      
       
         
         
           CREATE FOREIGN TABLE foreign_tpcds_reasons
(
  r_reason_sk    integer        not null,
  r_reason_id    char(16)       not null,
  r_reason_desc  char(100)
) 
SERVER gsmpp_server
OPTIONS 
(
LOCATION 'gsfs://192.168.0.90:5000/', 
FORMAT 'CSV',
ENCODING 'utf8',
DELIMITER E'\x08', 
QUOTE E'\x1b', 
NULL ''
) 
WRITE ONLY;

          

        

      
     

在数据库上，通过外表foreign_tpcds_reasons，将数据导出到数据文件中。
1

INSERT INTO foreign_tpcds_reasons SELECT * FROM tpcds.reason;

待数据导出完成后，以gds_user用户登录数据服务器，停止GDS。

其中GDS进程号为128954。

       
            ps -ef|grep gds
gds_user 128954      1  0 15:03 ?        00:00:00 gds -d /output_data -p 192.168.0.90:5000 -D
gds_user 129003 118723  0 15:04 pts/0    00:00:00 grep gds
kill -9 128954

多线程导出

规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，导出的数据文件格式为CSV，同时导出2个目标表，所以规划使用Remote模式进行多线程导出。

Remote模式多线程导出数据操作示例如下所示：

以root用户登录GDS数据服务器，创建导出数据文件存放目录“/output_data”，数据库用户及所属的用户组。
1 2 3

mkdir -p /output_data groupadd gdsgrp useradd -g gdsgrp gds_user
修改数据服务器上数据文件目录“/output_data”的属主为gds_user。
1

chown -R gds_user:gdsgrp /output_data

以gds_user用户登录数据服务器上启动GDS。

其中GDS安装路径为“/opt/bin/dws/gds”，导出数据文件存放在“/output_data/”目录下，数据服务器所在IP为192.168.0.90，GDS监听端口为5000，以后台方式运行，设定并发度为2。

       
            /opt/bin/dws/gds/bin/gds -d /output_data -p 192.168.0.90:5000 -H 10.10.0.1/24 -D -t 2

在GaussDB(DWS)上，创建外表foreign_tpcds_reasons1和foreign_tpcds_reasons2用于接收数据服务器上的数据。

其中设置的导出模式信息如下所示：
- 由于启动GDS时，设置的导出数据文件存放目录为“/output_data/”，GDS监听端口为5000。创建的导出数据文件存放目录为“/output_data/”。所以设置参数“location”为“gsfs://192.168.0.90:5000/”。
设置导出的数据文件格式信息如下所示：
- 数据文件格式（format）为CSV。
- 编码格式（encoding）为UTF-8。
- 字段分隔符（delimiter）为E'\x08'。
- 引号字符（quote）为E'\x1b'。
- 数据文件中空值（null）为没有引号的空字符串。
- 逃逸字符（escape）默认和quote相同。
- 数据文件是否包含标题行（header）为默认值false，即导出时数据文件第一行被识别为数据。

根据以上信息，创建的外表foreign_tpcds_reasons1如下所示：

      
       
         
         
           CREATE FOREIGN TABLE foreign_tpcds_reasons1
(  
  r_reason_sk    integer     not null,
  r_reason_id    char(16)    not null,
  r_reason_desc  char(100)
) 
SERVER gsmpp_server 
OPTIONS 
(
LOCATION 'gsfs://192.168.0.90:5000/', 
FORMAT 'CSV',
ENCODING 'utf8', 
DELIMITER E'\x08', 
QUOTE E'\x1b', 
NULL ''
) 
WRITE ONLY;

          

        

      
     

参考以上设置，创建的外表foreign_tpcds_reasons2如下所示：

      
       
         
         
           CREATE FOREIGN TABLE foreign_tpcds_reasons2
(  
  r_reason_sk    integer     not null,
  r_reason_id    char(16)    not null,
  r_reason_desc  char(100)
) 
SERVER gsmpp_server 
OPTIONS 
(
LOCATION 'gsfs://192.168.0.90:5000/', 
FORMAT 'CSV', 
DELIMITER E'\x08', 
QUOTE E'\x1b', 
NULL ''
) 
WRITE ONLY;

          

        

      
     

在数据库中通过外表foreign_tpcds_reasons1和foreign_tpcds_reasons2，将表reasons1和reasons2中的数据导出到目录“/output_data”中：
1

INSERT INTO foreign_tpcds_reasons1 SELECT * FROM tpcds.reason;
1

INSERT INTO foreign_tpcds_reasons2 SELECT * FROM tpcds.reason;

待数据导出完成后，以gds_user用户登录数据服务器，停止GDS。

其中GDS进程号为128954。

       
            ps -ef|grep gds
gds_user 128954      1  0 15:03 ?        00:00:00 gds -d /output_data -p 192.168.0.90:5000 -D -t 2 
gds_user 129003 118723  0 15:04 pts/0    00:00:00 grep gds
kill -9 128954

单个管道文件导出

启动GDS。

      
           gds -d /***/gds_data/ -D -p 192.168.0.1:7789 -l /***/gds_log/aa.log -H 0/0 -t 10 -D

如果需要设置管道文件的超时时间，则使用--pipe-timeout参数设置。

执行数据导出。

登录数据库创建内表，并写入数据。

        
             CREATE TABLE test_pipe( id integer not null, gender text not null, name text ) ;

INSERT INTO test_pipe values(1,2,'11111111111111');
INSERT INTO test_pipe values(2,2,'11111111111111');
INSERT INTO test_pipe values(3,2,'11111111111111');
INSERT INTO test_pipe values(4,2,'11111111111111');
INSERT 0 1

创建只写外表。

CREATE FOREIGN TABLE foreign_test_pipe_tw( id integer not null, age text not null, name  text ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.1:7789/', FORMAT 'text', DELIMITER ',',  NULL '', EOL '0x0a' ,file_type 'pipe', auto_create_pipe 'false') WRITE ONLY;

导出语句，此时语句会阻塞。

        
             INSERT INTO foreign_test_pipe_tw select * from test_pipe;

通过管道文件将数据从GDS导出。

登录GDS，进入GDS数据目录：
1

cd /***/gds_data/

创建管道文件，如果auto_create_pipe设置为true跳过此步骤：

        
             mkfifo postgres_public_foreign_test_pipe_tw.pipe

管道文件创建完成后，每执行完一次操作，业务会被自动清理。如果还需要执行其他业务，请参考该步骤重新创建管道文件。

读取管道文件并写入新文件：

        
             cat postgres_public_foreign_test_pipe_tw.pipe > postgres_public_foreign_test_pipe_tw.txt

若需要对导出的文件进行压缩执行：

        
             gzip -9 -c < postgres_public_foreign_test_pipe_tw.pipe  > out.gz

若需要将管道文件的内容导出到hdfs服务器：

        
             cat postgres_public_foreign_test_pipe_tw.pipe  | hdfs dfs -put -  /user/hive/***/test_pipe.txt

验证导出的数据。

查看文件是否导出正确。

        
             cat postgres_public_foreign_test_pipe_tw.txt
3,2,11111111111111
1,2,11111111111111
2,2,11111111111111
4,2,11111111111111

查看压缩后的文件。

        
             vim out.gz
3,2,11111111111111
1,2,11111111111111
2,2,11111111111111
4,2,11111111111111

查看导出到hdfs服务器上的数据。

        
             hdfs dfs -cat /user/hive/***/test_pipe.txt
3,2,11111111111111
1,2,11111111111111
2,2,11111111111111
4,2,11111111111111

多进程管道文件导出

GDS也支持多进程管道文件导入导出，即启动一个外表对应多个GDS。

以本地文件的导出为例：

启动多个GDS。

      
           gds -d /***/gds_data/ -D -p 192.168.0.1:7789 -l /***/gds_log/aa.log -H 0/0 -t 10 -D
gds -d /***/gds_data_1/ -D -p 192.168.0.1:7790 -l /***/gds_log/aa.log -H 0/0 -t 10 -D

如果需要设置管道文件的超时时间，则使用--pipe-timeout参数设置。

执行数据导出。

登录数据库创建内表。

        
             CREATE TABLE test_pipe (id integer not null, gender text not null, name  text);

写入数据。

        
             INSERT INTO test_pipe values(1,2,'11111111111111');
INSERT INTO test_pipe values(2,2,'11111111111111');
INSERT INTO test_pipe values(3,2,'11111111111111');
INSERT INTO test_pipe values(4,2,'11111111111111');

创建只写外表。

        
             CREATE FOREIGN TABLE foreign_test_pipe_tw( id integer not null, age text not null, name  text ) SERVER gsmpp_server OPTIONS (LOCATION 'gsfs://192.168.0.1:7789/|gsfs://192.168.0.1:7790/', FORMAT 'text', DELIMITER ',',  NULL '', EOL '0x0a' ,file_type 'pipe', auto_create_pipe 'false') WRITE ONLY;

导出语句，此时语句会阻塞。

        
             INSERT INTO foreign_test_pipe_tw select * from test_pipe;

通过管道文件将数据从GDS导出。

登录GDS，分别进入GDS数据目录。

        
             cd /***/gds_data/ 
cd /***/gds_data_1/

创建管道文件，如果auto_create_pipe设置为true跳过此步骤。

        
             mkfifo postgres_public_foreign_test_pipe_tw.pipe

分别读取管道文件并写入新文件。

cat postgres_public_foreign_test_pipe_tw.pipe > postgres_public_foreign_test_pipe_tw.txt

验证导出的数据。

      
           cat /***/gds_data/postgres_public_foreign_test_pipe_tw.txt
3,2,11111111111111

      
           cat /***/gds_data_1/postgres_public_foreign_test_pipe_tw.txt
1,2,11111111111111
2,2,11111111111111
4,2,11111111111111

父主题： 使用GDS导出数据到远端服务器

上一篇：停止GDS

下一篇：其他操作

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消