中软国际数据治理专业服务解决方案实践

创建GDS外表 外表中配置了数据源格式信息、GDS服务的访问信息，从而 GaussDB 最终可以通过外表将数据 服务器 上的数据引流进数据库实表中。 操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下： format：GDS外表导入支持 CS V、TEXT

查看更多 →

存了导出数据文件的位置、文件格式、编码格式、数据间的分隔符等信息。 详细内容请参见创建GDS外表。 - 执行导出数据。 在创建好外表后，通过INSERT语句，将数据快速、高效地导出到数据文件中。 详细内容请参见执行导出数据。 - 停止GDS。 数据导出完成后，停止GDS。 详细请参见停止GDS。

查看更多 →

使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题： 导入数据

查看更多 →

梳理待导出数据的格式信息，确定创建外表时使用的数据格式参数的值。 根据前面步骤确定的参数，创建GDS外表。 示例 示例：创建GDS导出外表foreign_tpcds_reasons，待导出数据格式为CSV，用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示： 规划数据服务器

查看更多 →

s，待导出数据格式为CSV，用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示： 规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，待导出的数据文件格式为CSV，选择并行导出模式为Remote模式。 假定启动GDS时，规划导出的数据文件存放目录

查看更多 →

非ASCII数据，那么使用SQL_ASCII设置都是不明智的，因为PG将无法帮助你转换或者校验非ASCII字符。 数据库系统支持某种编码，主要涉及三个方面：数据库服务器支持，数据访问接口支持以及客户端工具支持。 数据库服务器字符编码 数据库服务器支持某种编码，是指数据库服务器能够

查看更多 →

使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题： 导出数据

查看更多 →

创建GDS外表并导入TPC-DS数据 本文介绍如何通过GDS外表导入TPC-DS 1000x数据，表1列出了TPC-DS测试数据集中的表数据行数。 TPC-H请跳过本章节。 表数据行数 表1 TPC-DS 序号 表名 行数 1 customer_address 6,000,000

查看更多 →

GDS导入数据时是否支持使用公网/外网导入？ 不支持。GDS导入数据的原理是，GDS服务器和GaussDB(DWS)在内网互通的前提下，使用集群内每个DN去并行连接GDS服务器，以达到大容量并行导入的目的，因此必须确保GDS服务器与集群在同一个网络内。如果GDS为线下服务器，则需

查看更多 →

教程：使用GDS从远端服务器导入数据 教程指引 先决条件 步骤1：准备源数据 步骤2：在数据服务器上安装配置和启动GDS 步骤3：在GaussDB数据库中创建外表 步骤4：将数据导入GaussDB 步骤5：分析和处理错误表中的错误信息 步骤6：优化导入数据的查询性能 步骤7：停止GDS

查看更多 →

详细内容请参见执行导出数据。 - 停止GDS。 数据导出完成后，停止GDS。 详细请参见停止GDS。 - 父主题： 使用外表并行导出

查看更多 →

DN（Datanode）：GaussDB(DWS)数据节点。接收CN下发的导入任务，将数据源文件中的数据通过外表写入数据库目标表中。 数据源文件：存有数据的文件。文件中保存的是待导入数据库的数据。 数据服务器：数据源文件所在的服务器称为数据服务器。基于安全考虑，建议数据服务器和GaussDB(DWS)集群处于同一内网。

查看更多 →

创建GDS外表并导入TPC-H数据 本文介绍如何通过GDS外表导入TPC-H 1000x数据，表1列出了TPC-H测试数据集中的表数据行数。 TPC-DS请跳过本章节。 表数据行数 表1 TPC-H 序号 表名 行数 1 region 5 2 nation 25 3 supplier

查看更多 →

GDS导入数据时，脚本执行报错：out of memory 问题现象 在使用GDS导入数据时，脚本执行报错“out of memory”。 原因分析 使用copy命令或者导入数据时，源数据单行数据的大小超过1GB。 由于源文件中的格式符不成对出现，比如引号，文件格式异常导致系统识别的单行数据过大超过1GB。

查看更多 →

GDS导入时默认对端程序超过1小时未向管道中写入数据导入任务将会超时报错。 GDS导出时默认对端程序超过1小时未从管道中读数据导出任务将会超时报错。 需确保GDS版本和数据库内核版本都已经支持管道文件导入导出功能。 当外表参数auto_create_pipe设置为true时，GDS自动创建管道文件可能存在

查看更多 →

安装配置和启动GDS GDS是GaussDB(DWS)提供的数据服务工具，通过和外表机制的配合，实现数据的高速导出。 详细内容请参见安装配置和启动GDS。 父主题： 使用GDS导出数据到远端服务器

查看更多 →

安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。GDS在各台数据服务器

查看更多 →

于：内存大小、句柄数量、GDS数据目录对应磁盘的空闲空间大小。如果GDS部署于GaussDB集群外部，请确保其物理环境配置与集群内部配置对齐。 在GDS IO与网卡未达到物理瓶颈前，可以考虑在GaussDB开启SMP进行加速。SMP开启之后会对对应的GDS产生成倍的压力。需要特别

查看更多 →

外表的数据源位置，目前支持URL方式的描述。多个URL使用‘|’分隔。 gds目前可以支持导出的时候自动创建外表定义的目录。 如外表localtion 定义 "gsfs:// 192.168.0.91:5000/2019/09" 执行导出任务的时候，如果gds数据目录下的子目录 "2019/09" 不存在则会自动的

查看更多 →

OK 在存放数据源文件的服务器上，安装配置并启动GDS服务。以便后续应用GDS服务连通GaussDB，进行数据导入。 登录待安装GDS的数据服务器192.168.0.90，创建用户gds_user及其所属的用户组gdsgrp。此用户用于启动GDS，且需要拥有读取数据源文件目录的权限。

查看更多 →

ANALYZE product_info; 停止GDS 以gds_user用户登录安装GDS的数据服务器。 使用以下方式停止GDS。 执行如下命令，查询GDS进程号。其中，GDS进程号为128954。 ps -ef|grep gds gds_user 128954 1 0

查看更多 →