中软国际数据治理专业服务解决方案实践

ANALYZE product_info; 停止GDS 以gds_user用户登录安装GDS的数据 服务器 。 使用以下方式停止GDS。 执行如下命令，查询GDS进程号。其中，GDS进程号为128954。 ps -ef|grep gds gds_user 128954 1 0

查看更多 →

错误码描述：Unexpected EOF on GDS connection %s: %m. 解决方案：数据库与GDS交换数据时出错。对端GDS可能运行在带SSL认证的安全模式，请检查GDS与DN之间的网络连接、网络环境、节点系统端口是否正常，查看GDS的“WARNING”和“ERROR”日志，定位原因。

查看更多 →

安装配置和启动GDS 操作场景 GaussDB (DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。GDS在各台数据服务器

查看更多 →

安装配置和启动GDS GDS是GaussDB提供的数据服务工具，通过和外表机制的配合，实现数据的高速导出。根据导出作业的相关负载，检查GDS所在服务器与GaussDB集群的各物理集群相连通，并且上有充足的内存、句柄、磁盘空间等系统资源。详细内容请参见安装配置和启动GDS。 父主题：

查看更多 →

安装配置和启动GDS 操作场景 GaussDB提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。GDS在各台数据服务器上的安

查看更多 →

数据库对象命名 数据库对象命名需要满足约束： 标识符表长度不超过63个字节。若需要对建有全局二级索引（GSI）的表执行COPY、GDS数据导入操作，则表名长度不超过38个字节。 标识符以字母或下划线开头，中间字符可以是字母、数字、下划线、$、#。 若标识符被双引号（""）包含或者

查看更多 →

/output_data 修改数据服务器上数据文件目录“/output_data”的属主为gds_user。 chown -R gds_user:gdsgrp /output_data 以gds_user用户登录数据服务器上启动GDS。 其中GDS安装路径为“/opt/bin/gds”，导出数据文件存放

查看更多 →

DN（Data Node）：GaussDB数据节点。接收CN下发的导入任务，将数据源文件中的数据通过外表写入数据库目标表中。 数据源文件：存有数据的文件。文件中保存的是待导入数据库的数据。 数据服务器：数据源文件所在的服务器称为数据服务器。基于安全考虑，建议数据服务器和GaussDB集群处于同一内网。

查看更多 →

/”下。 修改数据服务器上数据文件及数据文件目录“/input_data”的属主为gds_user。 chown -R gds_user:gdsgrp /input_data 以gds_user用户登录数据服务器上启动GDS。 其中GDS安装路径为“/gds”，数据文件存放在“/

查看更多 →

外表的数据源位置，目前支持URL方式的描述。多个URL使用‘|’分隔。 gds目前可以支持导出的时候自动创建外表定义的目录。 如外表localtion 定义 "gsfs:// 192.168.0.91:5000/2019/09" 执行导出任务的时候，如果gds数据目录下的子目录 "2019/09" 不存在则会自动的

查看更多 →

使用GDS传输数据的过程中，报错：connection failure error 问题现象 在使用GDS传输数据的过程中，报错“connection failure error”。 原因分析 GDS进程崩溃。执行命令检查GDS进程是否崩溃： ps ux|grep gds 如果返回结果如下，则说明GDS进程启动成功：

查看更多 →

理，也无容错能力，无法适用于含有异常数据的场景。导入数据应优先选择GDS或COPY。 通过外表并行导入 通过INSERT语句直接写入数据 使用COPY FROM STDIN导入数据 使用gsql元命令导入数据 更新表中数据 深层复制 查看数据倾斜状态 分析表 对表执行VACUUM

查看更多 →

原因分析 GDS外表系统内部默认以ROUNDROBIN分布方式创建，不支持在创建外表时显式添加ROUNDROBIN分布信息。 处理方法 在创建GDS外表时，去除指定的分布信息，即去掉语句中显示指定的“DISTRIBUTE BY ROUNDROBIN”即可。 父主题： 数据导入/导出

查看更多 →

基于GDS的跨集群互联互通 功能描述 在“基于Foreign Table的数据处理”的基础上，通过GDS进行数据中转，实现多个集群之间的数据同步。 使用场景 将数据从一个集群同步到另外一个集群，支持全量数据同步、过滤条件数据同步。 目前互联互通仅支持以下使用方式，除以下语句外，其他类型的语法均不支持。

查看更多 →

OBS外表与GDS外表支持的数据格式有什么区别？ OBS与GDS外表支持格式文件区别如下： OBS导入支持ORC、TEXT、JSON、 CS V、CARBONDATA、PARQUET文件格式，导出支持ORC、CSV、TEXT文件格式，缺省值为TEXT。 GDS导入导出支持的文件格式：

查看更多 →

解决办法：请检查gds与数据节点的网络连接、网络环境、节点的系统端口是否正常。 GAUSS-01376: "Unexpected EOF on GDS connection '%s': %m" SQLSTATE: XX000 错误原因：系统内部错误。与GDS端交互数据时，发生了错误。

查看更多 →

2，最小单位为KB。 默认值：2GB gds_debug_mod 参数说明：为了增强对Gauss Data Service （以下简称GDS）相关问题的分析定位能力，可以通过此参数选择是否开启GDS的debug功能。参数开启后，将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互

查看更多 →

GDS导入失败后，磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败，触发作业重跑。重新开始数据导入，完成导入作业后查看磁盘空间，发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后，占用的磁盘空间没有释放。 解决办法 检测GDS导入作业的日志，查看是否有执行失败的现象。

查看更多 →

出现字段超长，数据同步失败 执行创建OBS外表的SQL语句时，提示Access Denied GDS导入失败后，磁盘占用空间增大 GDS导入数据时，脚本执行报错：out of memory 使用GDS传输数据的过程中，报错：connection failure error 使用DataArts

查看更多 →

基于GDS的集群互联互通 技术背景 在大中型企业中，因数仓分层、业务规划等原因，通常会部署多个GaussDB(DWS)集群，并进行跨集群的数据同步。面向集群间的数据同步，通常需满足大数据量、并行执行等要求，如何提供高效的跨集群数据同步能力成为当下数据领域热点之一。 功能描述 Ga

查看更多 →

TABLE的参数说明。 value option的新值。 示例 创建外表customer_ft，用来以TEXT格式导入GDS服务器10.10.123.234上的数据： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

查看更多 →