中软国际数据治理专业服务解决方案实践

基于GDS的跨集群互联互通 功能描述 在“基于Foreign Table的数据处理”的基础上，通过GDS进行数据中转，实现多个集群之间的数据同步。 使用场景 将数据从一个集群同步到另外一个集群，支持全量数据同步、过滤条件数据同步。 目前互联互通仅支持以下使用方式，除以下语句外，其他类型的语法均不支持。

查看更多 →

x_redhat_x64.zip 创建GDS专有用户及所属用户组，此用户用于启动GDS及读取源数据。 1 2 groupadd gdsgrp useradd -g gdsgrp gds_user 分别修改工具包和数据源文件目录属主为GDS专有用户。 1 2 chown -R gds_user:gdsgrp

查看更多 →

direction text 业务类型，取值包括：gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

查看更多 →

GDS导入失败后，磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败，触发作业重跑。重新开始数据导入，完成导入作业后查看磁盘空间，发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后，占用的磁盘空间没有释放。 解决办法 检测GDS导入作业的日志，查看是否有执行失败的现象。

查看更多 →

direction text 业务类型，取值包括：gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

查看更多 →

2，最小单位为KB。 默认值：2GB gds_debug_mod 参数说明：为了增强对Gauss Data Service （以下简称GDS）相关问题的分析定位能力，可以通过此参数选择是否开启GDS的debug功能。参数开启后，将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互

查看更多 →

原因分析 GDS外表系统内部默认以ROUNDROBIN分布方式创建，不支持在创建外表时显式添加ROUNDROBIN分布信息。 处理方法 在创建GDS外表时，去除指定的分布信息，即去掉语句中显示指定的“DISTRIBUTE BY ROUNDROBIN”即可。 父主题： 数据导入/导出

查看更多 →

出现字段超长，数据同步失败 执行创建OBS外表的SQL语句时，提示Access Denied GDS导入失败后，磁盘占用空间增大 GDS导入数据时，脚本执行报错：out of memory 使用GDS传输数据的过程中，报错：connection failure error 使用DataArts

查看更多 →

DWS的OBS外表与GDS外表支持的数据格式有什么区别？ OBS与GDS外表支持格式文件区别如下： OBS导入支持ORC、TEXT、JSON、 CS V、CARBONDATA、PARQUET文件格式，导出支持ORC、CSV、TEXT文件格式，缺省值为TEXT。 GDS导入导出支持的文件

查看更多 →

数据倾斜会造成查询表性能下降。对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜而造成调整成本高。详细请参见查看数据倾斜状态章节。 为了优化导入速度，建议拆分文件，使用多GDS进行并行导入。单个导入任

查看更多 →

GaussDB (DWS)外表功能开发规范 规则4.1 GDS服务需单独使用 服务器部署 在DWS集群外 违反规范的影响： GDS如果部署在DWS集群内，会与DWS集群CN/DN节点发生资源争抢，导致双方性能同时劣化。 方案建议： GDS服务单独使用 服务器 部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。

查看更多 →

direction text 业务类型，取值包括：gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

查看更多 →

direction text 业务类型，取值包括：gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

查看更多 →

命令中的斜体部分请根据实际填写，如果数据分片存放至多个数据盘目录，需要启动对应目录数量的GDS。 如果TPC-H和TPC-DS数据同时测试，需要启动以上4个GDS，如果只测试TPC-DS或TPC-H数据，请根据后面的“#xxx”备注启动对应的GDS服务即可。 -d dir：保存有待导入数据的数据文件所在目录。

查看更多 →

规划导出数据 操作场景 使用GDS从集群导出到数据之前，要提前准备需要导出的数据，并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器，创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data （

查看更多 →

执行导入数据 完成GDS的安装部署及外表创建后，本节介绍如何在GaussDB(DWS)数据库中创建事实表并将数据导入事实表中。 对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 前提条件

查看更多 →

导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从 MRS 导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据

查看更多 →

gds分区表较小的情况下，在一个DN获取完数据后，若其余DN未开始获取数据，将不会在其余DN获取数据，所以在gds from非分区表数据量较小的情况下，min值可能为0，表数据量大时不为0。 互联互通源集群导出非分区表时，所有DN都会被记录，且只会拿取一个DN的数据，所以min值为0。 互联互通远端集

查看更多 →

3.检查单行数据是否超过1GB。您可以根据实际情况手动删除该行。 level： ERROR GS_142050163 错误码： connection failure error. 解决方案：1.检查GDS进程是否崩溃。2.检查GDS启动参数-H是否正确。3.查看GDS日志，查看是否有报错信息。

查看更多 →

，详见GDS-Kafka入库模式。 GDS-kafka只支持目标表表名和字段全小写。 GDS-Kafka的删除是根据扩展字段中的pos进行历史删除，如果入库数据中有delete操作，则必须使用扩展字段。 购买GDS-Kafka实例 使用数据迁移功能，首先需要购买一个GDS-kaf

查看更多 →

65535 默认值：256 gds_debug_mod 参数说明：为了增强对Gauss Data Service （以下简称GDS）相关问题的分析定位能力，可以通过此参数选择是否开启GDS的debug功能。参数开启后，将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互

查看更多 →