中软国际数据治理专业服务解决方案实践

2，最小单位为KB。 默认值：2GB gds_debug_mod 参数说明：为了增强对Gauss Data Service （以下简称GDS）相关问题的分析定位能力，可以通过此参数选择是否开启GDS的debug功能。参数开启后，将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互

查看更多 →

GDS导入失败后，磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败，触发作业重跑。重新开始数据导入，完成导入作业后查看磁盘空间，发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后，占用的磁盘空间没有释放。 解决办法 检测GDS导入作业的日志，查看是否有执行失败的现象。

查看更多 →

x_redhat_x64.zip 创建GDS专有用户及所属用户组，此用户用于启动GDS及读取源数据。 1 2 groupadd gdsgrp useradd -g gdsgrp gds_user 分别修改工具包和数据源文件目录属主为GDS专有用户。 1 2 chown -R gds_user:gdsgrp

查看更多 →

规划导出数据 操作场景 使用GDS从集群导出到数据之前，要提前准备需要导出的数据，并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据 服务器 ，创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data （

查看更多 →

使用外表并行导出 关于并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS 示例 父主题： 导出数据

查看更多 →

通过外表并行导入 关于并行导入 教程和最佳实践 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理错误表 停止GDS 示例 父主题： 导入数据

查看更多 →

数据倾斜会造成查询表性能下降。对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜而造成调整成本高。详细请参见查看数据倾斜状态。 为了优化导入速度，建议拆分文件，使用多GDS进行并行导入。单个导入任务可

查看更多 →

/input_data 切换到gds_user用户。 su - gds_user 导入GDS环境变量。 仅8.1.x及以上版本需要执行，低版本请跳过。 cd /opt/gds/bin source gds_env 启动GDS。 /opt/gds/bin/gds -d /input_data/

查看更多 →

导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从 MRS 导入数据到集群 从 GaussDB (DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据

查看更多 →

教程和最佳实践 教程：使用GDS从远端服务器导入数据。通过一个导入任务帮您了解GDS导入的全过程。 GDS导入最佳实践给出了可以最大化利用系统资源，提高导入性能的方法，建议在开展数据导入前阅读以进行合理的导入方案规划和设计部署。 父主题： 通过外表并行导入

查看更多 →

3.检查单行数据是否超过1GB。您可以根据实际情况手动删除该行。 level： ERROR GS_142050163 错误码： connection failure error. 解决方案：1.检查GDS进程是否崩溃。2.检查GDS启动参数-H是否正确。3.查看GDS日志，查看是否有报错信息。

查看更多 →

direction text 业务类型，取值包括：gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

查看更多 →

direction text 业务类型，取值包括：gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

查看更多 →

direction text 业务类型，取值包括：gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

查看更多 →

direction text 业务类型，取值包括：gds to file、gds from file、gds to pipe、gds from pipe、copy from、copy to。 query text 查询语句。 address text 当前导入导出外表的location。 query_start

查看更多 →

执行导入数据 完成GDS的安装部署及外表创建后，本节介绍如何在GaussDB(DWS)数据库中创建事实表并将数据导入事实表中。 对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 前提条件

查看更多 →

集群中的数据库。 仅8.1.3.101及以上集群版本支持在console控制台下载。 GDS工具包 GDS工具包是数据服务工具。用户可以使用GDS工具将普通文件系统中的数据文件导入到GaussDB(DWS) 数据库中，GDS工具包需要安装在数据源文件所在的服务器上。数据源文件所在

查看更多 →

执行导入数据 完成GDS的安装部署及外表创建后，本节介绍如何在GaussDB数据库中创建目标表并将数据导入目标表中。 对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以查看数据倾斜状态，避免导入大量数据后发现数据倾斜，调整成本高。 前提条件 需要确保每一个CN

查看更多 →

属性作为分区字段），每个数据节点内部的每个Hash的数据都将按照设定的分区规则做相同的分区处理。 启动数据导入后，GDS将指定的数据文件分割成固定大小的数据块。 每个数据节点并行的从GDS下载这些数据块。 各个数据节点并行的处理数据块，从中解析出一条数据元组，每一个元组根据分布列

查看更多 →

，详见GDS-Kafka入库模式。 GDS-kafka只支持目标表表名和字段全小写。 GDS-Kafka的删除是根据扩展字段中的pos进行历史删除，如果入库数据中有delete操作，则必须使用扩展字段。 购买GDS-Kafka实例 使用数据迁移功能，首先需要购买一个GDS-kaf

查看更多 →

不存在”。 默认值：off gds_debug_mod 参数说明：为了增强对Gauss Data Service （以下简称GDS）相关问题的分析定位能力，可以通过此参数选择是否开启GDS的debug功能。参数开启后，将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互

查看更多 →