中软国际数据治理专业服务解决方案实践

s，待导出数据格式为 CS V，用于接收数据 服务器 上的数据。 其中设置的导出模式信息如下所示： 规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，待导出的数据文件格式为CSV，选择并行导出模式为Remote模式。 假定启动GDS时，规划导出的数据文件存放目录

查看更多 →

户端工具、GDS并行数据加载工具以及gs_dump、gs_dumpall和gs_restore工具。详情请参见《数据仓库服务工具指南》中的服务端工具章节。 gds 该文件夹中包括了GDS数据服务工具的相关文件，GDS工具用于并行数据加载，可将存储在普通文件系统中的数据文件导入到 GaussDB (DWS)数据库中。

查看更多 →

询用户相关信息。 查看表和数据库的信息 本实践演示了基本数据库查询案例： 查询表信息 查询表大小 查询数据库 查询数据库大小 模拟数据分析 交通卡口通行车辆分析 本实践将演示交通卡口车辆通行分析，将加载8.9亿条交通卡口车辆通行模拟数据到数据仓库单个数据库表中，并进行车辆精确查询

查看更多 →

ANALYZE 检查数据倾斜性。 对于Hash分表策略，如果分布列选择不当，可能导致数据倾斜，查询时出现部分DN的I/O短板，从而影响整体查询性能。因此在采用Hash分表策略之后需对表的数据进行数据倾斜性检查，以确保数据在各个DN上是均匀分布的。可以使用以下SQL检查数据倾斜性 1 SELECT

查看更多 →

非ASCII数据，那么使用SQL_ASCII设置都是不明智的，因为PG将无法帮助你转换或者校验非ASCII字符。 数据库系统支持某种编码，主要涉及三个方面：数据库服务器支持，数据访问接口支持以及客户端工具支持。 数据库服务器字符编码 数据库服务器支持某种编码，是指数据库服务器能够

查看更多 →

使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题： 导出数据

查看更多 →

创建GDS外表并导入TPC-DS数据 本文介绍如何通过GDS外表导入TPC-DS 1000x数据，表1列出了TPC-DS测试数据集中的表数据行数。 TPC-H请跳过本章节。 表数据行数 表1 TPC-DS 序号 表名 行数 1 customer_address 6,000,000

查看更多 →

加载了用户自定义算子插件的模型转换流程如图1所示OMG（Offline Model Generate）加载模型文件、自定义算子插件，对模型文件中的算子进行解析，并将自定义算子转换为IR（Intermediate representation）表示。OMG根据运行环境对自定义算子进行数据转换、运行内存计算，同时编译生成自定义算子的二进制文件

查看更多 →

launch.json是启动程序的配置文件，该文件中的configurations会在运行和调试下拉框展示。 在此过程中，状态栏显示加载过程，单击可以查看具体的加载日志。 父主题： Cmake工程支持

查看更多 →

教程：使用GDS从远端服务器导入数据 教程指引 先决条件 步骤1：准备源数据 步骤2：在数据服务器上安装配置和启动GDS 步骤3：在GaussDB数据库中创建外表 步骤4：将数据导入GaussDB 步骤5：分析和处理错误表中的错误信息 步骤6：优化导入数据的查询性能 步骤7：停止GDS

查看更多 →

GDS导入数据时是否支持使用公网/外网导入？ 不支持。GDS导入数据的原理是，GDS服务器和GaussDB(DWS)在内网互通的前提下，使用集群内每个DN去并行连接GDS服务器，以达到大容量并行导入的目的，因此必须确保GDS服务器与集群在同一个网络内。如果GDS为线下服务器，则需

查看更多 →

为什么在off heap时数据加载失败？ 问题 为什么在off heap时数据加载失败？ 回答 YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制，因此在off heap时，内存可能会超出此限制。您需配置参数“spark

查看更多 →

模型上传与加载 将您自定义的模型上传到对应的路径下，如CheckPoint模型、VAE模型和Lora模型。 图1 CheckPoint模型 图2 VAE模型 图3 Lora模型 上传完成后回到Stable-Diffusion WebUI界面重新加载模型后即可看到新增模型，加载需要较长时间请耐心等待。

查看更多 →

加载了用户自定义算子插件的模型转换流程如图1所示OMG（Offline Model Generate）加载模型文件、自定义算子插件，对模型文件中的算子进行解析，并将自定义算子转换为IR（Intermediate representation）表示。OMG根据运行环境对自定义算子进行数据转换、运行内存计算，同时编译生成自定义算子的二进制文件

查看更多 →

ANALYZE product_info; 停止GDS 以gds_user用户登录安装GDS的数据服务器。 使用以下方式停止GDS。 执行如下命令，查询GDS进程号。其中，GDS进程号为128954。 ps -ef|grep gds gds_user 128954 1 0

查看更多 →

为什么在off heap时数据加载失败？ 问题 为什么在off heap时数据加载失败？ 回答 YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制，因此在off heap时，内存可能会超出此限制。您需配置参数“spark

查看更多 →

安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。GDS在各台数据服务器

查看更多 →

GDS导入时默认对端程序超过1小时未向管道中写入数据导入任务将会超时报错。 GDS导出时默认对端程序超过1小时未从管道中读数据导出任务将会超时报错。 需确保GDS版本和数据库内核版本都已经支持管道文件导入导出功能。 当外表参数auto_create_pipe设置为true时，GDS自动创建管道文件可能存在

查看更多 →

安装配置和启动GDS GDS是GaussDB(DWS)提供的数据服务工具，通过和外表机制的配合，实现数据的高速导出。 详细内容请参见安装配置和启动GDS。 父主题： 使用GDS导出数据到远端服务器

查看更多 →

DN（Datanode）：GaussDB(DWS)数据节点。接收CN下发的导入任务，将数据源文件中的数据通过外表写入数据库目标表中。 数据源文件：存有数据的文件。文件中保存的是待导入数据库的数据。 数据服务器：数据源文件所在的服务器称为数据服务器。基于安全考虑，建议数据服务器和GaussDB(DWS)集群处于同一内网。

查看更多 →

关于GDS并行导出 使用GDS工具将数据从数据库导出到普通文件系统中，适用于高并发、大量数据导出的场景。 当前版本的GDS支持从数据库导出到管道文件，该功能使GDS的导出更加灵活多变。 当GDS用户的本地磁盘空间不足时： 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通

查看更多 →