中软国际数据治理专业服务解决方案实践

为什么在off heap时数据加载失败？ 问题 为什么在off heap时数据加载失败？ 回答 YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制。 因此在off heap时，内存可能会超出此限制。

查看更多 →

创建GDS外表并导入TPC-H数据 本文介绍如何通过GDS外表导入TPC-H 1000x数据，表1列出了TPC-H测试数据集中的表数据行数。 TPC-DS请跳过本章节。 表数据行数 表1 TPC-H 序号 表名 行数 1 region 5 2 nation 25 3 supplier

查看更多 →

GDS导入数据时，脚本执行报错：out of memory 问题现象 在使用GDS导入数据时，脚本执行报错“out of memory”。 原因分析 使用copy命令或者导入数据时，源数据单行数据的大小超过1GB。 由于源文件中的格式符不成对出现，比如引号，文件格式异常导致系统识别的单行数据过大超过1GB。

查看更多 →

ANALYZE product_info; 停止GDS 以gds_user用户登录安装GDS的数据 服务器 。 使用以下方式停止GDS。 执行如下命令，查询GDS进程号。其中，GDS进程号为128954。 ps -ef|grep gds gds_user 128954 1 0

查看更多 →

数据加载与之前数据安全平台中的数据迁移是什么关系？ 数据加载能力涵盖了数据迁移的所有应用场景，是数据迁移的进阶版本，数据加载上线后会完全取代数据迁移的功能。 父主题： 数据加载

查看更多 →

please check whether the installation is OK." SQLSTATE: 无 错误原因：未找到GDS安装目录。 解决办法：请检查GDS是否已被卸载或用户的环境变量是否被破坏。 GAUSS-53506: "Failed to check whether a

查看更多 →

使用GDS-Kafka工具迁移数据至 GaussDB (DWS)集群 概述 实例管理 连接管理 映射管理 作业管理 父主题： 迁移业务数据至GaussDB(DWS)集群

查看更多 →

安装算法并加载License 前提条件 已获取并安装iClient。 登录iClient获取路径，选择最新版本（如iClient 8.x.x），下载iClient软件包“HoloSenSiClient-8.x.x-SDC-x32.zip”。 已将算法包和License文件下载到本地PC。算法包的格式为xxx

查看更多 →

nse并从本地加载。 登录好望商城，单击“进入商城”，单击右上角“算法管理”。 在左侧导航中选择“已购买算法”，选择“商用分配”或“试用分配”页签，单击算法名称左侧，下载对应的License文件。 打开并登录iClient，在左侧导航中选择“商城”。 选择需要加载License的

查看更多 →

安装算法并加载License 当前版本的iClient仅支持展示按永久计费模式的算法，按月或按年计费模式的算法不会展示。 操作步骤 在iClient首页中，选择“系统功能 > 算法商城”。 在设备列表上方单击“微边缘”页签。 安装并启用算法。 在“设备列表”勾选设备。 单击“本地导入”，导入本地已下载的算法。

查看更多 →

安装算法并加载License 当前版本的iClient在线购买安装仅支持按永久计费模式的算法。 按月或按年计费模式的算法购买安装请参考离线安装。 操作步骤 在iClient首页中，选择“系统功能 > 算法商城”。 下载算法。 在iClient算法商城页面，单击右上角的用户，选择“

查看更多 →

若要运行动态加载相关的Shell命令，需要事先完成动态加载模块的初始化，具体说明查看扩展内核-动态加载章节。使用Shell中的动态加载命令前，需要先通过make menuconfig使能Shell，详见配置项。并配置动态加载模块，详见4.1.2-1配置动态加载。

查看更多 →

使用Hive加载OBS数据并分析企业雇员信息 应用场景 MRS Hadoop分析集群，提供Hive、Spark离线大规模分布式数据存储和计算，进行海量数据分析与查询。 本实践基于华为云 MapReduce服务 ，用于指导您创建MRS集群后，使用Hive对OBS中存储的原始数据进行导入、

查看更多 →

加载云服务特性包 背景信息 云服务功能依赖云服务特性包，因此在使用前需要先加载云服务特性包。 操作步骤 登录企业技术支持网站，选择对应型号和版本，如果没有帐号请根据提示注册。 如果设备版本为V600R022C00SPC100，请按下图选择。 图1 选择云服务特性包 如果设备版本为

查看更多 →

加载云服务特性包 背景信息 云服务功能依赖云服务特性包，因此在使用前需要先加载云服务特性包。 操作步骤 登录企业技术支持网站，选择对应型号和版本，如果没有帐号请根据提示注册。 下载云服务特性包。 在管理PC上访问标准配置页面：https://192.168.0.1:8443，选择“系统

查看更多 →

安装配置和启动GDS GDS是GaussDB(DWS)提供的数据服务工具，通过和外表机制的配合，实现数据的高速导出。 安装配置和启动GDS操作步骤如下，详细内容请参见安装配置和启动GDS。 操作步骤 在使用GDS导入/导出数据前，请先参考教程：使用GDS从远端服务器导入数据中的步骤：

查看更多 →

GDS导入时默认对端程序超过1小时未向管道中写入数据导入任务将会超时报错。 GDS导出时默认对端程序超过1小时未从管道中读数据导出任务将会超时报错。 需确保GDS版本和数据库内核版本都已经支持管道文件导入导出功能。 当外表参数auto_create_pipe设置为true时，GDS自动创建管道文件可能存在

查看更多 →

安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。GDS在各台数据服务器

查看更多 →

with TEXT format" SQLSTATE: XX000 错误原因：用户尝试在使用shared模式的GDS外表时使用TEXT以外的格式。 解决办法：报错对应的GDS外表仅能够读取TEXT格式文件流，请在导入规格中做对应修改。 GAUSS-04003: "can't find

查看更多 →

表数据膨胀导致SQL查询慢，用户前台页面数据加载不出 问题现象 数据库中原先执行几秒钟的SQL语句，现在执行二十几秒未出结果，导致前台页面数据加载超时，无法对用户提供图表显示。 原因分析 大量表频繁增删改，未及时清理，导致脏数据过多、表数据膨胀、查询慢。 内存参数设置不合理。 分析过程

查看更多 →

安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。GDS在各台数据服务器

查看更多 →