中软国际数据治理专业服务解决方案实践

PYTHONPATH 对于非数据库用户，需要将解压后的lib目录，配置在LD_LIBRARY_PATH中。 export LD_LIBRARY_PATH=path/to/lib:$LD_LIBRARY_PATH 在创建数据库连接之前，需要先加载如下数据库驱动程序： import

查看更多 →

加载驱动 在创建数据库连接之前，需要先加载数据库驱动程序。 加载驱动有两种方法： 在代码中创建连接之前任意位置隐含装载：Class.forName("org.postgresql.Driver"); 在JVM启动时参数传递：java -Djdbc.drivers=org.postgresql

查看更多 →

加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、 MRS 集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_

查看更多 →

本教程旨在演示使用GDS（Gauss Data Service）工具将远端 服务器 上的数据导入 GaussDB 中的办法，帮助您学习如何通过GDS进行数据导入的方法。 在本教程中，您将： 生成本教程需要使用的 CS V格式的数据源文件。 将数据源文件上传到数据服务器。 创建外表，用于对接GDS和Gau

查看更多 →

DN（Data Node）：GaussDB数据节点。接收CN下发的导入任务，将数据源文件中的数据通过外表写入数据库目标表中。 数据源文件：存有数据的文件。文件中保存的是待导入数据库的数据。 数据服务器：数据源文件所在的服务器称为数据服务器。基于安全考虑，建议数据服务器和GaussDB集群处于同一内网。

查看更多 →

执行导入数据 完成GDS的安装部署及外表创建后，本节介绍如何在GaussDB(DWS)数据库中创建事实表并将数据导入事实表中。 对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 前提条件

查看更多 →

0/24 -l /opt/gds/gds04_log.txt -D #TPC-DS使用 命令中的斜体部分请根据实际填写，如果数据分片存放至多个数据盘目录，需要启动对应目录数量的GDS。 如果TPC-H和TPC-DS数据同时测试，需要启动以上4个GDS，如果只测试TPC-D

查看更多 →

创建加载任务 数据加载提供了不同物理存储之间的数据迁移功能。创建数据加载任务，配置源数据源和目标源信息即可进行数据在不同存储之间的迁移。 操作步骤 在数据服务左侧导航，选择“工具箱>数据开发>数据加载”。 在“任务管理”界面，单击“创建任务”。 配置任务的基础信息，参数说明见如表1。

查看更多 →

证书加载错误 问题描述 看到此错误时，说明verifyPeer选项被设置为true，却没有配置证书，go-chassis默认为false，不会自己更改配置。 解决方案 如果本来并不打算配置证书的，说明是开发者在开发或者持续集成的某个环节中自行更改的，请仔细排查代码从提交到部署环节中，是谁打开的此选项。

查看更多 →

创建GDS外表 外表中配置了数据源格式信息、GDS服务的访问信息，从而GaussDB(DWS)最终可以通过外表将数据服务器上的数据引流进数据库实表中。 操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下： format：GDS外表导入支持CSV

查看更多 →

gdsgrp gds_user 修改数据服务器上数据文件目录“/output_data”的属主为gds_user。 1 chown -R gds_user:gdsgrp /output_data 以gds_user用户登录数据服务器上分别启动GDS。 其中GDS安装路径为“/

查看更多 →

创建GDS外表 外表中配置了数据源格式信息、GDS服务的访问信息，从而GaussDB最终可以通过外表将数据服务器上的数据引流进数据库实表中。 操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下： format：GDS外表导入支持CSV、TEXT

查看更多 →

步骤7：停止GDS 待导入数据成功后，停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请使用以下方式停止GDS。 执行如下命令，查询GDS进程号。其中GDS进程号为128954。 ps -ef|grep gds gds_user 128954

查看更多 →

启动加载任务 操作步骤 在数据服务左侧导航，选择“工具箱>数据开发>数据加载”。 在任务管理列表中，在需要启动的任务对应的“操作”列下，单击。 在任务列表右上角，勾选自动刷新前面的复选框，刷新任务列表。 （可选）查看调度监控：在需要查看的任务对应的“任务名称”列下，单击任务名称，选择“调度监控”页签。

查看更多 →

参数预加载 参数预加载支持输入参数时请求云服务api获取预加载选项，当前支持以下六种api接口： 表1 支持的api接口说明 属性 描述 hwc:ecs:flavors ECS的Flavor hwc:vpc:myVpcs VPC列表 hwc:vpc:mySubnets Subnet子网列表

查看更多 →

执行导入数据 完成GDS的安装部署及外表创建后，本节介绍如何在GaussDB数据库中创建目标表并将数据导入目标表中。 对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以查看数据倾斜状态，避免导入大量数据后发现数据倾斜，调整成本高。 前提条件 需要确保每一个CN

查看更多 →

页面加载失败 问题现象 CodeArts IDE Online页面加载失败。 原因分析 页面加载失败通常是由于网络连接不稳定或被拦截导致。 处理方法 检查浏览器网络连接是否正常。若无网络连接，请修复网络连接。刷新页面重试，若仍加载失败，请参照2继续排查处理。 如果电脑使用的是无线网络环境，请确保连接的稳定。

查看更多 →

单击“网络实例”页签。 单击“加载网络实例”，在弹出的对话框中可以看到支持同账号加载和跨账号加载。 如果需要加载的网络实例来自于创建云连接实例的账号，则使用同账号加载。 根据表1填写对应参数后，单击“确定”。 表1 加载同账号网络实例参数 参数 说明 账号 加载的网络实例的账号类型。 这里选择同账号。

查看更多 →

重新加载项目 如果您修改了项目的构建脚本（Gradle的build.gradle或Maven的pom.xml），例如添加了一个依赖项，您需要重新加载项目以使CodeArts IDE解析项目的结构。要执行此操作，请在资源管理器工具栏上单击Reload Project按钮()。 父主题：

查看更多 →

使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题： 导入数据

查看更多 →

梳理待导出数据的格式信息，确定创建外表时使用的数据格式参数的值。 根据前面步骤确定的参数，创建GDS外表。 示例 示例：创建GDS导出外表foreign_tpcds_reasons，待导出数据格式为CSV，用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示： 规划数据服务器

查看更多 →