中软国际数据治理专业服务解决方案实践

加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、 MRS 集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_

查看更多 →

加载评论 功能介绍 根据数据集ID查询匹配的数据集评论。 URI URI格式 GET /softcomai/datalake/v1.0/datasets/comment 参数说明 无。 请求 请求样例 GET https://ipaddr:port/dataset/softcomai/datalake/v1

查看更多 →

加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_

查看更多 →

权限及对加载数据文件具有owner权限和读写权限，详情请参见Hive应用开发概述。 如果加载数据语句中有关键字LOCAL，表明从本地加载数据，除要求对相应表的UPDATE权限外，还要求该数据在当前连接的HiveServer节点上，加载用户对数据路径“PATH”具有读权限，且以omm用户能够访问该数据文件。

查看更多 →

权限及对加载数据文件具有owner权限和读写权限。 如果加载数据语句中有关键字LOCAL，表明从本地加载数据，除要求对相应表的UPDATE权限外，还要求该数据在当前连接的HiveServer节点上，加载用户对数据路径“PATH”具有读权限，且以omm用户能够访问该数据文件。 如果

查看更多 →

加载驱动 在创建数据库连接之前，需要先加载数据库驱动程序。 加载驱动有两种方法： 在代码中创建连接之前任意位置隐含装载：Class.forName("org.postgresql.Driver"); 在JVM启动时参数传递：java -Djdbc.drivers=org.postgresql

查看更多 →

加载驱动 在创建数据库连接之前，需要先加载数据库驱动程序。 加载驱动有两种方法： 在代码中创建连接之前任意位置隐含装载：在与数据库建立连接之前添加Class.forName("org.postgresql.Driver");，建立连接代码详见连接数据库示例章节。 在JVM启动时参

查看更多 →

加载驱动 在创建数据库连接之前，需要先加载数据库驱动程序。 加载驱动有两种方法： 在代码中创建连接之前任意位置隐含装载在与数据库建立连接之前添加Class.forName("org.postgresql.Driver");，建立连接代码详见连接数据库示例章节。 在JVM启动时参数

查看更多 →

加载驱动 在创建数据库连接之前，需要先加载数据库驱动程序。 加载驱动有两种方法： 在代码中创建连接之前任意位置隐含装载：Class.forName("org.postgresql.Driver"); 在JVM启动时参数传递：java -Djdbc.drivers=org.postgresql

查看更多 →

加载驱动 在创建数据库连接之前，需要先加载数据库驱动程序。 加载驱动有两种方法： 在代码中创建连接之前任意位置隐含装载：Class.forName("org.postgresql.Driver"); 在JVM启动时参数传递：java -Djdbc.drivers=org.postgresql

查看更多 →

GDS方式导入 安装和启动GDS 使用gsql连接DWS 创建GDS外表并导入TPC-H数据 创建GDS外表并导入TPC-DS数据 父主题： 建表与数据导入

查看更多 →

-g gdsgrp gds_user 修改数据 服务器 上数据文件及数据文件目录“/input_data”的属主为gds_user。 chown -R gds_user:gdsgrp /input_data 以gds_user用户登录数据服务器上启动GDS。 其中GDS安装路径为“/op

查看更多 →

修改数据服务器上数据文件及数据文件目录“/input_data”的属主为gds_user。 chown -R gds_user:gdsgrp /input_data 以gds_user用户登录数据服务器上启动GDS。 其中GDS安装路径为“/gds”，数据文件存放在“/input_data/”目录下，数据服务器所在IP为192

查看更多 →

默认值：/opt/${gds_user}/packages/，其中${gds_user}表示GDS业务的操作系统用户。 -U GDS用户。 -G GDS用户所属组。 --pkg GDS安装包路径，形如/path/to/ GaussDB -9.1.0-REDHAT-x86_64bit-Gds.tar

查看更多 →

创建GDS外表 外表中配置了数据源格式信息、GDS服务的访问信息，从而GaussDB(DWS)最终可以通过外表将数据服务器上的数据引流进数据库实表中。 操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下： format：GDS外表导入支持 CS V

查看更多 →

gdsgrp gds_user 修改数据服务器上数据文件目录“/output_data”的属主为gds_user。 1 chown -R gds_user:gdsgrp /output_data 以gds_user用户登录数据服务器上分别启动GDS。 其中GDS安装路径为“/

查看更多 →

gds_check 背景信息 gds_check用于对GDS部署环境进行检查，包括操作系统参数、网络环境、磁盘占用情况等，也支持对可修复系统参数的修复校正，有助于在部署运行GDS时提前发现潜在问题，提高执行成功率。 注意事项 执行脚本前需设置环境变量，可参考《开发指南》中“导入数

查看更多 →

gds_ctl 背景信息 gds_ctl是一个批量控制GDS启停的脚本工具，一次执行可以在多个节点上启动/停止相同端口的GDS服务进程，并在启动时为每一个进程设置看护程序，用于看护GDS进程。 注意事项 执行脚本前需切换到GDS用户，必须在普通用户下执行脚本gds_ctl。 脚本需要在python

查看更多 →

执行导入数据 完成GDS的安装部署及外表创建后，本节介绍如何在GaussDB(DWS)数据库中创建事实表并将数据导入事实表中。 对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 前提条件

查看更多 →

使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题： 导入数据

查看更多 →

创建加载任务 数据加载提供了不同物理存储之间的数据迁移功能。创建数据加载任务，配置源数据源和目标源信息即可进行数据在不同存储之间的迁移。 操作步骤 在数据服务左侧导航，选择“工具箱>数据开发>数据加载”。 在“任务管理”界面，单击“创建任务”。 配置任务的基础信息，参数说明见如表1。

查看更多 →