端边云车联网Serverless数据湖解决方案

默认值：/opt/${gds_user}/packages/，其中${gds_user}表示GDS业务的操作系统用户。 -U GDS用户。 -G GDS用户所属组。 --pkg GDS安装包路径，形如/path/to/ GaussDB -8.2.1-REDHAT-x86_64bit-Gds.tar

查看更多 →

1.101上，安装用户为gds_test的，GDS文件夹及环境变量。 gds_uninstall -U gds_test --host 192.168.1.100,192.168.1.101 卸载时，同时删除用户。 gds_uninstall -U gds_test --host

查看更多 →

GDS 安装配置和启动GDS 停止GDS GDS导入示例 gds gds_ctl.py 处理错误表

查看更多 →

gds_check 背景信息 gds_check用于对GDS部署环境进行检查，包括操作系统参数、网络环境、磁盘占用情况等，也支持对可修复系统参数的修复校正，有助于在部署运行GDS时提前发现潜在问题，提高执行成功率。 注意事项 执行脚本前需设置环境变量，可参考《开发指南》中“导入数

查看更多 →

gds_ctl 背景信息 gds_ctl是一个批量控制GDS启停的脚本工具，一次执行可以在多个节点上启动/停止相同端口的GDS服务进程，并在启动时为每一个进程设置看护程序，用于看护GDS进程。 注意事项 执行脚本前需切换到GDS用户，必须在普通用户下执行脚本gds_ctl。 脚本需要在python

查看更多 →

status 查询通过gds.conf启动的gds实例的运行状态。 示例 启动gds。 python3 gds_ctl.py start 停止由配置文件启动的gds。 python3 gds_ctl.py stop 停止所有当前用户有权限关闭的gds。 python3 gds_ctl.py

查看更多 →

R参数后gds会根据设置的值重新生成新的文件，以此来避免单个日志文件过大的问题。 生成规则：gds默认只识别后缀是log的文件重新生成日志文件。 例如，当-l参数指定为 gds.log，-R指定为 20MB的时候，当gds.log大小达到20MB后就会新创建一个 "gds-2020-01-17_115425

查看更多 →

GDS/Copy 公共机制（选项参数、任务分配、压缩） 导入

查看更多 →

停止GDS GDS是GaussDB(DWS)提供的数据服务工具，通过和外表机制的配合，实现数据的高速导出。 详细内容请参见停止GDS。 父主题： 使用GDS导出数据到远端 服务器

查看更多 →

停止GDS 操作场景 待导入数据成功后，停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式，选择停止GDS的方式。 若用户使用“gds”命令启动GDS，请使用以下方式停止GDS。 执行如下命令，查询GDS进程号。 ps -ef|grep

查看更多 →

停止GDS 操作场景 待导入数据成功后，停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式，选择停止GDS的方式。 若用户使用“gds”命令启动GDS，请使用以下方式停止GDS。 执行如下命令，查询GDS进程号。 ps -ef|grep

查看更多 →

停止GDS 操作场景 待导入数据成功后，停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式，选择停止GDS的方式。 若用户使用“gds”命令启动GDS，请使用以下方式停止GDS。 执行如下命令，查询GDS进程号。 ps -ef|grep

查看更多 →

停止GDS GDS是GaussDB提供的数据服务工具，通过和外表机制的配合，实现数据的高速导出。 详细内容请参见停止GDS。 父主题： 使用外表并行导出

查看更多 →

GDS方式导入 安装和启动GDS 使用gsql连接DWS 创建GDS外表并导入TPC-H数据 创建GDS外表并导入TPC-DS数据 父主题： 建表与数据导入

查看更多 →

err_tpcds_reasons; 待数据导入完成后，以gds_user用户登录每台数据服务器，分别停止GDS。 以下以IP为192.168.0.90的数据服务器为例，停止GDS。其中GDS进程号为128954。 ps -ef|grep gds gds_user 128954 1 0

查看更多 →

err_tpcds_reasons; 待数据导入完成后，以gds_user用户登录每台数据服务器，分别停止GDS。 以下以IP为192.168.0.90的数据服务器为例，停止GDS。其中GDS进程号为128954。 ps -ef|grep gds gds_user 128954 1 0

查看更多 →

/O性能大于GDS单核处理能力上限（约400MB/s），才能保证单文件导入速率最大化。 提前做好服务部署规划，数据服务器上，建议一个Raid只布1~2个GDS。GDS跟DN的数据比例建议在1:3至1:6之间。一台加载机的GDS进程不宜部署太多，千兆网卡部署1个GDS进程即可，万兆网卡机器建议部署不大于4个进程。

查看更多 →

数据处理 在数据服务首页左侧导航，选择“首页>我的数据集”。 在“我的数据集”页签单击新增的数据集。 单击“应用数据集 > 数据处理”。 进入“新增作业”界面，如图1所示。 参数说明如下所示： 作业名称：自定义输入。 开发环境：选择通用编辑器。 作业位置：存储作业脚本的 数据湖 OB

查看更多 →

数据处理 数据处理支持什么类型脚本？ 运行环境如何安装Python包？ 数据处理可以处理哪些数据源中的数据？ 用户注销后，是否会清理数据服务对应的个人数据以及资源，是否还会计费？ 父主题： 常见问题

查看更多 →

数据处理 Python API接口 管理新增作业 创建开发环境 父主题： 管理基础工具

查看更多 →

数据处理 当数据采集和接入之后，数据一般是不能直接满足训练要求的。为了保障数据质量，以免对后续操作（如数据标注、模型训练等）带来负面影响，开发过程通常需要进行数据处理。ModelArts提供了数据处理的功能，目的是帮助用户从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。

查看更多 →