基于Slurm构建泛HPC场景云上云下资源协同解决方案

方式一：直接使用“gds”命令，启动GDS。 非SSL模式传输数据的情况下，启动GDS。 gds -d dir -p ip:port -H address_string -l log_file -D -t worker_num 示例： /opt/bin/dws/gds/bin/gds -d /input_data/

查看更多 →

/opt/bin/dws/gds/bin source gds_env 启动GDS服务。 GDS是绿色软件，解压后启动即可。GDS启动方式有两种： 方式一：直接使用“gds”命令，在命令项中设置启动参数。 方式二：将启动参数写进配置文件“gds.conf”后， 使用“gds_ctl.py”命令启动。

查看更多 →

如果目标数据源为云上服务，则网络互通需满足如下条件： GDS-kafka集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保GDS-kafka集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 GDS-kafka集群与云上服务同区域情况下，同虚拟

查看更多 →

GDS实践指南 安装GDS前必须确认GDS所在 服务器 环境的系统参数是否和数据库集群的系统参数一致。 GDS与 GaussDB (DWS)通信要求物理网络畅通，尽量使用万兆网。因为千兆网无法承载高速的数据传输压力，极易出现断连，使用千兆网时GaussDB(DWS)无法提供通信保障。满足

查看更多 →

端口 创建端口 查询端口 查询端口列表 更新端口 删除端口 父主题： API

查看更多 →

/input_data 切换到gds_user用户。 su - gds_user 导入GDS环境变量。 仅8.1.x及以上版本需要执行，低版本请跳过。 cd /opt/gds/bin source gds_env 启动GDS。 /opt/gds/bin/gds -d /input_data/

查看更多 →

使用GDS互联互通功能实现GaussDB(DWS)集群间数据迁移 本实践演示基于GDS导入导出的高并发能力，实现两套DWS集群之间1500万行数据的分钟级迁移。 该功能仅8.1.2及以上集群版本支持。 GDS为GaussDB(DWS)自研的高并发导入导出工具，了解更多请参考GDS使用说明。

查看更多 →

GDS方式导入 安装和启动GDS 使用gsql连接DWS 创建GDS外表并导入TPC-H数据 创建GDS外表并导入TPC-DS数据 父主题： 建表与数据导入

查看更多 →

| 11111111111111 (4 rows) 集群间不落地数据导入 启动GDS。（如果已经启动跳过此步骤） gds -d /***/gds_data/ -D -p GDS_IP:GDS_PORT -l /***/gds_log/aa.log -H 0/0 -t 10 -D

查看更多 →

/input_data 以gds_user用户登录数据服务器上启动GDS。 其中GDS安装路径为“/gds”，数据文件存放在“/input_data/”目录下，数据服务器所在IP为192.168.0.90，GDS监听端口为5000，以后台方式运行，设定并发度为2，并设定递归文件目录。 /gds/gds

查看更多 →

如果仅有“默认端口”列，表示组件的开源端口与定制端口默认值一致。 如果集群不为LTS版本类型，则没有“组件端口”参数，默认使用开源端口，请参考“开源默认端口”列或“默认端口”列。 HBase常用端口 表中涉及端口的协议类型均为：TCP。 配置参数 开源默认端口 定制默认端口 端口说明 hbase

查看更多 →

填写URL。 目标服务：选择目标服务与端口，目标服务已根据所选的命名空间、协议类型自动过滤。 YAML创建HTTP路由 登录U CS 控制台，单击左侧导航栏中的“服务网格”，进入服务网格列表页。 单击服务网格名称，进入服务网格详情页。 在左侧导航栏，单击“服务网关 > 网关路由”，进入服务网关列表页面。

查看更多 →

修改数据服务器上数据文件目录“/output_data”的属主为gds_user。 chown -R gds_user:gdsgrp /output_data 以gds_user用户登录数据服务器上分别启动GDS。 其中GDS安装路径为“/opt/bin/gds”，导出数据文件存放在“/output_d

查看更多 →

端口 端口插入安全组 端口移除安全组 父主题： API V3

查看更多 →

gds_uninstall gds_uninstall是用于批量卸载GDS的脚本工具。 gds_ctl gds_ctl是一个批量控制GDS启停的脚本工具，一次执行可以在多个节点上启动/停止相同端口的GDS服务进程，并在启动时为每一个进程设置看护程序，用于看护GDS进程。

查看更多 →

http接口 功能介绍 一句话识别 接口，用于短语音的同步识别。一次性上传1min以内音频，能快速返回识别结果。该接口的使用限制请参见约束与限制，详细使用指导请参见SIS服务使用简介章节。 SIS服务控制台提供了一句话识别的在线使用页面，用户无需编程即可使用服务功能。 图1 在线使用

查看更多 →

（可选）配置请求头。 请求方式 配置请求方式，支持如下请求方式。 GET PUT POST DELETE PATCH 请求协议 配置请求协议，可选如下协议。 HTTP_1_1 HTTP_2 请求体 （可选）输入请求体内容。 预期状态码 （可选）配置预期状态码。 任务名称 请自定义输入任务名称。

查看更多 →

HTTP请求 HTTP请求连接器可以通过HTTP/HTTPS协议调用其它开放的API，以获取编排所需的数据。 创建HTTP请求连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“HTTP请求”连接器。 在弹窗中配置连接器信息，完成后单击“确定”。

查看更多 →

HTTP响应 HTTP响应连接器用于自定义API的返回信息，用户调用开放的API后将接收到指定的响应码和响应体。 支持的动作 自定义HTTP响应 配置参数 参数 说明 响应头 配置API响应信息中的响应头参数。可使用常量值，也可通过引用变量的方式引用前序节点中的数据。 响应体 配

查看更多 →

address text 互联互通对端集群server的address，非空时即为互联互通业务，源集群会额外获取远端集群端口号。 direction text 导入导出业务类型，取值包括：gds to file、gds from file、gds to pipe、gds from pipe、copy

查看更多 →

HTTP请求 HTTP请求连接器可以通过HTTP/HTTPS协议调用其它开放的API，以获取编排所需的数据。 创建HTTP请求连接 登录CodeArts Link控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“HTTP请求”连接器。 在弹窗中配置连接器信息，完成后单击“确定”。

查看更多 →