# 安装配置和启动GDS GDS是DWS提供的数据服务工具，通过和外表机制的配合，实现数据的高速导出。 安装配置和启动GDS操作步骤如下，详细内容请参见[安装配置和启动GDS](https://support.huaweicloud.com/migration-dws/dws_15_0023.html#ZH-CN_TOPIC_0000002254983685)。 #### 操作步骤 1. 在使用GDS导入/导出数据前，请先参考[教程：使用GDS从远端服务器导入数据](https://support.huaweicloud.com/bestpractice-dws/dws_05_0032.html)中的步骤："准备ECS作为GDS服务器"、"下载GDS工具包"。 2. 以root用户登录待安装GDS的数据服务器，创建存放GDS工具包的目录。 ``` mkdir -p /opt/bin/dws ``` 3. 将GDS工具包上传至上一步所创建的目录中。 以上传RedHat X86_64的工具包为例，将GDS工具包"dws_client_9.x.x_redhat_x64.zip"上传至上一步所创建的目录中。 4. （可选）如果使用SSL加密传输，请一并上传SSL证书至[5]所创建的目录下。 5. 在工具包所在目录下，解压工具包。 ``` cd /opt/bin/dws unzip dws_client_9.x.x_redhat_x64.zip ``` 6. 创建GDS专有用户及其所属的用户组。此用户用于启动GDS及读取源数据。 ``` groupadd gdsgrp useradd -g gdsgrp gds_user ``` 7. 分别修改工具包和数据源文件目录属主为GDS专有用户。 ``` chown -R gds_user:gdsgrp /opt/bin/dws/gds chown -R gds_user:gdsgrp /input_data ``` 8. 切换到gds_user用户。 ``` su - gds_user ``` 9. 执行环境依赖脚本。 ``` cd /opt/bin/dws/gds/bin source gds_env ``` 10. 启动GDS服务。 GDS是绿色软件，解压后启动即可。GDS启动方式有两种： 方式一：直接使用"gds"命令，在命令项中设置启动参数。 方式二：将启动参数写进配置文件"gds.conf"后， 使用"gds_ctl.py"命令启动。 对于集中一次性导出的场景推荐使用第一种方式。对于需要隔段时间再次导出的场景，推荐使用第二种方式以配置文件的形式提升启动效率。 - 方式一：直接使用"gds"命令，启动GDS。 - 非SSL模式传输数据的情况下，启动GDS。 ``` gds -d dir -p ip:port -H address_string -l log_file -D -t worker_num ``` 示例： ``` /opt/bin/dws/gds/bin/gds -d /input_data/ -p 192.168.0.90:5000 -H 10.10.0.1/24 -l /opt/bin/dws/gds/gds_log.txt -D -t 2 ``` - 使用SSL加密方式传输数据的情况下，启动GDS。 ``` gds -d dir -p ip:port -H address_string -l log_file -D -t worker_num --enable-ssl --ssl-dir Cert_file ``` 示例： 以[7]中SSL证书已上传至/opt/bin为例，命令如下。 ``` /opt/bin/dws/gds/bin/gds -d /input_data/ -p 192.168.0.90:5000 -H 10.10.0.1/24 -l /opt/bin/dws/gds/gds_log.txt -D --enable-ssl --ssl-dir /opt/bin/ ``` 命令中的斜体部分请根据实际替换。 - **-d** *dir*：保存有待导入数据的数据文件所在目录。本教程中为"/input_data/"。 - **-p** *ip:port*：GDS监听IP和监听端口。默认值为：127.0.0.1，需要替换为能跟DWS通信的万兆网IP。监听端口的取值范围：1024\~65535。默认值为：8098。本教程配置为：192.168.0.90:5000。 - **-H** *address_string*：允许哪些主机连接和使用GDS服务。参数需为CIDR格式。此参数配置的目的是允许DWS集群可以访问GDS服务进行数据导入。所以请保证所配置的网段包含DWS集群各主机。 - **-l** *log_file*：存放GDS的日志文件路径及文件名。本教程为"/opt/bin/dws/gds/gds_log.txt"。 - **-D**：后台运行GDS。仅支持Linux操作系统下使用。 - **-t** *worker_num* ：设置GDS并发线程数。DWS及数据服务器上的I/O资源均充足时，可以加大并发线程数。 GDS是根据导出事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程，也并不会加速单个导入事务。未做过人为事务处理时，一条INSERT语句就是一个导入事务。 - **--enable-ssl**：启用SSL加密方式传输数据。 - **--ssl-dir** *Cert_file* ：SSL证书所在目录。需与[7]中的证书保存目录保持一致。 - 关于更多参数的设置信息请参考[gds命令简介](https://support.huaweicloud.com/tg-dws/gds_cmd_reference.html)。 - 方式二：将启动参数写进配置文件"gds.conf"后， 使用"gds_ctl.py"命令启动。 1. 使用如下命令，进入GDS工具包的"config"目录下，配置"gds.conf"文件。"gds.conf"配置详细信息请参考[表1 gds.conf配置说明](https://support.huaweicloud.com/migration-dws/dws_15_0023.html#ZH-CN_TOPIC_0000002254983685__zh-cn_topic_0000001811610317_zh-cn_topic_0000001188163708_t051f8c4ef816412c85e082e7fb7297dd)。 ``` vim /opt/bin/dws/gds/config/gds.conf ``` 示例： 配置"gds.conf"文件如下： ``` ``` 配置文件信息如下： - 数据服务器所在IP为192.168.0.90，GDS监听端口为5000。 - 数据文件存放在"/input_data/"目录下。 - 错误日志文件存放在"/err"目录下。该目录需要拥有GDS读写权限的用户自行创建。 - 单个数据文件大小为100MB。 - 每个错误日志大小为100MB。 - 日志保存在"/log/gds_log.txt"文件中。该目录需要拥有GDS读写权限的用户自行创建。 - 只允许IP为10.10.0.\*的节点进行连接。 - GDS进程以后台方式运行。 - 递归数据文件目录。 - 指定并发导入工作线程数目为2。 2. 执行如下命令启动GDS并确认GDS是否启动成功。 ``` python3 gds_ctl.py start ``` 示例： ``` cd /opt/bin/dws/gds/bin python3 gds_ctl.py start Start GDS gds1 [OK] gds [options]: -d dir Set data directory. -p port Set GDS listening port. ip:port Set GDS listening ip address and port. -l log_file Set log file. -H secure_ip_range Set secure IP checklist in CIDR notation. Required for GDS to start. -e dir Set error log directory. -E size Set size of per error log segment.(0 < size < 1TB) -S size Set size of data segment.(1MB < size < 100TB) -t worker_num Set number of worker thread in multi-thread mode, the upper limit is 200. If without setting, the default value is 8. -s status_file Enable GDS status report. -D Run the GDS as a daemon process. -r Read the working directory recursively. -h Display usage. ```