更新时间:2024-04-28 GMT+08:00

gds_check

背景信息

gds_check用于对GDS部署环境进行检查,包括操作系统参数、网络环境、磁盘占用情况等,也支持对可修复系统参数的修复校正,有助于在部署运行GDS时提前发现潜在问题,提高执行成功率。

注意事项

  • 执行脚本前需设置环境变量,可参考《开发指南》中“导入数据>通过外表并行导入>安装配置和启动GDS”章节。
  • 脚本需要在python 3环境下运行。
  • 必须在root用户下执行脚本。
  • 必须指定-t、--host参数。
  • 当--host指定网络地址0.0.0.0或127.0.0.1时,不会检查MTU和网卡多队列。
  • 网卡多队列的检查、修复要求网卡至少是万兆。
  • --host参数指定的所有节点的密码必须保持一致,才能保证脚本成功进行远程检查。
  • 执行修复时,对配置劣于推荐值的参数,建议设置为OS中配置项的推荐值,具体见下表:
    表1 OS配置项

    参数

    推荐值

    net.core.somaxconn

    65535

    net.ipv4.tcp_max_syn_backlog

    65535

    net.core.netdev_max_backlog

    65535

    net.ipv4.tcp_retries1

    5

    net.ipv4.tcp_retries2

    12

    net.ipv4.ip_local_port_range

    26000~65535

    MTU

    1500

    net.core.wmem_max

    21299200

    net.core.rmem_max

    21299200

    net.core.wmem_default

    21299200

    net.core.rmem_default

    21299200

    max handler

    1000000

    vm.swappiness

    10

    表2 磁盘检查

    检查项

    警告

    磁盘空间使用率

    大于等于70%且小于90%

    inode使用率

    大于等于70%且小于90%

    表3 网络检查

    检查项

    报错

    检查网络连通性

    包100%丢失

    检查网卡多队列

    开启网卡多队列且绑定不同CPU,支持fix修改

语法

  • 检查命令
    gds_check -t check --host [/path/to/hostfile | ipaddr1,ipaddr2...] --ping-host [/path/to/pinghostfile | ipaddr1,ipaddr2...] [--detail]
  • 修复命令
    gds_check -t fix --host [/path/to/hostfile | ipaddr1,ipaddr2...] [--detail]

参数说明

  • -t

    操作类型,表示检查/修复。

    取值:check,fix。

  • --host

    需要检查/修复的节点IP列表。

    取值:IP列表,支持文件和字符串两种形式。

    • 文件形式:每一行一个IP地址,如:

      192.168.1.200

      192.168.1.201

    • 字符串形式:半角逗号分隔,如:

      192.168.1.200,192.168.1.201

  • --ping-host

    在各检查节点上进行网络ping检查的目标地址。

    取值:IP列表,支持文件和字符串两种形式,一般是DN、CN、网关的IP地址。

    • 文件形式:每一行一个IP地址,如:

      192.168.2.200

      192.168.2.201

    • 字符串形式:半角逗号分隔,如:

      192.168.2.200,192.168.2.201

  • --detail

    显示检查/修复项详细信息,并存入日志。

  • -V

    显示版本信息。

  • -h, --help

    显示帮助信息。

示例

执行检查,--host、--ping-host均为IP字符串形式:

gds_check -t check --host 192.168.1.100,192.168.1.101 --ping-host 192.168.2.100

执行检查,--host为字符串,--ping-host为文件形式:

gds_check -t check --host 192.168.1.100,192.168.1.101 --ping-host /home/gds/iplist

cat /home/gds/iplist
192.168.2.100
192.168.2.101

执行检查,--host为文件形式,--ping-host为字符串:

gds_check -t check --host  /home/gds/iplist --ping-host 192.168.1.100,192.168.1.101

执行修复,--host为字符串:

gds_check -t fix --host 192.168.1.100,192.168.1.101

执行检查,打印详细信息,并存入日志:

gds_check -t check --host 192.168.1.100 --detail

执行修复,打印详细信息,并存入日志:

gds_check -t fix --host 192.168.1.100 --detail