更新时间:2022-06-22 GMT+08:00

安装和使用IB驱动自带的Open MPI

操作场景

本节指导用户在BMS上安装和使用IB驱动自带的Open MPI(以版本3.1.0rc2为例)。

对于集群中的每台BMS,都需要执行该操作。

前提条件

已配置BMS集群间互相免密登录。

操作步骤

  1. 查询是否安装了IB驱动。

    1. 执行以下命令,查询是否已成功安装IB驱动。

      $ ls /usr/mpi/gcc/openmpi-3.1.0rc2/bin/mpirun

      $ rpm -qa | grep mlnx-ofa

      图1 确认已安装IB驱动
    2. 查看回显结果。
      • 如果回显如图1所示,表示已安装IB驱动,执行3
      • 如果未安装IB驱动,执行2

  2. 安装IB驱动。

    1. 下载安装包“MLNX_OFED_LINUX-4.3-1.0.1.0-rhel7.3-x86_64.tgz”。

      下载地址:https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/

      图2 IB驱动的下载页面
    2. 执行以下命令,安装软件包。

      # yum install tk tcl

      # tar -xvf MLNX_OFED_LINUX-4.3-1.0.1.0-rhel7.3-x86_64.tgz

      # cd MLNX_OFED_LINUX-4.3-1.0.1.0-rhel7.3-x86_64

      # ./mlnxofedinstall

  3. 配置环境变量。

    1. 使用vim编辑“~/.bashrc”文件,添加如下配置内容:

      export PATH=$PATH:/usr/mpi/gcc/openmpi-3.1.0rc2/bin

      export LD_LIBRARY_PATH=/usr/mpi/gcc/openmpi-3.1.0rc2/lib64

    2. 执行以下命令,查看MPI环境变量是否正常。

      $ which mpirun

      图3 查看IB驱动自带的Open MPI环境变量

      如果回显如图3所示,表示环境变量配置成功。

  4. 执行以下命令,在单台BMS上运行IB驱动自带的Open MPI。

    $ mpirun -np 2 -mca btl_openib_if_include "mlx5_0:1" -x MXM_IB_USE_GRH=y /usr/mpi/gcc/openmpi-3.1.0rc2/tests/imb/IMB-MPI1 PingPong

    图4 单台BMS上运行Open MPI