安装和使用IB驱动自带的Open MPI

操作场景

本节指导用户在BMS上安装和使用IB驱动自带的Open MPI（以版本3.1.0rc2为例）。

对于集群中的每台BMS，都需要执行该操作。

前提条件

已配置BMS集群间互相免密登录。

操作步骤

1. 查询是否安装了IB驱动。
   1. 执行以下命令，查询是否已成功安装IB驱动。

      $ ls /usr/mpi/gcc/openmpi-3.1.0rc2/bin/mpirun

      $ rpm -qa | grep mlnx-ofa

      图1 确认已安装IB驱动
      
   2. 查看回显结果。
      • 如果回显如图1所示，表示已安装IB驱动，执行3。
      • 如果未安装IB驱动，执行2。

2. 安装IB驱动。
   1. 下载安装包“MLNX_OFED_LINUX-4.3-1.0.1.0-rhel7.3-x86_64.tgz”。

      下载地址：https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/

      图2 IB驱动的下载页面
      
   2. 执行以下命令，安装软件包。

      # yum install tk tcl

      # tar -xvf MLNX_OFED_LINUX-4.3-1.0.1.0-rhel7.3-x86_64.tgz

      # cd MLNX_OFED_LINUX-4.3-1.0.1.0-rhel7.3-x86_64

      # ./mlnxofedinstall

3. 配置环境变量。
   1. 使用vim编辑“~/.bashrc”文件，添加如下配置内容：

      export PATH=$PATH:/usr/mpi/gcc/openmpi-3.1.0rc2/bin

      export LD_LIBRARY_PATH=/usr/mpi/gcc/openmpi-3.1.0rc2/lib64

   2. 执行以下命令，查看MPI环境变量是否正常。

      $ which mpirun

      图3 查看IB驱动自带的Open MPI环境变量
      

      如果回显如图3所示，表示环境变量配置成功。

4. 执行以下命令，在单台BMS上运行IB驱动自带的Open MPI。

   $ mpirun -np 2 -mca btl_openib_if_include "mlx5_0:1" -x MXM_IB_USE_GRH=y /usr/mpi/gcc/openmpi-3.1.0rc2/tests/imb/IMB-MPI1 PingPong

   图4 单台BMS上运行Open MPI