IB网络概述

IB网络

IB网络因其低延迟、高带宽的网络特性被用于很多高性能计算（High Performance Computing，HPC）项目，IB网络采用了100G Mellanox IB网卡，通过专用IB交换机和控制器软件UFM实现网络通信和管理。IB网络通过Partition Key实现网络隔离，不同租户的IB网络可通过不同的Partition Key来隔离，类似于以太网的VLAN。在BMS场景，IB网络支持RDMA和IPoIB通信方式。

裸金属服务器IB网络的发放是通过在创建BMS时选择支持IB网络的规格实现的，即可动态创建IB网络。IB网络发放完成后，即可在裸金属服务器上通过RDMA方式实现高速通信。在IPoIB通信模式下，需要在IB网口上配置IP地址，有静态配置和DHCP动态分配两种方式。静态配置举例如下：

#/etc/sysconfig/network/ifcfg-ib0
DEVICE=ib0
TYPE=InfiniBand
ONBOOT=yes
HWADDR=80:00:00:4c:fe:80:00:00:00:00:00:00:f4:52:14:03:00:7b:cb:a1
BOOTPROTO=none
IPADDR=172.31.0.254
PREFIX=24
NETWORK=172.31.0.0
BROADCAST=172.31.0.255
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
MTU=65520
CONNECTED_MODE=yes
NAME=ib0

裸金属服务器创建成功后，IB网络的IP默认采用DHCP方式获取。如果用户需要对IB网卡的默认IP重新规划，可以自行配置与裸金属服务器已有IP网段不冲突的静态IP。

了解更多关于IPoIB通信方式的信息，请参考https://www.kernel.org/doc/Documentation/infiniband/ipoib.txt。

查看方式

IB网络是通过裸金属服务器的规格呈现给用户的。例如某个规格的扩展配置为“1*100G IB + 2*10GE”，表示该裸金属服务器存在IB网卡。用户需要管理整个系统的VLAN/IP配置和规划。