边缘部署准备工作

本指南的边缘部署操作以largemodel集群为例，示例集群信息如下表。

1. 依赖包下载。
   • docker下载：https://download.docker.com/linux/static/stable

   选择对应cpu架构下载，docker版本选在19.0.3+。

   • K3S下载：https://github.com/k3s-io/k3s/releases/tag/v1.21.12%2Bk3s1

   按照对应cpu架构下载二进制文件以及air-gap镜像。

2. npu驱动和固件安装。

   执行命令npu-smi info查看驱动是否已安装。如果有回显npu卡信息，说明驱动已安装。

   详情请参见昇腾官方文档。

3. hccn too网卡配置。
   1. 执行如下命令，查看是否有回显网卡信息。如果有，则说明网卡已经配置，否则继续操作下面步骤。

      cat /etc/hccn.conf

   2. 执行如下命令，查看npu卡数。

      npu-smi info

   3. 执行如下命令（地址自行配置）：

      hccn_tool -i 0 -ip -s address 192.168.0.230 netmask 255.255.255.0
      hccn_tool -i 1 -ip -s address 192.168.0.231 netmask 255.255.255.0
      hccn_tool -i 2 -ip -s address 192.168.0.232 netmask 255.255.255.0
      hccn_tool -i 3 -ip -s address 192.168.0.233 netmask 255.255.255.0
      hccn_tool -i 4 -ip -s address 192.168.0.234 netmask 255.255.255.0
      hccn_tool -i 5 -ip -s address 192.168.0.235 netmask 255.255.255.0
      hccn_tool -i 6 -ip -s address 192.168.0.236 netmask 255.255.255.0
      hccn_tool -i 7 -ip -s address 192.168.0.237 netmask 255.255.255.0

   4. 执行命令cat /etc/hccn.conf，确保有如下回显网卡信息，则配置完成。

      

4. 配置NFS网盘服务。

   大模型采用镜像+模型分开的方式部署时，需要有一个节点来提供NFS网盘服务，创建部署时通过NFS挂载的方式访问模型。