NPU Snt9B如何快速使用Container-NPU模式

场景描述

本文介绍如何在Snt9B服务器上快速使用Container-NPU模式，本文所使用的服务器操作系统为欧拉系统且已经安装npu-driver。

操作步骤

1. 配置yum源。yum源路径为“/etc/yum.repos.d”，配置内容如下。

   [base]
   name=EulerOS-2.0SP10 base
   baseurl=http://mirrors.myhuaweicloud.com/euler/2.10/os/aarch64/
   enabled=1
   gpgcheck=1
   gpgkey=http://mirrors.myhuaweicloud.com/euler/2.10/os/RPM-GPG-KEY-EulerOS\

2. 安装docker。由于docker-ascend-runtime的限制条件，版本需要大于1.18.3。

   yum install docker

3. 安装docker-ascend-runtime，请参考Ascend Docker Runtime用户指南。
4. 拉取docker镜像

   docker pull swr.cn-southwest-2.myhuaweicloud.com/llm_eimodelarts/ascendspeed-llama2:0.0.1

5. 启动容器并挂载NPU设备

   docker run -d -it --privileged -p 8622:22 -p 8623:8023 \
           -u root \
           --device=/dev/davinci0 \
           --device=/dev/davinci1 \
           --device=/dev/davinci2 \
           --device=/dev/davinci3 \
           --device=/dev/davinci4 \
           --device=/dev/davinci5 \
           --device=/dev/davinci6 \
           --device=/dev/davinci7 \
           --device=/dev/davinci_manager \
           --device=/dev/devmm_svm \
           --device=/dev/hisi_hdc \
           -v /etc/localtime:/etc/localtime \
           -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
           -v /etc/ascend_install.info:/etc/ascend_install.info \
           -v /var/log/npu/:/usr/slog \
           -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
           -v /sys/fs/cgroup:/sys/fs/cgroup:ro \
           -v /home/zfg/workspace:/home/zfg \
           --name devserver-snt9b-demo \
           swr.cn-southwest-2.myhuaweicloud.com/llm_eimodelarts/ascendspeed-llama2:0.0.1 \
           /bin/bash

6. 在docker里面执行命令“npu-smi info”验证NPU设备是否挂载成功。
   图1 查看NPU信息