准备镜像
准备大模型推理适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。
镜像版本
本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。
|
镜像用途 |
镜像地址 |
配套版本 |
|---|---|---|
|
基础镜像 |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt9b-20240910112800-2a95df3 |
CANN：cann_8.0.rc3 |
Step1 创建ECS
下文中介绍如何在ECS中构建一个推理镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。
注意：CPU架构必须选择鲲鹏计算，镜像推荐选择EulerOS。
Step3 安装Docker
- 检查docker是否安装。
docker -v #检查docker是否安装
如尚未安装，运行以下命令安装docker。
yum install -y docker
- 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。
sysctl -p | grep net.ipv4.ip_forward
如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
Step4 获取推理基础镜像
建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。
docker pull {image_url}
Step5 构建ModelArts Standard推理镜像
获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。
unzip AscendCloud-*.zip -d ./AscendCloud && unzip ./AscendCloud/AscendCloud-OPP-*.zip -d ./AscendCloud/AscendCloud-OPP && unzip ./AscendCloud/AscendCloud-LLM-*.zip -d ./AscendCloud/AscendCloud-LLM && cd ./AscendCloud/AscendCloud-LLM/llm_inference/ascend_vllm/
修改Dockerfile，增加如下命令：
RUN source /home/ma-user/.bashrc && \
...
cd ../../llm_tools/AutoSmoothQuant/ && \
bash build.sh && \
cd ../AutoAWQ && \
sed -i '23a sed -i "s/IS_CPU_ONLY = not torch.backends.mps.is_available() and not torch.cuda.is_available()/IS_CPU_ONLY = False/g" setup.py' build.sh && \
bash build.sh && \
...
修改build_image.sh内容，将'ENTRYPOINT ["/home/mind/model/run_vllm.sh"]'修改为'ENTRYPOINT sh /home/mind/model/run_vllm.sh'。
执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git clone，请确保机器环境可以访问公网。
sh build_image.sh --base-image=${base_image} --image-name=${image_name} --specify-enrtypoint=True
参数说明：
- ${base_image}为基础镜像；
- ${image_name}为推理镜像名称，示例：swr.cn-southwest-2.myhuaweicloud.com/<组织名称>/<镜像名称>:<tag>。<组织名称>为Step2 创建镜像组织中创建的组织名称，<镜像名称>:<tag>为自定义镜像名称。
打印如下信息，表示构建镜像成功。
Step6 在ECS中Docker登录
在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。
Step7 上传镜像
在ECS服务器中输入登录指令后，使用下列示例命令将Standard镜像上传至SWR。
docker push swr.cn-southwest-2.myhuaweicloud.com/<组织名称>/<镜像名称>:<tag>
参数说明：
- <组织名称>：前面步骤中创建的组织名称。
- <镜像名称>:<tag>：定义镜像名称。示例：llama_ascend_pytorch_2_1:0.5.3
打印如下信息，表示上传镜像成功。
