准备镜像
准备大模型推理适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。
镜像版本
本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。
镜像用途 |
镜像地址 |
配套版本 |
---|---|---|
基础镜像 |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a |
CANN:cann_8.0.rc2 PyTorch:2.1.0 |
Step1 创建ECS
下文中介绍如何在ECS中构建一个推理镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。
注意:CPU架构必须选择鲲鹏计算,镜像推荐选择EulerOS。
Step3 安装Docker
- 检查docker是否安装。
docker -v #检查docker是否安装
如尚未安装,运行以下命令安装docker。
yum install -y docker
- 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。
sysctl -p | grep net.ipv4.ip_forward
如果net.ipv4.ip_forward配置项的值不为1,执行以下命令配置IP转发。sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
Step4 获取推理基础镜像
建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。
docker pull {image_url}
Step5 构建ModelArts Standard推理镜像
获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。
unzip AscendCloud-*.zip -d ./AscendCloud && unzip ./AscendCloud/AscendCloud-OPP-*.zip -d ./AscendCloud/AscendCloud-OPP && unzip ./AscendCloud/AscendCloud-LLM-*.zip -d ./AscendCloud/AscendCloud-LLM && cd ./AscendCloud/AscendCloud-LLM/llm_inference/ascend_vllm/ && sh build_image.sh --base-image=${base_image} --image-name=${image_name} --specify-enrtypoint=True
参数说明:
- ${base_image}为基础镜像;
- ${image_name}为推理镜像名称,示例:swr.cn-southwest-2.myhuaweicloud.com/<组织名称>/<镜像名称>:<tag>。<组织名称>为Step2 创建镜像组织中创建的组织名称,<镜像名称>:<tag>为自定义镜像名称。
打印如下信息,表示构建镜像成功。
![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000001986280389.png)
Step6 在ECS中Docker登录
在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。
![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000001982585049.png)
Step7 上传镜像
在ECS服务器中输入登录指令后,使用下列示例命令将Standard镜像上传至SWR。
docker push swr.cn-southwest-2.myhuaweicloud.com/<组织名称>/<镜像名称>:<tag>
参数说明:
- <组织名称>:前面步骤中创建的组织名称。
- <镜像名称>:<tag>:定义镜像名称。示例:llama_ascend_pytorch_2_1:0.5.3
打印如下信息,表示上传镜像成功。
![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000001982585061.png)