准备镜像

镜像版本

本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。

Step1 创建ECS

下文中介绍如何在ECS中构建一个推理镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建完成后，单击“远程登录”，后续安装Docker等操作均在该ECS上进行。

注意：CPU架构必须选择鲲鹏计算，镜像推荐选择EulerOS。

Step2 创建镜像组织

在SWR服务页面创建镜像组织。

图2 创建镜像组织

Step3 安装Docker

1. 检查docker是否安装。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker

2. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf 
   sysctl -p | grep net.ipv4.ip_forward

Step4 获取推理基础镜像

建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。

Step5 构建ModelArts Standard推理镜像

获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。

unzip AscendCloud-*.zip -d ./AscendCloud && unzip ./AscendCloud/AscendCloud-OPP-*.zip -d ./AscendCloud/AscendCloud-OPP && unzip ./AscendCloud/AscendCloud-LLM-*.zip -d ./AscendCloud/AscendCloud-LLM && cd ./AscendCloud/AscendCloud-LLM/llm_inference/ascend_vllm/ && sh build_image.sh --base-image=${base_image} --image-name=${image_name} --specify-enrtypoint=True

参数说明：

• ${base_image}为基础镜像；
• ${image_name}为推理镜像名称，示例：swr.cn-southwest-2.myhuaweicloud.com/<组织名称>/<镜像名称>:<tag>。<组织名称>为Step2 创建镜像组织中创建的组织名称，<镜像名称>:<tag>为自定义镜像名称。

Step6 在ECS中Docker登录

在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。

图4 复制登录指令

Step7 上传镜像

在ECS服务器中输入登录指令后，使用下列示例命令将Standard镜像上传至SWR。

docker push swr.cn-southwest-2.myhuaweicloud.com/<组织名称>/<镜像名称>:<tag>

参数说明：

• <组织名称>：前面步骤中创建的组织名称。
• <镜像名称>:<tag>：定义镜像名称。示例：llama_ascend_pytorch_2_1:0.5.3

打印如下信息，表示上传镜像成功。

图5 成功上传镜像

Step8 注册镜像

镜像上传至SWR成功后，在ModelArts控制台的“镜像管理”页面中点击“注册镜像”。

图6 在ModelArts控制台注册镜像

在镜像源中，选择上一步中上传到SWR自有镜像仓中的镜像名，作为模型推理使用的镜像，架构选择ARM，类型选择CPU和ASCEND。

图7 注册镜像

Step9 通过openssl创建SSL pem证书

openssl genrsa -out key.pem 2048

openssl req -new -x509 -key key.pem -out cert.pem -days 1095