.jpg)
.jpg)
.jpg)
.jpg)
-
ARM-Ascend模板
![]()
”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/
来自：帮助中心 -
部署推理服务
![]()
ipv4.ip_forward Step2 获取推理镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表2。 docker pull {image_url} Step3 上传权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx
来自：帮助中心 -
推理场景介绍
![]()
requirements.txt # 第三方依赖 ├── ... ├──llm_inference #推理代码 ├── ascend_vllm_adapter #昇腾vLLM使用的算子模块 ├── ascend
来自：帮助中心 -
PyTorch-py27通用模板
![]()
”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/
来自：帮助中心 -
PyTorch-py36通用模板
![]()
”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/
来自：帮助中心 -
Caffe-GPU-py27通用模板
![]()
”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/
来自：帮助中心 -
推理场景介绍
![]()
├──llm_inference # 推理代码 ├──ascend_vllm ├── vllm_npu # 推理源码 ├── ascend_vllm-0.4.2-py3-none-any.whl # 推理安装包
来自：帮助中心 -
TensorFlow图像分类模板
![]()
”命名。“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/
来自：帮助中心 -
部署推理服务
![]()
ip_forward Step2 获取基础镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.907-xxx.z
来自：帮助中心 -
模型包结构介绍
![]()
json”，有且只有一个，模型配置文件编写请参见模型配置文件编写说明。 模型推理代码文件：模型推理代码文件是必选的。文件名固定为“customize_service.py”，此文件有且只能有一个，模型推理代码编写请参见模型推理代码编写说明。 customize_service.py依赖的py文
来自：帮助中心 -
模型包规范介绍
![]()
json”，有且只有一个，模型配置文件编写请参见模型配置文件编写说明。 模型推理代码文件：模型推理代码文件是必选的。文件名固定为“customize_service.py”，此文件有且只能有一个，模型推理代码编写请参见模型推理代码编写说明。 customize_service.py依赖的py文
来自：帮助中心 -
在线服务预测报错MR.0105
![]()
从上图报错日志判断，预测失败是模型推理代码编写有问题。 解决方法 根据日志报错提示，append方法中缺少必填参数，修改模型推理代码文件“customize_service.py”中的代码，给append方法中传入合理的参数。 如需了解更多模型推理代码编写说明，请参考模型推理代码编写说明。 父主题：
来自：帮助中心 -
准备代码
![]()
requirements.txt # 第三方依赖 ├── ... ├──llm_inference #推理代码 ├── ascend_vllm_adapter #昇腾vLLM使用的算子模块 ├── ascend
来自：帮助中心 -
准备代码
![]()
├──llm_inference # 推理代码 ├──ascend_vllm ├── vllm_npu # 推理源码 ├── ascend_vllm-0.4.2-py3-none-any.whl # 推理安装包
来自：帮助中心 -
准备代码
![]()
├──llm_inference # 推理代码 ├──ascend_vllm ├── vllm_npu # 推理源码 ├── ascend_vllm-0.5.0-py3-none-any.whl # 推理安装包
来自：帮助中心 -
准备代码
![]()
├──llm_inference # 推理代码 ├──ascend_vllm ├── vllm_npu # 推理源码 ├── ascend_vllm-0.5.0-py3-none-any.whl # 推理安装包
来自：帮助中心 -
准备代码
![]()
准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
来自：帮助中心 -
推理服务
![]()
描述：描述信息。 单击“确定”，发布在线推理服务。 单击界面左上方的“模型训练”，从下拉框中选择“推理”，进入推理服务菜单页面，该界面展示已发布的所有推理服务。用户可以对推理服务进行查看详情、授权、启动/停止等一系列操作。 ：推理服务发布成功，单击图标可以跳转至推理服务的快速验证界面，用户可在
来自：帮助中心 -
准备代码
![]()
|──llm_inference # 推理代码包 |──llm_tools # 推理工具 代码上传至OBS 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后，将llm_train文件上传至OBS中。
来自：帮助中心 -
推理场景介绍
![]()
requirements.txt # 第三方依赖 ├── ... ├──llm_inference #推理代码 ├── ascend_vllm_adapter #昇腾vLLM使用的算子模块 ├── ascend
来自：帮助中心 -
准备代码
![]()
准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-6
来自：帮助中心
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
