基于PyTorch NPU快速部署开源大模型

推理服务 云端推理框架提供模型云端运行框架环境，用户可以在线验证模型推理效果，无须从零准备计算资源、搭建推理框架，只需将模型包加载到云端推理框架，一键发布成云端Web Service推理服务，帮助用户高效低成本完成模型验证。 其中，“推理服务”主界面默认展示所有推理服务，用户可查

查看更多 →

模型推理 将数据输入模型进行推理，推理结束后将推理结果返回。 接口调用 virtual HiLensEC hilens::Model::Infer(const InferDataVec & inputs, InferDataVec & outputs) 参数说明 表1 参数说明 参数名

查看更多 →

模型推理 模型初始化成功后，调用infer接口进行模型推理。灌入一组数据，并得到推理结果。输入数据的类型不是uint8或float32数组组成的list将会抛出一个ValueError。 接口调用 hilens.Model.infer(inputs) 参数说明 表1 参数说明 参数名

查看更多 →

在模型训练工程详情页面上单击“”，进入训练任务配置页面。 硬盘检测模板已经预置训练代码及推理代码，故此处跳过代码文件创建及代码编辑操作。如果是用户手动创建训练项目，不包含推理代码文件，需要完成在训练代码目录中增加推理代码文件，编辑推理代码，在训练代码文件中编辑训练代码等操作。 使用默认配置，单击“开始训练”。 训练

查看更多 →

py”中。当学件模型打包发布成在线推理服务时，可以使用推理代码，完成快速在线推理验证。 单击“测试模型”左下方的“开发推理”。 等待推理代码生成完成后，可在左侧目录树中，看到生成的推理文件“learnware_predict.py”。 用户可以根据实际情况，编辑修改推理文件中的代码。 父主题： 模型训练

查看更多 →

推理部署 模型管理 服务部署 服务预测

查看更多 →

推理服务 推理服务 任务队列 父主题： 训练服务

查看更多 →

推理服务 新建推理服务 在左侧菜单栏中单击“训练服务 > 推理服务”。 选择“推理服务”页签，单击“新建推理服务”，填写基本信息。 图1 新建推理服务 名称：输入推理服务名称，只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。 描述：简要描述任务信息。不得包含“@^\

查看更多 →

ip_forward Step2 获取基础镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.906-xxx.z

查看更多 →

AscendCloud-6.3.907-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendC

查看更多 →

odel入参同系列，但是权重参数远小于--model指定的模型。若未使用投机推理功能，则无需配置。 --num-speculative-tokens：投机推理小模型每次推理的token数。若未使用投机推理功能，则无需配置。参数--num-speculative-tokens需要和--speculative-model

查看更多 →

AscendCloud-6.3.908-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.910）

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite k8s Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.911）

查看更多 →

推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

0.3.2推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 6.3.905版本获取路径：Support-E（推荐） 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 AscendCloud-OPP-6.3.905-xxx.zip 推理依赖的算子包。

查看更多 →

ipv4.ip_forward Step2 获取推理镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表2。 docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx

查看更多 →