基于PyTorch NPU快速部署开源大模型

云端推理 本章仅以硬盘故障检测为例，旨在介绍操作方法，其他场景请根据实际情况操作。 单击菜单栏的“模型管理”，进入模型管理界面。 单击界面右上角的“开发环境”，弹出“环境信息”对话框。 单击“创建”，在弹出的“新建环境”对话框中，选择规格和实例，保持默认值即可。 单击“确定”，创建一个Webide环境。

查看更多 →

服务发布者将推理服务授权给他人后，授权界面会生成“访问地址”，被授权用户可凭借自己的账户Token和“访问地址”调用推理服务的API接口。 停止运行推理服务。 修改推理服务的配置信息，包括是否开启自动停止、版本、计算节点规格、计算节点个数、分流、环境变量。 删除推理服务。 推理服务主页面快速入口：

查看更多 →

模型推理 将数据输入模型进行推理，推理结束后将推理结果返回。 接口调用 virtual HiLensEC hilens::Model::Infer(const InferDataVec & inputs, InferDataVec & outputs) 参数说明 表1 参数说明 参数名

查看更多 →

模型推理 模型初始化成功后，调用infer接口进行模型推理。灌入一组数据，并得到推理结果。输入数据的类型不是uint8或float32数组组成的list将会抛出一个ValueError。 接口调用 hilens.Model.infer(inputs) 参数说明 表1 参数说明 参数名

查看更多 →

最大内网带宽：12Gbps kAi1s使用的驱动和CANN仅支持21.0.2（3.0.1）版本，不支持驱动和CANN升级。 鲲鹏AI推理加速增强I型kAi1s 概述 鲲鹏AI推理加速型实例kAi1s是以昇腾310（Ascend 310）芯片为加速核心的AI加速型弹性云服务器。基于Ascend 310

查看更多 →

在“模型仓库”页面单击导入模型包对应的“”，发布推理服务，如图7所示。 图7 发布推理服务 在“发布推理服务”页面配置“计算节点规格”等信息，单击“确定”，如图8所示。 图8 配置推理服务发布信息 单击推理服务菜单栏的“推理服务”，查看模型包推理服务部署进展，如图9所示。 图9 推理服务部署 待推理服务部署完成，左

查看更多 →

py”中。当学件模型打包发布成在线推理服务时，可以使用推理代码，完成快速在线推理验证。 单击“测试模型”左下方的“开发推理”。 等待推理代码生成完成后，可在左侧目录树中，看到生成的推理文件“learnware_predict.py”。 用户可以根据实际情况，编辑修改推理文件中的代码。 父主题：

查看更多 →

推理部署 模型管理 服务部署 服务预测

查看更多 →

台、自动化编译工具、代码加密和调试工具包等必备工具。您可以参照应用示例和用户开发指导手册，迅速开发和测试您的FPGA硬件加速器。 应用开发套件 FPGA云服务提供应用开发套件 (SDK）。SDK包括应用示例、硬件抽象接口、加速器抽象接口、加速器驱动和runtime、版本管理工具等

查看更多 →

5-ubuntu18.04 CPU算法开发和训练基础镜像，包含可以图形化机器学习算法开发和调测MLStudio工具，并预置PySpark2.4.5 CPU 否 是 mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04 GPU算法开发和训练基础镜像，预置AI引擎MindSpore-GPU

查看更多 →

计算节点资源，包括CPU和GPU。 用户可以单击选定计算节点资源，并在“计算节点个数”中配置计算节点资源的个数。 计算节点个数 计算节点的个数。 1代表单节点计算 2代表分布式计算，开发者需要编写相应的调用代码。可使用内置的MoXing分布式训练加速框架进行训练，训练算法需要符合

查看更多 →

"software|firmware" #查看驱动和固件版本 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →

推理服务接口 发起调用请求 父主题： fabric-ep

查看更多 →

"software|firmware" #查看驱动和固件版本 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.5。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。

查看更多 →

clone，确保集群可以访问公网。 Step1 上传权重文件 将权重文件上传到集群节点机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见支持的模型列表和权重文件。 如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.910）

查看更多 →

部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.911）

查看更多 →

Step2 获取推理镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表2。 docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx.zip和算子包AscendCloud-OPP-xxx

查看更多 →

确定。建议该参数和“多样性”只设置1个。 多样性 影响输出文本的多样性，取值越大，生成文本的多样性越强。建议该参数和“温度”只设置1个。 存在惩罚 介于-2.0和2.0之间的数字。正值会尽量避免重复已经使用过的词语，更倾向于生成新词语。 频率惩罚 介于-2.0和2.0之间的数字。

查看更多 →