基于PyTorch NPU快速部署开源大模型

模型推理代码编写说明 本章节介绍了在ModelArts中模型推理代码编写的通用方法及说明，针对常用AI引擎的自定义脚本代码示例（包含推理代码示例），请参见自定义脚本代码示例。本文在编写说明下方提供了一个TensorFlow引擎的推理代码示例以及一个在推理脚本中自定义推理逻辑的示例。

查看更多 →

从上图报错日志判断，预测失败是模型推理代码编写有问题。 解决方法 根据日志报错提示，append方法中缺少必填参数，修改模型推理代码文件“customize_service.py”中的代码，给append方法中传入合理的参数。 如需了解更多模型推理代码编写说明，请参考模型推理代码编写说明。 父主题：

查看更多 →

创建模型规范参考 模型包结构介绍 模型配置文件编写说明 模型推理代码编写说明 自定义引擎创建模型规范 自定义脚本代码示例 父主题： 使用ModelArts Standard部署模型并推理预测

查看更多 →

编写逻辑代码 华为HiLens提供了一套HiLens Framework，HiLens Framework通过封装底层接口、实现常用的管理功能，让开发者可以方便的开发Skill，发展AI生态。详细指导和API介绍可参见《开发指南》。 HiLens Framework示例代码 HiLens

查看更多 →

模型配置文件编写说明 模型开发者发布模型时需要编写配置文件config.json。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。 配置文件格式说明 配置文件为JSON格式，参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 描述

查看更多 →

编写训练代码 训练模型时引用依赖包，如何创建训练作业？ 训练作业常用文件路径是什么？ 如何安装C++的依赖库？ 训练作业中如何判断文件夹是否复制完毕？ 如何在训练中加载部分训练好的参数？ 训练作业的启动文件如何获取训练作业中的参数？ 训练作业中使用os.system('cd xxx')无法进入相应的文件夹？

查看更多 →

代码编写操作 CodeArts IDE for C/C++ 包含了内置的符号重命名，提取重构，代码补全/提示，实时语法检查等一些高级代码编写功能。 符号重命名（Rename symbol） 最基础的重构之一，但是变量或方法名字的可读性非常重要。在光标选中某个变量或方法后，右键单击

查看更多 →

在customize_service.py中添加一行代码os.system('nvcc -V)查看该镜像的cuda版本（customize_service.py编写指导请见模型推理代码编写说明）。 确认该cuda版本与您安装的mmcv版本是否匹配。 部署时是否需要使用GPU，取决于的模型需要用到CPU还是GPU，以及推理脚本如何编写。

查看更多 →

直接编写样式代码 样式面板提供了可直接配置的样式，满足了大部分的基础样式需求。如果这些样式还是不能满足您的需求，AstroPro还提供了直接编写样式代码的方式来配置样式。 编写行内样式 等效于直接在html标签style属性里直接声明样式，权重高，用于覆盖样式。 参考登录Astr

查看更多 →

面放置模型文件，模型配置文件，模型推理代码文件。 模型文件：在不同模型包结构中模型文件的要求不同，具体请参见模型包结构示例。 模型配置文件：模型配置文件必须存在，文件名固定为“config.json”，有且只有一个，模型配置文件编写请参见模型配置文件编写说明。 模型推理代码文件：

查看更多 →

文件夹复制到镜像中的指定路径下，镜像内路径可以通过self.model_path获取。 处理方法 获取镜像内的路径方法见模型推理代码编写说明。 父主题： 模型管理

查看更多 →

模型推理 将数据输入模型进行推理，推理结束后将推理结果返回。 接口调用 virtual HiLensEC hilens::Model::Infer(const InferDataVec & inputs, InferDataVec & outputs) 参数说明 表1 参数说明 参数名

查看更多 →

模型推理 模型初始化成功后，调用infer接口进行模型推理。灌入一组数据，并得到推理结果。输入数据的类型不是uint8或float32数组组成的list将会抛出一个ValueError。 接口调用 hilens.Model.infer(inputs) 参数说明 表1 参数说明 参数名

查看更多 →

C/C++代码编写 编码基础操作 代码编写操作 代码重构操作 父主题： C/C++

查看更多 →

，该方法将输入的http body转换成模型期望的输入，具体的指导可以查看文档：模型推理代码编写说明。 模型从AI Gallery中获取的：请查看AI Gallery中的调用说明或者咨询该模型的提供方。 建议与总结 无 父主题： 在线服务

查看更多 →

包结构介绍、模型配置文件编写说明、模型推理代码编写说明。 使用容器化部署，导入的元模型有大小限制，详情请参见导入模型对于镜像大小限制。 前提条件 已完成模型开发和训练，使用的AI引擎为ModelArts支持的类型和版本，详细请参见推理支持的AI引擎。 已完成训练的模型包，及其对应

查看更多 →

代码模型 代码模型定义代码结构以及代码元素逻辑模型中逻辑元素的对应关系，建立逻辑元素到代码仓或者代码目录的映射关系，以实现软件源代码的显示管理。元素介绍如下表所示： 表1 代码模型元素介绍 元素名 图标 含义 Repo Grp 代码仓组是代码模型分组辅助元素，不对应具体的代码仓，仅表示一个集合。

查看更多 →

代码模型的基础构造型与自定义构造型元素才认定为代码模型元素）。 在代码模型图上创建出来的代码模型元素； 引用到代码模型中的代码元素（包含关联空间中的引用的代码元素）； 如何检查 查询基于模型图（只有代码模型图内的代码元素参与构树）并展示不匹配元素构出的代码模型架构树，找出所有代码元素中不在架构树中的代码元素。 正确示例

查看更多 →

用前面编写完成的训练脚本。训练完成后，将生成模型并存储至OBS中。 创建训练作业 管理模型 编写推理代码和配置文件 针对您生成的模型，建议您按照ModelArts提供的模型包规范，编写推理代码和配置文件，并将推理代码和配置文件存储至训练输出位置。 模型包规范介绍 创建模型 将训练

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）

查看更多 →