py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/ │ ├── 模型文件 //必选，不同的框架，其模型文件格式不同，详细可参考模型包示例。 ├── 自定义Python包

查看更多 →

“model”文件夹下面放置模型文件、模型推理代码。 模型推理代码文件必选，其文件名必须为“customize_service.py”，“model”文件夹下有且只能有1个推理代码文件，模型推理代码编写请参见模型推理代码编写说明。 使用模板导入的模型包结构如下所示： model/

查看更多 →

。 模型文件：在不同模型包结构中模型文件的要求不同，具体请参见模型包结构示例。 模型配置文件：模型配置文件必需存在，文件名固定为“config.json”，有且只有一个，模型配置文件编写请参见模型配置文件编写说明。 模型推理代码文件：模型推理代码文件是必选的。文件名固定为“customize_service

查看更多 →

。 模型文件：在不同模型包结构中模型文件的要求不同，具体请参见模型包结构示例。 模型配置文件：模型配置文件必须存在，文件名固定为“config.json”，有且只有一个，模型配置文件编写请参见模型配置文件编写说明。 模型推理代码文件：模型推理代码文件是必选的。文件名固定为“customize_service

查看更多 →

模型推理 将数据输入模型进行推理，推理结束后将推理结果返回。 接口调用 virtual HiLensEC hilens::Model::Infer(const InferDataVec & inputs, InferDataVec & outputs) 参数说明 表1 参数说明 参数名

查看更多 →

模型推理 模型初始化成功后，调用infer接口进行模型推理。灌入一组数据，并得到推理结果。输入数据的类型不是uint8或float32数组组成的list将会抛出一个ValueError。 接口调用 hilens.Model.infer(inputs) 参数说明 表1 参数说明 参数名

查看更多 →

直接编写样式代码 样式面板提供的直接配置的样式满足了大部分的基础样式需求，但是，如果还是不能满足您的需求，AstroPro还提供了直接编写样式代码的方式来配置样式。 编写行内样式 等效于直接在html标签style属性里直接声明样式，权重高，用于覆盖样式。 参考登录AstroPr

查看更多 →

所有文件和文件夹拷贝到镜像中的指定路径下，镜像内路径可以通过self.model_path获取。 处理方法 获取镜像内的路径方法见模型推理代码编写说明。 父主题： AI应用管理

查看更多 →

C/C++代码编写 编码基础操作 代码编写操作 代码重构操作 父主题： C/C++

查看更多 →

，该方法将输入的http body转换成模型期望的输入，具体的指导可以查看文档：模型推理代码编写说明。 模型从AI Gallery中获取的：请查看AI Gallery中的调用说明或者咨询该模型的提供方。 建议与总结 无 父主题： 在线服务

查看更多 →

代码模型 代码模型定义代码结构以及代码元素逻辑模型中逻辑元素的对应关系，建立逻辑元素到代码仓或者代码目录的映射关系，以实现软件源代码的显示管理。元素介绍如下表所示： 表1 代码模型元素介绍 元素名 图标 含义 Repo Grp 代码仓组是代码模型分组辅助元素，不对应具体的代码仓，仅表示一个集合。

查看更多 →

介绍、模型配置文件编写说明、模型推理代码编写说明。 使用容器化部署，导入的元模型有大小限制，详情请参见导入AI应用对于镜像大小限制。 前提条件 已完成模型开发和训练，使用的AI引擎为ModelArts支持的类型和版本，详细请参见推理支持的AI引擎。 已完成训练的模型包，及其对应的

查看更多 →

介绍、模型配置文件编写说明、模型推理代码编写说明。 使用容器化部署，导入的元模型有大小限制，详情请参见导入AI应用对于镜像大小限制。 前提条件 已完成模型开发和训练，使用的AI引擎为ModelArts支持的类型和版本，详细请参见推理支持的AI引擎。 已完成训练的模型包，及其对应的

查看更多 →

代码模型的基础构造型与自定义构造型元素才认定为代码模型元素）。 在代码模型图上创建出来的代码模型元素； 引用到代码模型中的代码元素（包含关联空间中的引用的代码元素）； 如何检查 查询基于模型图（只有代码模型图内的代码元素参与构树）并展示不匹配元素构出的代码模型架构树，找出所有代码元素中不在架构树中的代码元素。 正确示例

查看更多 →

模型推理文件 如果用户需要使用内置评测指标集，需要按照以下规范提供模型推理的启动脚本，具体参考下面文件实例。如果不使用内置评测模板，可跳过此节。 仅当使用内置评测模板时需要按此要求配置模型推理文件。如果使用自定义评测脚本评测时，仅需提供模型即可，具体目录结构由用户自行决定。 模型推理启动文件实例

查看更多 →

推理规范说明 模型包规范 模型模板 自定义脚本代码示例

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.907）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →