ok。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch

查看更多 →

ModelArts是面向AI开发者的一站式开发平台，核心功能是模型训练。华为HiLens偏AI应用开发，并实现端云协同推理和管理。 您可以使用ModelArts训练算法模型，然后在ModelArts或者华为HiLens中转换成华为HiLens支持的“om”格式后，在华为HiLens平台上导入模型并新建技能，在其

查看更多 →

当用户使用自定义引擎时，默认开启动态加载，模型包与镜像分离，在服务部署时动态将模型加载到服务负载。 配置健康检查 大模型场景下导入的AI应用，要求配置健康检查，避免在部署时服务显示已启动但实际不可用。 图3 采用自定义引擎，开启动态加载并配置健康检查示例图 部署在线服务 部署服务时，需满足以下参数配置： 自定义部署超时时间

查看更多 →

在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。

查看更多 →

全帽检测模型，快速开发安全帽检测技能，实现园区自动检测工人未戴安全帽的行为。 适用场景 智慧园区。 优势 模型精度高，检测速度快，更新模型简便。 端云协同推理：端侧设备可协同云侧在线更新模型，快速提升端侧精度。 对接华为HiLens技能开发平台，一键式创建技能，快速部署技能至端侧设备。

查看更多 →

/usr/usr/local/jar下修改jar服务配置文件 图2 修改配置文件 服务的配置修改及启动 修改所有jar服务连接nacos配置的信息如下标红处。 图3 修改及启动 所有服务的启动 nohup java -jar yunpi-base-gateway.jar >> yunpi-base-gateway

查看更多 →

而更好地控制模型的输出。 3 调优大模型 创建模型微调流水线 通过选择合适的数据集，调整参数，训练平台预置的模型以调优模型效果，可通过训练过程/结果指标初步判断调优效果。 创建模型服务 模型需要部署成功后才可正式提供模型推理服务，平台支持将微调后的模型、系统预置的模型以及通过自建

查看更多 →

控制台管理界面 单击“部署”节点， 图3 部署 单击安装按钮 选择 服务器 的war包，选择下一步 war包/WEB-INF/需要放一个web.xml文件“Attachment1.xml” 图4 安装1 选择下一步 图5 安装2 单击“下一步”按钮。 图6 安装3 单击“完成”按钮。

查看更多 →

组织关联平台应用部署 将前端上传至服务器/usr/local/web下前端包 yunpi-base-mgr 修改配置信息将请求后端网关地址进行修改 Vim config.js 将后端包上传至服务器/usr/local/web下 图1 上传 服务的配置修改及启动 修改所有jar服务连接nacos配置的信息如下标红处。

查看更多 →

后台服务的启动与配置。 配置jar服务： Jar包为：dce-admin.jar dce-apimrg.jar dce-front.jar dce-center.jar dce-monitor.jar dce-res.jar 修改：jar服务配置信息： vim dce-res.jar

查看更多 →

计费说明 计费项 模型训练服务按照用户选择的实例规格和使用时长计费。计费项包括模型训练环境和云上推理服务，如表1所示。 表1 计费项 计费项 计费说明 模型训练服务 模型训练服务根据CPU和GPU的规格和使用时长进行计费，不使用则不产生费用。 当模型训练服务开始启动以后，实例处于

查看更多 →

变换、优化模型训练、特征迁移增加迁移评估等，对应刷新JupyterLab开发平台。 模型训练新增创建联邦学习工程及其服务，对应新增创建联邦学习工程。 模型包支持对Jupyterlab环境归档的模型创建模型包、支持对特定模型包新建联邦学习实例、支持对已发布推理服务的模型包更新发布推理服务，对应刷新模型管理。

查看更多 →

使用空模板：需开发您的技能所需的模型以及逻辑代码，如果您的模型格式不符合平台要求，华为HiLens平台会针对不符合要求的模型，在导入（转换）模型操作中进行模型转换。 图3 技能开发 表1 新建技能常用操作指引 类别 常用操作 快速跳转至详细指导 使用技能模板 获取技能模板 获取技能模板 新建技能（使用基础技能模板）

查看更多 →

check the service is https"} 部署在线服务使用的模型是从容器镜像中导入时，容器调用接口协议填写错误，会导致此错误信息。 出于安全考虑，ModelArts提供的推理请求都是https请求，从容器镜像中选择导入模型时，ModelArts允许使用的镜像提供https

查看更多 →

主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 父主题： LLM大语言模型

查看更多 →

运行代码及模型需安装的依赖包，默认为空。如果已在模型配置文件中配置dependencies信息时，则可不填，后台自动从配置文件的dependencies字段中读取需要安装的依赖包。 apis 否 String 模型提供的推理接口列表，默认为空。如果已在模型配置文件中配置apis信

查看更多 →

更新服务配置 更新当前服务对象配置。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数；其它平台的Session鉴权请参考Session鉴权。 方式1：根据部署在线服务生成的服务对象进行更新服务配置 1 2 3 4 5 6 7

查看更多 →

异步推理 用户的模型推理时间过长时，可能会导致推理超时，此时可以使用异步推理任务来执行线上推理，通过异步推理任务ID查询推理结果，解决推理超时问题。 使用模型训练服务模型包进行异步推理 以使用硬盘检测模板创建的项目为例，介绍如何在模型训练服务上训练模型包及完成后续的异步推理操作。

查看更多 →

资源。 监控和报告任何异常活动，并及时采取措施。 推理部署安全责任 提供商 底层ecs相关的系统补丁修复 k8s的版本更新和漏洞修复 虚拟机OS的版本生命周期维护 ModelArts推理平台自身的安全合规性 容器应用服务加固 模型运行环境的版本更新和漏洞定期修复 客户侧 资源的授权，访问控制

查看更多 →

主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：大模型推理常见问题 父主题： LLM大语言模型

查看更多 →

并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。 如果需要增加模型量化功能，启动推理服务前，先参考推理模型量化章节对模型做量化处理。 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方

查看更多 →