基于PyTorch NPU快速部署开源大模型

规则引擎 规则管理 规则日志 父主题： 实施步骤

查看更多 →

规则引擎 配置数据转发规则 导入导出规则 父主题： 设备集成指导

查看更多 →

规则引擎 创建规则 查询规则 批量删除规则 调试规则 删除规则 查询规则详情 修改规则 添加目标数据源 查询目标数据源列表 删除目标数据源 添加源数据源 查询源数据源列表 删除源数据源 父主题： 设备集成API

查看更多 →

规则引擎 创建规则引擎源端 创建规则引擎目的端 父主题： 设备集成API（V1）

查看更多 →

规则引擎 规则引擎介绍 数据转发流程 SQL语句 连通性测试 数据转发至华为云服务 数据转发至第三方应用 查看数据转发通道详情 数据转发积压策略配置 数据转发流控策略配置 异常数据转发目标 设备联动

查看更多 →

规则引擎介绍 规则引擎是指用户可以在物联网平台上对接入平台的设备设定相应的规则，在条件满足所设定的规则后，平台会触发相应的动作来满足用户需求。包含设备联动和数据转发两种类型。 设备联动 设备联动指通过条件触发，基于预设的规则，引发多设备的协同反应，实现设备联动、智能控制。目前物联

查看更多 →

是否必填 说明 app_id string 否 应用ID，当系统中规则不存在，则该参数为必选。 rule_name string 是 系统中已经创建好的规则名称，如果规则不存在，默认创建该规则。 level string 是 规则的级别，产品级填‘product’，设备级填‘device’。

查看更多 →

响应参数 名称 类型 描述 destKey string 规则引擎目的端。 instanceId string 实例ID。 ruleDestOid integer 规则引擎目的端ID。 ruleOid integer 规则ID。 server string 连接地址。 sslPassword

查看更多 →

Wav2Lip推理基于DevServer适配PyTorch NPU推理指导（6.3.907） Wav2Lip是一种基于对抗生成网络的由语音驱动的人脸说话视频生成模型。主要应用于数字人场景。不仅可以基于静态图像来输出与目标语音匹配的唇形同步视频，还可以直接将动态的视频进行唇形转换，

查看更多 →

M系列等基于ModelArts DevServer的推理部署过程，推理使用PyTorch框架和昇腾NPU计算资源。 启动推理服务后，可用于搭建大模型问答助手。 主流开源大模型基于Standard适配PyTorch NPU推理指导 推理部署、推理性能测试、推理精度测试、推理模型量化

查看更多 →

当从第三方推理框架迁移到使用ModelArts推理的模型管理和服务管理时，需要对原生第三方推理框架镜像的构建方式做一定的改造，以使用ModelArts推理平台的模型版本管理能力和动态加载模型的部署能力。本案例将指导用户完成原生第三方推理框架镜像到ModelArts推理自定义引擎的改造。自定义引擎的镜像制作完成后

查看更多 →

异步推理 用户的模型推理时间过长时，可能会导致推理超时，此时可以使用异步推理任务来执行线上推理，通过异步推理任务ID查询推理结果，解决推理超时问题。 使用模型训练服务模型包进行异步推理 以使用硬盘检测模板创建的项目为例，介绍如何在模型训练服务上训练模型包及完成后续的异步推理操作。

查看更多 →

py”中。当学件模型打包发布成在线推理服务时，可以使用推理代码，完成快速在线推理验证。 单击“测试模型”左下方的“开发推理”。 等待推理代码生成完成后，可在左侧目录树中，看到生成的推理文件“learnware_predict.py”。 用户可以根据实际情况，编辑修改推理文件中的代码。 父主题：

查看更多 →

推理服务 推理服务 任务队列 父主题： 训练服务

查看更多 →

推理服务 新建推理服务 在左侧菜单栏中单击“训练服务 > 推理服务”。 选择“推理服务”页签，单击“新建推理服务”，填写基本信息。 图1 新建推理服务 名称：输入推理服务名称，只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。 描述：简要描述任务信息。不得包含“@^\

查看更多 →

推理部署 模型管理 服务部署 服务预测

查看更多 →

基于NCAD几何处理引擎处理几何数据应用 方案概述 资源和成本规划 实施步骤 附录 文档修订历史

查看更多 →

平台创建规则前最后一次上报的数据满足触发条件，可以设置是否立即触发该规则。 是：创建规则后规则立即生效，系统会对最近一次上报的数据做判断来触发规则。 否：创建规则后，系统对新上报的数据进行判断，然后触发规则。 规则类型 云端规则：设置直接接入到云端物联网平台的设备的规则。 边缘规

查看更多 →

基于AIGC模型的GPU推理业务迁移至昇腾指导 场景介绍 迁移环境准备 pipeline应用准备 应用迁移 迁移效果校验 模型精度调优 性能调优 常见问题 父主题： GPU业务迁移至昇腾训练推理

查看更多 →

主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 父主题： LLM大语言模型训练推理

查看更多 →

主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 eagle 投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明

查看更多 →