基于PyTorch NPU快速部署开源大模型

规则引擎 规则管理 规则日志 父主题： 实施步骤

查看更多 →

规则引擎 配置数据转发规则 导入导出规则 父主题： 设备集成指导

查看更多 →

规则引擎 创建规则 查询规则 批量删除规则 调试规则 删除规则 查询规则详情 修改规则 添加目标数据源 查询目标数据源列表 删除目标数据源 添加源数据源 查询源数据源列表 删除源数据源 父主题： 设备集成API

查看更多 →

规则引擎 创建规则引擎源端 创建规则引擎目的端 父主题： 设备集成API（V1）

查看更多 →

规则引擎 规则引擎介绍 数据转发流程 SQL语句 连通性测试 数据转发至华为云服务 数据转发至第三方应用 查看数据转发通道详情 数据转发积压策略配置 数据转发流控策略配置 异常数据转发目标 设备联动

查看更多 →

规则引擎介绍 规则引擎是指用户可以在物联网平台上对接入平台的设备设定相应的规则，在条件满足所设定的规则后，平台会触发相应的动作来满足用户需求。包含设备联动和数据转发两种类型。 设备联动 设备联动指通过条件触发，基于预设的规则，引发多设备的协同反应，实现设备联动、智能控制。目前物联

查看更多 →

是否必填 说明 app_id string 否 应用ID，当系统中规则不存在，则该参数为必选。 rule_name string 是 系统中已经创建好的规则名称，如果规则不存在，默认创建该规则。 level string 是 规则的级别，产品级填‘product’，设备级填‘device’。

查看更多 →

响应参数 名称 类型 描述 destKey string 规则引擎目的端。 instanceId string 实例ID。 ruleDestOid integer 规则引擎目的端ID。 ruleOid integer 规则ID。 server string 连接地址。 sslPassword

查看更多 →

当从第三方推理框架迁移到使用ModelArts推理的模型管理和服务管理时，需要对原生第三方推理框架镜像的构建方式做一定的改造，以使用ModelArts推理平台的模型版本管理能力和动态加载模型的部署能力。本案例将指导用户完成原生第三方推理框架镜像到ModelArts推理自定义引擎的改造。自定义引擎的镜像制作完成后

查看更多 →

描述：描述信息。 单击“确定”，发布在线推理服务。 单击界面左上方的“模型训练”，从下拉框中选择“推理”，进入推理服务菜单页面，该界面展示已发布的所有推理服务。用户可以对推理服务进行查看详情、授权、启动/停止等一系列操作。 ：推理服务发布成功，单击图标可以跳转至推理服务的快速验证界面，用户可在

查看更多 →

平台创建规则前最后一次上报的数据满足触发条件，可以设置是否立即触发该规则。 是：创建规则后规则立即生效，系统会对最近一次上报的数据做判断来触发规则。 否：创建规则后，系统对新上报的数据进行判断，然后触发规则。 规则类型 云端规则：设置直接接入到云端物联网平台的设备的规则。 边缘规

查看更多 →

json”文件，将红框内名字改成实际推理文件文字，如图2所示。 图2 修改metadata.json 在Webide编辑界面左侧代码目录空白区域右键单击鼠标，选择“NAIE Package”。 返回模型管理界面，单击模型包所在行，对应“操作”列图标，弹出“发布推理服务”对话框。 请根据实际

查看更多 →

推理服务 云端推理框架提供模型云端运行框架环境，用户可以在线验证模型推理效果，无须从零准备计算资源、搭建推理框架，只需将模型包加载到云端推理框架，一键发布成云端Web Service推理服务，帮助用户高效低成本完成模型验证。 其中，“推理服务”主界面默认展示所有推理服务，用户可查

查看更多 →

模型推理 将数据输入模型进行推理，推理结束后将推理结果返回。 接口调用 virtual HiLensEC hilens::Model::Infer(const InferDataVec & inputs, InferDataVec & outputs) 参数说明 表1 参数说明 参数名

查看更多 →

模型推理 模型初始化成功后，调用infer接口进行模型推理。灌入一组数据，并得到推理结果。输入数据的类型不是uint8或float32数组组成的list将会抛出一个ValueError。 接口调用 hilens.Model.infer(inputs) 参数说明 表1 参数说明 参数名

查看更多 →

异步推理 用户的模型推理时间过长时，可能会导致推理超时，此时可以使用异步推理任务来执行线上推理，通过异步推理任务ID查询推理结果，解决推理超时问题。 使用模型训练服务模型包进行异步推理 以使用硬盘检测模板创建的项目为例，介绍如何在模型训练服务上训练模型包及完成后续的异步推理操作。

查看更多 →

py”中。当学件模型打包发布成在线推理服务时，可以使用推理代码，完成快速在线推理验证。 单击“测试模型”左下方的“开发推理”。 等待推理代码生成完成后，可在左侧目录树中，看到生成的推理文件“learnware_predict.py”。 用户可以根据实际情况，编辑修改推理文件中的代码。 父主题：

查看更多 →

推理部署 模型管理 服务部署 服务预测

查看更多 →

推理服务 推理服务 任务队列 父主题： 训练服务

查看更多 →

推理服务 新建推理服务 在左侧菜单栏中单击“训练服务 > 推理服务”。 选择“推理服务”页签，单击“新建推理服务”，填写基本信息。 图1 新建推理服务 名称：输入推理服务名称，只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。 描述：简要描述任务信息。不得包含“@^\

查看更多 →

odel入参同系列，但是权重参数远小于--model指定的模型。若未使用投机推理功能，则无需配置。 --num-speculative-tokens：投机推理小模型每次推理的token数。若未使用投机推理功能，则无需配置。参数--num-speculative-tokens需要和--speculative-model

查看更多 →