规则引擎（联通用户专用） 非联通用户请查看 设备接入服务 。 概述 规则引擎是指用户可以在物联网平台上可以对接入平台的设备设定相应的规则，在条件满足所设定的规则后，平台会触发相应的动作来满足用户需求。包含设备联动和数据转发两种类型。 设备联动规则 设备联动通过条件触发，基于预设的规则

查看更多 →

准实时推理场景 本章节介绍什么是准实时推理场景，以及如何使用GPU按量实例和如何基于GPU按量实例构建使用成本较低的准实时推理服务。 特征 在准实时推理应用场景中，工作负载具有以下一个或多个特征： 调用稀疏 日均调用几次到几万次，日均GPU实际使用时长远低于6~10小时，GPU存在大量闲置。

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →

Matrix框架提供AIModelManager类，实现模型加载和推理功能，详情请参考《Matrix API参考》。Matrix框架定义IAITensor类，用于管理模型推理的输入与输出矩阵。为了便于使用，Matrix框架基于IAITensor，派生出了AISimpleTensor和AINeuralNetworkBuffer。模型推理的输

查看更多 →

Matrix框架提供AIModelManager类，实现模型加载和推理功能，详情请参考《Matrix API参考》。Matrix框架定义IAITensor类，用于管理模型推理的输入与输出矩阵。为了便于使用，Matrix框架基于IAITensor，派生出了AISimpleTensor和AINeuralNetworkBuffer。模型推理的输

查看更多 →

部署到推理调试 在开发环境容器内调试完成后，开发者可以将自己开发好的AI应用和ModelBox runtime镜像打包成新的运行镜像，并发布到ModelArts推理服务，直接测试部署的服务并查看日志，以确保开发好的AI应用可以在ModelArts推理平台正常运行。具体调试步骤如下：

查看更多 →

查询推理服务标签 功能介绍 查询当前项目下的推理服务标签，默认查询所有工作空间，无权限不返回标签数据。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1

查看更多 →

推理部署计费项 计费说明 在ModelArts进行服务部署时，会产生计算资源和存储资源的累计值计费。计算资源为运行推理服务的费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。

查看更多 →

推理服务访问公网 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景，如： 输入图片，先进行公网OCR服务调用，然后进行NLP处理； 进行公网文件下载，然后进行分析； 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部，访问公网服务地址的方案。如下图所示：

查看更多 →

kAi1s实例支持如下版本的操作系统： Ubuntu Server 18.04 64bit CentOS 7.6 64bit kAi1s型 云服务器 所在物理机发生故障时，云 服务器 支持自动恢复。 如何使用kAi1s加速型云服务器 购买与使用kAi1s加速型云服务器的流程如下： 创建云服务器，详细步骤，请参考步骤一：基础配置。

查看更多 →

击“确定”跳转至在线推理服务列表页面。 当“状态”变为“运行中”表示在线推理服务部署成功，可以进行服务预测。 推理服务预测 待在线推理服务状态变为“运行中”时，便可进行推理预测。 在在线推理服务列表页面，选择服务“状态”为“运行中”的服务。 单击操作列的“推理测试”，在测试页面根据任务类型以及页面提示完成对应的测试。

查看更多 →

模型推理代码编写说明 本章节介绍了在ModelArts中模型推理代码编写的通用方法及说明，针对常用AI引擎的自定义脚本代码示例（包含推理代码示例），请参见自定义脚本代码示例。本文在编写说明下方提供了一个TensorFlow引擎的推理代码示例以及一个在推理脚本中自定义推理逻辑的示例。

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

用户需要根据算子的输入张量描述、算子逻辑及算子属性，推理出算子的输出张量描述，包括张量的形状、数据类型及数据排布格式等信息。这样离线模型转换时就可以为所有的张量静态分配内存，避免动态内存分配带来的开销。函数的声明如下所示：InferShapeAndTypexx：函数名称，用户自定义，需要保持唯一。op：计算节点定义，存储输入张量描述及各种

查看更多 →

第三方依赖 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-3rdLLM-x.x.x.zip并解压，无需重复执行。 进入bench

查看更多 →

推理性能测试 本章节介绍如何进行推理性能测试，建议在在Notebook的JupyterLab中另起一个Terminal，执行benchmark脚本进行性能测试。若需要在生产环境中进行推理性能测试，请通过调用接口的方式进行测试。 benchmark方法介绍 性能benchmark包括两部分。

查看更多 →

txt # 第三方依赖 目前性能测试还不支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-LLM-x

查看更多 →

本demo主要实现离线视频推理功能，针对输入的H264/H265数据，实现视频解码、图片格式转换、目标检测、抠图与缩放、属性检测、JPEG编码，主要涉及VDEC、VPC、JPEGE、模型推理等功能，业务流程如图1所示，demo的使用指导请参考功能根目录的Readme。输入的H264/H265数据可来源于摄像头或通过ffmpeg解封装的视频

查看更多 →

推理业务迁移评估表 通用的推理业务及LLM推理可提供下表进行业务迁移评估： 收集项 说明 实际情况（请填写） 项目名称 项目名称，例如：XXX项目。 - 使用场景 例如： 使用YOLOv5算法对工地的视频流裁帧后进行安全帽检测。 使用BertBase算法对用户在app上购买商品后的评论进行理解。

查看更多 →

当从第三方推理框架迁移到使用ModelArts推理的AI应用管理和服务管理时，需要对原生第三方推理框架镜像的构建方式做一定的改造，以使用ModelArts推理平台的模型版本管理能力和动态加载模型的部署能力。本案例将指导用户完成原生第三方推理框架镜像到ModelArts推理自定义引擎的改造。自定义引擎的镜像

查看更多 →

无推理任务忽略此章节,一般训练都是多卡分布式训练权重结果文件为多个且文件为Megatron格式，因此需要合并多个文件转换为huggingface格式 如是多机训练转换前需将多机权重目录（iter_xxxxxxx）下mp_rank_xx_xxx文件夹整合到一起后进行转换，合并后结果如图所示：

查看更多 →