推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

规则引擎（联通用户专用） 非联通用户请查看 设备接入服务 。 概述 规则引擎是指用户可以在物联网平台上可以对接入平台的设备设定相应的规则，在条件满足所设定的规则后，平台会触发相应的动作来满足用户需求。包含设备联动和数据转发两种类型。 设备联动规则 设备联动通过条件触发，基于预设的规则

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）

查看更多 →

推理基础镜像介绍 推理基础镜像列表 推理基础镜像详情TensorFlow（CPU/GPU） 推理基础镜像详情Pytorch（CPU/GPU） 推理基础镜像详情MindSpore（CPU/GPU） 父主题： 使用预置镜像

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →

准实时推理场景 本章节介绍什么是准实时推理场景，以及如何使用GPU按量实例和如何基于GPU按量实例构建使用成本较低的准实时推理服务。 特征 在准实时推理应用场景中，工作负载具有以下一个或多个特征： 调用稀疏 日均调用几次到几万次，日均GPU实际使用时长远低于6~10小时，GPU存在大量闲置。

查看更多 →

Matrix框架提供AIModelManager类，实现模型加载和推理功能，详情请参考《Matrix API参考》。Matrix框架定义IAITensor类，用于管理模型推理的输入与输出矩阵。为了便于使用，Matrix框架基于IAITensor，派生出了AISimpleTensor和AINeuralNetworkBuffer。模型推理的输

查看更多 →

Matrix框架提供AIModelManager类，实现模型加载和推理功能，详情请参考《Matrix API参考》。Matrix框架定义IAITensor类，用于管理模型推理的输入与输出矩阵。为了便于使用，Matrix框架基于IAITensor，派生出了AISimpleTensor和AINeuralNetworkBuffer。模型推理的输

查看更多 →

部署到推理调试 在开发环境容器内调试完成后，开发者可以将自己开发好的AI应用和ModelBox runtime镜像打包成新的运行镜像，并发布到ModelArts推理服务，直接测试部署的服务并查看日志，以确保开发好的AI应用可以在ModelArts推理平台正常运行。具体调试步骤如下：

查看更多 →

查询推理服务标签 功能介绍 查询当前项目下的推理服务标签，默认查询所有工作空间，无权限不返回标签数据。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1

查看更多 →

推理部署计费项 计费说明 在ModelArts进行服务部署时，会产生计算资源和存储资源的累计值计费。计算资源为运行推理服务的费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。

查看更多 →

推理服务访问公网 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景，如： 输入图片，先进行公网OCR服务调用，然后进行NLP处理； 进行公网文件下载，然后进行分析； 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部，访问公网服务地址的方案。如下图所示：

查看更多 →

鲲鹏AI推理加速型 鲲鹏AI推理加速型 云服务器 是专门为AI业务提供加速服务的云 服务器 。搭载昇腾系列芯片及软件栈。 该类型 弹性云服务器 默认未开启超线程，每个vCPU对应一个底层物理内核。 鲲鹏AI推理加速型系列：搭载自研昇腾310芯片，为AI推理业务加速。 表1 鲲鹏AI推理加速型实例特点

查看更多 →

击“确定”跳转至在线推理服务列表页面。 当“状态”变为“运行中”表示在线推理服务部署成功，可以进行服务预测。 推理服务预测 待在线推理服务状态变为“运行中”时，便可进行推理预测。 在在线推理服务列表页面，选择服务“状态”为“运行中”的服务。 单击操作列的“推理测试”，在测试页面根据任务类型以及页面提示完成对应的测试。

查看更多 →

模型推理代码编写说明 本章节介绍了在ModelArts中模型推理代码编写的通用方法及说明，针对常用AI引擎的自定义脚本代码示例（包含推理代码示例），请参见自定义脚本代码示例。本文在编写说明下方提供了一个TensorFlow引擎的推理代码示例以及一个在推理脚本中自定义推理逻辑的示例。

查看更多 →

本demo主要实现离线视频推理功能，针对输入的H264/H265数据，实现视频解码、图片格式转换、目标检测、抠图与缩放、属性检测、JPEG编码，主要涉及VDEC、VPC、JPEGE、模型推理等功能，业务流程如图1所示，demo的使用指导请参考功能根目录的Readme。输入的H264/H265数据可来源于摄像头或通过ffmpeg解封装的视频

查看更多 →

推理业务迁移评估表 通用的推理业务及LLM推理可提供下表进行业务迁移评估： 收集项 说明 实际情况（请填写） 项目名称 项目名称，例如：XXX项目。 - 使用场景 例如： 使用YOLOv5算法对工地的视频流裁帧后进行安全帽检测。 使用BertBase算法对用户在app上购买商品后的评论进行理解。

查看更多 →

“起点”为逆向，匝道的走向和道路的走向相同，即： 汇入正向，则为正向； 从正向流出，为正向； 汇入逆向，则为逆向； 从逆向流出，为逆向； 如果遇到高架桥，存在匝道绕行后，从正向到逆向的情况，则需要针对这种匝道做特殊处理，数据拆分成两份，一份作为正向的流出，一份作为逆向的汇入，不影响流量预测模型的分析处理。

查看更多 →

让整个安全组缺少入方向规则，导致规则引擎的数据目的端不能收到设备发送的消息。 您可以通过添加入方向规则解决这个问题。如果业务场景需要规则引擎接收特定设备发送的信息，您可以添加入方向规则，将“端口范围”限定为特定设备的端口。如果业务场景需要规则引擎接收所有设备发送的信息，您可以添加

查看更多 →