推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）

查看更多 →

推理基础镜像介绍 推理基础镜像列表 推理基础镜像详情TensorFlow（CPU/GPU） 推理基础镜像详情Pytorch（CPU/GPU） 推理基础镜像详情MindSpore（CPU/GPU） 父主题： 使用预置镜像

查看更多 →

的数据进行加工处理或用于业务应用。使用物联网平台提供的订阅推送功能和数据转发功能，均可实现设备数据的转发。 数据转发：提供初级的数据过滤能力。支持对设备数据进行过滤，然后再转发到其他华为云服务。 订阅推送：第三方应用可在物联网平台订阅相关业务数据，当业务信息发生变化时（如设备注册

查看更多 →

让整个安全组缺少入方向规则，导致规则引擎的数据目的端不能收到设备发送的消息。 您可以通过添加入方向规则解决这个问题。如果业务场景需要规则引擎接收特定设备发送的信息，您可以添加入方向规则，将“端口范围”限定为特定设备的端口。如果业务场景需要规则引擎接收所有设备发送的信息，您可以添加

查看更多 →

。 单次处理耗时长 准实时推理业务的处理耗时一般在秒级~分钟级。例如，典型的CV任务处于秒级别，典型的视频处理和AIGC场景均处于分钟级别。 容忍冷启动 业务可以容忍GPU冷启动耗时，或者业务流量波形对应的冷启动概率低。 功能优势 函数计算为准实时推理工作负载提供以下功能优势： 原生Serverless使用方式

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →

Matrix框架提供AIModelManager类，实现模型加载和推理功能，详情请参考《Matrix API参考》。Matrix框架定义IAITensor类，用于管理模型推理的输入与输出矩阵。为了便于使用，Matrix框架基于IAITensor，派生出了AISimpleTensor和AINeuralNetworkBuffer。模型推理的输

查看更多 →

Matrix框架提供AIModelManager类，实现模型加载和推理功能，详情请参考《Matrix API参考》。Matrix框架定义IAITensor类，用于管理模型推理的输入与输出矩阵。为了便于使用，Matrix框架基于IAITensor，派生出了AISimpleTensor和AINeuralNetworkBuffer。模型推理的输

查看更多 →

部署到推理调试 在开发环境容器内调试完成后，开发者可以将自己开发好的AI应用和ModelBox runtime镜像打包成新的运行镜像，并发布到ModelArts推理服务，直接测试部署的服务并查看日志，以确保开发好的AI应用可以在ModelArts推理平台正常运行。具体调试步骤如下：

查看更多 →

查询推理服务标签 功能介绍 查询当前项目下的推理服务标签，默认查询所有工作空间，无权限不返回标签数据。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1

查看更多 →

推理部署计费项 计费说明 在ModelArts进行服务部署时，会产生计算资源和存储资源的累计值计费。计算资源为运行推理服务的费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。

查看更多 →

推理服务访问公网 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景，如： 输入图片，先进行公网OCR服务调用，然后进行NLP处理； 进行公网文件下载，然后进行分析； 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部，访问公网服务地址的方案。如下图所示：

查看更多 →

鲲鹏AI推理加速型 鲲鹏AI推理加速型 云服务器 是专门为AI业务提供加速服务的云 服务器 。搭载昇腾系列芯片及软件栈。 该类型 弹性云服务器 默认未开启超线程，每个vCPU对应一个底层物理内核。 鲲鹏AI推理加速型系列：搭载自研昇腾310芯片，为AI推理业务加速。 表1 鲲鹏AI推理加速型实例特点

查看更多 →

击“确定”跳转至在线推理服务列表页面。 当“状态”变为“运行中”表示在线推理服务部署成功，可以进行服务预测。 推理服务预测 待在线推理服务状态变为“运行中”时，便可进行推理预测。 在在线推理服务列表页面，选择服务“状态”为“运行中”的服务。 单击操作列的“推理测试”，在测试页面根据任务类型以及页面提示完成对应的测试。

查看更多 →

模型推理代码编写说明 本章节介绍了在ModelArts中模型推理代码编写的通用方法及说明，针对常用AI引擎的自定义脚本代码示例（包含推理代码示例），请参见自定义脚本代码示例。本文在编写说明下方提供了一个TensorFlow引擎的推理代码示例以及一个在推理脚本中自定义推理逻辑的示例。

查看更多 →

本demo主要实现离线视频推理功能，针对输入的H264/H265数据，实现视频解码、图片格式转换、目标检测、抠图与缩放、属性检测、JPEG编码，主要涉及VDEC、VPC、JPEGE、模型推理等功能，业务流程如图1所示，demo的使用指导请参考功能根目录的Readme。输入的H264/H265数据可来源于摄像头或通过ffmpeg解封装的视频

查看更多 →

用户需要根据算子的输入张量描述、算子逻辑及算子属性，推理出算子的输出张量描述，包括张量的形状、数据类型及数据排布格式等信息。这样离线模型转换时就可以为所有的张量静态分配内存，避免动态内存分配带来的开销。函数的声明如下所示：InferShapeAndTypexx：函数名称，用户自定义，需要保持唯一。op：计算节点定义，存储输入张量描述及各种

查看更多 →

，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6

查看更多 →