推理服务 云端推理框架提供模型云端运行框架环境，用户可以在线验证模型推理效果，无须从零准备计算资源、搭建推理框架，只需将模型包加载到云端推理框架，一键发布成云端Web Service推理服务，帮助用户高效低成本完成模型验证。 其中，“推理服务”主界面默认展示所有推理服务，用户可查

查看更多 →

模型推理 将数据输入模型进行推理，推理结束后将推理结果返回。 接口调用 virtual HiLensEC hilens::Model::Infer(const InferDataVec & inputs, InferDataVec & outputs) 参数说明 表1 参数说明 参数名

查看更多 →

模型推理 模型初始化成功后，调用infer接口进行模型推理。灌入一组数据，并得到推理结果。输入数据的类型不是uint8或float32数组组成的list将会抛出一个ValueError。 接口调用 hilens.Model.infer(inputs) 参数说明 表1 参数说明 参数名

查看更多 →

始处理请求。 推理单元 推理单元是指计算机系统中的一个模块，用于进行逻辑推理和推断。其主要功能是根据已知的事实和规则，推导出新的结论或答案。 推理单元常常被用于解决问题、推理、诊断、规划等任务。它可以帮助计算机系统自动推理出一些结论，从而实现智能化的决策和行为。推理单元通常包括知

查看更多 →

始处理请求。 推理单元 推理单元是指计算机系统中的一个模块，用于进行逻辑推理和推断。其主要功能是根据已知的事实和规则，推导出新的结论或答案。 推理单元常常被用于解决问题、推理、诊断、规划等任务。它可以帮助计算机系统自动推理出一些结论，从而实现智能化的决策和行为。推理单元通常包括知

查看更多 →

工业数字模型驱动引擎简介 图解工业数字模型驱动引擎 什么是工业数字模型驱动引擎 产品优势 产品功能 产品规格 原理介绍 应用场景 权限管理 约束与限制

查看更多 →

推理基础镜像介绍 推理基础镜像列表 推理基础镜像详情TensorFlow（CPU/GPU） 推理基础镜像详情Pytorch（CPU/GPU） 推理基础镜像详情MindSpore（CPU/GPU） 父主题： 使用预置镜像

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

模型推理文件 如果用户需要使用内置评测指标集，需要按照以下规范提供模型推理的启动脚本，具体参考下面文件实例。如果不使用内置评测模板，可跳过此节。 仅当使用内置评测模板时需要按此要求配置模型推理文件。如果使用自定义评测脚本评测时，仅需提供模型即可，具体目录结构由用户自行决定。 模型推理启动文件实例

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试。 Step1 准备数据集 精度测试需要数据集进行测试。推荐公共数据集mmlu和ceval。下载地址： 表1 精度测试数据集 数据集名称 下载地址 下载说明 mmlu https://huggingface.co/datasets/cais/mmlu

查看更多 →

部署推理服务 本章节介绍如何使用vLLM 0.3.2框架部署并启动推理服务。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 确保容器可以访问公网。 Step1 检查环境 SSH登录

查看更多 →

平台创建规则前最后一次上报的数据满足触发条件，可以设置是否立即触发该规则。 是：创建规则后规则立即生效，系统会对最近一次上报的数据做判断来触发规则。 否：创建规则后，系统对新上报的数据进行判断，然后触发规则。 规则类型 云端规则：设置直接接入到云端物联网平台的设备的规则。 边缘规

查看更多 →

AppStage运行时引擎简介 为什么使用AppStage运行时引擎 AppStage运行时引擎应用场景 AppStage运行时引擎功能介绍 AppStage运行时引擎基本概念

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

发布推理服务 模型训练服务支持一键发布在线推理服务。用户基于成熟的模型包，创建推理服务，直接在线调用服务得到推理结果。操作步骤如下。 单击模型包“操作”列的，弹出“发布推理服务”对话框，如图1所示。 图1 推理服务 配置对话框参数如表1所示。 表1 创建推理服务参数配置 参数名称

查看更多 →

部署推理服务 本章节介绍如何启动推理服务。 前提条件 已准备好DevServer环境。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 确保容器可以访问公网。 Step1 检查环境 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。

查看更多 →

AI原生应用引擎应用场景 面向不同的企业需求，AI原生应用引擎提供不同的功能服务。 例如，智能对话、以文搜图、NL2SQL等通用应用场景，可在AI原生应用引擎体验各大模型推理云服务，并通过可视化画布流程编排进行业务集成。 细分领域如金融、电网场景，需要对推理结果进行定制调整，则可

查看更多 →

AI原生应用引擎应用场景 面向不同的企业需求，AI原生应用引擎提供不同的功能服务。 例如，智能对话、以文搜图、NL2SQL等通用应用场景，可在AI原生应用引擎体验各大模型推理云服务，并通过可视化画布流程编排进行业务集成。 细分领域如金融、电网场景，需要对推理结果进行定制调整，则可

查看更多 →

AppStage运行时引擎简介 为什么使用AppStage运行时引擎 AppStage运行时引擎应用场景 AppStage运行时引擎功能介绍 AppStage运行时引擎基本概念 父主题： 运行时引擎

查看更多 →

云端推理框架 推理服务 异步推理 模型仓库 模板管理 父主题： 用户指南

查看更多 →

推理规范说明 模型包规范 模型模板 自定义脚本代码示例

查看更多 →