推理规范说明 模型包规范 模型模板 自定义脚本代码示例

查看更多 →

推理服务测试 推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

发布推理服务 模型训练服务支持一键发布在线推理服务。用户基于成熟的模型包，创建推理服务，直接在线调用服务得到推理结果。操作步骤如下。 单击模型包“操作”列的，弹出“发布推理服务”对话框，如图1所示。 图1 推理服务 配置对话框参数如表1所示。 表1 创建推理服务参数配置 参数名称

查看更多 →

Standard推理部署 基于ModelArts Standard一键完成商超商品识别模型部署 从0-1制作 自定义镜像 并创建AI应用 推理服务访问公网 推理服务端到端运维 使用自定义引擎创建AI应用 使用大模型创建AI应用部署在线服务 第三方推理框架迁移到推理自定义引擎 推理服务支持虚拟私有云（VPC）直连的高速访问通道

查看更多 →

9B资源。 推理部署使用的服务框架是vLLM（官网地址：https://github.com/vllm-project/vllm/tree/v0.3.2，版本：v0.3.2）。本教程是基于vLLM的昇腾适配的推理方案部署指导，支持FP16和BF16数据类型推理。 推理镜像环境配套的CANN版本是cann_8

查看更多 →

ipv4.ip_forward Step2 获取推理镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表2。 docker pull {image_url} Step3 上传权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

unset DETAIL_TIME_ LOG 配置后重启推理服务生效。 Step6 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

人脸检测技能 面向智慧商超的人脸采集技能。本技能使用多个深度学习算法，实时分析视频流，自动抓取画面中的清晰人脸上传至您的后台系统，用于后续实现其他业务。 商用 多区域客流分析技能 面向智慧商超的客流统计技能。本技能使用深度学习算法，实时分析视频流，自动统计固定时间间隔的客流信息。 车牌识别技能

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）

查看更多 →

推理基础镜像介绍 推理基础镜像列表 推理基础镜像详情TensorFlow（CPU/GPU） 推理基础镜像详情Pytorch（CPU/GPU） 推理基础镜像详情MindSpore（CPU/GPU） 父主题： 使用预置镜像

查看更多 →

Programming Interface，应用程序编程接口）的方式提供给用户，用户通过实时访问和调用API获取推理结果，帮助用户自动采集关键数据，打造智能化业务系统，提升业务效率。 媒资图像标签 基于深度学习技术，准确识别图像中的视觉内容，提供多种物体、场景和概念标签，具备目标检测和属性识别等能力帮

查看更多 →

自动学习 准备数据 模型训练 部署上线 模型发布

查看更多 →

NPU Snt9B 裸金属服务器 安装深度学习框架PyTorch 场景描述 昇腾为使用PyTorch框架的开发者提供昇腾AI处理器的超强算力，需要安装PyTorch Adapter插件用于适配PyTorch，本文介绍如何安装Pytorch框架和Pytorch Adapter插件。 本文使用ModelArts上的NPU

查看更多 →

自动学习 功能咨询 准备数据 创建项目 数据标注 模型训练 部署上线

查看更多 →

新增“异步推理”章节。 更新“发布推理服务”章节。 2020-11-30 优化创建联邦学习工程章节，加入在模型训练服务创建联邦学习工程和联邦学习服务的关系描述。 2020-09-30 数据集详情界面优化，更新新建数据集和导入数据。 模型训练章节，针对AutoML自动机器学习，输出场景化资料。

查看更多 →

Programming Interface，应用程序编程接口）的方式提供给用户，用户通过调用API获取推理结果，帮助用户打造智能化业务系统，提升业务效率。 内容审核-图像 图像 内容审核 ，利用深度神经网络模型对图片内容进行检测，准确识别图像中的暴恐元素、涉黄内容等，帮助业务规避违规风险。 内容审核-文本

查看更多 →