推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

分类、物体检测、预测分析、声音分类场景。可根据最终部署环境和开发者需求的推理速度，自动调优并生成满足要求的模型。 图1 自动学习流程 ModelArts的自动学习不止为入门级开发者使用设计，还提供了“自动学习白盒化”的能力，开放模型参数，实现模板化开发。很多资深的开发者说，希望有

查看更多 →

云端推理框架 推理服务 异步推理 模型仓库 模板管理 父主题： 用户指南

查看更多 →

实时推理场景 特征 在实时推理应用场景中，工作负载具有以下一个或多个特征： 低延迟 单次请求的处理时效性要求高，RT（Response Time）延迟要求严格，90%的长尾延时普遍在百毫秒级别。 功能优势 函数计算为实时推理工作负载提供以下功能优势： 预留GPU实例 函数计算平台

查看更多 →

xlsx # 保存未推理出结果的问题，例如超时、系统错误 │ ├── system_error.xlsx # 保存推理结果，但是可能答非所问，无法判断是否正确，需要人工判断进行纠偏。 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.905）

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，建议在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。若需要在生产环境中进行推理精度测试，请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu

查看更多 →

推理服务测试 推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测

查看更多 →

推理规范说明 模型包规范 模型模板 自定义脚本代码示例

查看更多 →

unset DETAIL_TIME_ LOG 配置后重启推理服务生效。 Step6 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）

查看更多 →

人脸检测技能 面向智慧商超的人脸采集技能。本技能使用多个深度学习算法，实时分析视频流，自动抓取画面中的清晰人脸上传至您的后台系统，用于后续实现其他业务。 商用 多区域客流分析技能 面向智慧商超的客流统计技能。本技能使用深度学习算法，实时分析视频流，自动统计固定时间间隔的客流信息。 车牌识别技能

查看更多 →

Programming Interface，应用程序编程接口）的方式提供给用户，用户通过实时访问和调用API获取推理结果，帮助用户自动采集关键数据，打造智能化业务系统，提升业务效率。 媒资图像标签 基于深度学习技术，准确识别图像中的视觉内容，提供多种物体、场景和概念标签，具备目标检测和属性识别等能力帮

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）

查看更多 →

推理基础镜像介绍 推理基础镜像列表 推理基础镜像详情TensorFlow（CPU/GPU） 推理基础镜像详情Pytorch（CPU/GPU） 推理基础镜像详情MindSpore（CPU/GPU） 父主题： 使用预置镜像

查看更多 →

NPU Snt9B 裸金属服务器 安装深度学习框架PyTorch 场景描述 昇腾为使用PyTorch框架的开发者提供昇腾AI处理器的超强算力，需要安装PyTorch Adapter插件用于适配PyTorch，本文介绍如何安装Pytorch框架和Pytorch Adapter插件。 本文使用ModelArts上的NPU

查看更多 →

自动学习 准备数据 模型训练 部署上线 模型发布

查看更多 →

新增“异步推理”章节。 更新“发布推理服务”章节。 2020-11-30 优化创建联邦学习工程章节，加入在模型训练服务创建联邦学习工程和联邦学习服务的关系描述。 2020-09-30 数据集详情界面优化，更新新建数据集和导入数据。 模型训练章节，针对AutoML自动机器学习，输出场景化资料。

查看更多 →

NPU Snt9B裸金属 服务器 docker网络配置方案 NPU Snt9B裸金属服务器多机批量执行命令 NPU Snt9B裸金属服务器安装深度学习框架PyTorch 启动/停止实例 同步裸金属服务器状态 父主题： 弹性裸金属DevServer

查看更多 →

确认学习结果 HSS学习完白名单策略关联的服务器后，输出的学习结果中可能存在一些特征不明显的可疑进程需要再次进行确认，您可以手动或设置系统自动将这些可疑进程确认并分类标记为可疑、恶意或可信进程。 学习结果确认方式，在创建白名单策略时可设置： “学习结果确认方式”选择的“自动确认可

查看更多 →