vServer和昇腾Snt9B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0.4.2版本。 支持FP16和BF16数据类型推理。 DevServer驱动版本要求23.0.5。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的DevServer。推荐

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite DevServer运行的，需要购买并开通DevServer资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用Alpaca数据集，也可以使用自己准备的数据集。

查看更多 →

要拥有专属于自己的资源池，可以在ModelArts控制台中创建自己的专属资源池，具体可参见购买专属资源池。 使用说明 ModelArts在Notebook、Workflow、自动学习、全流程开发（推理、训练）中提供了免费的资源可供您 免费体验 AI开发，具体可参见： 免费体验CodeLab

查看更多 →

如何访问ModelArts ModelArts基于不同的产品形态提供了多种访问方式。 管理控制台方式 ModelArts Standard提供了简洁易用的管理控制台，包含自动学习、数据管理、开发环境、模型训练、AI应用管理、部署上线、AI Gallery等功能，您可以在管理控制台端到端完成您的AI开发。

查看更多 →

支持各种部署场景，既能部署为云端的在线推理服务和批量推理任务，也能部署到端，边等各种设备。 一键部署，可以直接推送部署到边缘设备中，选择智能边缘节点，推送模型。 ModelArts基于Snt3高性能AI推理芯片的深度优化，具有PB级别的单日推理数据处理能力，支持发布云上推理的API百万个以上，推理网络时延毫秒。

查看更多 →

Gallery中的数据集资产，让零AI基础的开发者完成“物体检测”的AI模型的训练和部署。依据开发者提供的标注数据及选择的场景，无需任何代码开发，自动生成满足用户精度要求的模型。 面向AI开发零基础的用户 开发环境 本地开发的MindSpore模型迁移至云上训练 本案例介绍了如何将本地开发好的MindSpore模型代码，通过PyCharm

查看更多 →

垃圾分类 自动学习 图像分类 该案例基于华为云AI开发者社区AI Gallery中的数据集资产，让零AI基础的开发者完成“图像分类”的AI模型的训练和部署。 开发工具样例列表 表2 Notebook样例列表 样例 镜像 对应功能 场景 说明 本地开发的MindSpore模型迁移至云上训练

查看更多 →

场景说明 针对ModelArts目前不支持的AI引擎，您可以通过 自定义镜像 的方式将编写的模型导入ModelArts，创建为AI应用。 本文详细介绍如何在ModelArts的开发环境Notebook中使用基础镜像构建一个新的推理镜像，并完成AI应用的创建，部署为在线服务。本案例仅适用于华为云北京四和上海一站点。

查看更多 →

更新管理 ModelArts在线服务更新 对于已部署的推理服务，ModelArts支持通过更换AI应用的版本号，实现服务升级。 推理服务有三种升级模式：全量升级、滚动升级（扩实例）和滚动升级（缩实例）。了解三种升级模式的流程，请参见图1。 全量升级 需要额外的双倍的资源，先全量创建新版本实例，然后再下线旧版本实例。

查看更多 →

查询推理服务标签 功能介绍 查询当前项目下的推理服务标签，默认查询所有工作空间，无权限不返回标签数据。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1

查看更多 →

ModelArts-Notebook ModelArts的开发环境Notebook对应的资源类型。 ModelArts-TrainingJob ModelArts的训练作业对应的资源类型。 ModelArts-RealtimeService ModelArts的推理在线服务对应的资源类型。 ModelArts-ResourcePool

查看更多 →

基础支撑系统 工业 AI开发平台 设计 本次工业AI开发平台采用华为ModelArts AI技术平台。华为ModelArts是面向AI开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及模型部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。

查看更多 →

获取当前用户服务列表。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景1：查询当前用户所有服务 1 2 3 4 5 6 from modelarts.session import

查看更多 →

在线服务预测报错ModelArts.4206 问题现象 在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。为了保证服务的平稳运行，ModelArts对单个A

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）

查看更多 →

推理基础镜像介绍 推理基础镜像列表 推理基础镜像详情TensorFlow（CPU/GPU） 推理基础镜像详情Pytorch（CPU/GPU） 推理基础镜像详情MindSpore（CPU/GPU） 父主题： 使用预置镜像

查看更多 →

法。 创建AI应用界面上配置的健康检查地址与实际配置的是否一致 如果使用的是ModelArts提供的基础镜像创建AI应用，健康检查URL默认必须为/health。 图4 设置健康检查URL 模型推理代码customize_service.py编写有问题 如果模型推理代码customize_service

查看更多 →

zip。 准备镜像 准备推理模型适用的容器镜像。 准备Notebook 本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。

查看更多 →

work页签窗口中看到本次推理请求的response信息如下图。 图1 推理请求的response信息 在name栏找到推理请求，其中推理请求的URL包含“/v1/infers”的关键字，可以在header栏中的url看到完整url，分别在Headers页签及Response页签中查看response的信息。

查看更多 →

方案概览 本文档介绍了在ModelArts的Standard上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程，利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。

查看更多 →