Programming Interface，应用程序编程接口）的方式提供给用户，用户通过调用API获取推理结果，帮助用户打造智能化业务系统，提升业务效率。 内容审核-图像 图像 内容审核 ，利用深度神经网络模型对图片内容进行检测，准确识别图像中的暴恐元素、涉黄内容等，帮助业务规避违规风险。 内容审核-文本

查看更多 →

Ascend 1*ascend-snt9b|ARM 24核 192GB Snt9b单卡规格，配搭ARM处理器，适合深度学习场景下的模型训练和调测 ModelArts提供了面向推理迁移工作的预置镜像，其中包含了最新商用版驱动、昇腾软件开发库，迁移工具链等。预置镜像可以做到即开即用，用户也可以基于预置镜像构建自定义环境内容。

查看更多 →

学习任务 管理员以任务形式，把需要学习的知识内容派发给学员，学员在规定期限内完成任务，管理员可进行实时监控并获得学习相关数据。 入口展示 图1 入口展示 创建学习任务 操作路径：培训-学习-学习任务-【新建】 图2 新建学习任务 基础信息：任务名称、有效期是必填，其他信息选填 图3

查看更多 →

学习目标 掌握座席侧的前端页面开发设计。 父主题： 开发指南

查看更多 →

课程学习 前提条件 用户具有课程发布权限 操作步骤-电脑端 登录ISDP系统，选择“作业人员->学习管理->我的学习”并进入，查看当前可以学习的课程。 图1 我的学习入口 在“我的学习”的页面，点击每个具体的课程卡片，进入课程详情页面。可以按学习状态（未完成/已完成）、学习类型（

查看更多 →

一键部署，可以直接推送部署到边缘设备中，选择智能边缘节点，推送模型。 ModelArts基于Snt3高性能AI推理芯片的深度优化，具有PB级别的单日推理数据处理能力，支持发布云上推理的API百万个以上，推理网络时延毫秒。 父主题： 基础知识

查看更多 →

实现模型计算量满足端、边小硬件资源下的轻量化需求，模型压缩技术在特定领域场景下实现精度损失<1%。 当训练数据量很大时，深度学习模型的训练将会非常耗时。深度学习训练加速一直是学术界和工业界所关注的重要问题。 分布式训练加速需要从软硬件两方面协同来考虑，仅单一的调优手段无法达到期望

查看更多 →

学习空间 我的课堂 MOOC课程 我的考试

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

发布推理服务 模型训练服务支持一键发布在线推理服务。用户基于成熟的模型包，创建推理服务，直接在线调用服务得到推理结果。操作步骤如下。 单击模型包“操作”列的，弹出“发布推理服务”对话框，如图1所示。 图1 推理服务 配置对话框参数如表1所示。 表1 创建推理服务参数配置 参数名称

查看更多 →

Standard推理部署 基于ModelArts Standard一键完成商超商品识别模型部署 从0-1制作 自定义镜像 并创建AI应用 推理服务访问公网 推理服务端到端运维 使用自定义引擎创建AI应用 使用大模型创建AI应用部署在线服务 第三方推理框架迁移到推理自定义引擎 推理服务支持虚拟私有云（VPC）直连的高速访问通道

查看更多 →

9B资源。 推理部署使用的服务框架是vLLM（官网地址：https://github.com/vllm-project/vllm/tree/v0.3.2，版本：v0.3.2）。本教程是基于vLLM的昇腾适配的推理方案部署指导，支持FP16和BF16数据类型推理。 推理镜像环境配套的CANN版本是cann_8

查看更多 →

ipv4.ip_forward Step2 获取推理镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表2。 docker pull {image_url} Step3 上传权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

云端推理框架 推理服务 异步推理 模型仓库 模板管理 父主题： 用户指南

查看更多 →

实时推理场景 特征 在实时推理应用场景中，工作负载具有以下一个或多个特征： 低延迟 单次请求的处理时效性要求高，RT（Response Time）延迟要求严格，90%的长尾延时普遍在百毫秒级别。 功能优势 函数计算为实时推理工作负载提供以下功能优势： 预留GPU实例 函数计算平台

查看更多 →

xlsx # 保存未推理出结果的问题，例如超时、系统错误 │ ├── system_error.xlsx # 保存推理结果，但是可能答非所问，无法判断是否正确，需要人工判断进行纠偏。 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.905）

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，建议在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。若需要在生产环境中进行推理精度测试，请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu

查看更多 →