推理服务 推理服务 任务队列 父主题： 训练服务

查看更多 →

描述：描述信息。 单击“确定”，发布在线推理服务。 单击界面左上方的“模型训练”，从下拉框中选择“推理”，进入推理服务菜单页面，该界面展示已发布的所有推理服务。用户可以对推理服务进行查看详情、授权、启动/停止等一系列操作。 ：推理服务发布成功，单击图标可以跳转至推理服务的快速验证界面，用户可在

查看更多 →

包含数据管理、模型管理部署、在线推理、批量推理、工作流引擎平台、AI算法模型资产管理等功能模块，并配置管理标书中给定规模的AI推理资源。 整体系统：系统采用B/S架构，无需安装插件，无需下载客户端 AI应用模型管理：提供管理模型版本变化的能力，记录各版本模型发布时间、模型大小、精度、AI引擎、模型来源

查看更多 →

DevServer的推理部署过程，推理使用PyTorch框架和昇腾NPU计算资源。 启动推理服务后，可用于搭建大模型问答助手。 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907） 推理部署、推理性能测试、推理精度测试、推理模型量化 介绍主流的开

查看更多 →

不同区域支持的AI引擎有差异，请以实际环境为准。 推理支持的AI引擎 在ModelArts创建AI应用时，若使用预置镜像“从模板中选择”或“从OBS中选择”导入模型，则支持如下常用引擎及版本的模型包。 标注“推荐”的Runtime来源于统一镜像，后续统一镜像将作为主流的推理基础镜像。统

查看更多 →

工具概述 x2hce-ca是华为云对系统迁移提供的一款免费的应用兼容性评估工具。x2hce-ca通过对待迁移应用进行快速扫描分析，帮助您评估应用在源操作系统和目标操作系统的兼容性。 表1 支持兼容性评估的x86公共镜像 OS发行系列 源操作系统 目标操作系统 HCE 64bit：Huawei

查看更多 →

工具中心 工具中心展示使用云空间过程中用到的一些工具，例如已上线的用户组管理，后续规划的文件收集、AI识图等工具，敬请期待。 图1 工具中心 父主题： 用户中心界面一览

查看更多 →

工具准备 需要准备的工具如表1所示。 qemu-img-hw工具和VNC工具仅在第二种方式（即使用物理机virt-manager工具制作镜像）下需要。 表1 工具列表 名称 说明 获取路径 跨平台远程访问工具 制作镜像过程中，用于访问宿主机的工具，如“Xshell”。 建议从官方网站获取。

查看更多 →

建模工具 ID生成器定义 数据字典管理 类别配置管理 标签模板定义 打印参数维护 动态属性扩展配置 全局扩展属性配置 父主题： 制造数据模型管理

查看更多 →

工具对接 JDBC配置 父主题： 开发设计建议

查看更多 →

工具对接 JDBC配置 父主题： 开发设计建议

查看更多 →

工具简介 本手册介绍 数据仓库 服务的工具使用，提供了客户端工具和服务端工具，客户端工具如表1所示，服务端工具如表2所示。 客户端工具：参见工具下载获取。 服务端工具：位于安装数据库 服务器 的$GPHOME/script和$GAUSSHOME/bin路径下。 表1 客户端工具 工具名称

查看更多 →

在创建CCE集群时，会选择 containerd 作为容器引擎，并默认给机器安装。如尚未安装，说明机器操作系统安装错误。需要重新纳管机器，重新安装操作系统。 安装nerdctl工具。nerdctl是containerd的一个客户端命令行工具，使用方式和docker命令基本一致，可用于后续镜像构建步骤中。

查看更多 →

云端推理框架 推理服务 异步推理 模型仓库 模板管理 父主题： 用户指南

查看更多 →

Standard推理部署 模型管理 部署上线

查看更多 →

推理服务测试 推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite k8s Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9

查看更多 →

里是ppl的配置项。由于离线执行推理，消耗的显存相当庞大。其中以下参数需要根据实际来调整。 batch_size, 推理时传入的 prompts 数量，可配合后面的参数适当减少 offline，是否启动离线模型，使用 ppl 时必须为 True tp_size，使用推理的卡数 max_seq

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evalua

查看更多 →

├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant # W8A8量化工具 ├── ascend_autosmoothquant_adapter

查看更多 →

xlsx # 保存未推理出结果的问题，例如超时、系统错误 │ ├── system_error.xlsx # 保存推理结果，但是可能答非所问，无法判断是否正确，需要人工判断进行纠偏。 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.905）

查看更多 →