发布推理服务 模型训练服务支持一键发布在线推理服务。用户基于成熟的模型包，创建推理服务，直接在线调用服务得到推理结果。操作步骤如下。 单击模型包“操作”列的，弹出“发布推理服务”对话框，如图1所示。 图1 推理服务 配置对话框参数如表1所示。 表1 创建推理服务参数配置 参数名称

查看更多 →

Standard推理部署 基于ModelArts Standard一键完成商超商品识别模型部署 从0-1制作 自定义镜像 并创建AI应用 推理服务访问公网 推理服务端到端运维 使用自定义引擎创建AI应用 使用大模型创建AI应用部署在线服务 第三方推理框架迁移到推理自定义引擎 推理服务支持虚拟私有云（VPC）直连的高速访问通道

查看更多 →

9B资源。 推理部署使用的服务框架是vLLM（官网地址：https://github.com/vllm-project/vllm/tree/v0.3.2，版本：v0.3.2）。本教程是基于vLLM的昇腾适配的推理方案部署指导，支持FP16和BF16数据类型推理。 推理镜像环境配套的CANN版本是cann_8

查看更多 →

ipv4.ip_forward Step2 获取推理镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表2。 docker pull {image_url} Step3 上传权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

CMF 云迁移框架 云迁移框架（Cloud Migration Framework，以下简称CMF）是站在客户视角的上云迁移方法论，它来源于华为云的经验和大型企业上云的优秀实践，为企业上云提供完整的上云指导。企业上云的整体思路是，先整体规划，然后小范围试点，最后再大规模上云。按照

查看更多 →

数据治理 框架 数据治理框架 数据治理模块域 数据治理各模块域之间的关系

查看更多 →

数据治理框架 数据治理框架制定如下： 图1 数据治理框架 父主题： 数据治理框架

查看更多 →

语言和框架支持 CodeArts IDE内置了强大的Java语言支持和编码辅助功能。此外，它还为JavaScript和TypeScript的Web开发提供了丰富的内置支持，为HTML、 CSS 、S CS S和JSON等Web技术也提供了出色的工具支持。

查看更多 →

服务开发框架详解 整体结构介绍 单Module base/service DDD 父主题： AstroPro学堂

查看更多 →

使用预置框架简介 如果订阅算法不能满足需求或者用户希望迁移本地算法至ModelArts上训练，可以考虑使用ModelArts支持的预置框架实现算法构建。这种方式在创建算法时被称为“使用预置框架”模式。 以下章节介绍了如何使用预置框架创建算法。 如果需要了解ModelArts模型训

查看更多 →

人脸检测技能 面向智慧商超的人脸采集技能。本技能使用多个深度学习算法，实时分析视频流，自动抓取画面中的清晰人脸上传至您的后台系统，用于后续实现其他业务。 商用 多区域客流分析技能 面向智慧商超的客流统计技能。本技能使用深度学习算法，实时分析视频流，自动统计固定时间间隔的客流信息。 车牌识别技能

查看更多 →

xlsx # 保存未推理出结果的问题，例如超时、系统错误 │ ├── system_error.xlsx # 保存推理结果，但是可能答非所问，无法判断是否正确，需要人工判断进行纠偏。 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.905）

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，建议在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。若需要在生产环境中进行推理精度测试，请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu

查看更多 →

实时推理场景 特征 在实时推理应用场景中，工作负载具有以下一个或多个特征： 低延迟 单次请求的处理时效性要求高，RT（Response Time）延迟要求严格，90%的长尾延时普遍在百毫秒级别。 功能优势 函数计算为实时推理工作负载提供以下功能优势： 预留GPU实例 函数计算平台

查看更多 →

推理服务测试 推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测

查看更多 →

推理规范说明 模型包规范 模型模板 自定义脚本代码示例

查看更多 →

unset DETAIL_TIME_ LOG 配置后重启推理服务生效。 Step6 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）

查看更多 →