部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）

查看更多 →

运行在MindSpore运行时后端，用于昇腾推理。 精度性能检查工具 Benchmark精度检查工具，可以转换模型后执行推理前，使用其对MindSpore Lite模型进行基准测试，它不仅可以对MindSpore Lite模型前向推理执行耗时进行定量分析（性能），还可以通过指定模型输出进行可对比的误差分析（精度）。

查看更多 →

Megatron-DeepSpeed是一个基于PyTorch的深度学习模型训练框架。它结合了两个强大的工具：Megatron-LM和DeepSpeed，可在具有分布式计算能力的系统上进行训练，并且充分利用了多个GPU和深度学习加速器的并行处理能力。可以高效地训练大规模的语言模型。 M

查看更多 →

选择命名空间，如未创建，单击“创建命名空间”。命名空间类型分为“通用计算型”和“GPU加速型”： 通用计算型：支持创建含CPU资源的容器实例及工作负载，适用于通用计算场景。 GPU加速型：支持创建含GPU资源的容器实例及工作负载，适用于深度学习、科学计算、视频处理等场景。 访问密钥 单击“点击上传”，

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境（ModelArts控制台的在线服务功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。

查看更多 →

参数解释请参见部署在线服务。 图6 部署在线服务-专属资源池 单击“下一步”，再单击“提交”，开始部署服务，待服务状态显示“正常”服务部署完成。 图7 服务部署完成 Step4 调用在线服务 进入在线服务详情页面，选择“预测”。 如果以vllm接口启动服务，设置请求路径：“/ge

查看更多 →

人脸检测技能 面向智慧商超的人脸采集技能。本技能使用多个深度学习算法，实时分析视频流，自动抓取画面中的清晰人脸上传至您的后台系统，用于后续实现其他业务。 商用 多区域客流分析技能 面向智慧商超的客流统计技能。本技能使用深度学习算法，实时分析视频流，自动统计固定时间间隔的客流信息。 车牌识别技能

查看更多 →

自动学习 准备数据 模型训练 部署上线 模型发布

查看更多 →

python3.6、python2.7、tf2.1-python3.7，表示该模型可同时在CPU或GPU运行。其他Runtime的值，如果后缀带cpu或gpu，表示该模型仅支持在CPU或GPU中运行。 默认使用的Runtime为python2.7。 默认启动命令：sh /home/mind/run

查看更多 →

Standard创建AI应用部署在线服务 自定义镜像 用于推理部署 从0-1制作自定义镜像并创建AI应用 05 自动学习 ModelArts自动学习是帮助人们实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。 自动学习简介 自动学习功能介绍 项目分类 图像分类 物体检测 预测分析 声音分类

查看更多 →

Lite功能介绍 ModelArts Lite基于软硬件深度结合、垂直优化，构建开放兼容、极致性价比、长稳可靠、超大规模的云原生AI算力集群，提供一站式开通、网络互联、高性能存储、集群管理等能力，满足AI高性能计算等场景需求。目前其已在大模型训练推理、自动驾驶、AIGC、 内容审核 等领域广泛得到应用。

查看更多 →

对镜像大小的约束限制。 自动学习项目中，在完成模型部署后，其生成的模型也将自动上传至AI应用列表中。但是自动学习生成的AI应用无法下载，只能用于部署上线。 Standard推理服务部署 只支持使用专属资源池部署的在线服务使用CloudShell访问推理容器，且在线服务必须处于“运行中”状态。

查看更多 →

当开发者对希望对模型进行开发和训练，AI Gallery为零基础开发者，提供无代码开发工具，快速推理、部署AI应用；为具备基础代码能力的开发者，AI Gallery将复杂的模型、数据及算法策略深度融合，构建了一个高效协同的模型体验环境，让开发者仅需几行代码即可调用任何模型，大幅度降低了模型开发门槛。

查看更多 →

弹性伸缩：支持工作负载和节点的弹性伸缩，可以根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。 服务治理：深度集成应用服务网格，提供开箱即用的应用服务网格流量治理能力，用户无需修改代码，即可实现灰度发布、流量治理和流量监控能力。 容器运维：深度集成容器智能分析，可实时监控应用及资源，支持采集、管理、分析日

查看更多 →

如何提升训练效率，同时减少与OBS的交互？ 场景描述 在使用ModelArts进行自定义深度学习训练时，训练数据通常存储在对象存储服务（OBS）中，且训练数据较大时（如200GB以上），每次都需要使用GPU资源池进行训练，且训练效率低。 希望提升训练效率，同时减少与 对象存储OBS 的交互。可通过如下方式进行调整优化。

查看更多 →

人工智能应用在其中起到了不可替代的作用。 游戏智能体通常采用深度强化学习方法，从0开始，通过与环境的交互和试错，学会观察世界、执行动作、合作与竞争策略。每个AI智能体是一个深度神经网络模型，主要包含如下步骤： 通过GPU分析场景特征（自己，视野内队友，敌人，小地图等）输入状态信息（Learner）。

查看更多 →

案例参考： 从0制作自定义镜像用于创建训练作业（PyTorch+CPU/GPU） 从0制作自定义镜像用于创建训练作业（MPI+CPU/GPU） 从0制作自定义镜像用于创建训练作业（Tensorflow+GPU） 从0制作自定义镜像用于创建训练作业（MindSpore+Ascend）

查看更多 →

Programming Interface，应用程序编程接口）的方式提供给用户，用户通过实时访问和调用API获取推理结果，帮助用户自动采集关键数据，打造智能化业务系统，提升业务效率。 媒资图像标签 基于深度学习技术，准确识别图像中的视觉内容，提供多种物体、场景和概念标签，具备目标检测和属性识别等能力帮

查看更多 →

硬盘 >= 1GB GPU（可选） 同一个边缘节点上的GPU型号必须相同。 说明： 当前支持Nvidia Tesla系列P4、P40、T4等型号GPU。 含有GPU硬件的机器，作为边缘节点的时候可以不使用GPU。 如果边缘节点使用GPU，您需要在纳管前安装GPU驱动。 目前只有使用

查看更多 →

vllm_path：构造vllm评测配置脚本名字，默认为vllm。 host：与起服务的host保持一致，比如起服务为0.0.0.0，host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、

查看更多 →