深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和 语音识别 等不同领域， DLI 服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano

查看更多 →

深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和语音识别等不同领域，DLI服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano

查看更多 →

计算加速型P2vs 计算加速型P2s（主售） 计算加速型P2v 计算加速型P1 推理加速型Pi2（主售） 推理加速型Pi1 相关操作链接： 适用于GPU加速实例的镜像列表 GPU加速型实例安装GRID驱动 GPU加速型实例安装Tesla驱动及CUDA工具包 表1 GPU加速实例总览 类别 实例

查看更多 →

各个模型深度学习训练加速框架的选择 LlamaFactory框架使用两种训练框架： DeepSpeed和Accelerate都是针对深度学习训练加速的工具，但是它们的实现方式和应用场景有所不同。 DeepSpeed是一种深度学习加速框架，主要针对大规模模型和大规模数据集的训练。D

查看更多 →

业务选型 MRS 集群类型介绍 MRS集群节点类型说明 MRS集群节点规格说明 父主题： MRS集群规划

查看更多 →

互联技术选型 SD-WAN和IPsec VPN作为云园区网络解决方案出口互联的两种技术，有不同的适用场景和特性差异，在选择时，要充分考虑两种技术对场景的匹配度，选择合适的技术进行方案设计和部署。 SD-WAN和IPsec VPN特性的关键差异点如表1所示。 表1 SD-WAN和IPsec

查看更多 →

GPU驱动概述 GPU驱动概述 在使用GPU加速型实例前，请确保实例已安装GPU驱动以获得相应的GPU加速能力。 GPU加速型实例支持两种类型的驱动：GRID驱动和Tesla驱动。 当前已支持使用自动化脚本安装GPU驱动，建议优先使用自动安装方式，脚本获取以及安装指导请参考（推荐

查看更多 →

GPU业务迁移至昇腾训练推理 基于AIGC模型的GPU推理业务迁移至昇腾指导 GPU推理业务迁移至昇腾的通用指导 基于advisor的昇腾训练性能自助调优指导

查看更多 →

证书选型案例 表1 以下为部分典型行业证书选型案例，您在选购证书时可以进行参考。 实例 所属行业 业务特征 常用证书类型 中国农业银行 中国平安 金融、银行、保险 有严格的数据保密要求 希望在网站地址栏展示身份信息 EV 教育部 淘宝、京东 百度、新浪、今日头条 上海证券交易所 国家电网

查看更多 →

用户提供更加便捷、高效的GPU计算服务，有效承载AI模型推理、AI模型训练、音视频加速生产、图形图像加速等加速工作负载。 GPU函数主要使用于：仿真、模拟、科学计算、音视频、AI和图像处理等场景下，使用GPU硬件加速，从而提高业务处理效率。 表1 GPU函数规格 卡型 vGPU 显存（GB）

查看更多 →

步骤一：配置选型 云耀 云服务器 提供了表1所示的几种配置类型的云耀云 服务器 ，您可以根据您的实际应用场景选择适合您的云服务器配置类型。 表1 云耀云服务器固定带宽套餐配置选型 类型 实例规格 云硬盘 带宽 适用场景 入门型 1vCPUs | 1G 40GB 高IO 1Mbit/s 面

查看更多 →

节点来调度新扩容的Pod，那么就需要为集群增加节点，从而保证业务能够正常提供服务。 弹性伸缩在CCE上的使用场景非常广泛，典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。 CCE弹性伸缩 CCE的弹性伸缩能力分为如下两个维度：

查看更多 →

elArts进行训练或推理。 云监控服务：使用云监控服务监控在线服务和对应模型负载，执行自动实时监控、告警和通知操作。 云审计 服务：使用云审计服务记录ModelArts相关的操作事件，便于日后的查询、审计和回溯。 方案优势 通过天宽昇腾云行业大模型适配服务，用户能够在华为云高性价

查看更多 →

线上Notebook入口 ModelArts Lite DevServer 开通裸金属服务器资源请见DevServer资源开通，在裸金属服务器上搭建迁移环境请见裸金属服务器环境配置指导。 父主题： GPU推理业务迁移至昇腾的通用指导

查看更多 →

使用CloudShell登录云服务器 2 AI加速型，新增AI推理加速增强I型Ai1s AI推理加速增强I型实例Ai1s是以华为昇腾310（Ascend 310）芯片为加速核心的AI加速型弹性云服务器。基于Ascend 310芯片低功耗、高算力特性，实现了能效比的大幅提升，助力AI推理业务的快速普及。

查看更多 →

使用Kubernetes默认GPU调度 GPU虚拟化 GPU虚拟化能够动态对GPU设备显存与算力进行划分，单个GPU卡最多虚拟化成20个GPU虚拟设备。相对于静态分配来说，虚拟化的方案更加灵活，最大程度保证业务稳定的前提下，可以完全由用户自己定义使用的GPU量，提高GPU利用率。 GPU虚拟化 NPU调度

查看更多 →

Arts DevServer的推理部署过程，推理使用PyTorch框架和昇腾NPU计算资源。 启动推理服务后，可用于搭建大模型问答助手。 主流开源大模型基于Standard适配PyTorch NPU推理指导 推理部署、推理性能测试、推理精度测试、推理模型量化 介绍主流的开源大模型

查看更多 →

GPU推理业务迁移至昇腾的通用指导 简介 昇腾迁移快速入门案例 迁移评估 环境准备 模型适配 精度校验 性能调优 迁移过程使用工具概览 常见问题 推理业务迁移评估表 父主题： GPU业务迁移至昇腾训练推理

查看更多 →

用于轻量级Web服务器、开发、测试环境以及中低性能数据库等场景。 GPU加速型：提供优秀的浮点计算能力，从容应对高实时、高并发的海量计算场景。P系列适合于深度学习，科学计算，CAE等；G系列适合于3D动画渲染，CAD等。仅支持1.11及以上版本集群添加GPU加速型节点。 高性能计

查看更多 →

应的裸金属服务器，后续挂载磁盘、绑定弹性网络IP等操作可在BMS服务控制台上完成。 更多裸金属服务器的介绍请见裸金属服务器 BMS。 xPU xPU泛指GPU和NPU。 GPU，即图形处理器，主要用于加速深度学习模型的训练和推理。 NPU，即神经网络处理器，是专门为加速神经网络计

查看更多 →

了解SFS和OBS云服务 从 0 制作 自定义镜像 并用于训练（Pytorch+CPU/GPU） 本案例介绍如何从0开始制作镜像，并使用该镜像在ModelArts Standard平台上进行训练。镜像中使用的AI引擎是Pytorch，训练使用的资源是CPU或GPU。 面向熟悉代码编写

查看更多 →