否开启算力隔离，GPU_CONTAINER_QUOTA_PERCENT为0的所有容器共享GPU的空闲算力。 混合调度策略不支持高优先级容器。 权重弱调度（policy=6） 权重弱调度表示按照每个容器的算力比例为容器分配时间片，隔离性弱于权重抢占调度。XGPU服务会从算力单元1开

查看更多 →

中设置GPU配额： 显存：显存值单位为Mi，需为正整数，若配置的显存超过单张GPU卡的显存，将会出现无法调度状况。 算力：算力值单位为%，需为5的倍数，且最大不超过100。 图1 配置工作负载信息 配置其余信息，完成后单击“创建”。 工作负载创建成功后，您可以尝试验证GPU虚拟化的隔离能力。

查看更多 →

com/gpu配额时等价于开启虚拟化GPU显存隔离，可以和显存隔离模式的工作负载共用一张GPU卡，但不支持和算显隔离模式负载共用一张GPU卡。同时，还需遵循GPU虚拟化的其他约束与限制。 未开启该兼容能力时，在工作负载中声明nvidia.com/gpu配额仅影响调度结果，并不会有显存隔离的限制。即虽然配置nvidia

查看更多 →

Megatron-Deepspeed是一个由NVIDIA开发的基于PyTorch的深度学习模型训练框架。它结合了两个强大的工具：Megatron-LM和DeepSpeed，可在具有分布式计算能力的系统上进行训练，并且充分利用了多个GPU和深度学习加速器的并行处理能力。可以高效地训练大规模的语言模型。 Me

查看更多 →

弹性伸缩：支持工作负载和节点的弹性伸缩，可以根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。 服务治理：深度集成应用服务网格，提供开箱即用的应用服务网格流量治理能力，用户无需修改代码，即可实现灰度发布、流量治理和流量监控能力。 容器运维：深度集成容器智能分析，可实时监控应用及资源，支持采集、管理、分析日

查看更多 →

创建一个对象存储服务 OBS桶，用于存储训练数据。 创建一个弹性文件服务 SFS Turbo，与OBS联动，用于给ModelArts提供共享文件存储服务。 方案优势 训练加速 高速组网架构，提升传输带宽；分布式高速缓存，快速访问数据；并行传输，提高文件读取速率。 高资源利用率 存算分离

查看更多 →

开启该兼容能力后，在工作负载中声明nvidia.com/gpu配额（即配置nvidia.com/gpu为小数，例如0.5）时将通过虚拟化GPU提供，实现GPU显存隔离，按照设定值的百分比为容器分配GPU显存（例如分配0.5×16GiB=8GiB的GPU显存，该数值需为128MiB的整数倍否则会自

查看更多 →

如何提升训练效率，同时减少与OBS的交互？ 场景描述 在使用ModelArts进行自定义深度学习训练时，训练数据通常存储在对象存储服务（OBS）中，且训练数据较大时（如200GB以上），每次都需要使用GPU资源池进行训练，且训练效率低。 希望提升训练效率，同时减少与 对象存储OBS 的交互。可通过如下方式进行调整优化。

查看更多 →

30 4 KVM s2.8xlarge.4 32 128 6/3 50 8 KVM 内存优化型 内存优化型弹性 云服务器 可应对大型内存数据集和高网络场景。适用于内存要求高，数据量大并且数据访问量大，同时要求快速的数据交换和处理。 表14 内存优化型实例特点 规格名称 计算 网络 支持集群类型

查看更多 →

于超高性能计算能力、高吞吐量的工作负载场景，例如科学计算。 通用计算增强型：该类型实例具有性能稳定且资源独享的特点，满足计算性能高且稳定的企业级工作负载诉求。 磁盘增强型：该类型实例能提供可使用本地磁盘存储以及更高网络性能的实例，可以用于处理需要高吞吐以及高数据交换处理的工作负载，例如大数据工作负载等场景。

查看更多 →

千字节/秒（kB/s） GPU aom_node_gpu_memory_free_megabytes gpuMemCapacity 显存容量 该指标用于统计测量对象的显存容量。 ≥0 兆字节（MB） aom_node_gpu_memory_usage gpuMemUsage 显存使用率 该指

查看更多 →

preempt true/false false 允许 CCE Standard/ CCE Turbo 开启抢占调度后，在集群资源不足的场景，高优先级作业将会驱逐低优先级作业，获取资源运行 抢占能力与pod延迟创建能力不可同时开启 资源碎片最小化调度 将Pod调度到资源使用较高的节点（尽量不往空白节点分配），以减少资源碎片。

查看更多 →

处理器E5 v4家族 基频/睿频：2.4GHz/3.3GHz 高IO 通用型SSD 超高IO 极速型SSD 实例网络性能与计算规格对应，规格越高网络性能越强 最大网络收发包：50万PPS 最大内网带宽：6Gbps 表2 S7型弹性云 服务器 的规格 规格名称 vCPU 内存 （GiB） 最大带宽/基准带宽

查看更多 →

允许 - GPU数量 参数名 取值范围 默认值 是否允许修改 作用范围 nvidia.com/gpu 0-0.99间小数 或大于等于1小于等于10的整数 无 允许 - Kubernetes原生GPU资源配额，配置时limit和request配置相同 GPU虚拟化资源：显存 参数名 取值范围

查看更多 →

GPU调度 GPU节点驱动版本 使用Kubernetes默认GPU调度 GPU虚拟化 监控GPU资源指标 基于GPU监控指标的弹性伸缩实践 GPU故障处理 父主题： 调度

查看更多 →

实例的GPU/NPU的平均利用率低于50%时，在训练作业列表中会进行告警提示。 图2 作业列表显示作业资源利用率情况 此处的作业资源利用率只涉及GPU和NPU资源。作业worker-0实例的GPU/NPU平均利用率计算方法：将作业worker-0实例的各个GPU/NPU加速卡每个时间点的利用率汇总取平均值。

查看更多 →

在创建作业时，若需选择资源规格，您可通过规格名称了解对应规格的相关信息，如加速卡显存、CPU核心数、内存、硬盘大小。 例如，“GPU: 1*GP-Vnt1(32GB) | CPU: 8 核 64GB 3200GB”中，32G为GPU显存、8核为CPU核心数、64GB为内存、3200GB为硬盘大小。

查看更多 →

开启该兼容能力后，在工作负载中声明nvidia.com/gpu配额（即配置nvidia.com/gpu为小数，例如0.5）时将通过虚拟化GPU提供，实现GPU显存隔离，按照设定值的百分比为容器分配GPU显存（例如分配0.5×16GiB=8GiB的GPU显存，该数值需为128MiB的整数倍否则会自

查看更多 →

GPU驱动概述 GPU驱动概述 在使用GPU加速型实例前，请确保实例已安装GPU驱动以获得相应的GPU加速能力。 GPU加速型实例支持两种类型的驱动：GRID驱动和Tesla驱动。 当前已支持使用自动化脚本安装GPU驱动，建议优先使用自动安装方式，脚本获取以及安装指导请参考（推荐

查看更多 →

兆字节（MB） 显存可用量（aom_cluster_gpu_memory_free_megabytes） 该指标用于统计测量对象的显存可用量。 >0 兆字节（MB） 显存使用率（aom_cluster_gpu_memory_usage） 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

挂载点前缀路径长度不能超过64个字符，必须以字母开头，只能包含0-9/a-z/A-Z/-/./~。 高CPU情况下存在获取超时的现象，会导致无法获取监控数据。 ≥ 0 Byte/s 云服务器 - 磁盘 云服务器 - 挂载点 1分钟 disk_agt_read_requests_rate (Agent)

查看更多 →