使用SSH工具连接Notebook， 服务器 的进程被清理了，GPU使用率显示还是100% 原因是代码运行卡死导致被进程清理，GPU显存没有释放；或者代码运行过程中内存溢出导致程序被清理，需要释放下显存，清理GPU，然后重新启动。为了避免进程结束引起的代码未保存，建议您每隔一段时间保存下代码输出至OBS桶或者容器

查看更多 →

NA GPU显存容量 ma_node_gpu_mem_total_megabytes 该指标用于统计测量对象的显存容量。 兆字节（Megabytes） >0 NA NA NA GPU显存使用率 ma_node_gpu_mem_util 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

千字节/秒（kB/s） GPU显存 ma_container_gpu_mem_total_megabytes 显存容量 该指标用于统计训练任务的显存容量。 >0 兆字节（MB） ma_container_gpu_mem_util 显存使用率 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

虚拟化资源的无状态负载，并将GPU申请量设为大于集群现有GPU资源上限。例如：集群中有16GiB显存的资源，假设每个Pod占用1GiB显存，则设置Pod数量为17个，合计17GiB显存。 在等待一小段时间后，可以在节点池详情页面中，可观察到GPU节点的扩容。 父主题： GPU调度

查看更多 →

aom_node_gpu_memory_free_megabytes 显存容量 该指标用于统计测量对象的显存容量。 >0 兆字节（MB） aom_node_gpu_memory_usage 显存使用率 该指标用于统计测量对象已使用的显存占显存容量的百分比。 0～100 百分比（%） aom_no

查看更多 →

户成本。 可灵活分配资源 XGPU实现了物理GPU的资源任意划分，您可以按照不同比例灵活配置。 支持按照显存和算力两个维度划分，您可以根据需要灵活分配。 XGPU支持只隔离显存而不隔离算力的策略，同时也支持基于权重的算力分配策略。算力支持最小1%粒度的划分，推荐最小算力不低于4%。

查看更多 →

String 云服务器 规格ID。 name String 云服务器规格名称。 disk String 该云服务器规格对应要求系统盘大小，0为不限制。 此字段在本系统中无效。 vcpus String 该云服务器规格对应的CPU核数。 ram String 该云服务器规格对应的内存大小，单位为MB。

查看更多 →

NA GPU显存容量 ma_node_gpu_mem_total_megabytes 该指标用于统计测量对象的显存容量。 兆字节（Megabytes） >0 NA NA NA GPU显存使用率 ma_node_gpu_mem_util 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

兆字节（MB） 显存容量（aom_node_gpu_memory_free_megabytes） 该指标用于统计测量对象的显存容量。 >0 兆字节（MB） 显存使用率（aom_node_gpu_memory_usage） 该指标用于统计测量对象已使用的显存占显存容量的百分比。 0～100

查看更多 →

百分比（%） 显存容量（aom_container_gpu_memory_free_megabytes） 该指标用于统计测量对象的显存容量。 >0 兆字节（MB） 显存使用率（aom_container_gpu_memory_usage） 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

，云服务器支持自动恢复。 如何使用kAi1s加速型云服务器 购买与使用kAi1s加速型云服务器的流程如下： 创建云服务器，详细步骤，请参考自定义购买E CS 。 在“规格”设置时，选择kAi1s加速型相关规格。 在“镜像”设置时，可以选择“公共镜像”和“私有镜像”。 公共镜像：已经默认安装了CANN

查看更多 →

Float gpu总显存，单位MB。 gpu_memory_usage Float 已使用gpu显存，单位MB。 npu_total Float 总NPU个数。 npu_usage Float 已使用NPU个数。 npu_memory_total Float npu总显存，单位MB。 npu_memory_usage

查看更多 →

常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.908）

查看更多 →

常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导（6.3.910）

查看更多 →

常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907）

查看更多 →

常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.908）

查看更多 →

常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.910）

查看更多 →

常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.907）

查看更多 →

常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.910）

查看更多 →

常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.909）

查看更多 →

常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.908）

查看更多 →