登录管理控制台，进入 弹性云服务器 列表页面。 在待深度诊断的E CS 的“操作”列，单击“更多 > 运维与监控 > 深度诊断”。 （可选）在“开通云运维中心并添加权限”页面，阅读服务声明并勾选后，单击“开通并授权”。 若当前账号未开通并授权COC服务，则会显示该页面。 在“深度诊断”页面，选择“深度诊断场景”为“全面诊断”。

查看更多 →

兆字节（MB） 显存可用量（aom_cluster_gpu_memory_free_megabytes） 该指标用于统计测量对象的显存可用量。 >0 兆字节（MB） 显存使用率（aom_cluster_gpu_memory_usage） 该指标用于统计测量对象已使用的显存占显存容量的百分比。

查看更多 →

处理器E5 v4家族 基频/睿频：2.4GHz/3.3GHz 高IO 通用型SSD 超高IO 极速型SSD 实例网络性能与计算规格对应，规格越高网络性能越强 最大网络收发包：50万PPS 最大内网带宽：6Gbps 表2 X1型弹性 云服务器 的规格 vCPU 最大带宽/基准带宽 （Gbps） 最大收发包能力

查看更多 →

基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型 概要 准备工作 导入和预处理训练数据集 创建和训练模型 使用模型

查看更多 →

GPU调度 GPU节点驱动版本 使用Kubernetes默认GPU调度 GPU虚拟化 监控GPU资源指标 基于GPU监控指标的工作负载弹性伸缩配置 GPU虚拟化节点弹性伸缩配置 GPU故障处理 父主题： 调度

查看更多 →

就是一个相对GPU来说较多的内存申请。 显存优化策略 由于大模型的参数成倍数的增长，远超出了单GPU物理显存所能承载的范围，大模型训练必然需要进行显存优化。显存优化要么是优化算法本身，降低模型算法的显存消耗；要么是去扩大显存，通过一些置换方式获得“额外“空间，由于显存物理大小一定

查看更多 →

有助于确保在高峰期拥有足够的资源，并防止在低需求时段过度预配。虚拟机弹性伸缩和容器弹性伸缩都是实现应用自动化扩容和缩容的方式，但虚拟机弹性伸缩需要更多的资源和时间来启动和部署，而容器弹性伸缩可以更快速地响应变化，同时具有更高的资源利用率。虚拟机场景可以使用AS，容器场景充分考虑CA和HPA的弹性策略。

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

训练好的模型可以通过调整阈值，影响机器人直接回答的准确率。阈值越高，机器人越严谨，对用户问的泛化能力越弱，识别准确率越高；阈值越低，机器人越开放，对用户问的泛化能力越强，识别准确率越低。 针对历史版本的模型，可以根据当前模型调节直接返回答案的阈值。 在“模型管理”页面，在模型列表的操作列单击“调整阈值”。

查看更多 →

培训内容 培训内容 说明 神经网络基础 介绍深度学习预备知识，人工神经网络，深度前馈网络，反向传播和神经网络架构设计 图像处理理论和应用 介绍计算机视觉概览，数字图像处理基础，图像预处理技术，图像处理基本任务，特征提取和传统图像处理算法，深度学习和卷积神经网络相关知识 语音处理理论和应用

查看更多 →

在触发调用后立即得到返回，从而不因长耗时处理阻塞业务主逻辑的执行。 实时感知任务状态 无 并行处理 离线GPU任务需要处理大量数据，对GPU资源供给要求高，通过API调用并行运行加快处理速度。 数据源集成 离线GPU任务对数据源的需求多种多样，处理过程中需要与多种存储产品（例如 对象存储OBS ）和多种消息产品（例如消息队列）进行频繁交互。

查看更多 →

KVM s2.8xlarge.4 32 128 6/3 50 8 KVM 内存优化型 内存优化型弹性云 服务器 可应对大型内存数据集和高网络场景。适用于内存要求高，数据量大并且数据访问量大，同时要求快速的数据交换和处理。 表14 内存优化型实例特点 规格名称 计算 网络 支持集群类型 内存优化型M7

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already

查看更多 →

附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len

查看更多 →