应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。

查看更多 →

应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。

查看更多 →

可将样例修改后分享到AI Gallery中直接另存用于个人开发。 同时，您开发的代码，也可通过CodeLab快速分享到AI Gallery中给他人使用学习。 使用限制 CodeLab默认打开，使用的是CPU计算资源。如需切换为GPU，请在右侧窗口，更换GPU规格。 在ModelA

查看更多 →

py编写指导请见模型推理代码编写说明）。 确认该cuda版本与您安装的mmcv版本是否匹配。 部署时是否需要使用GPU，取决于的模型需要用到CPU还是GPU，以及推理脚本如何编写。 父主题： 服务部署

查看更多 →

nvidia-smi: command not found 可能原因 云服务器 驱动异常、没有安装驱动或者驱动被卸载。 处理方法 如果未安装GPU驱动，请重新安装GPU驱动。 操作指导请参考：安装GPU驱动 如果已安装驱动，但是驱动被卸载。 执行history，查看是否执行过卸载操作。

查看更多 →

GPU实例故障自诊断 GPU实例故障，如果已安装GPU监控的CES Agent，当GPU 服务器 出现异常时则会产生事件通知，可以及时发现问题避免造成用户损失。如果没有安装CES Agent，只能依赖用户对故障的监控情况，发现故障后及时联系技术支持处理。 GPU实例故障处理流程 GPU实例故障分类列表

查看更多 →

环境没有OBS，如何存储附件或图片？ 问题描述 某些环境没有OBS，附件或图片需要存储时，要使用什么存储方式？ 解决方法 AppCube暂不支持第三方NFS，AppCube后续提供能力适配。 父主题： 公共问题

查看更多 →

说明。 安装XGPU服务 安装XGPU服务请联系客服。 推荐您通过云容器引擎服务使用XGPU虚拟化服务，相关操作请参见GPU虚拟化。 XGPU服务使用示例 影响XGPU服务的环境变量如下表所示，您可以在创建容器时指定环境变量的值。容器引擎可以通过XGPU服务获得算力和显存。 表1

查看更多 →

训练结束后，在output_dir参数指定目录下会输出trainer_state.json文件，该文件保存了训练过程loss以及learning_rate的log信息。 将GPU设备训练输出的trainer_state.json文件重命名为trainer_state_gpu.json，并复制到NPU节点的

查看更多 →

如何处理GPU掉卡，执行lspci | grep -i nvidia命令找不到显卡或显卡显示rev ff 问题原因 某种健全性检查没有通过，GPU驱动程序不会使用或信任其内容（某些内容未被使用）。 问题影响 可能影响ECC相关非易失数据的记录，从而导致本该隔离的GPU内存页面继续使用。

查看更多 →

XGPU共享技术是华为云基于内核虚拟GPU开发的共享技术。XGPU服务可以隔离GPU资源，实现多个容器共用一张显卡，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。 XGPU共享技术架构 XGPU通过自研的内核驱动为容器提供虚拟的GPU设备，在保证性能的前提下隔离显存

查看更多 →

如果有DaemonSet工作负载使用了GPU卡，则需要先停止kubelet和containerd运行时服务。 登录需要更新GPU驱动的节点，如192.168.1.xx。 停止服务(containerd运行时) systemctl stop kubelet kubelet-monit containerd containerd-monit

查看更多 →

本章节介绍什么是准实时推理场景，以及如何使用GPU按量实例和如何基于GPU按量实例构建使用成本较低的准实时推理服务。 特征 在准实时推理应用场景中，工作负载具有以下一个或多个特征： 调用稀疏 日均调用几次到几万次，日均GPU实际使用时长远低于6~10小时，GPU存在大量闲置。 单次处理耗时长

查看更多 →

硬盘 >= 1GB GPU（可选） 同一个边缘节点上的GPU型号必须相同。 说明： 当前支持Nvidia Tesla系列P4、P40、T4等型号GPU。 含有GPU硬件的机器，作为边缘节点的时候可以不使用GPU。 如果边缘节点使用GPU，您需要在纳管前安装GPU驱动。 目前只有使用

查看更多 →

AI平台开发与实施服务可以提供哪些服务？ AI平台开发支持服务。 AI平台场景化建模开发服务。 AI平台场景化建模调优服务。 父主题： 关于服务咨询

查看更多 →

ai_watchdog_monitor_status 表1 ai_watchdog_monitor_status参数说明 参数 类型 描述 metric_name text metric指标名称： tps：TPS。 tps_hourly：每小时的TPS均值。 shared_used_mem：共享内存使用量（MB）。

查看更多 →

ai_watchdog_detection_warnings 表1 ai_watchdog_detection_warnings参数 参数 类型 描述 event text 事件名称。 cause text 事件原因。 details text 事件详情。 time timestamp

查看更多 →

ai_watchdog_parameters 表1 ai_watchdog_parameters参数 参数 类型 描述 name text 参数名称，包括如下常用参数： enable_ai_watchdog：是否开启本功能。 ai_watchdog_max_consuming_time_ms：最大耗时。

查看更多 →

AI GS_MODEL_WAREHOUSE GS_OPT_MODEL GS_ABO_MODEL_STATISTIC 父主题： 系统表

查看更多 →

AI GS_MODEL_WAREHOUSE GS_OPT_MODEL GS_ABO_MODEL_STATISTIC 父主题： 系统表

查看更多 →

GPU服务器上配置Lite Server资源软件环境 场景描述 本文旨在指导如何在GPU裸金属服务器上，安装NVIDIA、CUDA驱动等环境配置。由于不同GPU预置镜像中预安装的软件不同，您通过Lite Server算力资源和镜像版本配套关系章节查看已安装的软件。下面为常见的软件

查看更多 →