# CCE AI套件（Ascend NPU） #### 插件简介 CCE AI套件（Ascend NPU）是支持容器里使用huawei NPU设备的管理插件，提供驱动自动安装、设备注册与调度支持、性能监控和虚拟化资源管理等功能。通过该插件，用户可实现NPU资源的自动化部署、精细化调度、可视化监控和虚拟化使用，满足多样化的异构算力需求。常用应用场景包括： - **AI模型训练**：支持多卡并行和精细化资源调度，提升大规模模型训练效率与稳定性。 - **AI推理与在线服务**：提供低延迟、按需分配的算力支持，保障推理任务的实时性与服务可用性。 - **资源隔离环境**：通过vNPU管理实现资源粒度划分，满足多用户场景下的算力隔离与配额控制。 - **训练任务监控与资源优化**：通过指标采集与可视化分析，实现训练任务性能监控与资源调优。 安装本插件后，可创建"AI加速型"节点，实现快速高效地处理推理和图像识别等工作。 A5超节点机型支持参数面RDMA设备管理。通过插件内部的enable_rdma_shared_dp开关可控制是否部署RDMA Shared Device Plugin，实现UB总线RDMA设备的发现、分配、挂载及网卡故障检测上报。详情请参见[配置RDMA能力]。 #### 约束与限制 - 集群中使用"AI加速型"节点时必须安装CCE AI套件（Ascend NPU）插件。 - "AI加速型"节点迁移后会重置节点。如果目标集群的CCE AI套件（Ascend NPU）插件开启了"自动安装驱动"功能（仅插件版本为1.2.5及以上时支持），且选择了NPU节点机型对应的驱动，节点迁移后将自动安装NPU驱动。 - 插件版本在1.2.8以下时，驱动安装完成后需要手动重启节点才能生效。 - 插件版本在1.2.8及以上时，驱动安装完成后，节点将会自动重启。重启完成后，驱动生效。 - 若已在节点池的"安装后执行脚本"设置了NPU驱动安装命令，且开启了"自动安装驱动"功能并选择了对应机型的NPU驱动，节点池扩容会导致前端设置的安装命令和npu-driver-installer Pod同时在新增节点上安装驱动，可能导致安装的驱动和预期不符或安装失败。因此，不建议在huawei-npu驱动选择功能已开启的情况下，对已设置"安装后执行脚本"NPU驱动安装命令的节点池进行扩容，或在创建新节点池时设置"安装后执行脚本"用于安装NPU驱动。 - Ascend NPU的使用权限由驱动安装时创建的HwHiAiUser用户组控制，容器中的NPU运行用户（root或非root）必须属于该组，否则无法执行npu-smi或调用NPU进行推理/训练。 - RDMA设备管理相关： - RDMA设备管理功能仅支持CCE Standard和CCE Turbo集群。 - 使用RDMA功能的节点需安装RDMA驱动，并加载ib_uverbs、ib_core等内核模块。 - 节点/dev/infiniband/目录需存在且包含RDMA设备文件。 - RDMA Shared Device Plugin以DaemonSet方式部署，需要privileged权限和hostNetwork。 - RDMA设备管理仅支持华为UB总线设备（vendor=0xcc08, deviceID=0x8200）。 - 开启RDMA功能需将enable_rdma_shared_dp设置为true，默认关闭。 #### 安装插件 1. 登录[CCE控制台](https://console.huaweicloud.com/cce2.0/?#/cce/cluster/list)，单击集群名称进入集群。 2. 单击左侧导航栏的"插件中心"，在右侧找到**CCE AI套件（Ascend NPU）**插件，单击"安装"。 3. 在"安装插件"页面的"指标观测"中，选择是否"启用npu-exporter组件进行NPU指标观测"，开启后插件将以DaemonSet形式在NPU节点上部署npu-exporter组件。使用该组件时，需要注意以下两点： - **插件版本为2.1.55及以上时，支持部署npu-exporter组件**。同时，该组件需安装24.x及以上版本的NPU驱动配合使用。 - 启用npu-exporter组件后，如果需要将采集的NPU监控数据上报至AOM服务，请参见[实现NPU指标的全面监控](https://support.huaweicloud.com/usermanual-cce/cce_10_0971.html)。 4. 选择是否自动安装驱动（仅插件版本为1.2.5及以上时支持）。 - 开启：可根据NPU机型不同指定相应的驱动版本，驱动维护更灵活。 根据不同的适用机型选择是否启用驱动，启用后插件将根据用户指定的驱动版本自动进行驱动安装。默认使用"推荐驱动"，您也可以选择"自定义驱动"并填写完整的驱动地址。 ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) - 插件将根据用户针对指定机型选择的驱动版本进行驱动安装。仅对未安装NPU驱动的节点生效，已安装 NPU 驱动的节点会保持现状。升级或编辑插件参数时修改驱动版本也只对未安装 NPU 驱动的节点生效。 - 驱动安装成功后，节点会自动重启。为防止重启中业务受损，建议提前对节点进行排水操作，排空节点上的业务负载后再安装或升级驱动。关于节点排水的具体步骤，请参见[节点排水](https://support.huaweicloud.com/usermanual-cce/cce_10_0605.html)。驱动安装成功的确认方式请参见[如何确认节点NPU驱动已安装完成]。 - 插件卸载不会自动删除已安装的NPU驱动，如需卸载，卸载方式请参见[NPU驱动卸载]。 - 关闭：无法根据用户诉求指定驱动版本，无法依靠插件进行驱动维护。当不开启驱动选择时，如从控制台创建NPU节点，控制台会自动补充NPU驱动（用户无法指定版本和类型）安装命令，并在安装完成后自动重启节点；如通过API或其他方式创建节点则需要用户在"安装后执行脚本"中添加驱动安装命令。 - 支持的NPU卡类型和对应的操作系统规格如下： 表1规格适配 | NPU卡类型 | 支持的操作系统 | |:---|:---| | Snt3（ascend-snt3） | EulerOS 2.5 x86、CentOS 7.6 x86、EulerOS 2.9 x86、EulerOS 2.8 arm 说明： Snt3 ARM机型最高支持至EulerOS 2.8 arm，且该操作系统已EOS，具体请参见[镜像停止服务与支持计划](https://support.huaweicloud.com/productdesc-ims/ims_01_0054.html?fromacct=6925f47b55a245f6be79fe41fa83d8dd)。 Standard/Turbo集群v1.28及以上版本不再支持EulerOS 2.8 arm，如需在v1.28及以上集群中使用NPU资源，请参考[集群版本与操作系统对应关系](https://support.huaweicloud.com/bulletin-cce/cce_bulletin_0004.html#section1)和[NPU卡与操作系统对应关系](https://support.huaweicloud.com/resmgmt-modelarts/umn-cluster-modelarts-0004.html)，选择合适的NPU机型和操作系统，具体购买流程请参见[轻量算力集群使用流程](https://support.huaweicloud.com/resmgmt-modelarts/umn-cluster-modelarts-0002.html)。 | 5. 单击"安装"。 #### 组件说明 表2CCE AI套件（Ascend NPU）组件 | 容器组件 | 说明 | 资源类型 | |:---|:---|:---| | npu-driver-installer | 该容器运行在NPU节点上，负责安装NPU驱动。 | DaemonSet | | npu-exporter | 需要手动启用该组件，启用后以DaemonSet的形式部署在每个NPU节点上，用于监控和收集NPU的指标数据。 | DaemonSet | | ascend-vnpu-manager | 插件安装完成后，在"配置中心\>异构资源配置"中开启NPU虚拟化后，插件将自动在符合条件的节点中部署该组件。通过该组件可以实现节点池粒度的NPU虚拟化，以生成虚拟NPU（vNPU），从而实现资源的高效利用。更多信息请参见[NPU静态虚拟化](https://support.huaweicloud.com/usermanual-cce/cce_10_1008.html)。 | DaemonSet | #### NPU指标 1.25及以上版本的CCE Standard/Turbo集群中，以下NPU指标通过device-plugin暴露，支持AOM采集上报和展示。如果需要采集和监控更多NPU指标，请参见[实现NPU指标的全面监控](https://support.huaweicloud.com/usermanual-cce/cce_10_0971.html)。 | 指标 | 监控级别 | 备注 | |:---|:---|:---| | cce_npu_memory_total | NPU卡 | NPU卡显存总量 | | cce_npu_memory_used | NPU卡 | NPU卡显存使用量 | | cce_npu_utilization | NPU卡 | NPU卡算力使用率 | #### 如何确认节点NPU驱动已安装完成 NPU驱动安装成功后需要重启节点才能生效，且重启节点前需要确认驱动已经安装完成，否则驱动将无法生效，NPU资源不可用。驱动安装完成确认方式如下： 1. 在集群 "插件中心"页面，单击插件名称查看插件"实例列表"。 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000001731153973.png "点击放大") 2. 查看该节点上部署的 npu-driver-installer 实例状态为"运行中"。 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000001683157378.png "点击放大") ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) 若在NPU驱动安装完成前就重启了节点，可能导致驱动安装失败，节点重启后集群"节点管理"页面对应的节点会显示"驱动未就绪"。此时需要先卸载该节点上的NPU驱动，再重启 npu-driver-installer Pod，才能重新安装NPU驱动，按上述步骤确认驱动安装完成后再重启节点。驱动卸载方式请参见[NPU驱动卸载]。 #### NPU驱动卸载 请登录节点，通过 /var/log/ascend_seclog/operation.log 获取驱动操作记录，确认最后一次安装的驱动 run 包；若该日志不存在，则一般使用 npu_x86_latest.run或 npu_arm_latest.run 驱动合一包安装；找到驱动安装包后，执行 bash {run 包名称} --uninstall 命令即可卸载，卸载成功后根据提示决定是否重启节点。 1. 登录需要卸载NPU驱动的节点，查看 /var/log/ascend_seclog/operation.log 是否存在。 2. 若 /var/log/ascend_seclog/operation.log 日志存在，查看驱动安装日志，可查找到驱动安装记录。 ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000001418559576.png "点击放大") 若 /var/log/ascend_seclog/operation.log 日志不存在，则可能是通过 npu_x86_latest.run或 npu_arm_latest.run 驱动合一包安装的，可通过 /usr/local/HiAI/driver/ 路径是否存在进行确认。 ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) NPU驱动合一包一般放在 /root/d310_driver 目录下，其他驱动安装包一般放在 /root/npu-drivers 目录下。 3. 找到驱动安装包后，执行 **bash {run 包路径} --uninstall** 命令即可卸载，以 Ascend310-hdk-npu-driver_6.0.rc1_linux-x86-64.run 为例： ``` bash /root/npu-drivers/Ascend310-hdk-npu-driver_6.0.rc1_linux-x86-64.run --uninstall ``` ![](https://support.huaweicloud.com/usermanual-cce/zh-cn_image_0000001468716961.png "点击放大") 4. 根据提示信息确认是否需要重启节点（当前使用的NPU驱动安装和卸载都需要重启节点才能生效）。 #### 配置RDMA能力 #### 开启RDMA开关 使用RDMA能力，可通过插件内置的开关进行控制。 | 参数 | 说明 | 默认值 | |:---|:---|:---| | enable_rdma_shared_dp | 控制RDMA Shared Device Plugin是否部署。 | false | 当enable_rdma_shared_dp设置为true时，还需配置rdma_shared_dp配置块，涉及以下参数。 | 参数 | 说明 | 默认值 | |:---|:---|:---| | periodicUpdateInterval | 设备状态更新间隔，单位秒，默认值为300。 | 300 | | faultDetectPeriod | 故障检测周期，单位分钟，默认值为5。 | 5 | | affinity | 节点亲和性配置。 | \[{"key":"accelerator/huawei-npu","operator":"Exists"}\] | | configList\[\].resourcePrefix | Kubernetes资源名称前缀。 | huawei.com | | configList\[\].resourceName | Kubernetes资源名称。 | ub_rdma | | configList\[\].rdmaHcaMax | 单个物理HCA设备可分配给容器的最大资源实例数。 | 8 | | configList\[\].selectors.buses | 总线类型，固定为ub。 | ub | | configList\[\].selectors.vendors | 设备厂商ID。 | 0xcc08 | | configList\[\].selectors.deviceIDs | 设备ID。 | 0x8200 | 配置示例如下： ``` { "periodicUpdateInterval": 300, "faultDetectPeriod": 5, "configList": [ { "resourcePrefix": "huawei.com", "resourceName": "ub_rdma", "rdmaHcaMax": 8, "selectors": { "buses": ["ub"], "vendors": ["0xcc08"], "deviceIDs": ["0x8200"] } } ] } ``` #### 组件说明 | 容器组件 | 说明 | 资源类型 | |:---|:---|:---| | k8s-rdma-shared-dev-plugin | RDMA共享设备管理插件，负责UB总线RDMA设备的发现、分配、挂载及1825网卡故障检测。健康检查端口为11257。 | DaemonSet | #### 组件功能 k8s-rdma-shared-dev-plugin组件提供以下功能： - **设备发现**：根据配置的厂商ID、设备ID、总线类型等选择器，自动发现节点上的RDMA设备。 - **资源注册**：向Kubernetes注册RDMA设备资源，支持设备共享模式。 - **设备分配**：响应Kubelet的设备分配请求，为容器分配RDMA设备。 - **周期性更新**：按periodicUpdateInterval配置的周期重新扫描设备，更新资源列表。 - **故障检测**：按faultDetectPeriod配置的周期执行故障检测。 - **故障上报**：将设备故障信息上报到ConfigMap（dpuinfo-{nodeName}），供Volcano调度器使用。 #### 健康检查 | 配置项 | 值 | |:---|:---| | 检查方式 | HTTP GET | | 检查端口 | 11257 | | 检查路径 | / | | 初始延迟 | 30秒 | | 检查间隔 | 15秒 | | 超时时间 | 5秒 | | 失败阈值 | 3次 | ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) 连续失败3次（最慢65秒）触发kubelet自动重启容器。 #### 挂载卷说明 | **容器挂载路径** | **宿主机路径** | **说明** | |:---|:---|:---| | /var/lib/kubelet/device-plugins | /var/lib/kubelet/device-plugins | Kubelet设备插件通信目录 | | /k8s-rdma-shared-dev-plugin | ConfigMap rdma-devices-config | RDMA设备配置文件 | | /dev/ | /dev/ | 设备文件目录 | | /sys | /sys/ | sysfs虚拟文件系统，用于设备枚举 | | /dev/infiniband | /dev/infiniband/ | InfiniBand设备文件 | | /var/log/cce/kubernetes | /var/log/cce/kubernetes | CCE组件日志目录 | | /usr/sbin/hinicadm5 | /usr/sbin/hinicadm5 | 1825网卡管理工具（只读） | | /var/log/hinic5 | /var/log/hinic5 | 1825网卡日志目录 | #### 查看日志 RDMA插件日志存储在节点的/var/log/cce/kubernetes/目录下，日志名称为k8s-rdma-shared-dp.log。 您可以通过以下命令查看日志： ``` # 查看RDMA组件Pod日志 kubectl logs -n kube-system -l k8s-app=rdma-shared-dp-ds # 查看节点上的日志文件 cat /var/log/cce/kubernetes/k8s-rdma-shared-dp.log ``` #### 在Pod中使用华为RDMA设备 ``` apiVersion: v1 kind: Pod metadata: name: rdma-test-pod spec: hostNetwork: true # RDMA共享设备插件需要配合主机网络使用 containers: - name: rdma-container image: your-rdma-application:latest resources: requests: huawei.com/ub_rdma: '1' limits: huawei.com/ub_rdma: '1' ``` ![](https://support.huaweicloud.com/usermanual-cce/public_sys-resources/note_3.0-zh-cn.png) - 必须配置 hostNetwork: true，Pod需通过主机网络命名空间才能访问RDMA设备。 - 插件在Allocate阶段会自动为容器挂载必要的RDMA设备文件（如 /dev/infiniband），无需手动配置volumeMounts。 #### 1825网卡故障检测 RDMA Shared Device Plugin内置故障检测机制，周期性检查节点上的1825网卡健康状态，并将检测结果上报到Kubernetes ConfigMap，供Volcano调度器消费。 **故障检测流程** 1. 插件按 faultDetectPeriod（默认5秒）的周期执行各项故障检测。 2. 检测到故障时，记录故障首次发现时间；故障恢复后，自动清除故障记录。 3. 将检测结果上报到ConfigMap dpuinfo-{nodeName}（kube-system命名空间）。 4. Volcano调度器读取ConfigMap，在调度时过滤故障节点或切换到备份网卡。 **故障码列表** | 故障码 | 故障名称 | 故障描述 | 故障等级 | |:---|:---|:---|:---| | 21000022 | ub_port_down | RoCE设备不可用，UB端口Down | SubHealthFault（亚健康） | | 21000023 | ub_lane_down | 数据平面Lane降级，UB Lane部分Down | SubHealthFault（亚健康） | | 21000024 | hca_port_down | 主机到网络链路故障，HCA端口状态非Active | SeparateDPU（DPU隔离） | | 22000025 | bond_member_down | Bond场景下，仅一个Bond成员网卡故障 | SubHealthFault（亚健康） | | 22000026 | dpu_card_drop | DPU卡丢失，节点无法识别DPU设备 | SeparateDPU（DPU隔离） | **故障等级说明** | 故障等级 | 说明 | 影响范围 | |:---|:---|:---| | SubHealthFault | 亚健康故障，设备功能降级但仍可使用 | 单个HCA设备 | | SeparateDPU | 严重故障，需要将DPU隔离处理 | 单个HCA设备或整个节点 | **查看故障信息** ``` # 查看指定节点的故障信息 kubectl get configmap dpuinfo-{nodeName} -n kube-system -o jsonpath='{.data.DpuInfoCfg}' | jq . # 查看所有节点的DPU信息ConfigMap kubectl get configmap -n kube-system -l huawei.com/consumer.clusterd=true ``` #### 相关文档 - [NPU整卡调度](https://support.huaweicloud.com/usermanual-cce/cce_10_0346.html) - [NPU拓扑感知调度](https://support.huaweicloud.com/usermanual-cce/cce_10_0995.html) - [NPU静态虚拟化](https://support.huaweicloud.com/usermanual-cce/cce_10_1008.html) - [NPU监控](https://support.huaweicloud.com/usermanual-cce/cce_10_1018.html) #### 版本记录 表3CCE AI套件（Ascend NPU）插件版本记录 | 插件版本 | 支持的集群版本 | 更新特性 | |:---|:---|:---| | 2.8.11 | v1.29 v1.30 v1.31 v1.32 v1.33 v1.34 v1.35 v1.36 | FlexNPU支持CANN 8.5.0 | | 2.7.0 | v1.29 v1.30 v1.31 v1.32 v1.33 v1.34 v1.35 v1.36 | 支持CCE v1.36集群 | | 2.5.1 | v1.29 v1.30 v1.31 v1.32 v1.33 v1.34 v1.35 | 支持CCE v1.35集群 | | 2.4.2 | v1.28 v1.29 v1.30 v1.31 v1.32 v1.33 v1.34 | 支持无RoCE网卡的Snt9b23设备 | | 2.4.1 | v1.28 v1.29 v1.30 v1.31 v1.32 v1.33 v1.34 | 支持CCE v1.34集群 | | 2.3.2 | v1.27 v1.28 v1.29 v1.30 v1.31 v1.32 v1.33 | 新增镜像签名 | | 2.2.2 | v1.27 v1.28 v1.29 v1.30 v1.31 v1.32 v1.33 | 支持CCE v1.33集群 | | 2.1.63 | v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 v1.32 | 支持CCE v1.32集群 | | 2.1.53 | v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 | 修复安全漏洞 | | 2.1.46 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 | 支持CCE v1.31集群 | | 2.1.23 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 | 修复部分问题 | | 2.1.22 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 | - 修复了一些页面显示问题 - 支持查询超节点信息 - 支持上报显卡拓扑信息 - 修复了日志打印问题 | | 2.1.14 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 | 修复部分问题 | | 2.1.7 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 | 修复了为业务容器自动挂载npu-smi失败的问题 | | 2.1.5 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 | - 适配CCE v1.29集群 - 新增静默故障码 | | 2.0.9 | v1.21 v1.23 v1.25 v1.27 v1.28 | 修复进程级故障恢复和给工作负载添加注解偶现失败问题 | | 2.0.5 | v1.21 v1.23 v1.25 v1.27 v1.28 | - 适配CCE v1.28集群 - 支持存活探针检查机制 - 支持为业务容器自动挂载Ascend驱动 | | 1.2.14 | v1.19 v1.21 v1.23 v1.25 v1.27 | 支持NPU监控 | | 1.2.9 | v1.19 v1.21 v1.23 v1.25 v1.27 | 适配CCE v1.27集群 | | 1.2.6 | v1.19 v1.21 v1.23 v1.25 | 支持NPU驱动自动安装 | | 1.2.5 | v1.19 v1.21 v1.23 v1.25 | 支持NPU驱动自动安装 | | 1.2.4 | v1.19 v1.21 v1.23 v1.25 | 适配CCE v1.25集群 | | 1.2.2 | v1.19 v1.21 v1.23 | 适配CCE v1.23集群 | | 1.2.1 | v1.19 v1.21 v1.23 | 适配CCE v1.23集群 | | 1.1.8 | v1.15 v1.17 v1.19 v1.21 | 适配CCE v1.21集群 | | 1.1.2 | v1.15 v1.17 v1.19 | 配置seccomp默认规则 | | 1.1.1 | v1.15 v1.17 v1.19 | 兼容CCE v1.15集群 | | 1.1.0 | v1.17 v1.19 | 适配CCE v1.19集群 | | 1.0.8 | v1.13 v1.15 v1.17 | 适配Snt3 C75驱动 | | 1.0.6 | v1.13 v1.15 v1.17 | 支持C75驱动 | | 1.0.5 | v1.13 v1.15 v1.17 | 支持容器里使用huawei NPU设备的管理插件 | | 1.0.3 | v1.13 v1.15 v1.17 | 支持容器里使用huawei NPU设备的管理插件 |