自动实现NPU虚拟化（算力切分）

1. 登录CCE控制台，单击集群名称进入集群。在左侧导航栏单击“工作负载”，右上角单击“创建工作负载”。
2. 在“容器配置 > 基本信息 >NPU配额”中选择算力拆分，在虚拟化模板的下拉列表中选择需要的虚拟化模板。此处虚拟化模板名称为“Ascend-芯片类型-虚拟化实例模板”，例如ascend-310-vir01表示昇腾Snt3芯片中以vir01为模板的vNPU。选择模板后，CCE将按照虚拟化模板为容器分配vNPU资源。

   表2 虚拟化模板

   参数	说明
   虚拟化模板	提供已配置模板未配置模板，具体如下： 已配置：在“配置中心 > 异构资源配置”中已配置的虚拟化模板，可以直接使用。 未配置：在“配置中心 > 异构资源配置”中暂未配置的虚拟化模板，无法直接使用。如果选择未配置模板，工作负载将因资源不足而创建失败。此时，请在“NPU虚拟化配置 ”中配置相关模板，具体操作请参见配置NPU虚拟化。配置完成后，该负载将自动调度成功。

3. 其他参数请参考创建工作负载进行配置。参数配置完成后，在右下角单击“创建工作负载”。待工作负载变为运行中后，则表示创建成功。

在创建vNPU之后，工作负载可以通过YAML格式申请vNPU资源，从而实现资源的高效管理和灵活配置。如果需要使用Volcano调度器，则需要安装1.12.1及以上版本的Volcano调度器插件。

1. 依次执行以下命令，创建工作负载，并申请一个vir02模板的vNPU资源。
   1. 执行以下命令，创建名为vnpu-worker的YAML文件。

      vim vnpu-worker.yaml

      文件内容如下，容器中只支持申请NPU资源或者vNPU资源，二者不可以同时使用。

      

      使用vNPU资源时，需确保该vNPU资源已存在。如果该vNPU资源未创建，则会报错，例如“0/2 nodes are available: 2 Insufficient huawei.com/ascend-310-2c”。

      kind: Deployment
      apiVersion: apps/v1
      metadata:
        name: vnpu-test
        namespace: default
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: vnpu-test
        template:
          metadata:
            labels:
              app: vnpu-test
          spec:
            schedulerName: kube-scheduler    # 该工作负载需要使用volcano调度器时，则需要安装volcano插件，且版本在1.12.1及以上
            containers:
              - name: container-0
                image: nginx:latest
                resources:
                  limits:
                    cpu: 250m
                    huawei.com/ascend-310-2c: '1'   # 表示申请的vNPU资源，固定为1
                    memory: 512Mi
                  requests:
                    cpu: 250m
                    huawei.com/ascend-310-2c: '1'   # 固定为1
                    memory: 512Mi

      • 容器只支持申请一个vNPU资源，因此requests和limits里的vNPU资源数量固定为1。
      • 指定的vNPU资源请在节点中提前创建，且保证资源充足。当vNPU资源不足时，会出现类似“0/2 nodes are available: 2 Insufficient huawei.com/ascend-310-2c.”的报错。
      • huawei.com/ascend-310-2c表示申请vNPU资源名称，不同产品和模板对应的vNPU资源名称不同，具体映射关系如下：

        表3 vNPU资源名称

        产品类型	虚拟化模板	vNPU资源名称
        Atlas推理系列产品（8个AI Core）	vir01	huawei.com/ascend-310-1c
        	vir02	huawei.com/ascend-310-2c
        	vir02_1c	huawei.com/ascend-310-2c.1cpu
        	vir04	huawei.com/ascend-310-4c
        	vir04_3c	huawei.com/ascend-310-4c.3cpu
        	vir04_3c_ndvpp	huawei.com/ascend-310-4c.3cpu.ndvpp
        	vir04_4c_dvpp	huawei.com/ascend-310-4c.4cpu.dvpp
        Ascend训练系列产品（30或32个AI Core）	vir16	huawei.com/ascend-1980-16c
        	vir08	huawei.com/ascend-1980-8c
        	vir04	huawei.com/ascend-1980-4c
        	vir02	huawei.com/ascend-1980-2c
        	vir10_3c_32g	huawei.com/ascend-1980-10c.3cpu.32g
        	vir05_1c_16g	huawei.com/ascend-1980-5c.1cpu.16g

   2. 执行以下命令，创建上述工作负载。

      kubectl apply -f vnpu-worker.yaml

      回显结果如下：

      deployment/vnpu-test created

   3. 执行以下命令，查看Pod是否运行成功。

      kubectl get pod | grep vnpu-test

      回显结果如下，则说明工作负载中的Pod运行成功。

      vnpu-test-6658cd795b-rx76t      1/1     Running     0       59m

2. 执行以下命令，登录容器内部。

   kubectl -n default exec -it vnpu-test-6658cd795b-rx76t -c container-0 -- /bin/bash

3. 在容器内依次执行以下命令，查看vNPU是否挂载成功。
   1. 执行以下命令，配置环境变量，用于指定动态链接库的搜索路径，确保在运行与NPU相关的应用时，系统能够正确加载所需的动态库文件。

      export LD_LIBRARY_PATH=/usr/local/HiAI/driver/lib64:/usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/driver:/usr/local/Ascend/driver/lib64 

   2. 执行以下命令，查看容器挂载的NPU信息，以确认是否成功挂载vNPU资源。

      npu-smi info

      由回显结果可知，该容器已挂载设备ID为104的NPU卡中的vNPU，且虚拟化模板为vir02。

      +--------------------------------------------------------------------------------------------------------+
      | npu-smi 24.1.rc2.3                               Version: 24.1.rc2.3                                   |
      +-------------------------------+-----------------+------------------------------------------------------+
      | NPU     Name                  | Health          | Power(W)     Temp(C)           Hugepages-Usage(page) |
      | Chip    Device                | Bus-Id          | AICore(%)    Memory-Usage(MB)                        |
      +===============================+=================+======================================================+
      | 104     xxx             | OK              | NA           54                0     / 0             |
      | 0       0                     | 0000:00:0D.0    | 0            445  / 5381                             |
      +===============================+=================+======================================================+
      +-------------------------------+-----------------+------------------------------------------------------+
      | NPU     Chip                  | Process id      | Process name             | Process memory(MB)        |
      +===============================+=================+======================================================+
      | No running processes found in NPU 104                                                                  |
      +===============================+=================+======================================================+