文档首页/ 华为云UCS/ 用户指南/ UCS集群/ 本地集群/ 管理本地集群/ GPU虚拟化/ 创建GPU虚拟化应用
更新时间：2024-06-17 GMT+08:00
查看PDF
分享

创建GPU虚拟化应用

本文介绍如何使用GPU虚拟化能力实现算力和显存隔离，高效利用GPU设备资源。

前提条件

约束与限制

  • init容器不支持进行GPU虚拟化。
  • 对于单张GPU卡：
    • 最多虚拟化为20个GPU虚拟设备。
    • 最多调度20个使用隔离能力的Pod。
    • 仅支持调度相同隔离模式（GPU虚拟化支持显存隔离、显存与算力隔离两种隔离模式。）的工作负载。
  • 对于同一工作负载中的不同容器：
    • 仅支持配置单一显卡型号，不支持混合配置两种及以上GPU显卡型号。
    • 仅支持配置一致GPU使用模式，不支持混合配置虚拟化和非虚拟化模式。
  • 使用GPU虚拟化后，该GPU节点不再支持调度使用共享GPU资源的工作负载。

通过控制台创建GPU虚拟化应用

  1. 登录UCS On Premises集群控制台。
  2. 单击集群名称进入集群，在左侧选择“工作负载”，在右上角单击“创建负载”。
  3. 配置工作负载信息。在“容器配置>基本信息”中设置GPU配额：

    显存：显存值单位为Mi，需为正整数，若配置的显存超过单张GPU卡的显存，将会出现无法调度状况。

    算力：算力值单位为%，需为5的倍数，且最大不超过100。

    图1 配置工作负载信息

  4. 配置其余信息，完成后单击“创建”。
  5. 工作负载创建成功后，您可以尝试验证GPU虚拟化的隔离能力。

    • 登录容器查看容器被分配显存总量 
      kubectl exec -it gpu-app -- nvidia-smi
      预期输出： 
      Wed Apr 12 07:54:59 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.141.03   Driver Version: 470.141.03   CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla V100-SXM2...  Off  | 00000000:21:01.0 Off |                    0 |
| N/A   27C    P0    37W / 300W |   4792MiB /  5000MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+

      预期输出表明，该容器被分配显存总量为5000 MiB，实际使用了4792MiB。

    • 查看所在节点的GPU显存隔离情况（在节点上执行）。 
      export PATH=$PATH:/usr/local/nvidia/bin;nvidia-smi

      预期输出：

      Wed Apr 12 09:31:10 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.141.03   Driver Version: 470.141.03   CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla V100-SXM2...  Off  | 00000000:21:01.0 Off |                    0 |
| N/A   27C    P0    37W / 300W |   4837MiB / 16160MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A    760445      C   python                           4835MiB |
+-----------------------------------------------------------------------------+

      预期输出表明，GPU节点上的显存总量为16160 MiB，其中示例Pod使用了4837MiB。

通过kubectl命令行创建GPU虚拟化应用

  1. 登录集群master节点，使用kubectl连接集群。
  2. 创建使用GPU虚拟化的应用。创建gpu-app.yaml文件，内容如下：

    当前支持隔离显存或同时隔离显存与算力，暂不支持设置为仅隔离算力，即不支持单独设置volcano.sh/gpu-core.percentage。

    • 仅隔离显存： 
      apiVersion: apps/v1
 kind: Deployment
 metadata:
   name: gpu-app
   labels:
     app: gpu-app
 spec:
   replicas: 1
   selector:
     matchLabels:
       app: gpu-app
   template:
      metadata:
       labels:
         app: gpu-app
     spec:
       containers:
       - name: container-1
         image: <your_image_address>     # 请替换为您的镜像地址
         resources:
           limits:
             volcano.sh/gpu-mem: 5000    # 该Pod分配的显存大小
       imagePullSecrets:
         - name: default-secret
    • 同时隔离显存与算力： 
      apiVersion: apps/v1
 kind: Deployment
 metadata:
   name: gpu-app
   labels:
     app: gpu-app
 spec:
   replicas: 1
   selector:
     matchLabels:
       app: gpu-app
   template:
      metadata:
       labels:
         app: gpu-app
     spec:
       containers:
       - name: container-1
         image: <your_image_address>     # 请替换为您的镜像地址
         resources:
           limits:
             volcano.sh/gpu-mem: 5000    # 该Pod分配的显存大小
             volcano.sh/gpu-core.percentage: 25    # 该Pod分配的算力大小
       imagePullSecrets:
         - name: default-secret
      表1 关键参数说明

      参数

      是否必选

      描述

      volcano.sh/gpu-mem

      否

      显存值单位为MiB，需为正整数，若配置的显存超过单张GPU卡的显存，将会出现无法调度状况。

      volcano.sh/gpu-core.percentage

      否

      算力值单位为%，需为5的倍数，且最大不超过100。

  3. 执行以下命令，创建应用。 

    kubectl apply -f gpu-app.yaml

  4. 验证GPU虚拟化的隔离能力。

    • 登录容器查看容器被分配显存总量。 
      kubectl exec -it gpu-app -- nvidia-smi

      预期输出：

      Wed Apr 12 07:54:59 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.141.03   Driver Version: 470.141.03   CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla V100-SXM2...  Off  | 00000000:21:01.0 Off |                    0 |
| N/A   27C    P0    37W / 300W |   4792MiB /  5000MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+

      预期输出表明，该容器被分配显存总量为5000 MiB，实际使用了4792MiB。

    • 查看所在节点的GPU显存隔离情况（在节点上执行）。 
      /usr/local/nvidia/bin/nvidia-smi

      预期输出：

      Wed Apr 12 09:31:10 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.141.03   Driver Version: 470.141.03   CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla V100-SXM2...  Off  | 00000000:21:01.0 Off |                    0 |
| N/A   27C    P0    37W / 300W |   4837MiB / 16160MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A    760445      C   python                           4835MiB |
+-----------------------------------------------------------------------------+

      预期输出表明，GPU节点上的显存总量为16160 MiB，其中示例Pod使用了4837MiB。

父主题： GPU虚拟化