文档首页> 云容器引擎 CCE> 最佳实践> 批量计算> CCE部署使用Kubeflow> 使用Kubeflow和Volcano实现典型AI训练任务
更新时间:2023-09-27 GMT+08:00
分享

使用Kubeflow和Volcano实现典型AI训练任务

Kubernetes已经成为云原生应用编排、管理的事实标准, 越来越多的应用选择向Kubernetes迁移。人工智能和机器学习领域天然的包含大量的计算密集型任务,开发者非常愿意基于Kubernetes构建AI平台,充分利用Kubernetes提供的资源管理、应用编排、运维监控能力。

Kubernetes存在的问题

Kubeflow在调度环境使用的是Kubernetes的默认调度器。而Kubernetes默认调度器最初主要是为长期运行的服务设计的,对于AI、大数据等批量和弹性调度方面还有很多的不足。主要存在以下问题:

资源争抢问题

TensorFlow的作业包含Ps和Worker两种不同的角色,这两种角色的Pod要配合起来完成整个作业,如果只是运行一种角色Pod,整个作业是无法正常执行的,而默认调度器对于Pod调度是逐个进行的,对于Kubeflow作业TFJob的Ps和Worker是不感知的。在集群高负载(资源不足)的情况下,会出现多个作业各自分配到部分资源运行一部分Pod,而又无法正执行完成的状况,从而造成资源浪费。以下图为例,集群有4块GPU卡,TFJob1和TFJob2作业各自有4个Worker,TFJob1和TFJob2各自分配到2个GPU。但是TFJob1和TFJob2均需要4块GPU卡才能运行起来。这样TFJob1和TFJob2处于互相等待对方释放资源,这种死锁情况造成了GPU资源的浪费。

亲和调度问题

分布式训练中,Ps和Worker存在很频繁的数据交互,所以Ps和Worker之间的带宽直接影响了训练的效率。 Kubernetes默认调度器并不考虑Ps和Worker的这种逻辑关系,Ps和Worker是被随机调度的。如下图所示,2个TFJob(1个Ps + 2 Worker),使用默认调度器,有可能会出现(a)、(b)、(c)三种情况的任意一种情况,(c)才是最想要的调度结果。因为在(c)中,Ps和Worker可以利用本机网络提供传输效率,缩短训练时间。

Volcano批量调度系统:加速AI计算的利器

Volcano是一款构建于Kubernetes之上的增强型高性能计算任务批量处理系统。作为一个面向高性能计算场景的平台,它弥补了Kubernetes在机器学习、深度学习、HPC、大数据计算等场景下的基本能力缺失,其中包括gang-schedule的调度能力、计算任务队列管理、task-topology和GPU亲和性调度。另外,Volcano在原生Kubernetes能力基础上对计算任务的批量创建及生命周期管理、fair-share、binpack调度等方面做了增强。Volcano充分解决了上文提到的Kubeflow分布式训练面临的问题。

Volcano更多信息请参见:https://github.com/volcano-sh/volcano

Volcano在华为云的应用

Kubeflow和Volcano两个开源项目的结合充分简化和加速了Kubernetes上AI计算进程。当前已经成为越来越多用户的最佳选择,应用于生产环境。Volcano目前已经应用于华为云CCE、CCI产品以及容器批量计算解决方案。未来Volcano会持续迭代演进,优化算法、增强调度能力如智能调度的支持,在推理场景增加GPU Share等特性的支持,进一步提升kubeflow批量训练和推理的效率。

实现典型分布式AI训练任务

下面将展示如何基于Kubeflow和Volcano,并使用MNIST数据集轻松的完成数字图像分类模型的分布式训练。

  1. 登录CCE控制台,单击集群名称进入一个集群。
  2. 在CCE集群上部署Volcano环境。

    单击左侧栏目树中的“插件管理”,单击Volcano插件下方的“安装”,在安装插件页面中选择插件的规格配置,并单击“安装”

  3. 部署Mnist示例。

    1. 下载kubeflow/examples到本地并根据环境选择指南,命令如下:
      yum install git
      git clone https://github.com/kubeflow/examples.git
    2. 安装python3。
      wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tgz
      tar -zxvf Python-3.6.8.tgz
      cd Python-3.6.8 ./configure
      make make install

      安装完成后执行如下命令检查是否安装成功

      python3 -V 
      pip3 -V
    3. 安装jupyter notebook并启动,命令如下:
      pip3 install jupyter notebook
      jupyter notebook --allow-root
    4. Putty设置tunnel,远程连接notebook。
    5. 连接成功后浏览器输入localhost:8000,登录notebook。

    6. 根据jupyter的指引,创建分布式训练作业。通过简单的设置schedulerName字段的值为“volcano”,启用Volcano调度器(以下加粗字体部分):
      kind: TFJob
      metadata:
        name: {train_name}  
      spec:
        schedulerName: volcano
        tfReplicaSpecs:
          Ps:
            replicas: {num_ps}
            template:
              metadata:
                annotations:
                  sidecar.istio.io/inject: "false"
              spec:
                serviceAccount: default-editor
                containers:
                - name: tensorflow
                  command:
                  ...
                  env:
                  ...
                  image: {image}
                  workingDir: /opt
                restartPolicy: OnFailure
          Worker:
            replicas: 1
            template:
              metadata:
                annotations:
                  sidecar.istio.io/inject: "false"
              spec:
                serviceAccount: default-editor
                containers:
                - name: tensorflow
                  command:
                  ...
                  env:
                  ...
                  image: {image}
                  workingDir: /opt
                restartPolicy: OnFailure

  4. 提交作业,开始训练。

    kubectl apply -f mnist.yaml

    等待训练作业完成,通过Kubeflow的UI可以查询训练结果信息。至此就完成了一次简单的分布式训练任务。Kubeflow的借助TFJob简化了作业的配置。Volcano通过简单的增加一行配置就可以让用户启动组调度、Task-topology等功能来解决死锁、亲和性等问题,在大规模分布式训练情况下,可以有效的缩短整体训练时间。

分享:

    相关文档

    相关产品