更新时间:2024-05-08 GMT+08:00

资源池驱动升级

场景介绍

当专属资源池中的节点含有GPU/Ascend资源时,用户基于自己的业务,可能会有自定义GPU/Ascend驱动的需求,ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。

驱动升级有两种升级方式:安全升级、强制升级。

  • 安全升级:不影响正在运行的业务,开始升级后会先将节点进行隔离(不能再下发新的作业),待节点上的存量作业运行完成后再进行升级,因需要等待作业完成,故升级周期可能比较长。
  • 强制升级:忽略资源池中正在运行的作业,直接进行驱动升级,可能会导致运行中作业失败,需谨慎选择。

约束限制

  • 专属资源池状态处于运行中,且专属池中的节点需要含有GPU/Ascend资源。
  • 对于逻辑资源池,需要开启节点绑定后才能进行驱动升级,请提交工单联系华为工程师开启节点绑定。

驱动升级操作

  1. 登录ModelArts管理控制台,在左侧导航栏中选择“专属资源池 > 弹性集群”,默认进入“资源池”页面。
  2. 在资源池列表中,选择需要进行驱动升级的资源池“操作 > 驱动升级”。
  3. “驱动升级”弹窗中,会显示当前专属资源池的驱动类型、节点数量、当前版本、目标版本和升级方式。
    • 目标版本:在目标版本下拉框中,选择一个目标驱动版本。
    • 升级方式:选择“升级方式”,可选择安全升级或强制升级。
    • 开启滚动:点击开启后,支持滚动升级的方式进行驱动升级。当前支持“按节点比例”“按节点数量”两种滚动方式。若选择“按节点比例”,则每批次驱动升级的节点数量为“节点比例*资源池节点总数”,若选择“按节点数量”,则每批次驱动升级的节点数量为设置的节点数量。
    图1 驱动升级
  4. 选择完成后,单击“确定”开始驱动升级。