更新时间:2022-05-24 GMT+08:00
分享

应用GPU资源调度方式

  1. IEF支持多应用共享的方式使用GPU显卡。
  2. IEF支持单个应用使用多个GPU显卡。
  3. GPU资源调度基于GPU显存容量,调度采用GPU显存预分配方式而非实时GPU显存资源。
  4. 当应用需要使用的GPU显存资源小于单个GPU卡显存时,支持以共享方式进行资源调度,对现有GPU卡剩余资源从小到大进行排序,从中找到第一个满足资源需求的显卡进行部署。例如有三个显卡a、b、c,每个显卡显存资源是8G,剩余显存资源是2G、4G、6G,有应用A 需要显存3G,则会调度到b显卡上。
  5. 当应用需要使用的GPU显存资源大于单个GPU卡显存时,支持以多显卡方式进行资源调度,调度时会占用完整显卡资源(剩余部分不能分给其他容器)。例如有三个显卡a、b、c,每个显卡显存资源是8G,剩余显存资源是8G、8G、6G,有应用B 需要显存14G,则会调度到a和b显卡上,并且其他应用无法调度到a和b显卡上。

相关文档