Volcano调度器
插件简介
Volcano 是一个基于 Kubernetes 的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而 Kubernetes 当下缺失的一系列特性。
Volcano提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力,通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户,最大支持1000 Pod/s的调度并发数,轻松应对各种规模的工作负载,大大提高调度效率和资源利用率。
Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能,主要特性包括:
- 丰富的计算框架支持:通过CRD提供了批量计算任务的通用API,通过提供丰富的插件及作业生命周期高级管理,支持TensorFlow,MPI,Spark等计算框架容器化运行在Kubernetes上。
- 高级调度:面向批量计算、高性能计算场景提供丰富的高级调度能力,包括成组调度,优先级抢占、装箱、资源预留、任务拓扑关系等。
- 队列管理:支持分队列调度,提供队列优先级、多级队列等复杂任务调度能力。
目前Volcano项目已经在Github开源,项目开源地址:https://github.com/volcano-sh/volcano。
约束限制
升级插件时,谨慎将高版本升级至低版本。版本降级可能存在任务无法调度风险。
安装插件
Lite Cluster资源开通时,自动安装。
组件说明
容器组件 |
说明 |
资源类型 |
---|---|---|
volcano-scheduler |
负责Pod调度。 |
Deployment |
volcano-controller |
负责CRD资源的同步。 |
Deployment |
volcano-admission |
Webhook server端,负责Pod、Job等资源的校验和更改。 |
Deployment |
版本记录
插件版本 |
更新特性 |
---|---|
1.17.11 |
优化机柜亲和与装箱能力; 昇腾NPU抢占能力优化; 支持Kubernetes v1.32; 支持昇腾高密机型拓扑亲和调度能力。 |
1.16.8 |
|
1.15.8 |
支持昇腾NPU双DIE亲和调度能力 |
1.15.6 |
新增基于应用资源画像的超卖能力 |
1.13.5 |
|
1.12.18 |
|
1.12.1 |
应用弹性扩缩容性能优化 |
1.11.9 |
|
1.10.10 |
修复本地持久卷插件未计算预绑定到节点的pod的问题 |
1.10.7 |
修复本地持久卷插件未计算预绑定到节点的pod的问题 |
1.7.1 |
Volcano支持v1.25集群 |