配置Lite Cluster存储
如果没有挂载任何外部存储,此时可用存储空间根据dockerBaseSize的配置来决定,可访问的存储空间比较小,因此建议通过挂载外部存储空间解决存储空间受限问题。
容器中挂载存储有多种方式,不同的场景下推荐的存储方式不一样,详情如表1所示。容器存储的基础知识了解请参见存储基础知识,有助您理解本章节内容。您可查看数据盘空间分配说明,了解节点数据盘空间分配的情况,以便您根据业务实际情况配置数据盘大小。
容器挂载存储的方式 |
使用场景 |
特点 |
挂载操作参考 |
---|---|---|---|
EmptyDir |
适用于训练缓存场景。 |
Kubernetes的临时存储卷,临时卷会遵从Pod的生命周期,与Pod一起创建和删除。 |
|
HostPath |
适用于以下场景:
|
节点存储。多个容器可能会共享这一个存储,会存在写冲突的问题。 Pod删除后,存储不会清理。 |
|
OBS |
适用于训练数据集的存储。 |
对象存储。常用OBS SDK进行样本数据下载。存储量大,但是离节点比较远,直接训练速度会比较慢,通常会先将数据拉取到本地cache,然后再进行训练任务。 |
|
SFS Turbo |
适用于海量小文件业务场景。 |
|
|
SFS |
适用于多读多写场景的持久化存储。 |
适用大容量扩展以及成本敏感型的业务场景,包括媒体处理、内容管理、大数据分析和分析工作负载程序等。 SFS容量型文件系统不适合海量小文件业务。 |
|
EVS |
适用于Notebook场景,开发过程的数据持久化。 |
每个云盘只能在单个节点挂载。 存储大小根据云硬盘的大小而定。 |