ModelArts训练中不同规格资源“/cache”目录的大小是多少?
在创建训练作业时可以根据训练作业的大小选择资源。
ModelArts会挂载硬盘至“/cache”目录,用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源,不同资源规格有不同的容量。
- k8s磁盘的驱逐策略是90%,所以可以正常使用的磁盘大小应该是“cache目录容量 x 0.9”。
- 裸机的本地磁盘为物理磁盘,无法扩容,如果存储的数据量大,建议使用SFS存放数据,SFS支持扩容。
- GP规格的资源
表1 GP cache目录容量 GP规格
cache目录容量
GP Vnt1
800GiB
8*GP Vnt1
3TiB
GP Pnt1
800GiB
- CPU规格的资源
表2 CPU cache目录容量 CPU规格
cache目录容量
2 核 8GiB
50GiB
8 核 32GiB
50GiB
- Ascend规格的资源
表3 Ascend cache目录容量 Ascend规格
磁盘类型
cache目录容量
Ascend Snt9b
本地磁盘
由3个7TiB数据盘聚合而成,共计21TiD。
Ascend Snt9b23
云硬盘(EVS)
cache容量根据用户购买数据盘大小确认,最多可购买5块数据盘。容器内/cache映射到数据盘划分的kubernetes盘上。
例如购买数据盘大小500GiB,划分docker盘占用10%,kubernetes盘占用90%,则/cache盘大小为500 * 90% = 450GiB。