更新时间:2024-08-21 GMT+08:00
分享

配置SFS Turbo数据自动导出到OBS桶

配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。

  1. SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。
  2. 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。

相关文档