准备资源
详细步骤
- 购买专属资源池：具体步骤请参考创建资源池。
- 创建OBS桶：请参考创建OBS桶，例如桶名：standard-llama2-13b。由于ModelArts创建训练作业时，需要将系统作业日志输出至OBS桶中，因此创建OBS桶为必选项。用户可通过OBS Browser+、obsutil等工具访问和管理OBS桶，将代码、模型文件、数据集等数据上传或下载进行备份
- 创建ECS服务器：方便上传镜像
弹性云服务器（Elastic Cloud Server，ECS）是由CPU、内存、操作系统、云硬盘组成的一种可随时获取、弹性可扩展的云服务器。具体过程请参考ECS文档购买一个Linux弹性云服务器。创建完成后，单击“远程登录”，可直接访问ECS服务器。
CPU架构必须选择鲲鹏计算；镜像推荐选择EulerOS；ECS服务器确保可以访问公网，用于获取镜像和构建镜像。
图1 购买ECS
- （可选资源）选择SFS Turbo存储则还需执行以下步骤；
- 创建VPC：
虚拟私有云（Virtual Private Cloud）可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。
- 创建SFS Turbo：
SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象，用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联，然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动，可以将最新的训练数据导入到SFS Turbo，然后在训练作业中挂载SFS Turbo到容器对应ckpt目录，实现分布式读取训练数据文件。
创建SFS Turbo文件系统前提条件：
- 创建SFS Turbo文件系统前，确认已有可用的VPC。
- 需要由IAM用户设置SFS Turbo FullAccess权限，用于授权ModelArts云服务使用SFS Turbo。
详细操作指导请参考创建SFS Turbo文件系统。
图2 创建SFS Turbo
其中，文件系统类型推荐选用500MB/s/TiB或1000MB/s/TiB，应用于AI大模型场景中。存储容量推荐使用 6.0~10.8TB ，以存储更多模型文件。
图3 SFS类型和容量选择
- ECS服务器挂载SFS Turbo：
- 用户可通过CloudShell或SSH等方式登录并访问ECS服务器，进入ECS终端界面。创建/mnt/sfs_turbo目录作为挂载目录 ，命令为：mkdir /mnt/sfs_turbo。
- 单击用户创建的SFS Turbo，查看基本信息图4，找到并复制挂载命令。
- 在ECS的终端中粘贴SFS Turbo挂载命令，完成挂载。
- 挂载完成后，可通过后续的步骤获取到代码和数据，并上传至/mnt/sfs_turbo路径下。
- ModelArts网络关联SFS Turbo
OBS-SFS Turbo联动方案涉及VPC、SFS Turbo HPC型文件系统、OBS对象存储服务和ModelArts资源池。如果要使用训练作业挂载SFS Turbo功能，则需要配置ModelArts和SFS Turbo间网络直通，以及配置ModelArts网络关联SFS Turbo。
如果ModelArts网络关联SFS Turbo失败，则需要授权ModelArts云服务使用SFS Turbo，具体操作请参见配置ModelArts和SFS Turbo间网络直通。
图5 ModelArts网络关联SFS Turbo
SFS Turbo模式下执行流程
- 创建VPC：
