更新时间:2026-03-14 GMT+08:00
分享

配置云资源

本文档中涉及到的资源如下,请提前准备。

资源要求

表1 待准备资源

准备项

是否可选

说明

操作指导

ModelArts算力资源

必选

推荐使用ModelArts专属资源池中的Snt9b资源。

专属资源池需要提前创建,同时要求专属资源池打通VPC可以访问外网。

具体请参考创建ModelArts专属资源池

OBS桶

必选

由于ModelArts创建训练作业时,需要从OBS桶中获取模型权重文件、训练数据、训练脚本,并将训练产物输出至OBS桶中,因此创建OBS桶为必选项。

请参考准备OBS桶

准备OBS桶

由于ModelArts创建训练作业时,需要从OBS桶中获取模型权重文件、训练数据、训练脚本,并将训练产物输出至OBS桶中,因此创建OBS桶为必选项。具体创建操作请参考创建OBS桶

OBS桶内文件夹示意如下,此处规划的目录需要和训练脚本中涉及的各类文件路径保持一致。创建训练作业并将OBS桶添加至代码目录后,文件夹中所有文件将被拷贝至训练容器内;若文件体积过大,会造成拷贝速率下降,建议在该目录中仅保留相关文件,避免存放无关内容。如针对每个训练任务,{models}文件夹内只放本次用到的模型。
|——{OBS桶}                                         # OBS桶名,可自定义名称,例如:veomni
   |──{veomni-a2}                               # OBS文件夹,可自定义名称,例如:veomni-a2
       |──{models}                                 # OBS文件夹,存放各类模型,可自定义名称,例如:models
           |──{Qwen3-8B}                          # OBS文件夹,用于存放模型,可自定义名称,例如:Qwen3-8B
           |──{Qwen3-30B-A3B}                      # OBS文件夹,用于存放模型,可自定义名称,例如:Qwen3-30B-A3B
           |──{Qwen3-32B}                      # OBS文件夹,用于存放模型,可自定义名称,例如:Qwen3-32B
           |──{Qwen3-VL-8B}                      # OBS文件夹,用于存放模型,可自定义名称,例如:Qwen3-VL-8B
       |──{input}                                 # OBS文件夹,存放训练脚本,可自定义名称,例如:input
            |──train.sh                          # OBS文件夹,存放训练脚本
            |──train_moe.sh                          # OBS文件夹,存放训练脚本
            |──train_vl.sh                          # OBS文件夹,存放训练脚本
       |──{dataset}/                               # OBS文件夹,用于存放各类数据集,可自定义名称,例如:dataset
            |──{tulu-first2000.parquet}/               # OBS文件夹,存放训练数据集tulu-first2000.parquet
            |──{sharegpt4v_instruct_gpt4-vision_cap100k_coco.json}/     # OBS文件夹,用于存放训练数据集sharegpt4v_instruct_gpt4-vision_cap100k_coco.json
            |──coco                                # OBS文件夹,用于存放 COCO2017 数据集
                 |──train2017
       |──{output}                                # OBS文件夹,用于存放最终训练输出 ,可自定义名称

用户可通过OBS Browser+obsutil等工具访问和管理OBS桶,上传下载文件和数据。

相关文档