准备模型权重与训练数据

本文档以Qwen3系列模型为例介绍训练过程，表1 支持的大语言模型列表和权重获取地址中介绍了信息xx系列模型的权重获取地址。

表1 支持的大语言模型列表和权重获取地址
模型系列	训练模型	训练场景	训练框架	开源权重文件获取地址
Qwen3	Qwen3-8B	RLHF	AReaL	https://huggingface.co/Qwen/Qwen3-8B
Qwen3	Qwen3-32B	RLHF	AReal	https://huggingface.co/Qwen/Qwen3-32B

访问权重文件下载网站Huggingface时，需要配置代理，请在互联网查询解决方案。

请将下载好的模型权重文件上传至OBS桶中。基于OBS规划，OBS桶中文件存放目录示例如下：

obs://<bucket_name>/areal/models/Qwen3-8B

模型训练使用gsm8k数据，无需预处理

下载开源数据集到本地，数据集所在目录名需要包含gsm8k，以gsm8k为例。
数据集链接：https://huggingface.co/datasets/openai/gsm8k
将数据集上传到obs://<bucket_name>/areal/dataset下。
```
obs://<bucket_name>/areal/dataset/gsm8k
```

父主题： 开源大模型基于ModelArts适配Areal框架训练指导