更新时间：2026-02-09 GMT+08:00
方案概述
场景描述
本文档介绍了在ModelArts上基于AReaL强化学习框架，对业界主流的开源三方大模型进行强化学习训练的详细过程。训练使用的算力资源是Snt9b。
AReaL框架介绍
AReaL 是一个开源的完全异步强化学习训练系统，用于训练大型推理和智能体模型。基于开源项目 ReaLHF，我们完全遵循开源原则，提供复现我们成果所需的训练细节、数据和基础设施，同时公开模型本身。AReaL 的目标是帮助每个人轻松且经济地构建自己的 AI 智能体。
支持的模型列表
| 模型 | 训练场景 | 训练框架 | Megatron | PyTorch FSDP | 训练所需最小卡数 |
|---|---|---|---|---|---|
| Qwen3-8b | 强化学习 | AReaL | x | √ | Snt9b2 16卡 |
| Qwen3-32b | 强化学习 | AReaL | x | √ | Snt9b2 24卡 |
约束限制
- 本方案适用西南-贵阳一区域，专属资源池、OBS、ModelArts训练作业都要求在西南-贵阳一创建。
- 训练使用的算力资源是Snt9b2。
训练待准备资源和文件列表
| 序号 | 准备项 | 是否必选 | 说明 |
|---|---|---|---|
| 1 | ModelArts算力资源 | 是 | 推荐使用ModelArts专属资源池中的Snt9b资源，专属资源池需要提前创建。 |
| 2 | OBS桶 | 是 | 由于ModelArts创建训练作业时，需要从OBS桶中获取模型权重文件、训练数据、训练脚本，并将训练产物输出至OBS桶中，因此创建OBS桶为必选项。 |
| 3 | 模型权重文件 | 是 | 训练所需模型文件，需要用户提前准备，本文档提供了下载地址。 |
| 4 | 训练数据集 | 是 | 训练所需数据集，需要用户提前准备，本文档提供了下载地址。 |
| 5 | 训练相关脚本 | 是 | 训练作业启动脚本，需要用户提前准备，本文档中提供了脚本样例，可以直接使用。 |
| 6 | 训练环境镜像 | 否 | 训练镜像已经预置在训练平台中，无需用户准备，在创建训练作业时直接选择即可。 该镜像中包含了训练所需环境必备软件，例如：Cann包、驱动、PyTorch、训练框架代码包等。 |
