场景介绍
方案概览
本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
提示：本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代码、日志等，提供了高可靠性的数据存储解决方案。
约束限制
- 如果要使用自动重启功能，资源规格必须选择八卡规格。
- 适配的CANN版本是cann_8.0.rc3，驱动版本是23.0.6。
- 本案例仅支持在专属资源池上运行，确保专属资源池可以访问公网。
文档更新内容
6.5.901版本相对于6.3.912版本新增如下内容：
- 新增MindSpeed-LLM（原名ModelLink）训练评测，介绍针对ModelLink开发的测试工具benchmark，支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置，用户查看默认yaml文件即可知道最优性能的配置
支持的模型列表
本方案支持以下模型的训练，如表1所示。
|
序号 |
支持模型 |
支持模型参数量 |
权重文件获取地址 |
|---|---|---|---|
|
1 |
llama2 |
llama2-7b |
|
|
2 |
llama2-13b |
||
|
3 |
llama2-70b |
||
|
4 |
llama3 |
llama3-8b |
|
|
5 |
llama3-70b |
||
|
6 |
Qwen |
qwen-7b |
|
|
7 |
qwen-14b |
||
|
8 |
qwen-72b |
||
|
9 |
Qwen1.5 |
qwen1.5-7b |
|
|
10 |
qwen1.5-14b |
||
|
11 |
qwen1.5-32b |
||
|
12 |
qwen1.5-72b |
||
|
13 |
Yi |
yi-6b |
|
|
14 |
yi-34b |
||
|
15 |
ChatGLMv3 |
glm3-6b |
|
|
16 |
Baichuan2 |
baichuan2-13b |
|
|
baichuan2-7b |
https://huggingface.co/baichuan-inc/Baichuan2-7B-Base/tree/main |
||
|
17 |
Qwen2 |
qwen2-0.5b |
|
|
18 |
qwen2-1.5b |
||
|
19 |
qwen2-7b |
||
|
20 |
qwen2-72b |
||
|
21 |
GLMv4 |
glm4-9b |
https://huggingface.co/THUDM/glm-4-9b-chat
说明：
glm4-9b模型必须使用版本4b556ad4d70c38924cb8c120adbf21a0012de6ce |
|
22 |
mistral |
mistral-7b |
|
|
23 |
mixtral |
mixtral-8x7b |
|
|
24 |
llama3.1 |
llama3.1-8b |
https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct |
|
25 |
llama3.1-70b |
https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct |
|
|
26 |
Qwen2.5 |
qwen2.5-0.5b |
|
|
27 |
qwen2.5-7b |
||
|
28 |
qwen2.5-14b |
||
|
29 |
qwen2.5-32b |
||
|
30 |
qwen2.5-72b |
||
|
31 |
llama3.2 |
llama3.2-1b |
|
|
32 |
llama3.2-3b |
操作流程
流程图
|
阶段 |
任务 |
说明 |
|---|---|---|
|
准备工作 |
准备资源 |
本教程案例是基于ModelArts Standard运行的，需要购买并开通ModelArts专属资源池和OBS桶。 |
|
准备数据 |
准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 |
|
|
准备权重 |
准备所需的权重文件。 |
|
|
准备代码 |
准备AscendFactory训练代码。 |
|
|
准备镜像 |
准备训练模型适用的容器镜像。 |
|
|
准备Notebook（可选） |
如果用户有自定义开发的需要，比如查看和编辑代码、数据预处理、权重转换等操作，可通过Notebook环境进行，并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。 |
|
|
训练 |
预训练/微调 |
介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。 |
