场景介绍

方案概览

本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。

本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。

提示：本文档适用于OBS+SFS Turbo的数据存储方案，不适用于仅OBS存储方案。通过OBS对象存储服务（Object Storage Service）与SFS Turbo文件系统联动，可以实现灵活数据管理、高性能读取等。

约束限制

• 适配的CANN版本是cann_8.0.rc3，驱动版本是23.0.6。
• 本案例仅支持在专属资源池上运行，确保专属资源池可以访问公网。

文档更新内容

6.3.912版本相对于6.3.911版本新增如下内容：

1. 代码结构发生变化，统一了modellink和llama-factory的启动方式。
2. 继承911版本启动方式以外增加新的启动方式：

   ascendfactory-cli train xx.yaml model-name exp_name

3. 相对于6.3.911版本仅是使用run_type来指定训练的类型，只能区分预训练、全参微调和lora微调但实际上预训练和sft是训练的不同阶段，全参、lora是训练参数设置方式。为了更加明确地区分不同策略，以及和llama-factory对齐，6.3.912版本调整以下参数：
   • 新增STAGE，表示训练的阶段，可以选择的参数包括: {pt，sft}。
   • 新增FINETUNING_TYPE，表示微调的策略，可以选择的参数包括：{full，lora}
   • 删除RUN_TYPE

   所以当前的组合情况为：

   项目	full	lora
   pt（预训练）	√	√
   sft（指令微调）	√	√

支持的模型列表

本方案支持以下模型的训练，如表1所示。

操作流程

图1 操作原理图