更新时间:2024-08-17 GMT+08:00
分享

场景介绍

方案概览

本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。

本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。

适配的CANN版本是cann_8.0.rc2,驱动版本是23.0.5。

约束限制

本案例仅支持在专属资源池上运行。

操作流程

图1 操作流程图
表2 操作任务流程说明

阶段

任务

说明

准备工作

准备资源

本教程案例是基于ModelArts Standard运行的,需要购买并开通ModelArts专属资源池和OBS桶。

准备数据

准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。

准备权重

准备所需的权重文件。

准备代码

准备AscendSpeed训练代码。

准备镜像

准备训练模型适用的容器镜像。

准备Notebook

本案例需要创建一个Notebook,以便能够通过它访问SFS Turbo服务。随后,通过Notebook将OBS中的数据上传至SFS Turbo,并对存储在SFS Turbo中的数据执行编辑操作。

预训练

预训练

介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。

微调训练

SFT全参微调

介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。

LoRA微调训练

介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。

相关文档