文档首页/
AI开发平台ModelArts/
最佳实践/
LLM大语言模型训练推理/
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）/
场景介绍
更新时间：2024-08-17 GMT+08:00
场景介绍
方案概览
本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的微调方案，包括sft全参和lora 微调。
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
约束限制
- 本文档适配昇腾云ModelArts 6.3.907版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
- 本文档中的模型运行环境是ModelArts Lite DevServer。
- 镜像适配的Cann版本是cann_8.0.rc2。
- 确保容器可以访问公网。
- DevServer驱动版本要求23.0.5
训练支持的模型列表
本方案支持以下模型的训练，如表1所示。
阶段 |
任务 |
说明 |
|---|---|---|
准备工作 |
准备环境 |
本教程案例是基于ModelArts Lite DevServer运行的，需要购买并开通DevServer资源。 |
准备代码 |
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 |
|
准备数据 |
准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 |
|
准备镜像 |
准备训练模型适用的容器镜像。 |
|
微调训练 |
指令监督微调训练 |
介绍如何进行SFT全参微调/lora微调、训练任务、性能查看。 |
