场景介绍
Llama2(Large Language Model Meta AI)是由Meta AI发布的新一代大语言系列模型,上下文长度由Llama的2048扩展到了4096,可以理解和生成更长的文本。Llama2包含了70亿、130亿和700亿参数的模型,即:Llama2-7B、Llama2-13B、Llama2-70B。
方案概览
本文档利用训练框架Pytorch_npu+华为自研Ascend Snt9b硬件,为用户提供了开箱即用的预训练和全量微调方案。
本文档以Llama2-70B为例,同时适用于Llama2-7B、Llama2-13B。模型运行环境是ModelArts Lite的DevServer。
本方案目前配套的是AscendCloud-3rdLLM系列版本,仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。
操作流程
![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000001881408362.png)
阶段 |
任务 |
说明 |
---|---|---|
准备工作 |
准备环境 |
本教程案例是基于ModelArts Lite DevServer运行的,需要购买并开通DevServer资源。 |
准备代码 |
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 |
|
准备数据 |
准备训练数据,可以用Alpaca数据集,也可以使用自己准备的数据集。 |
|
准备镜像 |
准备训练模型适用的容器镜像。 |
|
预训练 |
预训练 |
介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、断点续训及性能查看。 |
微调训练 |
SFT全参微调 |
介绍如何进行SFT全参微调。 |
LoRA微调训练 |
介绍如何进行LoRA微调训练。 |
|
推理前的权重转换 |
- |
模型训练完成后,可以将训练产生的权重文件用于推理。推理前参考本章节,将训练后生成的多个权重文件合并,并转换成Huggingface格式的权重文件。 如果无推理任务或者使用开源Huggingface权重文件进行推理,可以忽略此章节。和本文档配套的推理文档请参考《开源大模型基于DevServer的推理通用指导》。 |