场景介绍
Baichuan2是百川智能推出的 新一代Q开源大语言模型,采用 2.6 万亿 Tokens 的高质量语料训练。在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。包含有 7B、13B 的 Base 和 Chat 版本,并提供了 Chat 版本的 4bits 量化。
本文档以Baichuan2-13B为例，利用训练框架Pytorch_npu+华为自研Ascend Snt9b硬件，为用户提供了开箱即用的预训练和全量微调方案。同时利用昇腾高性能算子库Ascend Transformer Boost（ATB）和适配昇腾平台的大模型推理服务Text Generation Inference（TGI） + 华为自研Ascend Snt9b硬件，为用户提供了开箱即用的推理部署方案，包括推理的性能和精度测试等，为用户提供端到端的大模型解决方案，帮助用户使能大模型业务。
操作流程
阶段 |
任务 |
说明 |
|---|---|---|
准备工作 |
准备环境 |
本教程案例是基于ModelArts Lite DevServer运行的，需要购买并开通DevServer资源。 |
准备代码 |
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 |
|
准备数据 |
准备训练数据，可以用Alpaca数据集，也可以使用自己准备的数据集。 |
|
准备镜像 |
准备训练模型适用的容器镜像。 |
|
预训练 |
预训练 |
介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、断点续训及性能查看。 |
微调训练 |
SFT全参微调 |
介绍如何进行SFT全参微调。 |
LoRA微调训练 |
介绍如何进行LoRA微调训练。 |
|
推理前的权重转换 |
- |
模型训练完成后，可以将训练产生的权重文件用于推理。推理前参考本章节，将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 如果无推理任务或者使用开源Huggingface权重文件进行推理，可以忽略此章节。和本文档配套的推理文档请参考《开源大模型基于DevServer的推理通用指导》。 |
