文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练推理/ 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）/ eagle 投机小模型训练
更新时间：2024-12-17 GMT+08:00
查看PDF
分享

eagle 投机小模型训练

本章节提供eagle小模型自行训练的能力，客户可通过本章节，使用自己的数据进行训练eagle小模型，并使用自行训练的小模型进行eagle推理。

步骤一：安装Eagle

Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/spec_decode/EAGLE目录下。

在目录下执行如下命令，即可安装 EAGLE。

bash  build.sh

步骤二：非sharegpt格式数据集转换（可选）

如果数据集json文件不是sharegpt格式，而是常见的

{

"prefix": "AAA"

"input": "BBB",

"output": "CCC"

}

格式，则需要执行convert_to_sharegpt.py 文件将数据集转换为share gpt格式。

python convert_to_sharegpt.py \
 --input_file_path data_test.json  \
 --out_file_name ./data_for_sharegpt.json \
 --prefix_name instruction \
 --input_name input  \
 --output_name output \
 --code_type  utf-8

其中：

input_file_path：预训练json文件地址。

out_file_name：输出的sharegpt格式文件地址。

prefix_name：预训练json文件的前缀 字段名称 （可设置为None，此时预训练数据集只有 input output 两段）输入前缀，（例如：您是一个xxx专家,您需要回答下面问题）

input_name：预训练json文件的指令输入 字段名称（例如：请问苹果是什么颜色）

output_name output：预训练json文件的output字段名称，例如：苹果是红色的。

code_type：预训练json文件编码 默认utf-8

当转换为share gpt格式时，prefix和 input会拼接成一段文字，作为human字段，提出问题，而output字段会作为gpt字段，做出回答。

步骤三：sharegpt格式数据生成为训练data数据集

若使用开源数据集，推荐使用原论文代码仓数据集，下载地址：https://huggingface.co/datasets/Aeala/ShareGPT_Vicuna_unfiltered/blob/main/ShareGPT_V4.3_unfiltered_cleaned_split.json

否则使用第二步生成的开源数据集。

python allocation.py \
--outdir outdir0/sharegpt_0_99_mufp16 \
--end_num 100 \
--used_npus "0,1,2,3,4,5,6,7" \
--model_type llama \
--model_name ./llama-7B  \
--data_path data_for_sharegpt.json \
--seed 42 \
--max_length 2048 \
--dtype bfloat16

其中

outdir：生成的训练data 地址

end_num：生成的data总条数

used_npus：使用哪些NPU

model_type：使用模型类型 目前支持 qwen2 llama1 llama2 及 llama3，其中llama1、2及chat都填写llama

model_name：模型地址

data_path：预训练数据集地址 即一中生成的文件地址

seed：生成训练data所使用的seed（此处42为开源训练设定参数）

max_length：模型的max_length

dtype：为模型dtype 默认为bfloat16

步骤四：执行训练

安装完成后，执行：

accelerate launch -m --mixed_precision=bf16 eagle.train.main \
--tmpdir [path of data] \
--cpdir [path of checkpoints] \
--configpath [path of config file] \
--basepath  [path of base_model]
--bs [batch size]

tmpdir：即为步骤三中的outdir，训练data地址

cpdir：为训练生成权重的地址

configpath：为模型config文件的地址

basepath：为大模型权重地址

bs：为batch大小

其中，要获取模型config文件， 首先到https://github.com/SafeAILab/EAGLE/页找到对应eagle模型地址。

图1 EAGLE Weights

以llama2-chat-7B为例，单击进入后 ，如下图所示config文件，即为对应模型的eagle config文件。

步骤五：训练生成权重转换成可以支持vLLM推理的格式

将训练完成后的权重文件（.bin文件或. safetensors文件），移动到下载好的开源权重目录下（即步骤4中，config文件所在目录）。

然后在llm_tools/spec_decode/EAGLE文件夹，执行 
python convert_eagle_ckpt_to_vllm_compatible.py --base-path 大模型权重地址 --draft-path 小模型权重地址 --base-weight-name 大模型包含lm_head的权重文件名 --draft-weight-name 小模型权重文件名

--base-path：为大模型权重地址，例如 ./llama2-7b-chat

--draft-path：小模型权重地址 即步骤四中config文件所在目录，例如 ./eagle_llama2-7b-chat

--base-weight-name：为大模型包含lm_head的权重文件名，可以在 base-path 目录下的 model.safetensors.index.json 文件获取，例如llama2-7b-chat 的权重名为pytorch_model-00001-of-00002.bin

--draft-weight-name 为小模型权重文件名，即刚才移动的.bin文件或者.safetensors 文件

相关文档