推理前的权重合并转换
模型训练完成后,训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。
在进行模型评测或推理任务前,需要将训练后生成的多个权重文件合并,并转换成Huggingface格式的权重文件。
权重文件的合并转换操作都要求在训练的环境中进行,为下一步推理做准备。
- 如果需要使用本文档中训练后的权重文件进行推理,请参考此章节合并训练权重文件并转换为Huggingface格式。
- 如果无推理任务或者使用开源Huggingface权重文件推理,都可以忽略此章节。
下一步的推理任务请参考文档《开源大模型基于DevServer的推理通用指导》。
将多个权重文件合并为一个文件并转换格式
任意并行切分策略的Megatron权重 格式转化为 HuggingFace权重(该场景一般用于将训练好的megatron模型:预训练、lora、sft 重新转回HuggingFace格式)为下一步推理使用准备,无推理任务忽略此章节。一般训练都是多卡分布式训练权重结果文件为多个且文件为Megatron格式,因此需要合并多个文件转换为huggingface格式。
如果是多机训练,训练产生的权重文件分布在多个节点,转换前需将多机权重目录(iter_xxxxxxx)下mp_rank_xx_xxx文件夹整合到一起后进行转换,合并后结果如图所示。单机多卡场景下,权重文件已经在同一个节点的目录下,不需要执行此操作。
该脚本的执行需要在/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink目录下执行。具体执行步骤如下:
以lora微调训练权重结果Megatron权重 格式转化为 HuggingFace权重为例
#进入ModelLink目录下: cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink # 执行权重格式转换脚本:2_convert_mg_hf.sh LOAD_DIR=/home/ma-user/ws/saved_dir_for_ma_output/GLM3-6B/lora SAVE_DIR=/home/ma-user/ws/tokenizers/GLM3-6B CONVERT_HFTOMG=False sh ../scripts/glm3/2_convert_mg_hf.sh
其脚本2_convert_mg_hf.sh参数说明:
- save-model-type:输出后权重格式如(save_huggingface_qwen、save_huggingface_llama等)。
- megatron-path:megatron模型路径,在代码xxx-Ascend/llm_train/AscendSpeed/ModelLink目录下
- load-dir:${LOAD_DIR} 训练完成后保存的权重路径.如lora微调、sft、预训练生成的权重结果。
- save-dir:${SAVE_DIR} 需要填入原始HF模型路径,新权重会存于../GLM3-6B/mg2hg下。
- target-tensor-parallel-size:任务不同调整参数target-tensor-parallel-size。默认为1
- target-pipeline-parallel-size :任务不同调整参数target-pipeline-parallel-size。默认为1
- add-qkv-bias:为像qkv这样的键和值添加偏差。
- loader:权重转换时要加载检查点的模型名称。
- saver:权重转换时加载检查模型保存名称。
- CONVERT_HFtoMG:权重转换类型是否为HuggingFace权重转换为Megatron格式,True :HuggingFace权重转换为Megatron,反之False为Megatron格式转换HuggingFace格式
# 转换后的权重文件结构
├── config.json ├── configuration_chatglm.py ├── generation_config.json ├── model-00001-of-00003.safetensors ├── model-00002-of-00003.safetensors ├── model-00003-of-00003.safetensors ├── model.safetensors.index.json ├── modeling_chatglm.py ├── quantization.py