更新时间:2024-06-07 GMT+08:00
分享

SFT全参微调权重转换

SFT全参微调需将HuggingFace格式权重转换为megatron格式后再进行SFT全参微调。

本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练

HuggingFace权重转换操作

  1. 下载Llama2-70B的预训练权重和词表文件,并上传到/home/ma-user/ws/tokenizers/Llama2-70B目录下。具体下载地址请参见表1。如果已下载,忽略此步骤。
  2. 创建权重转换后的输出目录/home/ma-user/ws/processed_for_ma_input/Llama2-70B/converted_weights/。
    cd /home/ma-user/ws/  #进入/home/ma-user/ws/目录
    mkdir -p processed_for_ma_input/Llama2-70B/converted_weights
  3. 进入代码目录/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink,在代码目录中执行util.py脚本。xxx-Ascend请根据实际目录替换。
    #加载ascendspeed及megatron模型
    export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed
    export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
    #进入到ModelLink目录下
    cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
    # 权重格式转换
    python tools/checkpoint/util.py --model-type GPT \
            --loader llama2_hf \
            --saver megatron \
            --target-tensor-parallel-size 8 \
            --target-pipeline-parallel-size 8 \
            --load-dir /home/ma-user/ws/tokenizers/Llama2-70B \
            --save-dir /home/ma-user/ws/processed_for_ma_input/Llama2-70B/converted_weights \
            --tokenizer-model /home/ma-user/ws/tokenizers/Llama2-70B/tokenizer.model 

    参数说明如下:

    • --model-type:模型类型。
    • --loader:权重转换要加载检查点的模型名称。
    • --tensor-model-parallel-size:张量并行数,需要与训练脚本中的TP值配置一样。
    • --pipeline-model-parallel-size:流水线并行数,需要与训练脚本中的PP值配置一样。
    • --saver:检查模型保存名称。
    • --load-dir:加载转换模型权重路径。
    • --save-dir : 权重转换完成之后保存路径。
    • --tokenizer-model : tokenizer路径。
  4. 权重转换完成后,在/home/ma-user/ws/processed_for_ma_input/Llama2-70B/converted_weights目录下查看转换后的权重文件。
    图1 转换后的权重文件
分享:

    相关文档

    相关产品