训练的权重转换说明

HuggingFace转Megatron参数说明

• --model-type：模型类型。
• --loader：选择对应加载模型脚本的名称。
• --saver：选择模型保存脚本的名称。
• --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。
• --pipeline-model-parallel-size：${PP}流水线并行数，需要与训练脚本中的PP值配置一样。
• --load-dir：加载转换模型权重路径。
• --save-dir : 权重转换完成之后保存路径。
• --tokenizer-model : tokenizer路径。

Megatron转HuggingFace参数说明

如果用户需要自动转换，则在训练作业中，添加变量CONVERT_MG2HF并赋值True。如果用户后续不需要自动转换，则在环境变量中必须删除CONVERT_MG2HF变量。

Megatron转HuggingFace脚本具体参数如下：

• --model-type：模型类型。
• --save-model-type：输出后权重格式。
• --load-dir：训练完成后保存的权重路径。
• --save-dir：需要填入原始HF模型路径，新权重会存于../Llama2-13B/mg2hg下。
• --target-tensor-parallel-size：任务不同调整参数target-tensor-parallel-size，默认为1。
• --target-pipeline-parallel-size ：任务不同调整参数target-pipeline-parallel-size，默认为1。

权重转换完成后，需要将转换后的文件与原始Hugging Face模型中的文件进行对比，查看是否缺少如tokenizers.json、tokenizer_config.json、special_tokens_map.json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。

用户自定义执行权重转换参数修改说明

如果用户要自定义数据处理脚本并且单独执行，同样以 llama2 为例。注意脚本中的python命令分别有Hugging Face 转 Megatron格式，以及Megatron 转 Hugging Face格式，而脚本使用hf2hg、mg2hf参数传递来区分。

• 方法一：用户可打开scripts/llama2/2_convert_mg_hf.sh脚本，将执行的python命令复制下来，修改环境变量的值。在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。
• 方法二：用户在Notebook直接编辑scripts/llama2/2_convert_mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令，随后在Notebook中运行该脚本。

其中环境变量详细介绍如下：