更新时间:2024-05-16 GMT+08:00
分享

SFT全参微调超参配置

本章节介绍SFT全参微调前的超参配置,可以根据实际需要修改。

SFT全参微调脚本baichuan2.sh,存放在6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2目录下。可以根据实际需要修改超参配置。

微调任务配置,操作同预训练配置类似,不同点为RUN_TYPE类型不同,以及输入输出路径的配置的不同。

表1 SFT全参微调超参配置

参数

参数说明

DATA_PATH

/home/ma-user/ws/processed_for_ma_input/BaiChuan2-13B/data/finetune/alpaca_ft

必填。训练时指定的输入数据路径。一般为数据地址/处理后的数据前缀名,不加文件类型后缀。

请根据实际规划修改。

TOKENIZER_MODEL

/home/ma-user/ws/tokenizers/BaiChuan2-13B/

必填。加载tokenizer时,tokenizer存放地址。

MODEL_TYPE

13B

必填。模型加载类型,默认为13B。

TRAIN_ITERS

2000

非必填。训练迭代周期。根据实际需要修改。

MBS

1

非必填。流水线并行中一个micro batch所处理的样本量。在流水线并行中,为了减少气泡时间,会将一个step的数据切分成多个micro batch。

默认值1。建议值单机1,双机32。

GBS

16

非必填。训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长,建议值单机16,双机32。

TP

8

非必填。张量并行。默认值为8。

PP

1

非必填。默认值为1 流水线并行。建议值单机1,双机2。

RUN_TYPE

sft

必填。表示训练类型。sft表示SFT微调。

MASTER_ADDR

localhost

多机必填。主节点IP地址,多台机器中指定一个节点ip为主节点ip,一般指定第一个节点ip为主节点IP。

NNODES

1

多机必填。节点总数,如为双机,则写2。

NODE_RANK

0

多机必填。在节点序号,当前节点id,一般从0开始。

CKPT_LOAD_DIR

/home/ma-user/ws/processed_for_ma_input/BaiChuan2-13B/converted_weights

从 huggingface 格式转化为 magatron 格式的权重文件。

WORK_DIR

/home/ma-user/ws

容器的工作目录。训练的权重文件保存在此路径下。非必填,默认值为:/home/ma-user/ws

分享:

    相关文档

    相关产品