文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练推理/ LLama2系列模型基于DevServer适配PyTorch NPU训练指导（6.3.904）/ SFT全参微调训练/ SFT全参微调数据处理
更新时间：2024-06-24 GMT+08:00
查看PDF
分享

SFT全参微调数据处理

SFT微调（Supervised Fine-Tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。

这里以LLama2-70B为例，对于LLama2-7B和LLama2-13B，操作过程与LLama2-70B相同，只需修改对应参数即可。

下载数据

SFT全参微调涉及的数据下载地址：https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-00000-of-00001-a09b74b3ef9c3b56.parquet

如果在准备数据章节已下载数据集，此处无需重复操作。

SFT全参微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。

数据预处理说明

使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data.py存放在xxx-Ascend/llm_train/AscendSpeed/ModelLink/tools目录中，脚本具体内容如下。xxx-Ascend请根据实际目录替换。

#加载ascendspeed及megatron模型
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
#进入ModelLink目录
cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
python ./tools/preprocess_data.py \
     --input /home/ma-user/ws/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet \
     --tokenizer-name-or-path $TOKENIZER_PATH \
     --output-prefix $DATASET_PATH\
     --tokenizer-type PretrainedFromHF \
     --workers 8 \
     --handler-name GeneralInstructionHandler \
     --log-interval 1000 \
     --append-eod

参数说明：

- input：SFT全参微调数据的存放路径。

- output-prefix：处理后的数据集保存路径+数据集名称前缀（例如：alpaca_ft）。

- tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'， 'BertWordPieceCase'，'GPT2BPETokenizer'， 'PretrainedFromHF']，设置为PretrainedFromHF。

- tokenizer-name-or-path：tokenizer的存放路径。

- handler-name：生成数据集的用途，这里是生成的指令数据集，用于微调。

- workers：数据处理线程数。

-append-eod：用于控制是否在每个输入序列的末尾添加一个特殊的标记。这个标记表示输入序列结束，可以帮助模型更好地理解和处理长序列。

- log-interval：输出处理日志刷新间隔。

输出结果

alpaca_ft_packed_attention_mask_document.bin

alpaca_ft_packed_attention_mask_document.idx

alpaca_ft_packed_input_ids_document.bin

alpaca_ft_packed_input_ids_document.idx

alpaca_ft_packed_labels_document.bin

alpaca_ft_packed_labels_document.idx

数据处理具体操作

SFT全参微调数据处理具体操作步骤如下。

  1. 创建处理后的数据存放目录/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/finetune/
    cd /home/ma-user/ws/  #进入容器工作目录
mkdir -p processed_for_ma_input/Llama2-70B/data/finetune
  2. 进入代码目录“/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/”，在代码目录中执行preprocess_data.py脚本处理数据。
    此处提供一段实际的数据处理代码示例如下。 
    #进入到ModelLink目录下，xxx-Ascend请根据实际目录替换。
cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink/
#加载ascendspeed及megatron模型
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/AscendSpeed
export PYTHONPATH=$PYTHONPATH:/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink
#执行以下命令
python ./tools/preprocess_data.py \
  --input /home/ma-user/ws/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet \
  --tokenizer-name-or-path /home/ma-user/ws/tokenizers/Llama2-70B \
  --output-prefix /home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/finetune/alpaca_ft \
  --workers 8 \
  --log-interval 1000 \
  --tokenizer-type PretrainedFromHF \
  --handler-name GeneralInstructionHandler \
  --append-eod

    数据处理完后，在/home/ma-user/ws/processed_for_ma_input/Llama2-70B/data/finetune/目录下生成转换后的数据文件。

父主题： SFT全参微调训练

相关文档