更新时间:2024-04-28 GMT+08:00
数据处理
训练前需要对数据集进行预处理,转化为.bin和.idx格式文件,以满足训练要求。LoRA微调训练与SFT全参微调使用同一个数据集,即都是alpaca_data.json。
如果已经在SFT全参微调时处理过数据,可以直接使用,无需重复处理。如果未处理过数据,请参见数据处理章节先处理数据。
父主题: LoRA微调训练