更新时间:2024-04-30 GMT+08:00
数据处理
训练前需要对数据集进行预处理,转化为.bin和.idx格式文件,以满足训练要求。LoRA微调训练与增量预训练使用同一个数据集,即都是alpaca_data.json。
如果已经在增量预训练时处理过数据,可以直接使用,无需重复处理。如果未处理过数据,请参见数据处理章节先处理数据。
父主题: LoRA微调训练