更新时间:2024-04-30 GMT+08:00
分享

数据处理

训练前需要对数据集进行预处理,转化为.bin和.idx格式文件,以满足训练要求。LoRA微调训练与增量预训练使用同一个数据集,即都是alpaca_data.json

如果已经在增量预训练时处理过数据,可以直接使用,无需重复处理。如果未处理过数据,请参见数据处理章节先处理数据。

分享:

    相关文档

    相关产品