更新时间:2024-09-14 GMT+08:00
分享

各个模型训练前文件替换

在训练开始前,因模型权重文件可能与训练框架不匹配或有优化,因此需要针对模型的tokenizer文件进行修改或替换,不同模型的tokenizer文件修改内容如下。

falcon-11B模型

在训练开始前,针对falcon-11B模型中的tokenizer文件,需要替换代码。替换文件{work_dir}/tokenizers/falcon-11B/config.json,具体步骤如下:

复制代码包目录下config.json至falcon-11B的tokenizer目录下,样例命令:

  • 进入到代码目录下{work_dir}/llm_train/LLaMAFactory/ascendcloud_patch/models/falcon2/如:
cd /home/ma-user/ws/llm_train/LLaMAFactory/ascendcloud_patch/models/falcon2/
cp -f config.json {work_dir}/tokenizers/falcon-11B/

相关文档