文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练推理/ 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.909）/ 训练脚本说明/ 各个模型训练前文件替换
更新时间：2024-10-22 GMT+08:00
查看PDF
分享

各个模型训练前文件替换

在训练开始前，因模型权重文件可能与训练框架不匹配或有优化，因此需要针对模型的tokenizer文件进行修改或替换，不同模型的tokenizer文件修改内容如下。

falcon-11B模型

在训练开始前，针对falcon-11B模型中的tokenizer文件，需要替换代码。替换文件{work_dir}/tokenizers/falcon-11B/config.json，具体步骤如下：

复制代码包目录下config.json至falcon-11B的tokenizer目录下，样例命令：

  • 进入到代码目录下{work_dir}/llm_train/LLaMAFactory/ascendcloud_patch/models/falcon2/如：
cd /home/ma-user/ws/llm_train/LLaMAFactory/ascendcloud_patch/models/falcon2/
cp -f config.json {work_dir}/tokenizers/falcon-11B/

glm4-9b模型

在训练开始前，需要修改glm4-9b模型中的tokenizer文件modeling_chatglm.py内容，具体步骤如下：

  • 进入到tokenizer目录下{work_dir}/tokenizers/glm4-9B/，命令如下：
cd /home/ma-user/ws/tokenizers/glm4-9B
  • 修改modeling_chatglm.py文件内容： 
    vim modeling_chatglm.py
# 注释掉以下两行内容
# if attention_mask is not None
      # attention_mask = ~attention_mask

    样例图：

父主题： 训练脚本说明

相关文档