文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练/ LLM大语言模型训练历史版本文档/ 主流开源大模型基于ModelArts Standard&Lite Server适配AscendFactory PyTorch NPU训练指导（6.5.905）/ 训练服务配置说明/ tokenizer文件修改
更新时间：2025-07-29 GMT+08:00
查看PDF
分享

tokenizer文件修改

在训练开始前根据所选训练框架针对模型的tokenizer文件进行修改，Llama-Factory框架glm4-9b模型的tokenizer文件修改内容如下，您可对tokenizer文件进行编辑。

Llama-Factory

  • glm4-9b模型

    在训练开始前，需要修改glm4-9b模型中的tokenizer文件modeling_chatglm.py内容，具体步骤如下：

    • 进入到tokenizer（权重）目录下，修改modeling_chatglm.py文件内容 
      vim modeling_chatglm.py
# 注释掉以下两行内容
# if attention_mask is not None
      # attention_mask = ~attention_mask

    样例图：

  • InternVL2_5系列模型

    InternVL2_5系列模型均未在Transformers仓注册，需提前手动打patch，详细步骤如下：

    • InternVL2_5-8B: 
      # git clone 方式下载模型文件，如果已下载忽略此git clone步骤
git clone https://huggingface.co/OpenGVLab/InternVL2_5-8B
# 进入权重目录下打patch文件，${work_dir}为工作目录根据实际修改
cd InternVL2_5-8B && git apply ${work_dir}/llm_train/AscendFactory/third-party/internvl25-8b.patch
    • InternVL2_5-38B: 
      # git clone 方式下载模型文件，如果已下载忽略此git clone步骤
git clone https://huggingface.co/OpenGVLab/nternVL2_5-38B
# 进入权重目录下打patch文件，${work_dir}为工作目录根据实际修改
cd InternVL2_5-38B && git apply ${work_dir}/llm_train/AscendFactory/third-party/internvl25-38b.patch
    • InternVL2_5-78B: 
      # git clone 方式下载模型文件，如果已下载忽略此git clone步骤
git clone https://huggingface.co/OpenGVLab/InternVL2_5-78B
# 进入权重目录下打patch文件，${work_dir}为工作目录根据实际修改
cd InternVL2_5-78B && git apply ${work_dir}/llm_train/AscendFactory/third-party/internvl25-8b.patch

相关文档