文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练/ LLM大语言模型训练历史版本文档/ 主流开源大模型基于ModelArts Standard&Lite Server适配AscendFactory PyTorch NPU训练指导（6.5.902）/ 训练服务配置说明/ tokenizer文件修改
更新时间：2025-07-29 GMT+08:00
查看PDF
分享

tokenizer文件修改

在训练开始前根据所选训练框架针对模型的tokenizer文件进行修改，Llama-Factory框架glm4-9b模型的tokenizer文件修改内容如下，您可对tokenizer文件进行编辑。

Llama-Factory

  • glm4-9b模型

    在训练开始前，需要修改glm4-9b模型中的tokenizer文件modeling_chatglm.py内容，具体步骤如下：

    • 进入到tokenizer（权重）目录下，修改modeling_chatglm.py文件内容 
      vim modeling_chatglm.py
# 注释掉以下两行内容
# if attention_mask is not None
      # attention_mask = ~attention_mask

    样例图：

相关文档