文档首页/
AI开发平台ModelArts/
最佳实践/
LLM大语言模型训练推理/
主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.905）/
训练脚本说明/
训练tokenizer文件说明
更新时间：2024-08-17 GMT+08:00
训练tokenizer文件说明
在训练开始前，需要针对模型的tokenizer文件进行修改，不同模型的tokenizer文件修改内容如下，您可在创建的Notebook中对tokenizer文件进行编辑。
ChatGLMv3-6B
在训练开始前，针对ChatGLMv3-6B模型中的tokenizer文件，需要修改代码。修改文件chatglm3-6b/tokenization_chatglm.py 。
271行要添加注释，修改后如图1所示。
291至300行要修改，修改后如图2所示。
Qwen系列
在进行HuggingFace权重转换Megatron前，针对Qwen系列模型中的tokenizer 文件，需要修改代码。
修改tokenizer目录下面modeling_qwen.py文件的第38和39行，修改后如图3所示。
父主题： 训练脚本说明
