文档首页>
AI开发平台ModelArts>
最佳实践>
LLM大语言模型>
主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.905）>
训练脚本说明>
训练tokenizer文件说明
更新时间：2024-06-17 GMT+08:00
训练tokenizer文件说明
ChatGLMv3-6B
在训练开始前，针对ChatGLMv3-6B模型中的tokenizer文件，需要修改代码。修改文件chatglm3-6b/tokenization_chatglm.py 。
271行要添加注释，修改后如图1所示。
291至300行要修改，修改后如图2所示。
Qwen系列
在进行HuggingFace权重转换Megatron前，针对Qwen系列模型中的tokenizer 文件，需要修改代码。
修改tokenizer目录下面modeling_qwen.py文件的第38和39行，修改后如图3所示。
父主题： 训练脚本说明
