预训练 预训练数据处理 预训练任务 断点续训练 查看日志和性能 父主题： GLM3-6B（PyTorch）基于DevServer训练指导

查看更多 →

预训练 预训练数据处理 预训练任务 断点续训练 查看日志和性能 父主题： LLama2系列（PyTorch）基于DevServer训练指导

查看更多 →

预训练 预训练数据处理 预训练超参配置 预训练任务 查看日志和性能 父主题： LLama2-13B（PyTorch）基于Standard训练推理指导

查看更多 →

预训练 预训练数据处理 预训练超参配置 预训练任务 断点续训练 查看日志和性能 父主题： Baichuan2-13B（PyTorch）基于DevServer训练指导

查看更多 →

预训练 预训练数据处理 预训练任务 断点续训练 查看日志和性能 父主题： Qwen系列（PyTorch）基于DevServer训练指导

查看更多 →

增量预训练 数据处理 增量预训练权重转换 增量预训练超参配置 增量预训练任务 父主题： 微调训练

查看更多 →

预训练任务 配置预训练脚本llama2.sh中的超参，并执行预训练任务。 这里以Llama2-70B 8机64卡训练为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Step1 配置预训练超参 预训练脚本llama2.

查看更多 →

预训练任务 配置预训练脚本qwen.sh中的超参，并执行预训练任务。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 预训练超参配置 预训练脚本qwen.sh，存放在“xxx-Ascend/llm_trai

查看更多 →

预训练任务 修改预训练脚本pretrain_llama2_13b.sh，并执行预训练任务。 Step1 修改预训练脚本 在VS Code中修改“\6.3.902-Ascend\llm_train\AscendSpeed\scripts\llama2\pretrain-llama2-13b

查看更多 →

预训练任务 配置预训练脚本glm3_base.sh中的超参，并执行预训练任务。 Step1 配置预训练超参 预训练脚本glm3_base.sh，存放在“xxx-Ascend/llm_train/AscendSpeed/scripts/glm3”目录下。训练前，可以根据实际需要修改

查看更多 →

预训练任务 启动训练脚本 单机启动 以baichuan2-13b为例，单机训练启动样例命令如下，以自己实际为准。在/home/ma-user/ws/6.3.904-Ascend/llm_train/AscendSpeed/代码目录下执行。超参详解参考表1。 MODEL_TYPE=13B

查看更多 →

description="训练的学习率策略(10:0.001,20:0.0001代表0-10个epoch学习率0.001，10-20epoch学习率0.0001),如果不指定epoch, 会根据验证精度情况自动调整学习率，并当精度没有明显提升时，训练停止")),

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Llama2-70B为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Alpaca数据处理 数据预处理脚本preprocess_data

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 Alpaca数据处理 数据预处理脚本preprocess_data

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，将数据集转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理 数据预处理脚本preprocess_data.py存放在代码包的“llm_train\AscendSpeed\ModelLink\”目录中，脚本具体说明如下。

查看更多 →

预训练超参配置 本章节介绍预训练前的超参配置，可以根据实际需要修改。 预训练脚本pretrain-llama2-13b.sh，存放在AscendCloud-3rdLLM-6.3.902-xxx/llm_train/AscendSpeed/scripts/llama2目录下。训练前，可以根据实际需要修改超参配置。

查看更多 →

增量预训练任务 前提条件 增量预训练使用的数据集为alpaca_data数据，已经完成数据处理，具体参见数据处理。 如果使用的是HuggingFace权重，已经将HuggingFace权重转换为AscendSpeed格式，具体参见增量预训练权重转换。 创建训练任务 在VS Code中修改“\6

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools/”目录中，脚本具体内容如下。

查看更多 →

预训练超参配置 本章节介绍预训练前的超参配置，可以根据实际需要修改。 预训练脚本baichuan2.sh，存放在“6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2”目录下。训练前，可以根据实际需要修改超参配置。 表1 超参配置

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools”目录中，脚本样例命

查看更多 →

增量预训练权重转换 支持基于预训练的权重进行增量预训练，也支持HuggingFace格式权重转换为AscendSpeed格式后再进行增量预训练。基于预训练的权重再做增量训练时，不需要单独转换权重，可跳过此章节。 本章节主要介绍如何将HuggingFace权重转换为AscendSp

查看更多 →