训练精度测试

流程图

训练精度测试流程图如下图所示：

图1 训练精度测试流程图

执行训练任务

1. 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。

   benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>

   • <cfgs_yaml_file>：精度测试配置的yaml文件地址，指代码目录中accuracy_cfgs.yaml相对或绝对路径
   • <model_name>：训练模型名，如qwen2.5-7b
   • <run_type>：训练策略类型及数据序列长度：【lora：4096-lora、full：4096-full】
2. 训练完成后，test-benchmark目录下会生成训练日志及NPU利用率日志及权重文件，如qwen2.5-7b日志：
   • qwen2.5-7b-sft-4096-lora-313T-20241028_164746-0.txt
   • qwen2.5-7b-sft-4096-lora-313T-20241028_164746-npu_info-0.txt

执行精度比较脚本

进入test-benchmark目录执行命令:

benchmark-cli accuracy <cfgs_yaml_file> --o <output_dir> --baseline <baseline>

• <cfgs_yaml_file>：精度测试配置的yaml文件地址，如代码目录中accuracy_cfgs.yaml相对或绝对路径
• --o <output_dir>： <可选>任务完成输出excel表格路径，默认为"./"当前所在路径
• --baseline <baseline>：<可选>GP-Ant8机器精度基线Yaml文件路径，不填则使用工具自带基线配置，默认基线配置样例如下：

  

  

  客户使用工具自带精度基线Yaml则需使用accuracy_cfgs.yaml文件中默认配置，权重使用表1 模型权重中指定的Huggingface地址，数据指定data.tgz里面提供的gsm8k数据。

查看精度结果

任务完成之后会在test-benchmark目录下生成excel表格：

精度结果 LLaMAFactory_train_accuracy_benchmark_<版本号>_<时间戳>.xlsx

样例截图：