文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练/ LLM大语言模型训练历史版本文档/ 主流开源大模型基于ModelArts Standard&Lite Server适配AscendFactory PyTorch NPU训练指导（6.5.905）/ 训练服务评测
更新时间：2025-07-29 GMT+08:00
查看PDF
分享

训练服务评测

介绍如何使用benchmark工具对训练性能（吞吐）、精度（loss、下游打分）开展评测对比，对比结果以excel文件呈现，方便用户验证发布模型的质量。评测包括以下两部分：

约束限制

训练服务评测目前仅适配了Lite Server环境部署的微调（SFT）训练阶段。

性能评测

流程图：
图1 训练性能测试流程

详细步骤：

  1. 已完成ModelArts Lite Server环境训练任务。
  2. 3.1 训练任务中同级目录执行性能比较脚本，如test-benchmark目录。 
    ascendfactory-cli performance --result_dir=<result_dir> --backend=<backend> --baseline=<baseline> --output_dir=<output_dir>
    • <result_dir>：所有的训练任务的输出父级目录。
    • <backend>：所选框架类型，可选【mindspeed-llm，llamafactory】。
    • <baseline>：<可选>GP-Ant8机器性能基线yaml文件路径，用户可自行修改，不填则使用自带基线配置config目录下xxx_performance_baseline.yaml，基线样例配置如下：

    • <output_dir>： <可选>任务完成输出excel表格路径，默认为"./"当前所在路径。
  3. 查看性能结果excel表格：${model_name}_train_performance_benchmark_<版本号>_<时间戳>.xlsx，${model_name}为所选框架名称。

    Llama-Factory表格样例如下：

    MindSpeed-LLM表格样例如下：

精度评测

当前版本暂不支持。

相关文档