ModelArts昇腾迁移调优工具总览
ModelArts集成了多个昇腾迁移调优工具,方便您在ModelArts平台环境中进行训练推理迁移、精度调试、性能调优等工作,您可在下表中查看当前ModelArts支持的昇腾迁移调优工具及对应指导。
表格中的部分工具已集成到ModelArts基础镜像中(镜像地址详见基础镜像章节),若您使用的是ModelArts基础镜像,可先尝试直接使用工具命令,如果相关命令不存在则需要参考工具安装指导自行安装。
使用场景 |
类别 |
工具名称 |
工具描述 |
工具安装 |
使用指导 |
---|---|---|---|---|---|
PyTorch GPU训练迁移至PyTorch NPU训练 |
训练迁移 |
Transfer2NPU |
代码自动迁移工具,通过简单import命令可将PyTorch训练脚本从GPU平台迁移至NPU平台运行。 |
包含在torch_npu包中。 |
|
PyTorch Analyse |
迁移分析工具,可以使用工具扫描用户的训练脚本,识别出源码中不支持的torch API和cuda API信息。 |
包含在cann toolkit中。 |
|||
精度调试 |
api_accuracy_checker |
精度API预检工具,能在昇腾NPU上扫描用户训练模型中所有API,输出单API级别的精度情况的诊断和分析。 |
下载工具源码使用。 |
||
ptdbg_ascend |
精度整网对比工具,可以对NPU整网数据进行dump并与GPU dump数据进行比较,输出整网的精度情况的诊断和分析。
|
下载工具whl包安装使用,推荐使用最新版本。 |
|||
性能调优 |
PyTorch Profiler |
性能采集工具,在训练脚本中调用Ascend PyTorch Profiler接口,可在训练过程中采集性能数据文件,包括PyTorch层算子信息、CANN层算子信息、底层NPU算子信息、以及算子内存占用信息等。 |
包含在torch_npu包中。 |
||
MA-Advisor |
性能自动诊断工具,采集好的Profiling数据通过该工具进行自动扫描分析,可给出性能瓶颈的诊断和修改建议。当迁移开箱性能较低时,通过该工具给出的建议修改代码后,通常可提升10%~30%。 |
whl包,地址见教程中下载链接。 |
|||
compare_tools |
性能比对工具,将在GPU和NPU采集的Profiling数据进行性能拆解和分类比对,展示算子、通信、内存等类别的性能比对数据。 |
下载工具源码使用。 |
|||
cluster_analyse |
集群性能分析工具,采集好的多机Profiling数据可通过该工具分析集群通信耗时、通信带宽矩阵等内容,从而辅助定位慢卡、慢节点等问题。工具的输出数据为csv格式,可直接拖入Ascend Insight进行可视化查看。 |
下载工具源码使用。 |
|||
Ascend Insight |
性能可视化工具,采集好的profiling数据可通过该工具进行可视化展示,辅助人工进行profiling数据查看和分析。 |
windows版本工具,下载链接见教程内。 |
|||
PyTorch GPU推理迁移至MindSpore Lite NPU推理 |
模型迁移 |
Tailor |
Mindspore-lite模型转换、精度误差分析、性能分析。 |
whl包,地址见教程中下载链接。 |
|
性能调优 |
msprof |
msprof命令行工具提供了AI任务运行性能数据、昇腾AI处理器系统数据等性能数据的采集和解析能力。 |
包含在cann toolkit中。 |
||
AOE |
自动调优工具,提供子图调优和算子调优功能,在静态shape场景下有较好的调优效果。推荐在mindspore-lite离线推理场景下使用。 |
包含在cann toolkit中。 |
|||
AKG |
MindSpore自动调优工具,提供算子自动优化和算子自动融合的功能,推荐在mindspore-lite离线推理场景下使用。 |
下载工具源码使用。 |
|||
PyTorch GPU推理迁移至PyTorch ascend-vllm /atb/torchair 推理 |
模型迁移 |
- |
需要用户自行代码适配,或者使用ModelArts迁移好的模型。 |
- |
ModelArts迁移好的模型可参考最佳实践中的案例,使用AscendCloud软件包中的模型,例如:主流开源大模型基于DevServer适配PyTorch NPU推理指导。 |
模型量化 |
modelslim |
模型量化工具,通过量化提升模型的推理性能。 |
包含在cann toolkit中。 |
||
精度调试 |
ait llm |
大模型精度调试工具,支持加速库(atb)和torchair的大模型推理的精度数据dump及比对功能,辅助大模型推理精度问题定位。 |
下载工具whl包安装使用,推荐使用最新版本。 |