简介

场景介绍

本文旨在指导客户将已有的推理业务迁移到昇腾设备上运行（单机单卡、单机多卡），并获得更好的推理性能收益。

ModelArts针对上述使用场景，在给出系统化推理业务昇腾迁移方案的基础上，提供了即开即用的云上集成开发环境，包含迁移所需要的算力资源和工具链，以及具体的Notebook代码运行示例和最佳实践，并对于实际的操作原理和迁移流程进行说明，包含迁移后的精度和性能验证、调试方法说明。

核心概念

• 推理业务昇腾迁移整体流程及工具链
  图1 推理业务昇腾迁移整体路径
  

  推理业务昇腾迁移整体分为七个大的步骤，并以完整工具链覆盖全链路：

  1. 迁移评估：针对迁移可行性、工作量，以及可能的性能收益进行大致的预估。
  2. 环境准备：利用ModelArts提供的开发环境一键式准备好迁移、调测需要的运行环境与工具链。
  3. 模型适配：针对昇腾迁移模型必要的转换和改造。
     1. 模型准备，导出和保存确定格式的模型。
     2. 转换参数准备，准备模型业务相关的关键参数。
     3. 模型转换，包含模型转换、优化和量化等。
  4. 应用集成。
     1. 针对转换的模型运行时应用层适配。
     2. 数据预处理。
     3. 模型编排。
     4. 模型裁剪。
  5. 精度校验。
     1. 精度对比误差统计工具。
     2. 自动化精度对比工具。
     3. 网络结构可视化工具。
  6. 性能调优。
     1. 性能测试。
     2. 性能调优三板斧。
     3. 性能分析与诊断。
  7. 迁移测试报告。
     1. 推理迁移验收表。
• ModelArts开发环境

  ModelArts作为华为云上的AI开发平台，提供交互式云上开发环境，包含标准化昇腾算力资源和完整的迁移工具链，帮助用户完成昇腾迁移的调测过程，进一步可在平台上将迁移的模型一键部署成为在线服务向外提供推理服务，或者运行到自己的运行环境中。

• MindSpore Lite

  华为自研的AI推理引擎，后端对于昇腾有充分的适配，模型转换后可以在昇腾上获得更好的性能，配合丰富的适配工具链，降低迁移成本，该工具在推理迁移工作的预置镜像已安装，可在镜像中直接使用（见环境准备）。关于MindSpore Lite详细介绍可参考MindSpore Lite文档。