配置Matrix框架

业务框架

为了高效使用Ascend 310芯片的算力，提供了Matrix框架来完成推理业务迁移，Matrix框架提供的功能如下：

• 流程编排：
  1. 定义Engine为流程的基本功能单元，同时允许用户自定义Engine的实现（输入图片数据、对图片进行分类处理、输出对图片数据的分类预测结果等）。每个Engine在Ascend 310端默认对应一个线程来运行处理。
  2. 定义关于Graph管理若干Engine的流程。每个Graph在Ascend 310端对应一个进程运行处理。Graph与Engine关系如图1所示。
     图1 Graph与Engine关系
     

  在Graph配置文件中配置Engine节点间的串接和节点属性（运行该节点所需的参数），节点间数据的实际流向根据具体业务在节点中实现，通过向业务的开始节点输入数据启动整个Engine计算流程。

• 媒体预处理：

  运行在Ascend 310上的Engine可直接调用DVPP提供的API接口实现媒体预处理能力。

• 离线模型加载和运行：

  运行在Ascend 310上的Engine可直接调用模型管家（AIModelManger）提供的API进行离线模型加载和推理功能。

  基于Matrix框架，用户的业务软件结构如下图所示，用户创建自定义的Engine组成业务流（Graph），运行在Device侧的Engine可以调用DVPP和AIModelManager的API，使用Ascend 310的媒体预处理和模型推理的硬件加速功能。Host侧的Engine主要实现业务软件逻辑及与Device侧Engine间的数据传输功能。

  图2 业务软件框架