开发前必读
本章节主要介绍使用Atlas 300 AI加速卡 (型号 3000)进行业务开发时需要了解的基础知识、要求和注意事项。
建议开发人员仔细阅读本章节内容,确保了解各项要求和注意事项之后再启动开发。
使用场景
适用于使用Atlas 300 AI加速卡 (型号 3000)+华为服务器进行推理任务的场景。
关键概念
概念 |
解释 |
---|---|
Ascend 310 |
Ascend 310是一款华为专门为图像识别、视频处理、推理计算及机器学习等领域设计的高性能、低功耗AI芯片。芯片内置2个AI core,可支持128位宽的LPDDR4x,最高可提供16TOPS(Float16/INT8) 的计算能力。 |
Atlas 300 AI加速卡 (型号 3000) |
Atlas 300 AI加速卡 (型号 3000)采用4片海思Ascend 310处理器,是标准的PCIe HHHL卡,配合主设备,实现快速高效的模型推理、图像识别及处理等工作。 |
Mind Studio |
Mind Studio是一套基于华为NPU(Neural-network Processing Unit)开发的AI全栈开发平台,包括基于芯片的算子开发、调试、调优以及自定义算子开发,同时还包括网络层的网络移植、优化和分析,另外在业务引擎层提供了一套可视化的AI引擎拖拽式编程服务。如果想进一步了解Mind Studio,请参考文档《Ascend 310 Mind Studio 快速入门》和《Ascend 310 Mind Studio 基础操作》。 |
DDK |
数字开发套件(Digital Development Kit),DDK是Mind Studio解决方案提供的开发者套件包,Mind Studio通过安装DDK后获得Mind开发必需的API、库、工具链等开发组件。 |
Graph |
Graph是HiAI框架中的概念,而非深度学习框架中计算图的概念。Graph是指HiAI框架中用于描述整个业务处理流程的图,由多个Engine组成,是一个程序处理流程。 |
HiAI Engine |
HiAI Engine是一个通用业务流程执行引擎,主要包含Agent(运行在Host侧)和Manger(运行在Device侧)两个部分。每个Engine完成一个由用户代码实现的功能,即Engine的处理程序是由用户实现的。 |
Host侧 |
对于服务器+Atlas 300 AI加速卡 (型号 3000)来说,Host侧为服务器侧CPU的操作系统。 |
Device侧 |
对于服务器+Atlas 300 AI加速卡 (型号 3000)来说,Device侧为Atlas 300 AI加速卡 (型号 3000)侧的操作系统。 |
DVPP |
数字视觉预处理(Digital Vision Pre-Process),提供对特定格式的视频和图像进行解码、缩放等预处理操作,同时具有对处理后的视频、图像进行编码再输出的能力。 |
AIPP |
AI(AI Pre Process)预处理,支持格式转换、Padding/Crop、CSC色域转换(YUV2RGB或者RGB2YUV)、Scale UP/Down、通道数据交换等。 |
OMG |
离线模型生成(Offline Model Generator),用户使用Caffe/TensorFlow等框架训练好的模型,通过OMG将其转换为华为芯片支持的离线模型,实现算子调度的优化,权值数据重排、压缩,内存使用优化等可以脱离设备完成的模型优化功能。 |
OME |
离线模型执行(Offline Model Inference Executor),转换完成的离线模型,使用OME进行模型的加载和推理。 |
Ctrl CPU |
一个Ascend 310芯片中有4个Ctrl CPU,主要负责业务逻辑处理。 |
AI CPU |
一个Ascend 310芯片中有4个AI CPU,主要用于算子任务调度、部分算子的实现。 |
AI Core |
一个Ascend 310芯片中有2个AI Core,主要负责矩阵运算。 |
IPC |
IP摄像机,提供RTSP数据流。 |
YUV420SP |
有损图像颜色编码格式,常用YUV420SP_UV、YUV420SP_VU两种格式。 |