NVDLA 英伟达标准化推断加速框架 项目简介
NVDLA ,即 NVIDIA Deep Learning Accelerator ,是英伟达开源的一个开放框架,以促进设计深度学习推断加速的标准方法。 通过其模块化架构,NVDLA 具有可扩展性和高度可配置性,旨在简化集成性和可移植性(灵活性)。 简单来说,NVDLA 硬件提供了一个简单、灵活和鲁棒的推断加速解决方案。硬件支持各种 IoT 设备,以 Open NVDLA 协议开源。NVDLA 硬件主要由以下几个模块组成:卷积核心(Convolution Core):即一种最优化的高性能卷积引擎。一维数据处理器(Single Data Processor):激活函数的奇点检索引擎。二维数据处理器(Planar Data Processor):用于池化的平面均值引擎。通道数据处理器(Channel Data Processor):高级归一化函数的多通道均值引擎。专用内存与数据形状重塑引擎(Dedicated Memory and Data Reshape Engines):张量形状重塑和复制操作的内存到内存转换加速。