深度探索AI微控制器对CNN的硬件转换方案
人工智能应用需要大量的能源消耗，通常以服务器群或昂贵的现场可编程门阵列（fpga）的形式出现。挑战在于提高计算能力，同时保持较低的能耗和成本。现在，人工智能应用正在经历由强大的智能边缘计算实现的巨大转变。与传统的基于固件的计算相比，基于硬件的卷积神经网络加速现在以其令人印象深刻的速度和功能开创了计算性能的新时代。通过使传感器节点能够做出自己的决策，智能边缘技术大大降低了 5g 和 wi-fi 网络上的数据传输速率。这为以前不可能实现的新兴技术和独特应用提供了动力。例如，远程位置的烟雾/火灾探测器或传感器级别的环境数据分析成为现实，所有这些都需要使用电池电源多年。为了研究这些功能是如何实现的，本文探讨了使用专用 ai 微控制器对 cnn 进行硬件转换。
具有超低功耗卷积神经网络加速器的人工智能微控制器
max78000是一款具有超低功耗cnn加速器的ai微控制器，这是一种先进的片上系统。它能够以超低功耗为资源受限的边缘设备或物联网应用提供神经网络。此类应用包括物体检测和分类、音频处理、声音分类、降噪、面部识别、用于心率/健康信号分析的时间序列数据处理、多传感器分析和预测性维护。
图 1 显示了该max78000的框图，该器件由带有浮点单元的 arm cortex-m100f 内核提供高达 4 mhz 的电源。为了给应用提供足够的内存资源，此版本的微控制器配备了 512 kb 闪存和 128 kb sram。该器件包括多个外部接口，如i²c、spi和uart，以及i²s，这些接口对于音频应用非常重要。此外，还集成了一个 60 mhz risc-v 内核。risc-v将数据从各个外设模块和存储器（闪存和sram）复制到/复制到各个外设模块和存储器，使其成为智能直接存储器访问（dma）引擎。risc-v 内核为 ai 加速器预处理传感器数据，因此 arm 内核在此期间可以处于深度睡眠模式。如有必要，推理结果可以通过中断触发 arm 内核，然后 arm cpu 在主应用程序中执行操作，以无线方式传递传感器数据或通知用户。®®
.a max78000模块原理图。
max7800x系列微控制器具有独特的功能，用于卷积神经网络的推理，有别于标准微控制器架构和外设。该硬件加速器可以支持完整的 cnn 模型架构以及所有必需的参数（权重和偏差）。cnn 加速器配备 64 个并行处理器和一个集成存储器，其中 442 kb 用于存储参数，896 kb 用于输入数据。由于模型和参数存储在sram存储器中，因此可以通过固件进行调整，并且可以实时调整网络。根据模型中使用的是 1 位、2 位、4 位还是 8 位权重，此内存足以容纳多达 3 万个参数。由于存储器功能是加速器不可或缺的一部分，因此每次连续的数学运算都不必通过微控制器总线结构获取参数。由于高延迟和高功耗，此活动成本高昂。神经网络加速器可以支持 5 或 32 层，具体取决于池化功能。每层可编程图像输入/输出尺寸高达 64 × 1024 像素。
cnn 硬件转换：能耗和推理速度比较
cnn 推理是一项复杂的计算任务，由矩阵形式的大型线性方程组成。利用 arm cortex-m4f 微控制器的强大功能，可以对嵌入式系统的固件进行 cnn 推理;但是，有一些缺点需要考虑。在微控制器上运行基于固件的推理时，需要从内存中检索计算所需的命令以及相关的参数数据，然后才能写回中间结果，因此会消耗大量能源和时间。
表 1 比较了使用三种不同解决方案的 cnn 推理速度和能耗。此示例模型是使用 mnist 开发的，mnist 是一种手写数字识别训练集，它对视觉输入数据中的数字和字母进行分类，以得出准确的输出结果。测量每种处理器类型所需的推理时间，以确定能耗和速度之间的差异。
表 1.利用mnist数据集进行手写数字识别的三种不同场景的cnn推理时间和每次推理的能量
在第一种场景中，集成在max4中的 arm cortex-m32630f 处理器（运行频率为 96 mhz）用于计算推理。在第二个场景中，为了处理计算，使用了max78000基于硬件的cnn加速器。当使用带有基于硬件的加速器 （max400） 的微控制器时，推理速度（即在网络输入和结果输出时呈现视觉数据之间的时间）会降低 78000 倍。此外，每次推理所需的能量要低 1100 倍。在第三次比较中，mnist网络经过优化，每次推理的能耗最小。在这种情况下，结果的准确度从 99.6% 下降到 95.6%。但是，该网络的速度要快得多，每次推理只需要 0.36 毫秒。每次推理的能耗降低到仅 1.1 μws。在使用两节 aa 碱性电池（总能量为 6 wh）的应用中，可以进行 《》 万次推断（省略电路其余部分消耗的功率）。
这些数据说明了硬件加速计算的强大功能。硬件加速计算对于无法利用连接或持续电源的应用来说是一种非常宝贵的工具。该max78000支持边缘处理，无需大量能源、宽带互联网接入或延长推理时间。
max78000 ai 微控制器的示例用例
该max78000支持多种潜在应用，但让我们以以下用例为例。要求是设计一个电池供电的摄像头，该摄像头可以检测猫何时在其图像传感器的视野中，从而能够通过猫门的数字输出进入房屋。
图 2 描绘了此类设计的示例框图。在这种情况下，risc-v内核会定期打开图像传感器，并将图像数据加载到由max78000供电的cnn中。如果猫识别的概率高于先前定义的阈值，则启用猫门。然后系统返回待机模式。
图2.智能宠物门的框图。
开发环境和评估套件
开发边缘 ai 应用程序的过程可分为以下几个阶段：
第 1 阶段：人工智能——网络的定义、训练和量化
第 2 阶段：arm 固件 – 将第 1 阶段生成的网络和参数包含在 c/c++ 应用程序中，并创建和测试应用程序固件
开发过程的第一部分涉及对 ai 模型进行建模、训练和评估。在此阶段，开发人员可以利用 pytorch 和 tensorflow 等开源工具。github 存储库提供了全面的资源，可帮助用户规划使用 pytorch 开发环境构建和训练 ai 网络的旅程，同时考虑max78000的硬件规格。存储库中包含一些简单的 ai 网络和应用程序，例如面部识别 （face id）。
图 3 显示了 pytorch 中的典型 ai 开发过程。首先，对网络进行建模。必须注意的是，并非所有max7800x微控制器的硬件都支持pytorch环境中的所有数据操作。因此，adi公司提供的文件 ai8x.py 必须首先包含在项目中。此文件包含使用max78000所需的 pytorch 模块和运算符。基于此设置，可以构建网络，然后使用训练数据进行训练、评估和量化。此步骤的结果是一个检查点文件，其中包含最终合成过程的输入数据。在最后的流程步骤中，网络及其参数被转换为适合硬件 cnn 加速器的形式。这里应该提到的是，网络训练可以在任何pc（笔记本电脑、服务器等）上完成。但是，如果没有 cuda 显卡支持，这可能需要花费大量时间——即使对于小型网络，几天甚至几周也是完全现实的。
3.ai 开发过程。
在开发过程的第 2 阶段，使用将数据写入 cnn 加速器并读取结果的机制创建应用程序固件。在第一阶段创建的文件通过 #include 指令集成到 c/c++ 项目中。eclipse ide 和 gnu 工具链等开源工具也用于微控制器的开发环境。adi公司提供软件开发套件（maxim micros sdk （windows））作为安装程序，已包含所有必要的元件和配置。软件开发套件还包含外设驱动程序以及示例和说明，以简化应用程序开发过程。
一旦项目被编译和链接而没有任何错误，就可以在目标硬件上对其进行评估。为此，adi公司开发了两种不同的硬件平台。图 4 显示了max78000evkit，图 5 显示了 max78000fthr，这是一个稍小的羽毛外形板。每个板都配有一个 vga 摄像头和一个麦克风。
图4.max78000评估套件。
图5.max78000fthr评估套件。
结论
以前，人工智能应用需要以服务器群或昂贵的fpga的形式消耗大量能源。现在，借助具有专用 cnn 加速器的 max78000 系列微控制器，可以使用单个电池长时间为 ai 应用供电。这一在能源效率和功耗方面的突破使边缘人工智能比以往任何时候都更容易获得，并释放了以前不可能实现的令人兴奋的新的边缘人工智能应用的潜力。
研究人员正寻找更好的锂离子电池材料,为电动汽车提供动力
英特尔代工策略：提升开工率为14纳米竞争抢时间
三层工业以太网交换机有什么特别之处
田洪川VS2005视频教程：WebParts 二
如何进行高维旋转
深度探索AI微控制器对CNN的硬件转换方案
罗茨流量计工作原理_罗茨流量计选型
维信诺全柔AMOLED模组生产线成功点亮
中国移动杨杰：将面向全球客户推进“四个数字化创新”
神经网络在FPGA上的应用：深度压缩方法
小米Max3评测 专注移动看片族和电池的重度用户
使用英特尔并行演播室XE 2018测试版登机
中科曙光全面布局智能计算 推出5A级智算中心
运放输入阻抗一般多大
传铠侠、西部数据本月将达成合并协议！SK海力士反对？
三相电机和单相电机电流计算公式
使用空调的7大误区
陶瓷天线的工作原理是怎样的
STM32 CubeMx的安装教程
cbb电容容易击穿吗？
具有超低功耗卷积神经网络加速器的人工智能微控制器
max78000是一款具有超低功耗cnn加速器的ai微控制器，这是一种先进的片上系统。它能够以超低功耗为资源受限的边缘设备或物联网应用提供神经网络。此类应用包括物体检测和分类、音频处理、声音分类、降噪、面部识别、用于心率/健康信号分析的时间序列数据处理、多传感器分析和预测性维护。
图 1 显示了该max78000的框图，该器件由带有浮点单元的 arm cortex-m100f 内核提供高达 4 mhz 的电源。为了给应用提供足够的内存资源，此版本的微控制器配备了 512 kb 闪存和 128 kb sram。该器件包括多个外部接口，如i²c、spi和uart，以及i²s，这些接口对于音频应用非常重要。此外，还集成了一个 60 mhz risc-v 内核。risc-v将数据从各个外设模块和存储器（闪存和sram）复制到/复制到各个外设模块和存储器，使其成为智能直接存储器访问（dma）引擎。risc-v 内核为 ai 加速器预处理传感器数据，因此 arm 内核在此期间可以处于深度睡眠模式。如有必要，推理结果可以通过中断触发 arm 内核，然后 arm cpu 在主应用程序中执行操作，以无线方式传递传感器数据或通知用户。®®
.a max78000模块原理图。
max7800x系列微控制器具有独特的功能，用于卷积神经网络的推理，有别于标准微控制器架构和外设。该硬件加速器可以支持完整的 cnn 模型架构以及所有必需的参数（权重和偏差）。cnn 加速器配备 64 个并行处理器和一个集成存储器，其中 442 kb 用于存储参数，896 kb 用于输入数据。由于模型和参数存储在sram存储器中，因此可以通过固件进行调整，并且可以实时调整网络。根据模型中使用的是 1 位、2 位、4 位还是 8 位权重，此内存足以容纳多达 3 万个参数。由于存储器功能是加速器不可或缺的一部分，因此每次连续的数学运算都不必通过微控制器总线结构获取参数。由于高延迟和高功耗，此活动成本高昂。神经网络加速器可以支持 5 或 32 层，具体取决于池化功能。每层可编程图像输入/输出尺寸高达 64 × 1024 像素。
cnn 硬件转换：能耗和推理速度比较
cnn 推理是一项复杂的计算任务，由矩阵形式的大型线性方程组成。利用 arm cortex-m4f 微控制器的强大功能，可以对嵌入式系统的固件进行 cnn 推理;但是，有一些缺点需要考虑。在微控制器上运行基于固件的推理时，需要从内存中检索计算所需的命令以及相关的参数数据，然后才能写回中间结果，因此会消耗大量能源和时间。
表 1 比较了使用三种不同解决方案的 cnn 推理速度和能耗。此示例模型是使用 mnist 开发的，mnist 是一种手写数字识别训练集，它对视觉输入数据中的数字和字母进行分类，以得出准确的输出结果。测量每种处理器类型所需的推理时间，以确定能耗和速度之间的差异。
表 1.利用mnist数据集进行手写数字识别的三种不同场景的cnn推理时间和每次推理的能量
在第一种场景中，集成在max4中的 arm cortex-m32630f 处理器（运行频率为 96 mhz）用于计算推理。在第二个场景中，为了处理计算，使用了max78000基于硬件的cnn加速器。当使用带有基于硬件的加速器 （max400） 的微控制器时，推理速度（即在网络输入和结果输出时呈现视觉数据之间的时间）会降低 78000 倍。此外，每次推理所需的能量要低 1100 倍。在第三次比较中，mnist网络经过优化，每次推理的能耗最小。在这种情况下，结果的准确度从 99.6% 下降到 95.6%。但是，该网络的速度要快得多，每次推理只需要 0.36 毫秒。每次推理的能耗降低到仅 1.1 μws。在使用两节 aa 碱性电池（总能量为 6 wh）的应用中，可以进行 《》 万次推断（省略电路其余部分消耗的功率）。
这些数据说明了硬件加速计算的强大功能。硬件加速计算对于无法利用连接或持续电源的应用来说是一种非常宝贵的工具。该max78000支持边缘处理，无需大量能源、宽带互联网接入或延长推理时间。
max78000 ai 微控制器的示例用例
该max78000支持多种潜在应用，但让我们以以下用例为例。要求是设计一个电池供电的摄像头，该摄像头可以检测猫何时在其图像传感器的视野中，从而能够通过猫门的数字输出进入房屋。
图 2 描绘了此类设计的示例框图。在这种情况下，risc-v内核会定期打开图像传感器，并将图像数据加载到由max78000供电的cnn中。如果猫识别的概率高于先前定义的阈值，则启用猫门。然后系统返回待机模式。
图2.智能宠物门的框图。
开发环境和评估套件
开发边缘 ai 应用程序的过程可分为以下几个阶段：
第 1 阶段：人工智能——网络的定义、训练和量化
第 2 阶段：arm 固件 – 将第 1 阶段生成的网络和参数包含在 c/c++ 应用程序中，并创建和测试应用程序固件
开发过程的第一部分涉及对 ai 模型进行建模、训练和评估。在此阶段，开发人员可以利用 pytorch 和 tensorflow 等开源工具。github 存储库提供了全面的资源，可帮助用户规划使用 pytorch 开发环境构建和训练 ai 网络的旅程，同时考虑max78000的硬件规格。存储库中包含一些简单的 ai 网络和应用程序，例如面部识别 （face id）。
图 3 显示了 pytorch 中的典型 ai 开发过程。首先，对网络进行建模。必须注意的是，并非所有max7800x微控制器的硬件都支持pytorch环境中的所有数据操作。因此，adi公司提供的文件 ai8x.py 必须首先包含在项目中。此文件包含使用max78000所需的 pytorch 模块和运算符。基于此设置，可以构建网络，然后使用训练数据进行训练、评估和量化。此步骤的结果是一个检查点文件，其中包含最终合成过程的输入数据。在最后的流程步骤中，网络及其参数被转换为适合硬件 cnn 加速器的形式。这里应该提到的是，网络训练可以在任何pc（笔记本电脑、服务器等）上完成。但是，如果没有 cuda 显卡支持，这可能需要花费大量时间——即使对于小型网络，几天甚至几周也是完全现实的。
3.ai 开发过程。
在开发过程的第 2 阶段，使用将数据写入 cnn 加速器并读取结果的机制创建应用程序固件。在第一阶段创建的文件通过 #include 指令集成到 c/c++ 项目中。eclipse ide 和 gnu 工具链等开源工具也用于微控制器的开发环境。adi公司提供软件开发套件（maxim micros sdk （windows））作为安装程序，已包含所有必要的元件和配置。软件开发套件还包含外设驱动程序以及示例和说明，以简化应用程序开发过程。
一旦项目被编译和链接而没有任何错误，就可以在目标硬件上对其进行评估。为此，adi公司开发了两种不同的硬件平台。图 4 显示了max78000evkit，图 5 显示了 max78000fthr，这是一个稍小的羽毛外形板。每个板都配有一个 vga 摄像头和一个麦克风。
图4.max78000评估套件。
图5.max78000fthr评估套件。
结论
以前，人工智能应用需要以服务器群或昂贵的fpga的形式消耗大量能源。现在，借助具有专用 cnn 加速器的 max78000 系列微控制器，可以使用单个电池长时间为 ai 应用供电。这一在能源效率和功耗方面的突破使边缘人工智能比以往任何时候都更容易获得，并释放了以前不可能实现的令人兴奋的新的边缘人工智能应用的潜力。
研究人员正寻找更好的锂离子电池材料,为电动汽车提供动力
英特尔代工策略：提升开工率为14纳米竞争抢时间
三层工业以太网交换机有什么特别之处
田洪川VS2005视频教程：WebParts 二
如何进行高维旋转
深度探索AI微控制器对CNN的硬件转换方案
罗茨流量计工作原理_罗茨流量计选型
维信诺全柔AMOLED模组生产线成功点亮
中国移动杨杰：将面向全球客户推进“四个数字化创新”
神经网络在FPGA上的应用：深度压缩方法
小米Max3评测 专注移动看片族和电池的重度用户
使用英特尔并行演播室XE 2018测试版登机
中科曙光全面布局智能计算 推出5A级智算中心
运放输入阻抗一般多大
传铠侠、西部数据本月将达成合并协议！SK海力士反对？
三相电机和单相电机电流计算公式
使用空调的7大误区
陶瓷天线的工作原理是怎样的
STM32 CubeMx的安装教程
cbb电容容易击穿吗？