基于AI微控制器的CNN的硬件转换
作者：ole dreessen
人工智能应用需要大量的能源消耗，通常以服务器群或昂贵的现场可编程门阵列（fpga）的形式出现。挑战在于提高计算能力，同时保持较低的能耗和成本。现在，人工智能应用正在看到强大的智能边缘计算所带来的巨大转变。与传统的基于固件的计算相比，基于硬件的卷积神经网络加速以其惊人的速度和功能开创了计算性能的新时代。通过使传感器节点能够做出自己的决策，智能边缘技术大大降低了 5g 和 wi-fi 网络的数据传输速率。这为新兴技术和独特的应用提供了动力，这在以前是不可能的。例如，远程位置的烟雾/火灾探测器或传感器级别的环境数据分析成为现实 - 所有这些都在电池电源上使用多年。为了研究这些功能是如何实现的，本文探讨了带有专用ai微控制器的cnn的硬件转换。
具有超低功耗卷积神经网络加速器的人工智能微控制器
max78000是一款具有超低功耗cnn加速器的ai微控制器，这是一种先进的片上系统。它支持超低功耗的神经网络，适用于资源受限的边缘设备或物联网应用。此类应用包括对象检测和分类、音频处理、声音分类、噪声消除、面部识别、心率/健康信号分析的时间序列数据处理、多传感器分析和预测性维护。
图1显示了max78000的框图，该由带有浮点单元的arm cortex-m100f内核供电至4 mhz。为了给应用提供足够的存储器资源，此版本的微控制器配备了512 kb闪存和128 kbsram。包括多个外部接口，如i²c、spi和uart，以及i²s，这对于音频应用非常重要。此外，还有一个集成的60 mhz risc-v内核。risc-v将数据从/复制到各个外设模块和存储器（闪存和sram），使其成为智能直接存储器访问（dma）引擎。risc-v内核预处理ai加速器的传感器数据，因此arm内核在此期间可以处于深度睡眠模式。如有必要，推理结果可以通过中断触发 arm 内核，然后 arm cpu 在主应用程序中执行操作，无线传递传感器数据或通知用户。®®
图 1。max78000模块原理图。
用于卷积神经网络推理的硬件加速器单元是max7800x系列微控制器的一个显著特点，使其有别于标准微控制器架构和外设。该硬件加速器可以支持完整的cnn模型架构以及所有必需的参数（权重和偏差）。cnn 加速器配备 64 个并行处理器和一个集成存储器，其中 442 kb 用于存储参数，896 kb 用于输入数据。由于模型和参数存储在sram存储器中，因此可以通过固件进行调整，并且可以实时调整网络。根据模型中使用的是 1 位、2 位、4 位还是 8 位权重，此内存足以容纳多达 3 万个参数。由于存储器功能是加速器的一个组成部分，因此不必在每次连续的数学运算中通过微控制器总线结构获取参数。由于高延迟和高功耗，此活动的成本很高。神经网络加速器可以支持 5 或 32 层，具体取决于池化函数。每层可编程图像输入/输出大小高达 64 × 1024 像素。
cnn 硬件转换：能耗和推理速度比较
cnn推理是一项复杂的计算任务，由矩阵形式的大型线性方程组成。利用 arm cortex-m4f 微控制器的强大功能，可以在嵌入式系统的固件上进行 cnn 推理;但是，有一些缺点需要考虑。在微控制器上运行基于固件的推理时，需要从内存中检索计算所需的命令以及相关的参数数据，然后才能写回中间结果，因此会消耗大量精力和时间。
表 1 比较了使用三种不同解决方案的 cnn 推理速度和能耗。该示例模型是使用手写数字识别训练集mnist开发的，该训练集对视觉输入数据中的数字和字母进行分类，以得出准确的输出结果。测量每种处理器类型所需的推理时间，以确定能耗和速度之间的差异。
表 1.利用mnist数据集进行手写数字识别的三种不同场景
在第一个场景中，集成到max4中的arm cortex-m32630f处理器（运行频率为96 mhz）用于计算推理。在第二种情况下，为了处理计算，使用了max78000基于硬件的cnn加速器。当使用带有基于硬件的加速器 （max400） 的微控制器时，推理速度（即在网络输入处呈现视觉数据与结果输出之间的时间）会降低 78000 倍。此外，每次推理所需的能量要低 1100 倍。在第三个比较中，mnist网络针对每次推理的最小能耗进行了优化。在这种情况下，结果的准确性从 99.6% 下降到 95.6%。但是，网络速度要快得多，每次推理只需要 0.36 毫秒。每次推理的能耗降至仅 1.1 μw。在使用两节aa碱性电池（总能量为6 wh）的应用中，可以进行《》万次推理（省略电路其余部分消耗的功率）。
这些数据说明了硬件加速计算的强大功能。硬件加速计算对于无法利用连接或连续电源的应用程序来说是一种宝贵的工具。该max78000支持边缘处理，而无需大量能源、宽带互联网接入或延长推理时间。
max78000 ai 微控制器的示例用例
该max78000支持多种潜在应用程序，但让我们以以下用例为例。要求是设计一个电池供电的摄像头，检测猫何时在其图像传感器的视野中，从而能够通过猫门的数字输出进入房屋。
图2描述了这种设计的示例框图。在这种情况下，risc-v内核定期打开图像传感器，并将图像数据加载到由max78000供电的cnn中。如果猫识别的概率高于先前定义的阈值，则启用猫门。然后，系统将返回到待机模式。
图2.智能宠物门的框图。
开发环境和评估套件
开发边缘 ai 应用程序的过程可以分为以下几个阶段：
第 1 阶段：人工智能——网络的定义、训练和量化
第 2 阶段：arm 固件 – 将第 1 阶段生成的网络和参数包含在 c/c++ 应用程序中，并创建和测试应用程序固件
开发过程的第一部分涉及 ai 模型的建模、训练和评估。在这个阶段，开发人员可以利用开源工具，如pytorch和tensorflow。github 存储库提供了全面的资源，帮助用户规划他们使用 pytorch 开发环境构建和训练 ai 网络的旅程，同时考虑max78000的硬件规格。存储库中包含一些简单的ai网络和应用程序，例如面部识别（face id）。
图 3 显示了 pytorch 中典型的 ai 开发过程。首先，对网络进行建模。需要注意的是，并非所有max7800x微控制器的硬件都支持pytorch环境中的所有数据操作。因此，adi公司提供的文件 ai8x.py 必须首先包含在项目中。此文件包含使用该max78000所需的 pytorch 模块和运算符。基于此设置，可以构建网络，然后使用训练数据进行训练、评估和量化。此步骤的结果是一个检查点文件，其中包含最终合成过程的输入数据。在最后一个流程步骤中，网络及其参数被转换为适合硬件cnn加速器的形式。这里应该提到的是，网络培训可以在任何pc（笔记本电脑，服务器等）上完成。但是，如果没有 cuda 显卡支持，这可能需要大量时间——即使对于小型网络，几天甚至几周也是完全现实的。
图 3。人工智能开发过程。
在开发过程的第 2 阶段，使用将数据写入 cnn 加速器并读取结果的机制创建应用程序固件。在第一阶段创建的文件通过 #include 指令集成到 c/c++ 项目中。eclipse ide和gnu工具链等开源工具也用于微控制器的开发环境。adi提供软件开发套件（maxim micros sdk （windows））作为安装程序，其中包含所有必要的组件和配置。软件开发套件还包含外设驱动程序以及示例和说明，以简化开发应用程序的过程。
一旦项目被编译和链接而没有任何错误，就可以在目标硬件上对其进行评估。为此，adi开发了两种不同的硬件平台。图 4 显示了max78000evkit，图 5 显示了max78000fthr，这是一个稍小的羽毛外形板。每块板都配有一个vga摄像头和一个麦克风。
结论
以前，人工智能应用需要服务器场或昂贵的fpga形式的大量能源消耗。现在，借助带有专用 cnn 加速器的 max78000 系列微控制器，可以使用单块电池长时间为 ai 应用供电。能源效率和功耗的这一突破使边缘 ai 比以往任何时候都更容易获得，并释放了以前不可能实现的令人兴奋的全新边缘 ai 应用的潜力。
联通大数据发挥自身优势为3000多个政企客户提供数据智能科技服务
消费升级驱动智能终端市场转变 产品设计朝四大方向发展
变频器与PLC通讯的精简设计
【CHI】独占访问
allegro常用快捷键设置
基于AI微控制器的CNN的硬件转换
呕吐毒素检测仪产品特点
激光显示行业开拓者光峰科技携家用核心器件产品亮相高交会
一种小功率金卤灯用电子镇流器的设计方案
能源消耗监管系统开发解决方案找源中瑞科技
Nordic NRF51系列多协议SOC芯片的特点
探讨OEM制造生命周期的安全性问题
新材料企业家成长营将走进国内领先的金刚石线制造商岱勒新材
国行三星GalaxyS9/S9+开启安卓9.0内测 仅限前1万位报名的用户
PCB板相关知识科普
ANC降噪耳机，给你想“静静”的机会
什么是信号回流路径？
小巧可靠的无源元件是医疗设备选择的关键
三面液冷“护航”快充 亿纬锂能大圆柱电池π系统亮相
LPC2141的无刷直流电机控制系统设计
人工智能应用需要大量的能源消耗，通常以服务器群或昂贵的现场可编程门阵列（fpga）的形式出现。挑战在于提高计算能力，同时保持较低的能耗和成本。现在，人工智能应用正在看到强大的智能边缘计算所带来的巨大转变。与传统的基于固件的计算相比，基于硬件的卷积神经网络加速以其惊人的速度和功能开创了计算性能的新时代。通过使传感器节点能够做出自己的决策，智能边缘技术大大降低了 5g 和 wi-fi 网络的数据传输速率。这为新兴技术和独特的应用提供了动力，这在以前是不可能的。例如，远程位置的烟雾/火灾探测器或传感器级别的环境数据分析成为现实 - 所有这些都在电池电源上使用多年。为了研究这些功能是如何实现的，本文探讨了带有专用ai微控制器的cnn的硬件转换。
具有超低功耗卷积神经网络加速器的人工智能微控制器
max78000是一款具有超低功耗cnn加速器的ai微控制器，这是一种先进的片上系统。它支持超低功耗的神经网络，适用于资源受限的边缘设备或物联网应用。此类应用包括对象检测和分类、音频处理、声音分类、噪声消除、面部识别、心率/健康信号分析的时间序列数据处理、多传感器分析和预测性维护。
图1显示了max78000的框图，该由带有浮点单元的arm cortex-m100f内核供电至4 mhz。为了给应用提供足够的存储器资源，此版本的微控制器配备了512 kb闪存和128 kbsram。包括多个外部接口，如i²c、spi和uart，以及i²s，这对于音频应用非常重要。此外，还有一个集成的60 mhz risc-v内核。risc-v将数据从/复制到各个外设模块和存储器（闪存和sram），使其成为智能直接存储器访问（dma）引擎。risc-v内核预处理ai加速器的传感器数据，因此arm内核在此期间可以处于深度睡眠模式。如有必要，推理结果可以通过中断触发 arm 内核，然后 arm cpu 在主应用程序中执行操作，无线传递传感器数据或通知用户。®®
图 1。max78000模块原理图。
用于卷积神经网络推理的硬件加速器单元是max7800x系列微控制器的一个显著特点，使其有别于标准微控制器架构和外设。该硬件加速器可以支持完整的cnn模型架构以及所有必需的参数（权重和偏差）。cnn 加速器配备 64 个并行处理器和一个集成存储器，其中 442 kb 用于存储参数，896 kb 用于输入数据。由于模型和参数存储在sram存储器中，因此可以通过固件进行调整，并且可以实时调整网络。根据模型中使用的是 1 位、2 位、4 位还是 8 位权重，此内存足以容纳多达 3 万个参数。由于存储器功能是加速器的一个组成部分，因此不必在每次连续的数学运算中通过微控制器总线结构获取参数。由于高延迟和高功耗，此活动的成本很高。神经网络加速器可以支持 5 或 32 层，具体取决于池化函数。每层可编程图像输入/输出大小高达 64 × 1024 像素。
cnn 硬件转换：能耗和推理速度比较
cnn推理是一项复杂的计算任务，由矩阵形式的大型线性方程组成。利用 arm cortex-m4f 微控制器的强大功能，可以在嵌入式系统的固件上进行 cnn 推理;但是，有一些缺点需要考虑。在微控制器上运行基于固件的推理时，需要从内存中检索计算所需的命令以及相关的参数数据，然后才能写回中间结果，因此会消耗大量精力和时间。
表 1 比较了使用三种不同解决方案的 cnn 推理速度和能耗。该示例模型是使用手写数字识别训练集mnist开发的，该训练集对视觉输入数据中的数字和字母进行分类，以得出准确的输出结果。测量每种处理器类型所需的推理时间，以确定能耗和速度之间的差异。
表 1.利用mnist数据集进行手写数字识别的三种不同场景
在第一个场景中，集成到max4中的arm cortex-m32630f处理器（运行频率为96 mhz）用于计算推理。在第二种情况下，为了处理计算，使用了max78000基于硬件的cnn加速器。当使用带有基于硬件的加速器 （max400） 的微控制器时，推理速度（即在网络输入处呈现视觉数据与结果输出之间的时间）会降低 78000 倍。此外，每次推理所需的能量要低 1100 倍。在第三个比较中，mnist网络针对每次推理的最小能耗进行了优化。在这种情况下，结果的准确性从 99.6% 下降到 95.6%。但是，网络速度要快得多，每次推理只需要 0.36 毫秒。每次推理的能耗降至仅 1.1 μw。在使用两节aa碱性电池（总能量为6 wh）的应用中，可以进行《》万次推理（省略电路其余部分消耗的功率）。
这些数据说明了硬件加速计算的强大功能。硬件加速计算对于无法利用连接或连续电源的应用程序来说是一种宝贵的工具。该max78000支持边缘处理，而无需大量能源、宽带互联网接入或延长推理时间。
max78000 ai 微控制器的示例用例
该max78000支持多种潜在应用程序，但让我们以以下用例为例。要求是设计一个电池供电的摄像头，检测猫何时在其图像传感器的视野中，从而能够通过猫门的数字输出进入房屋。
图2描述了这种设计的示例框图。在这种情况下，risc-v内核定期打开图像传感器，并将图像数据加载到由max78000供电的cnn中。如果猫识别的概率高于先前定义的阈值，则启用猫门。然后，系统将返回到待机模式。
图2.智能宠物门的框图。
开发环境和评估套件
开发边缘 ai 应用程序的过程可以分为以下几个阶段：
第 1 阶段：人工智能——网络的定义、训练和量化
第 2 阶段：arm 固件 – 将第 1 阶段生成的网络和参数包含在 c/c++ 应用程序中，并创建和测试应用程序固件
开发过程的第一部分涉及 ai 模型的建模、训练和评估。在这个阶段，开发人员可以利用开源工具，如pytorch和tensorflow。github 存储库提供了全面的资源，帮助用户规划他们使用 pytorch 开发环境构建和训练 ai 网络的旅程，同时考虑max78000的硬件规格。存储库中包含一些简单的ai网络和应用程序，例如面部识别（face id）。
图 3 显示了 pytorch 中典型的 ai 开发过程。首先，对网络进行建模。需要注意的是，并非所有max7800x微控制器的硬件都支持pytorch环境中的所有数据操作。因此，adi公司提供的文件 ai8x.py 必须首先包含在项目中。此文件包含使用该max78000所需的 pytorch 模块和运算符。基于此设置，可以构建网络，然后使用训练数据进行训练、评估和量化。此步骤的结果是一个检查点文件，其中包含最终合成过程的输入数据。在最后一个流程步骤中，网络及其参数被转换为适合硬件cnn加速器的形式。这里应该提到的是，网络培训可以在任何pc（笔记本电脑，服务器等）上完成。但是，如果没有 cuda 显卡支持，这可能需要大量时间——即使对于小型网络，几天甚至几周也是完全现实的。
图 3。人工智能开发过程。
在开发过程的第 2 阶段，使用将数据写入 cnn 加速器并读取结果的机制创建应用程序固件。在第一阶段创建的文件通过 #include 指令集成到 c/c++ 项目中。eclipse ide和gnu工具链等开源工具也用于微控制器的开发环境。adi提供软件开发套件（maxim micros sdk （windows））作为安装程序，其中包含所有必要的组件和配置。软件开发套件还包含外设驱动程序以及示例和说明，以简化开发应用程序的过程。
一旦项目被编译和链接而没有任何错误，就可以在目标硬件上对其进行评估。为此，adi开发了两种不同的硬件平台。图 4 显示了max78000evkit，图 5 显示了max78000fthr，这是一个稍小的羽毛外形板。每块板都配有一个vga摄像头和一个麦克风。
结论
以前，人工智能应用需要服务器场或昂贵的fpga形式的大量能源消耗。现在，借助带有专用 cnn 加速器的 max78000 系列微控制器，可以使用单块电池长时间为 ai 应用供电。能源效率和功耗的这一突破使边缘 ai 比以往任何时候都更容易获得，并释放了以前不可能实现的令人兴奋的全新边缘 ai 应用的潜力。
联通大数据发挥自身优势为3000多个政企客户提供数据智能科技服务
消费升级驱动智能终端市场转变 产品设计朝四大方向发展
变频器与PLC通讯的精简设计
【CHI】独占访问
allegro常用快捷键设置
基于AI微控制器的CNN的硬件转换
呕吐毒素检测仪产品特点
激光显示行业开拓者光峰科技携家用核心器件产品亮相高交会
一种小功率金卤灯用电子镇流器的设计方案
能源消耗监管系统开发解决方案找源中瑞科技
Nordic NRF51系列多协议SOC芯片的特点
探讨OEM制造生命周期的安全性问题
新材料企业家成长营将走进国内领先的金刚石线制造商岱勒新材
国行三星GalaxyS9/S9+开启安卓9.0内测 仅限前1万位报名的用户
PCB板相关知识科普
ANC降噪耳机，给你想“静静”的机会
什么是信号回流路径？
小巧可靠的无源元件是医疗设备选择的关键
三面液冷“护航”快充 亿纬锂能大圆柱电池π系统亮相
LPC2141的无刷直流电机控制系统设计