TensorFlow Lite for MCUs - 网络边缘的人工智能
在技术发展的历史上，技术先独立发展再相互融合以改变世界的例子比比皆是。原子能和喷气式发动机的融合催生了核航空母舰，改变了20世纪大部分战争的形态。计算机和射频通信的融合产生了智能手机，同时也重新定义了我们与技术以及彼此之间的互动方式。今天，嵌入式电子和人工智能 (ai) 的融合正日益成为下一个具有颠覆性的技术组合。接下来我们就看一下这种融合的发展演变。
欢迎来到网络边缘
人工智能的概念最早出现在古希腊人的著作中，但直到20世纪上半叶，才开始将其作为一种实际技术进行开发。从根本上来说，ai使数字技术像人脑一样，能够与模拟世界有效互动、响应沟通。为了使ai在现实世界的应用具有实用性，比如自动驾驶车辆，在处理多个动态输入时，电子设备和物理世界之间的交互必须接近瞬时完成。值得庆幸的是，随着机器学习算法的发展，嵌入式电子系统也在不断进步。他们的联姻催生了边缘计算的概念。
边缘计算获得了过去只有云端强大的处理硬件才能实现的处理能力，并将这种能力带给了位于物理-数字接口边缘的本地设备。再加上微控制器和传感器等廉价而稳健的嵌入式组件的普及，给自动化领域，无论是规模上还是功能上都带来了一场革命。
tensorflow lite: 微型硬件上的大ml算法
tensorflow是google主导开发的一套开源软件库，使开发人员能够轻松地将复杂的数值计算算法和机器学习（ml）集成到他们的项目中（图1）。按照google的说法，这些库为python（所有平台上的python 3.7+）和c提供稳定的应用程序编程接口，另外还提供没有向后兼容保证的c++、go、java 和javascript api。此外，还针对apple公司的swift语言提供了一个alpha版本。
图1：google的tensorflow lite for microcontrollers网站。（资料来源：google）
tensorflow为深度神经网络 (dnn) 的开发和利用提供了所谓的端到端机器学习支持。 dnn是ml的一种实现，它特别擅长模式识别以及对象检测与分类。tensorflow库支持机器学习过程的两个阶段，即训练和推理。首先是深层神经网络的训练，这需要大量算力，通常由服务器级硬件和图形处理单元 (gpu) 提供。最近开发了被称为张量处理单元 (tpu) 的专用集成电路来支持这种训练。第二阶段是推理，即利用现实世界中经过训练的dnn来响应新的输入，按照培训好的模型分析这些输入，并根据分析结果提出建议。这应该是嵌入式产品开发人员比较感兴趣的阶段。
tensorflow lite for microcontrollers（tensorflow库的一个子集）专门用于在内存受限的设备上执行推理，大多数嵌入式系统应用中都存在这种设备。它不允许您训练新网络，这仍然需要较高端的硬件。
实用为王：ml应用实例
人工智能、神经网络和机器学习等术语可以看成是科幻小说或行话。那么这些新兴技术的现实意义何在？
运行在嵌入式系统上的ai算法的目标，是以比传统程序或面向对象的编程方法更高效的方式处理传感器收集的真实世界数据。也许在大家的意识中，最明显的使用案例是从传统汽车到具有自动辅助功能（如车道偏离警报和防撞系统）的汽车，再到无人驾驶汽车这个最终目标的发展历程。不过，深度学习还有其他一些不那么明显的用例，虽然你不知道，但已经在使用了。智能手机中的语音识别或amazon alexa等虚拟助手均使用了深度学习算法。其他用例包括用于安防领域的面部检测和/或背景替换、sans绿幕、远程会议软件（如zoom）等。
同时使用机器学习算法和互联网连接的设备（如物联网设备）的一个巨大优势是，随着时间的推移，产品可以通过简单的无线固件更新来集成新的或经过更好训练的模型。这意味着产品可以逐渐变得更加智能，并且不局限于制造时可能实现的功能，只要新型号和固件不超出硬件的物理内存和处理能力即可。
图2：将tensorflow模型转换为可在微控制器等内存受限设备上使用的版本。（资料来源：nxp）
工作流程
根据tensorflow lite for microcontrollers的附带文档，开发人员的工作流程可以分为五个关键步骤（图2）， 具体如下：
1. 创建或获取一个tensorflow模型：该模型必须足够小，以便在转换后适合目标设备，并且它只能使用支持的运算。如果要使用当前不支持的运算，可以提供自定义实现。
2. 将模型转换为tensorflow lite flatbuffer：您将使用tensorflow lite转换器将模型转换为标准tensorflow lite格式。您可能希望输出一个量化模型，因为这种模型的尺寸更小，执行效率更高。
3. 将flatbuffer转换为c字节数组：模型保存在只读程序内存中，并以简单的c文件形式提供。可以使用标准工具将flatbuffer转换为c字节数组。
4. 集成tensorflow lite for microcontrollers c++库：编写微控制器代码来收集数据，使用c++库执行推理，然后使用结果。
5. 部署到设备：编写程序并将其部署到您的设备。
在选择与tensorflow lite库一起使用的兼容嵌入式平台时，开发人员应注意以下几点：
1. 基于32位架构（如arm cortex-m处理器）和esp32的系统。
2. 它可以运行在内存大小达数十kb的系统上。
3. tensorflow lite for microcontrollers是用c++ 11编写的。
4. tensorflow lite for microcontrollers可作为arduino库提供。该框架还可以为其他开发环境（如mbed）生成项目。
5. 不需要操作系统支持、动态内存分配或任何c/c++标准库。
接下来的步骤
google提供四个事先训练好的模型作为示例，可用于在嵌入式平台上运行。只需稍做修改，就能在各种开发板上使用。这些示例包括：
● hello world：演示使用tensorflow lite for microcontrollers的必备基础知识。
● micro-speech：用麦克风捕捉音频以检测单词“yes”和“no”。
● person deflection：用图像传感器捕捉摄像头数据，以检测是否有人。
● magic wand：捕获加速度计数据以对三种不同的手势进行分类。
5mm发光二极管（LED）灯珠的工作电压多少
特斯拉已与存储器大厂旺宏联系洽谈收购1座6寸晶圆厂
2018年AI Now报告发布 以下是关键要点
哪款电动牙刷好？国内电动牙刷品牌排行
台达人机界面与SC500PLC在工业控制中的应用
TensorFlow Lite for MCUs - 网络边缘的人工智能
Gigafactory 3的建设速度如此之快，以至于它有可能在中国创下纪录
国家超算深圳中心算二期建设规划E级机研制项目
高通急停智能电视专用处理器骁龙802 意欲何为？
汽车上有很多继电器，你知道怎么分类吗？
基于dc—dc变换器的电源拓扑结构的研究
SoC入门：APBmaster设计主站设计原理与实践
5月份全国用电量预计同比增长10%左右
华为WATCH22018版体验 非常适合办公室白领和健身爱好者
不使用保险丝的过压保护电路设计
secure boot相关的基本概念和框架
“有颜在先”，360颜值手机H5将在8月21日进行发布
从工艺制程到客户争夺 台积电和三星新一轮争夺战开打
中国短视频行业进入平稳期，疫情催生更多用户规模
三星将收购网络服务提供商TWS，为了提供更好的5G基础设施
欢迎来到网络边缘
人工智能的概念最早出现在古希腊人的著作中，但直到20世纪上半叶，才开始将其作为一种实际技术进行开发。从根本上来说，ai使数字技术像人脑一样，能够与模拟世界有效互动、响应沟通。为了使ai在现实世界的应用具有实用性，比如自动驾驶车辆，在处理多个动态输入时，电子设备和物理世界之间的交互必须接近瞬时完成。值得庆幸的是，随着机器学习算法的发展，嵌入式电子系统也在不断进步。他们的联姻催生了边缘计算的概念。
边缘计算获得了过去只有云端强大的处理硬件才能实现的处理能力，并将这种能力带给了位于物理-数字接口边缘的本地设备。再加上微控制器和传感器等廉价而稳健的嵌入式组件的普及，给自动化领域，无论是规模上还是功能上都带来了一场革命。
tensorflow lite: 微型硬件上的大ml算法
tensorflow是google主导开发的一套开源软件库，使开发人员能够轻松地将复杂的数值计算算法和机器学习（ml）集成到他们的项目中（图1）。按照google的说法，这些库为python（所有平台上的python 3.7+）和c提供稳定的应用程序编程接口，另外还提供没有向后兼容保证的c++、go、java 和javascript api。此外，还针对apple公司的swift语言提供了一个alpha版本。
图1：google的tensorflow lite for microcontrollers网站。（资料来源：google）
tensorflow为深度神经网络 (dnn) 的开发和利用提供了所谓的端到端机器学习支持。 dnn是ml的一种实现，它特别擅长模式识别以及对象检测与分类。tensorflow库支持机器学习过程的两个阶段，即训练和推理。首先是深层神经网络的训练，这需要大量算力，通常由服务器级硬件和图形处理单元 (gpu) 提供。最近开发了被称为张量处理单元 (tpu) 的专用集成电路来支持这种训练。第二阶段是推理，即利用现实世界中经过训练的dnn来响应新的输入，按照培训好的模型分析这些输入，并根据分析结果提出建议。这应该是嵌入式产品开发人员比较感兴趣的阶段。
tensorflow lite for microcontrollers（tensorflow库的一个子集）专门用于在内存受限的设备上执行推理，大多数嵌入式系统应用中都存在这种设备。它不允许您训练新网络，这仍然需要较高端的硬件。
实用为王：ml应用实例
人工智能、神经网络和机器学习等术语可以看成是科幻小说或行话。那么这些新兴技术的现实意义何在？
运行在嵌入式系统上的ai算法的目标，是以比传统程序或面向对象的编程方法更高效的方式处理传感器收集的真实世界数据。也许在大家的意识中，最明显的使用案例是从传统汽车到具有自动辅助功能（如车道偏离警报和防撞系统）的汽车，再到无人驾驶汽车这个最终目标的发展历程。不过，深度学习还有其他一些不那么明显的用例，虽然你不知道，但已经在使用了。智能手机中的语音识别或amazon alexa等虚拟助手均使用了深度学习算法。其他用例包括用于安防领域的面部检测和/或背景替换、sans绿幕、远程会议软件（如zoom）等。
同时使用机器学习算法和互联网连接的设备（如物联网设备）的一个巨大优势是，随着时间的推移，产品可以通过简单的无线固件更新来集成新的或经过更好训练的模型。这意味着产品可以逐渐变得更加智能，并且不局限于制造时可能实现的功能，只要新型号和固件不超出硬件的物理内存和处理能力即可。
图2：将tensorflow模型转换为可在微控制器等内存受限设备上使用的版本。（资料来源：nxp）
工作流程
根据tensorflow lite for microcontrollers的附带文档，开发人员的工作流程可以分为五个关键步骤（图2）， 具体如下：
1. 创建或获取一个tensorflow模型：该模型必须足够小，以便在转换后适合目标设备，并且它只能使用支持的运算。如果要使用当前不支持的运算，可以提供自定义实现。
2. 将模型转换为tensorflow lite flatbuffer：您将使用tensorflow lite转换器将模型转换为标准tensorflow lite格式。您可能希望输出一个量化模型，因为这种模型的尺寸更小，执行效率更高。
3. 将flatbuffer转换为c字节数组：模型保存在只读程序内存中，并以简单的c文件形式提供。可以使用标准工具将flatbuffer转换为c字节数组。
4. 集成tensorflow lite for microcontrollers c++库：编写微控制器代码来收集数据，使用c++库执行推理，然后使用结果。
5. 部署到设备：编写程序并将其部署到您的设备。
在选择与tensorflow lite库一起使用的兼容嵌入式平台时，开发人员应注意以下几点：
1. 基于32位架构（如arm cortex-m处理器）和esp32的系统。
2. 它可以运行在内存大小达数十kb的系统上。
3. tensorflow lite for microcontrollers是用c++ 11编写的。
4. tensorflow lite for microcontrollers可作为arduino库提供。该框架还可以为其他开发环境（如mbed）生成项目。
5. 不需要操作系统支持、动态内存分配或任何c/c++标准库。
接下来的步骤
google提供四个事先训练好的模型作为示例，可用于在嵌入式平台上运行。只需稍做修改，就能在各种开发板上使用。这些示例包括：
● hello world：演示使用tensorflow lite for microcontrollers的必备基础知识。
● micro-speech：用麦克风捕捉音频以检测单词“yes”和“no”。
● person deflection：用图像传感器捕捉摄像头数据，以检测是否有人。
● magic wand：捕获加速度计数据以对三种不同的手势进行分类。
5mm发光二极管（LED）灯珠的工作电压多少
特斯拉已与存储器大厂旺宏联系洽谈收购1座6寸晶圆厂
2018年AI Now报告发布 以下是关键要点
哪款电动牙刷好？国内电动牙刷品牌排行
台达人机界面与SC500PLC在工业控制中的应用
TensorFlow Lite for MCUs - 网络边缘的人工智能
Gigafactory 3的建设速度如此之快，以至于它有可能在中国创下纪录
国家超算深圳中心算二期建设规划E级机研制项目
高通急停智能电视专用处理器骁龙802 意欲何为？
汽车上有很多继电器，你知道怎么分类吗？
基于dc—dc变换器的电源拓扑结构的研究
SoC入门：APBmaster设计主站设计原理与实践
5月份全国用电量预计同比增长10%左右
华为WATCH22018版体验 非常适合办公室白领和健身爱好者
不使用保险丝的过压保护电路设计
secure boot相关的基本概念和框架
“有颜在先”，360颜值手机H5将在8月21日进行发布
从工艺制程到客户争夺 台积电和三星新一轮争夺战开打
中国短视频行业进入平稳期，疫情催生更多用户规模
三星将收购网络服务提供商TWS，为了提供更好的5G基础设施