Lattice sensAI再获重大更新
从家庭控制中智能门铃和安全摄像头的存在检测，到零售应用中用于库存的对象计数，再到工业应用中物体和存在检测，越来越多的网络边缘应用正在不断推动新型ai解决方案面市。根据ihs markit（现omida）的预测，2018-2025年物联网设备数量将达到400亿，截至2022年，所有企业产生的数据中近50%会在传统数据中心或云端以外的地方进行处理。
但与此同时，市场一方面要求设计人员开发出性能比以往更高的解决方案；另一方面，延迟、带宽、隐私、功耗和成本问题又限制了他们依赖云的计算资源来执行分析。如何解决系统对于日益严格的功耗（毫瓦级）和小尺寸（5mm2到100mm2）要求？如何能够快速获得相应的硬件和软件工具、参考设计、演示示例和设计服务？莱迪思公司为此做出了有益的尝试。
图1 sensai架构框图
lattice sensai再获重大更新
作为莱迪思推出的业界第一款用于网络边缘设备端ai处理的完整解决方案集合，sensaitm提供了供开发人员评估、开发和部署基于fpga的机器学习/人工智能解决方案所需的全部资源，包括模块化硬件平台、演示示例、参考设计、神经网络ip核、软件开发工具和定制化设计服务。
2019年上半年，sensai通过更新迎来10倍性能提升，这是由多个优化促成的，包括通过更新cnn ip和神经网络编译器、新增8位激活量化、智能层合并以及双dsp引擎等特性。而最令人感到兴奋的是它新增并优化了用于快速实现网络边缘常见ai应用的参考设计，为关键词检测、人脸识别、人员侦测、人员计数等赋予了更强大的特性。
图2 在训练过程中支持8位量化可在神经网络模型训练过程中实现更高的精度
为了演示关键词检测系统的功能，工程师使用了搭载ice40 ultraplus fpga的himax hm01b0 upduino shield开发板。该开发板有两个直连到fpga的i2s麦克风、用于fpga设计的外部闪存、权重激活存储器、以及led指示灯用以指示是否检测到关键词。用户可以直接对麦克风说话，一旦检测到关键词，led就会亮起。
图3 关键词检测演示系统
图4左侧是针对低功耗运行进行优化、采用cmos图像传感器的人员侦测演示，通过vgg8网络提供64 x 64 x 3的分辨率，该系统以每秒5帧的速率运行，使用ice40 ultraplus fpga功耗仅为7mw；右侧是性能经优化的人员计数应用演示，同样也使用cmos图像传感器，通过vgg8网络提供128 x 128 x 3的分辨率。该演示以每秒30帧的速率运行，使用ecp5-85k fpga功耗为850mw。
图4 这些参考设计展示了sensai提供的功耗与性能可选方案
lattice人员识别参考设计方案也应用于售卖机上检测人员的出现，唤醒售卖机的内核。通过减少非人员靠近造成的误触发，或人员路过造成的误触发，达到减小功耗的目的。
2020年5月，sensai又成功升级至3.0版本。
在此前支持ecp5/ecp5-5g和ice40 ultraplus 模块化硬件平台的基础上，新推出的sensai 3.0版本支持crosslink-nx系列fpga，运行sensai软件的crosslink-nx fpga比之前版本降低了一半的功耗，同时实现性能翻倍，从而为监控/安防、机器人、汽车和计算领域的智能视觉应用带来功耗和性能上的再次突破。同时，它还拥有定制化卷积神经网络cnn ip并新增支持mobilenet v2、ssd和resnet模型，这些灵活的加速器ip可简化常见cnn网络的实现，经优化后可更加充分利用fpga的并行处理能力，开发人员可轻松编译经过训练的神经网络模型并将其下载到crosslink-nx fpga中。
crosslink-nx fpga采用28nm fd-soi工艺制造，与同类fpga竞品相比，功耗可降低75%。在crosslink-nx fpga上运行解决方案时，sensai可提供多达2.5mb的分布式内存、ram块以及额外的dsp资源，mipi i/o提供瞬时启动的性能可在不到3ms的时间内完成自我配置，而整个器件的配置也只需8ms。在基于crosslink-nx的对象计数演示中，——基于vgg的对象计数演示拥有10帧/秒的性能，功耗仅为200mw。
图6sensai支持多种ai算法模型
当ai遇见超低功耗fpga
拥有5k lut的ice40 ultraplus fpga可实现网络边缘实时在线的智能应用所需的神经网络模式匹配。其拥有5280个4输入lut、自定义i/o、多达80kb和1mb的嵌入式存储器，睡眠电流低至75ua，工作电流仅为1-10ma，功耗低至1mw，硬件平台尺寸小至5.5mm2。为了满足各类应用的需求，还采用了包括从专为电子消费品和iot设备优化的超小尺寸2.15 mm x 2.50 mm x 0.45 mm wlcsp封装，到低成本应用的0.5mm间距7x7mm qfn封装在内的多种封装选项。
功耗优化遥遥领先的原因，得益于其采用的分布式异构处理（distributed heterogenous processing,dhp）架构。由于不使用云端执行算法，而是使用内置的数字信号处理器（dsp）执行重复的数字处理任务，因此大幅减少了功耗极大的应用处理器（ap）的计算负载，从而实现更长时间的睡眠模式以延长电池使用时间。另一方面，内置的神经网络软ip和编译器实现了灵活的机器学习/人工智能应用，消除了云端智能应用带来的延迟，降低了整个系统解决方案的成本。
图7 ice40 ultraplus采用的分布式异构处理（dhp）架构
图8和图9描述了不同fpga之间存在的资源差异如何影响到人脸检测和人员检测应用的性能和功耗。图8左侧的32x32输入示例中，橙色部分代表卷积层上运行的周期。在四个示例中，ultraplus的乘法器数量最少，其他三片ecp5 fpga的乘法器数量依次递增。随着乘法器数量的增加，卷积层所需的周期数减少；右侧的90x90输入示例中，在每个柱形图的底部有大面积的蓝色区域。这是由于设计更为复杂，需要占用外部dram，性能就有所折中。
图8 在ultraplus和ecp5 fpga上实现入门级和提高级人脸检测时的性能、功耗和占用面积
人员侦测应用的情况类似，两组分别采用了64x64输入和128x128输入的情况。同样，较多的乘法器会减少卷积层的负担，而依赖dram则会影响性能。
图9 在ultraplus和ecp5 fpga上实现简单和复杂人员检测时的性能、功耗和占用面积
其实，设计ai模型的最常见做法就是使用处理器，可能是gpu或者dsp，也有可能是微控制器（mcu）。不过，低端mcu可能连简单的ai模型也无法处理，高性能处理器又可能会违反设备的功耗和成本要求，但这正是低功耗fpga发挥作用的地方。与增强处理器来处理算法的方式不同，莱迪思ice40 ultraplus fpga可以作为mcu的协处理器，处理mcu无法解决的复杂任务之余，将功耗保持在要求范围内。
另一种思路是将低功耗fpga作为单独运行的、完整的ai引擎，此时fpga中的dsp就起到了关键作用。即便网络边缘设备没有其他的计算资源，也可以在不超出功耗、成本或电路板尺寸预算的情况下添加ai功能，更何况它们还拥有支持快速演进算法所需的灵活性和可扩展性。
无论采取哪种方法，都意味着设计人员可以采用莱迪思sensai以及一片低功耗的ice40 ultraplus fpga对传感器数据进行预处理，从而最大程度地降低了向soc或云端传输数据进行分析的成本。例如，如果是用在智能门铃上，sensai会初步读取来自图像传感器的数据。如果判断为不是人，比如说是一只猫，那么系统就不会唤醒soc或连接到云端作进一步处理。因此，这种方法可以最大程度降低数据传输成本和功耗。如果预处理系统判断门口的对象是人，则唤醒soc作进一步处理。这能极大减少系统需要处理的数据量，同时降低功耗要求，这对于实时在线的网络边缘应用来说至关重要。
图10 基于ice40 ultraplus fpga的sensai会预处理传感器数据以判断该数据是否需要发送到soc作进一步处理
结语：
莱迪思的fpga具有独特的优势，可以满足网络边缘设备快速变化的市场需求。设计人员可以在不依赖云端的情况下，快速为网络边缘设备提供更多计算资源的其中一个方法是使用fpga中本身的并行处理能力来加速神经网络性能。此外，通过使用针对低功耗运行而优化的低密度、小尺寸封装fpga，设计人员可以满足新的消费和工业应用对功耗和尺寸的严格限制。
人工智能面临哪一些风险
H3C AC无线接入点FAT与FIT模式切换方法
深圳锡膏生产厂家有哪些？
SMSC推出最新一代的JukeBlox 3.0 (JB3.0)平台
通俗易懂的术语: VE-Trac Direct和VE-Trac Dual的功能
Lattice sensAI再获重大更新
浅析中国工业自动化与智能化应用
铝基板UL认证
毕业派对融合游戏、音乐惊喜不小，OPPO Reno6系列明日正式亮相
dds正弦波信号发生器
红外光学系统中硅的非球面、衍射面加工技术
苹果和高通撕破脸是怎么回事
吉利汽车发布2018年上半年财报,营收达537.1亿元，同比增长36%
汽车蓄电池正极几条线都是接哪几个地方的？
广和通5G模组FG650-CN、FM650-CN系列全线量产，加速5G超宽带应用高效落地
安全虚拟化技术可以延长遗留系统的使用寿命
电子万年历设计方案(2)
音频XLR（卡侬）接口的原理和优势
英特尔开发出拇指大小的功能完备的计算机
2019年整体闪存平均销售单价下滑40%
但与此同时，市场一方面要求设计人员开发出性能比以往更高的解决方案；另一方面，延迟、带宽、隐私、功耗和成本问题又限制了他们依赖云的计算资源来执行分析。如何解决系统对于日益严格的功耗（毫瓦级）和小尺寸（5mm2到100mm2）要求？如何能够快速获得相应的硬件和软件工具、参考设计、演示示例和设计服务？莱迪思公司为此做出了有益的尝试。
图1 sensai架构框图
lattice sensai再获重大更新
作为莱迪思推出的业界第一款用于网络边缘设备端ai处理的完整解决方案集合，sensaitm提供了供开发人员评估、开发和部署基于fpga的机器学习/人工智能解决方案所需的全部资源，包括模块化硬件平台、演示示例、参考设计、神经网络ip核、软件开发工具和定制化设计服务。
2019年上半年，sensai通过更新迎来10倍性能提升，这是由多个优化促成的，包括通过更新cnn ip和神经网络编译器、新增8位激活量化、智能层合并以及双dsp引擎等特性。而最令人感到兴奋的是它新增并优化了用于快速实现网络边缘常见ai应用的参考设计，为关键词检测、人脸识别、人员侦测、人员计数等赋予了更强大的特性。
图2 在训练过程中支持8位量化可在神经网络模型训练过程中实现更高的精度
为了演示关键词检测系统的功能，工程师使用了搭载ice40 ultraplus fpga的himax hm01b0 upduino shield开发板。该开发板有两个直连到fpga的i2s麦克风、用于fpga设计的外部闪存、权重激活存储器、以及led指示灯用以指示是否检测到关键词。用户可以直接对麦克风说话，一旦检测到关键词，led就会亮起。
图3 关键词检测演示系统
图4左侧是针对低功耗运行进行优化、采用cmos图像传感器的人员侦测演示，通过vgg8网络提供64 x 64 x 3的分辨率，该系统以每秒5帧的速率运行，使用ice40 ultraplus fpga功耗仅为7mw；右侧是性能经优化的人员计数应用演示，同样也使用cmos图像传感器，通过vgg8网络提供128 x 128 x 3的分辨率。该演示以每秒30帧的速率运行，使用ecp5-85k fpga功耗为850mw。
图4 这些参考设计展示了sensai提供的功耗与性能可选方案
lattice人员识别参考设计方案也应用于售卖机上检测人员的出现，唤醒售卖机的内核。通过减少非人员靠近造成的误触发，或人员路过造成的误触发，达到减小功耗的目的。
2020年5月，sensai又成功升级至3.0版本。
在此前支持ecp5/ecp5-5g和ice40 ultraplus 模块化硬件平台的基础上，新推出的sensai 3.0版本支持crosslink-nx系列fpga，运行sensai软件的crosslink-nx fpga比之前版本降低了一半的功耗，同时实现性能翻倍，从而为监控/安防、机器人、汽车和计算领域的智能视觉应用带来功耗和性能上的再次突破。同时，它还拥有定制化卷积神经网络cnn ip并新增支持mobilenet v2、ssd和resnet模型，这些灵活的加速器ip可简化常见cnn网络的实现，经优化后可更加充分利用fpga的并行处理能力，开发人员可轻松编译经过训练的神经网络模型并将其下载到crosslink-nx fpga中。
crosslink-nx fpga采用28nm fd-soi工艺制造，与同类fpga竞品相比，功耗可降低75%。在crosslink-nx fpga上运行解决方案时，sensai可提供多达2.5mb的分布式内存、ram块以及额外的dsp资源，mipi i/o提供瞬时启动的性能可在不到3ms的时间内完成自我配置，而整个器件的配置也只需8ms。在基于crosslink-nx的对象计数演示中，——基于vgg的对象计数演示拥有10帧/秒的性能，功耗仅为200mw。
图6sensai支持多种ai算法模型
当ai遇见超低功耗fpga
拥有5k lut的ice40 ultraplus fpga可实现网络边缘实时在线的智能应用所需的神经网络模式匹配。其拥有5280个4输入lut、自定义i/o、多达80kb和1mb的嵌入式存储器，睡眠电流低至75ua，工作电流仅为1-10ma，功耗低至1mw，硬件平台尺寸小至5.5mm2。为了满足各类应用的需求，还采用了包括从专为电子消费品和iot设备优化的超小尺寸2.15 mm x 2.50 mm x 0.45 mm wlcsp封装，到低成本应用的0.5mm间距7x7mm qfn封装在内的多种封装选项。
功耗优化遥遥领先的原因，得益于其采用的分布式异构处理（distributed heterogenous processing,dhp）架构。由于不使用云端执行算法，而是使用内置的数字信号处理器（dsp）执行重复的数字处理任务，因此大幅减少了功耗极大的应用处理器（ap）的计算负载，从而实现更长时间的睡眠模式以延长电池使用时间。另一方面，内置的神经网络软ip和编译器实现了灵活的机器学习/人工智能应用，消除了云端智能应用带来的延迟，降低了整个系统解决方案的成本。
图7 ice40 ultraplus采用的分布式异构处理（dhp）架构
图8和图9描述了不同fpga之间存在的资源差异如何影响到人脸检测和人员检测应用的性能和功耗。图8左侧的32x32输入示例中，橙色部分代表卷积层上运行的周期。在四个示例中，ultraplus的乘法器数量最少，其他三片ecp5 fpga的乘法器数量依次递增。随着乘法器数量的增加，卷积层所需的周期数减少；右侧的90x90输入示例中，在每个柱形图的底部有大面积的蓝色区域。这是由于设计更为复杂，需要占用外部dram，性能就有所折中。
图8 在ultraplus和ecp5 fpga上实现入门级和提高级人脸检测时的性能、功耗和占用面积
人员侦测应用的情况类似，两组分别采用了64x64输入和128x128输入的情况。同样，较多的乘法器会减少卷积层的负担，而依赖dram则会影响性能。
图9 在ultraplus和ecp5 fpga上实现简单和复杂人员检测时的性能、功耗和占用面积
其实，设计ai模型的最常见做法就是使用处理器，可能是gpu或者dsp，也有可能是微控制器（mcu）。不过，低端mcu可能连简单的ai模型也无法处理，高性能处理器又可能会违反设备的功耗和成本要求，但这正是低功耗fpga发挥作用的地方。与增强处理器来处理算法的方式不同，莱迪思ice40 ultraplus fpga可以作为mcu的协处理器，处理mcu无法解决的复杂任务之余，将功耗保持在要求范围内。
另一种思路是将低功耗fpga作为单独运行的、完整的ai引擎，此时fpga中的dsp就起到了关键作用。即便网络边缘设备没有其他的计算资源，也可以在不超出功耗、成本或电路板尺寸预算的情况下添加ai功能，更何况它们还拥有支持快速演进算法所需的灵活性和可扩展性。
无论采取哪种方法，都意味着设计人员可以采用莱迪思sensai以及一片低功耗的ice40 ultraplus fpga对传感器数据进行预处理，从而最大程度地降低了向soc或云端传输数据进行分析的成本。例如，如果是用在智能门铃上，sensai会初步读取来自图像传感器的数据。如果判断为不是人，比如说是一只猫，那么系统就不会唤醒soc或连接到云端作进一步处理。因此，这种方法可以最大程度降低数据传输成本和功耗。如果预处理系统判断门口的对象是人，则唤醒soc作进一步处理。这能极大减少系统需要处理的数据量，同时降低功耗要求，这对于实时在线的网络边缘应用来说至关重要。
图10 基于ice40 ultraplus fpga的sensai会预处理传感器数据以判断该数据是否需要发送到soc作进一步处理
结语：
莱迪思的fpga具有独特的优势，可以满足网络边缘设备快速变化的市场需求。设计人员可以在不依赖云端的情况下，快速为网络边缘设备提供更多计算资源的其中一个方法是使用fpga中本身的并行处理能力来加速神经网络性能。此外，通过使用针对低功耗运行而优化的低密度、小尺寸封装fpga，设计人员可以满足新的消费和工业应用对功耗和尺寸的严格限制。
人工智能面临哪一些风险
H3C AC无线接入点FAT与FIT模式切换方法
深圳锡膏生产厂家有哪些？
SMSC推出最新一代的JukeBlox 3.0 (JB3.0)平台
通俗易懂的术语: VE-Trac Direct和VE-Trac Dual的功能
Lattice sensAI再获重大更新
浅析中国工业自动化与智能化应用
铝基板UL认证
毕业派对融合游戏、音乐惊喜不小，OPPO Reno6系列明日正式亮相
dds正弦波信号发生器
红外光学系统中硅的非球面、衍射面加工技术
苹果和高通撕破脸是怎么回事
吉利汽车发布2018年上半年财报,营收达537.1亿元，同比增长36%
汽车蓄电池正极几条线都是接哪几个地方的？
广和通5G模组FG650-CN、FM650-CN系列全线量产，加速5G超宽带应用高效落地
安全虚拟化技术可以延长遗留系统的使用寿命
电子万年历设计方案(2)
音频XLR（卡侬）接口的原理和优势
英特尔开发出拇指大小的功能完备的计算机
2019年整体闪存平均销售单价下滑40%