低功率设备可以用硅耳蜗收听
随着我们朝着更加无处不在、始终在线的传感和计算迈进，电源变得越来越重要。或许没有比我们办公桌上、口袋里和家中分布的声控设备更能说明这一点的重要例子了。正如我们去年所看到的，关键词识别目前是各种神经形态技术的目标。
硅耳蜗
2020 年 misha mahowald 神经形态工程奖的获得者是刘世琦教授和她的团队，他们一直致力于研究用于检测语音的低延迟、低功耗传感器。神经信息学研究所 (ini) 的 shih-chii liu 和她的团队一直在开发的动态音频传感器最终可能会解决这个市场。它们的核心是一个硅耳蜗，旨在模仿生物学。首先，使用一组模拟带通滤波器将传入的声音过滤到频率通道中，其输出经过半波整流。总之，这模拟了耳朵中毛细胞的功能。
在传统的音频系统中，首先使用模数转换器对声音进行转换，然后使用数字快速傅里叶变换 (fft) 和带通滤波 (bpf) 提取特征。这些由运行语音活动检测 (vad) 或自动语音识别算法的数字信号处理器 (dsp) 处理。b. 在 ini-zurich 动态音频传感器中，信号作为模拟音频带从具有特征和变化被接收，并行编码成异步尖峰（事件）序列，然后对其进行处理。
正如生物学中发生的那样，不同的通道随后准备好在大脑中进行处理。在耳朵中，神经节细胞将信号编码为一股化学离子：在硅耳蜗中，它们变成电尖峰。这可以使用经典的集成和触发功能或异步增量调制器 (adm) 来完成，它将信号与两个阈值进行比较，并在这些阈值通过时发送适当的事件，因此充当特征提取器。由于忽略了不变的信号，因此传递到下一阶段的冗余信息量减少了。
从功率的角度来看，如果什么都没发生，硅耳蜗几乎不会消耗任何能量，但随着活动的增加，尖峰的数量也会增加。根据应用程序的不同，这可能是一个巨大的优势（如果有很多聆听但很少采取行动）或根本没有优势（当有相关的东西一直需要解码时）。
然而，作为在低 µw 范围内工作的音频传感器，该芯片可以为系统设计人员提供一个提高电源效率的宝贵选择。它还允许非常高的动态范围，因为尖峰在连续时间内运行，几乎可以无限远地分开或靠近。
语音识别
这项工作的一个关键部分是证明有用性。具体来说，硅耳蜗产生的事件流可用于实际应用，如语音活动检测、关键字识别的第一阶段。liu 和她的团队通过使用事件输出创建 2d 数据帧成功地做到了这一点：到达峰值的直方图，按频率排列在帧的 5 毫秒内。称为耳蜗图，这些可以被读入神经网络并从那里解码它们的含义。
liu 表示，“在传感器上使用深度网络对 ieee isscc 社区非常感兴趣，并且考虑到当前对音频边缘计算的巨大兴趣，这非常及时。” 她说，已经有很多关于低功耗 asic 用于关键字定位的论文，但这些论文使用的是传统的类似频谱图的功能。她的目标之一是“展示混合解决方案（混合模拟信号设计）可以产生具有更低延迟响应的更低功耗设计解决方案。”
去年 ini 发布了一段视频，展示了系统识别数字的过程（你可以从大约 2:06 看到 liu）。它远非万无一失，但它在系统开发中仍处于相对早期的阶段。多年来，包括 minhao yang、chang gao、enea ceolini、adrian huber、jithendar anumula、ilya kiselev 和 daniel neil 的团队也尝试了传感器融合：liu 和她的同事结合音频和视觉信息进行分类更可靠[1]。他们一直在发布初始设计规则，以选择何时模拟传感器具有优势以及何时最好坚持使用数字传感器 [2]。
misha mahowald，地址事件表示的发明者之一，神经形态工程奖就是以他的名字命名的。
另一项持续的努力涉及提高 das 的电源效率和性能。其中一部分涉及查看各个功能的实现，从基于源跟随器的带通滤波器到模拟特征提取器的设计。
减少模拟电子设备中可变性的影响是另一个重要的研究领域。他们说，为了解决这个问题，他们构建了一个硬件仿真器，可以比使用 cadence virtuoso 等商业软件更快地测试这些问题。通过从软件而不是硬件训练他们用于分类的二元神经网络，他们能够准确预测一系列真实测试芯片的分类性能 [3]。他们现在正在考虑将噪声添加到系统中作为可变性的代理，以使设计过程更加稳健。
马霍瓦尔德奖
刘是神经形态工程的早期研究人员之一。她不仅在加州理工学院 carver mead 的实验室工作（mahowald 曾在那里工作过），而且当该小组中的许多人离开加利福尼亚前往苏黎世时，她还是神经信息学研究所的创始人之一。
在获奖时，刘说：“我们非常荣幸能够获得这个奖项，尤其是在神经形态工程领域有这么多优秀的研究人员。这项工作建立在 dick lyon、carver mead、lloyd watts、rahul sarpeshkar、eric vittoz 和 andre van schaik 的数十年早期硅耳蜗设计的基础上。”
关于神经形态工程的重要性，她说：“即使在摩尔定律结束时，数字计算也将落后于生物学的能源效率至少一千倍。因此，das 等混合模拟电子系统的潜在效率变得比以往任何时候都更加重要。”
参考
[1] d. neil 和 sc liu，“effective sensor fusion with event-based sensors and deep network architectures”，载于proceedings – ieee international symposium on circuits and systems，2016 年 7 月，第一卷。2016 年至 7 月，第 2282-2285 页，doi：10.1109/iscas.2016.7539039。
[2] sc liu、b. rueckauer、e. ceolini、a. huber 和 t. delbruck，“用于高效感知的事件驱动传感：视觉和试听算法”，ieee 信号处理。麦格。, 卷。36，没有。6，第 29-37 页，2019 年 11 月，doi：10.1109/msp.2019.2928127。
[3] m. yang, s.-c. liu、m. seok 和 c. enz，“使用受耳蜗启发的特征提取和 dnn 分类的超低功耗智能声学传感。”
[4] m. yang、ch chien、t. delbruck 和 sc liu，“用于事件驱动立体声音频传感的 0.5 v 55 μw 64 × 2 通道双耳硅耳蜗”，ieee j. 固态电路，卷. 51，没有。11，第 2554-2569 页，2016 年 11 月，doi：10.1109/jssc.2016.2604285。
如何用万用表测试LED
复合移动机器人(AGV/AMR)，如何快速构建？
智能门铃防水膜产品的应用位置
Mini/Micro LED产业链上游全景图
合肥市集成电路复合增长率居全国第一 拥有集成电路企业达186家
低功率设备可以用硅耳蜗收听
智慧供配电系统能给企业带来哪些帮助
微软新云数据中心区域设在卡塔尔，预计2021年投入使用
谷歌将在车载互联、云计算上为福特提供支持
美国采取措施加速5G军用测试
如何提高智能恒温器的可靠性和效率
任何标准输出的传感器均可实现测量与记录
系统性良率问题取代随机缺陷成为先进工艺芯片制造主要问题
阿里云全面升级AI基础设施，通义千问2.0来了
机器学习在各个垂直行业中的应用有望呈指数级增长
恩智浦车用紧凑型LED前灯和尾灯设计方案
XY6833ZA 5G AI核心板—基于联发科MT6833（天玑700）平台
汽车革命的是新能源和信息技术的快速进步_陈清泰对未来经济社会的意见
腾讯2019年第三季度收入972.4亿 三大核心业务增长率下降
按键识别方法实验
硅耳蜗
2020 年 misha mahowald 神经形态工程奖的获得者是刘世琦教授和她的团队，他们一直致力于研究用于检测语音的低延迟、低功耗传感器。神经信息学研究所 (ini) 的 shih-chii liu 和她的团队一直在开发的动态音频传感器最终可能会解决这个市场。它们的核心是一个硅耳蜗，旨在模仿生物学。首先，使用一组模拟带通滤波器将传入的声音过滤到频率通道中，其输出经过半波整流。总之，这模拟了耳朵中毛细胞的功能。
在传统的音频系统中，首先使用模数转换器对声音进行转换，然后使用数字快速傅里叶变换 (fft) 和带通滤波 (bpf) 提取特征。这些由运行语音活动检测 (vad) 或自动语音识别算法的数字信号处理器 (dsp) 处理。b. 在 ini-zurich 动态音频传感器中，信号作为模拟音频带从具有特征和变化被接收，并行编码成异步尖峰（事件）序列，然后对其进行处理。
正如生物学中发生的那样，不同的通道随后准备好在大脑中进行处理。在耳朵中，神经节细胞将信号编码为一股化学离子：在硅耳蜗中，它们变成电尖峰。这可以使用经典的集成和触发功能或异步增量调制器 (adm) 来完成，它将信号与两个阈值进行比较，并在这些阈值通过时发送适当的事件，因此充当特征提取器。由于忽略了不变的信号，因此传递到下一阶段的冗余信息量减少了。
从功率的角度来看，如果什么都没发生，硅耳蜗几乎不会消耗任何能量，但随着活动的增加，尖峰的数量也会增加。根据应用程序的不同，这可能是一个巨大的优势（如果有很多聆听但很少采取行动）或根本没有优势（当有相关的东西一直需要解码时）。
然而，作为在低 µw 范围内工作的音频传感器，该芯片可以为系统设计人员提供一个提高电源效率的宝贵选择。它还允许非常高的动态范围，因为尖峰在连续时间内运行，几乎可以无限远地分开或靠近。
语音识别
这项工作的一个关键部分是证明有用性。具体来说，硅耳蜗产生的事件流可用于实际应用，如语音活动检测、关键字识别的第一阶段。liu 和她的团队通过使用事件输出创建 2d 数据帧成功地做到了这一点：到达峰值的直方图，按频率排列在帧的 5 毫秒内。称为耳蜗图，这些可以被读入神经网络并从那里解码它们的含义。
liu 表示，“在传感器上使用深度网络对 ieee isscc 社区非常感兴趣，并且考虑到当前对音频边缘计算的巨大兴趣，这非常及时。” 她说，已经有很多关于低功耗 asic 用于关键字定位的论文，但这些论文使用的是传统的类似频谱图的功能。她的目标之一是“展示混合解决方案（混合模拟信号设计）可以产生具有更低延迟响应的更低功耗设计解决方案。”
去年 ini 发布了一段视频，展示了系统识别数字的过程（你可以从大约 2:06 看到 liu）。它远非万无一失，但它在系统开发中仍处于相对早期的阶段。多年来，包括 minhao yang、chang gao、enea ceolini、adrian huber、jithendar anumula、ilya kiselev 和 daniel neil 的团队也尝试了传感器融合：liu 和她的同事结合音频和视觉信息进行分类更可靠[1]。他们一直在发布初始设计规则，以选择何时模拟传感器具有优势以及何时最好坚持使用数字传感器 [2]。
misha mahowald，地址事件表示的发明者之一，神经形态工程奖就是以他的名字命名的。
另一项持续的努力涉及提高 das 的电源效率和性能。其中一部分涉及查看各个功能的实现，从基于源跟随器的带通滤波器到模拟特征提取器的设计。
减少模拟电子设备中可变性的影响是另一个重要的研究领域。他们说，为了解决这个问题，他们构建了一个硬件仿真器，可以比使用 cadence virtuoso 等商业软件更快地测试这些问题。通过从软件而不是硬件训练他们用于分类的二元神经网络，他们能够准确预测一系列真实测试芯片的分类性能 [3]。他们现在正在考虑将噪声添加到系统中作为可变性的代理，以使设计过程更加稳健。
马霍瓦尔德奖
刘是神经形态工程的早期研究人员之一。她不仅在加州理工学院 carver mead 的实验室工作（mahowald 曾在那里工作过），而且当该小组中的许多人离开加利福尼亚前往苏黎世时，她还是神经信息学研究所的创始人之一。
在获奖时，刘说：“我们非常荣幸能够获得这个奖项，尤其是在神经形态工程领域有这么多优秀的研究人员。这项工作建立在 dick lyon、carver mead、lloyd watts、rahul sarpeshkar、eric vittoz 和 andre van schaik 的数十年早期硅耳蜗设计的基础上。”
关于神经形态工程的重要性，她说：“即使在摩尔定律结束时，数字计算也将落后于生物学的能源效率至少一千倍。因此，das 等混合模拟电子系统的潜在效率变得比以往任何时候都更加重要。”
参考
[1] d. neil 和 sc liu，“effective sensor fusion with event-based sensors and deep network architectures”，载于proceedings – ieee international symposium on circuits and systems，2016 年 7 月，第一卷。2016 年至 7 月，第 2282-2285 页，doi：10.1109/iscas.2016.7539039。
[2] sc liu、b. rueckauer、e. ceolini、a. huber 和 t. delbruck，“用于高效感知的事件驱动传感：视觉和试听算法”，ieee 信号处理。麦格。, 卷。36，没有。6，第 29-37 页，2019 年 11 月，doi：10.1109/msp.2019.2928127。
[3] m. yang, s.-c. liu、m. seok 和 c. enz，“使用受耳蜗启发的特征提取和 dnn 分类的超低功耗智能声学传感。”
[4] m. yang、ch chien、t. delbruck 和 sc liu，“用于事件驱动立体声音频传感的 0.5 v 55 μw 64 × 2 通道双耳硅耳蜗”，ieee j. 固态电路，卷. 51，没有。11，第 2554-2569 页，2016 年 11 月，doi：10.1109/jssc.2016.2604285。
如何用万用表测试LED
复合移动机器人(AGV/AMR)，如何快速构建？
智能门铃防水膜产品的应用位置
Mini/Micro LED产业链上游全景图
合肥市集成电路复合增长率居全国第一 拥有集成电路企业达186家
低功率设备可以用硅耳蜗收听
智慧供配电系统能给企业带来哪些帮助
微软新云数据中心区域设在卡塔尔，预计2021年投入使用
谷歌将在车载互联、云计算上为福特提供支持
美国采取措施加速5G军用测试
如何提高智能恒温器的可靠性和效率
任何标准输出的传感器均可实现测量与记录
系统性良率问题取代随机缺陷成为先进工艺芯片制造主要问题
阿里云全面升级AI基础设施，通义千问2.0来了
机器学习在各个垂直行业中的应用有望呈指数级增长
恩智浦车用紧凑型LED前灯和尾灯设计方案
XY6833ZA 5G AI核心板—基于联发科MT6833（天玑700）平台
汽车革命的是新能源和信息技术的快速进步_陈清泰对未来经济社会的意见
腾讯2019年第三季度收入972.4亿 三大核心业务增长率下降
按键识别方法实验