一种具有高度柔性与可塑性的超香肠覆盖式神经元模型

人工神经网络是模拟人脑神经活动的重要模式识别工具,受到了众多科学家和学者的关注。然而,近年来dnn的改进与优化工作主要集中于网络结构和损失函数的设计,神经元模型的发展一直非常有限。神经生物学和认知神经科学的研究表明,神经元的学习能力是生物神经系统完成学习和记忆任务的重要基础,这些机理可促使我们在神经元设计和优化方面进一步提高dnn的性能。
受生物认知机制的启发,中国科学院半导体研究所高速电路与神经网络实验室李卫军研究员团队设计了一种具有高度柔性与可塑性的超香肠覆盖式神经元模型(hscf neuron)(如图1所示)。
图1.超香肠覆盖式神经元模型及分类策略可视化表示
研究团队定义了一种新的交叉熵和体积覆盖率损失函数,该损失函数可最大限度地压缩超香肠的体积,从而确保样本的类内紧凑性。研究团队引入了一种分裂迭代方法,将每个神经元模型视为一个弱分类器,并迭代增加弱分类器的数量,该迭代方法可自适应地确定hscf神经元的最优数量,形成了端到端的学习框架(如图2所示)。
图2. 基于超香肠覆盖式神经元模型的网络结构示意图
最后,研究团队在模式识别领域的八个经典数据集上进行的对比实验和消融实验证明了该方法的有效性。超香肠覆盖式神经元模型可以应用于经典的dnn中以解决多种模式识别问题,具有广泛的应用与学术价值;此外,所提出的方法也证明了利用神经元可塑性增强dnn性能的可行性,为dnn的进一步发展提供了新的视角。
 该研究成果近日以“hyper-sausage coverage function neuron model and learning algorithm for image classification”为题发表于模式识别领域top期刊《pattern recognition》(136 (109216), 2023), 文章发表后相继入选esi热点与esi高倍引论文,并入选期刊2023年editors' choice paper。论文第一作者为半导体所宁欣副研究员,通讯作者为李卫军研究员。本工作得到国家自然科学基金委项目的支持。


Banana Pi BPI-R3 Mini 介绍:一款小巧而强大的嵌入式路由器板
给大家介绍一种信号波峰波谷的检测方法
从本地部署到 AI 赋能,微软揭开产品现代化秘诀
双十二来临,你不可错过的华为最美手机
LED发光手写笔DIY自制
一种具有高度柔性与可塑性的超香肠覆盖式神经元模型
粉碎机的常见机械故障及排除-风电大部件故障诊断
解析三种嵌入式系统控制电路设计
TC3xx芯片时钟系统的时钟源详解
芯片组的性能指标是什么
电机铁芯的作用是什么
MSPM0L1306开发板教程之通用定时器
未来已来,这些开发机遇你要知道
工业级无线路由器的功能优势都有哪些
高通2023财年净利润72.32亿美元下降44%
华为P10怎么样?华为P10评测:国产旗舰华为P10售价良心,却为何遭网友吐槽?
LDO内部拓扑图介绍
探秘无人地面车辆(UGV)发展
检测热敏电阻故障的四个方法
盘点2022 | 筑牢物联网的数字底座,机智云AIoT赋能各行业智能化升级