如何更好的理解视觉信息处理

神经科学家和计算机视觉科学家表示,一个空前庞大的新数据集将帮助研究人员更好地理解大脑是如何处理图像的。
卡内基梅隆大学和福德姆大学的研究人员今天在《科学数据》杂志上发表报告说,在这种规模下获得功能性磁共振成像(fmri)扫描呈现出独特的挑战。
每位志愿者都参与了20个小时或更长时间的核磁共振扫描,这对他们的毅力和实验者协调扫描过程的能力都构成了挑战。为了解开与单个图像相关的神经反应,有必要做出一个极端的设计决策,即让相同的个体运行如此多的会话。
由此产生的数据集被称为bold5000,它使认知神经科学家能够更好地利用深度学习模型,这些模型极大地改善了人工视觉系统。深度学习最初受到人类视觉系统架构的启发,通过对人类视觉如何工作的新见解的追求,以及对人类视觉的研究更好地反映现代计算机视觉方法,可以进一步改进。为此,bold5000测量了从两个流行的计算机视觉数据集imagenet和coco中获取的图像所产生的神经活动。
“大脑科学和计算机科学的缠绕意味着科学发现可以在两个方向流动,共同作者michael j. tarr(moura认知和脑科学教授,cmu心理系主任 ) 说 :“未来的视觉研究将使用bold5000数据集,这将有助于神经科学家更好地理解人类大脑中的知识组织。随着我们对视觉识别的神经基础了解得越来越多,我们也将更好地为人工视觉的进步做出贡献。”
该研究的主要作者、加州大学机器人研究所(cmu’s robotics institute)专攻计算机视觉的博士生nadine chang表示,计算机视觉科学家正将目光投向神经科学,以帮助在快速发展的人工视觉领域进行创新——这加强了这项研究的双向性。
“ chang说:“计算机视觉科学家和视觉神经科学家本质上有着相同的最终目标:理解如何处理和解释视觉信息”。
从一开始,改善计算机视觉就是bold5000项目的重要组成部分。资深作者elissa aminoff,当时是cmu心理学系的博士后,现在是福特汉姆大学的心理学助理教授,与机器人研究所副教授abhinav gupta共同发起了这一研究方向。
将生物视觉和计算机视觉联系起来所面临的挑战之一是,大多数人类神经成像研究只包含很少的刺激图像——通常是100幅或更少——这些图像通常被简化为在中性背景下只描绘单个物体。相比之下,bold5000包含超过5000个真实世界的复杂场景图像、单个对象和交互对象。
该小组认为bold5000只是利用现代计算机视觉模型研究生物视觉的第一步。
“坦率地说,bold5000数据集仍然太小,”塔尔说,这表明一个合理的功能磁共振成像数据集需要至少50000刺激图像和更多的志愿者来取得进展的事实的深层神经网络用于分析视觉表象训练在数以百万计的图像。为此,研究小组希望他们能够生成5000个大脑扫描数据集,这将为人类视觉和计算机视觉科学家之间更大规模的合作铺平道路。
到目前为止,该领域的反应是积极的。公开可用的bold5000数据集已经被下载超过2500次。
除了chang,tarr,gupta和aminoff之外,研究团队还包括cmu-pitt bridge中心的高级研究科学家和科学运营总监john a. pyles以及tarr实验室的研究助理austin marcus。美国国家科学基金会,美国海军研究办公室,阿尔弗雷德·斯隆基金会和大川信息和电信基金会赞助了这项研究。

即将面世的Realme GT 5G旗舰手机将采用玻璃后盖和皮革后盖版本
无人机快速充电设计方案解析
苹果ios15息屏显示 苹果ios15系统界面曝光
直播预告 | @9/29 电源控制器PowiGaN 业界之最 整合最高
Nank南卡骨传导耳机以249元全网最低价震撼上市,完虐千元骨传导耳机!!!
如何更好的理解视觉信息处理
电子商务实现业务中台系统架构思路
意法半导体推出灵活的车规级12通道LED驱动芯片,简化当下最先进的车灯设计
常用磁环电感有哪些?
LM358充电器电路图 基于LM358的充电器电路设计
74ls353中文资料汇总(74ls353引脚图及功能_逻辑功能及特性)
射频SAW滤波器芯片功率耐受指标的重要性
监控系统设备的环境影响
谷歌做了个投掷机器人 扔东西比人准多了
35KV户外真空断路器的工作原理和安装图纸
基于NCL31000 LED驱动器的智能照明
使用QWHE量子阱霍尔效应传感器--威胁检测和识别
电气防火限流式保护器的功能及应用范围
MIC阵列设计的详细介绍
基于ARM和FPGA的电力光纤信号分析仪的设计