科学家团队灵光一现,使用 gpu 加速深度学习展示如何实现全彩夜视系统。
在发布于《plos one》期刊的论文中,由 pierre baldi 教授和 andrew browne 博士领导的加州大学欧文分校研究小组描述了他们如何利用红外相机重建人脸照片的彩色图像。
研究使用人类无法察觉的近红外照明采集光线,推动了红外相机图像预测和重建技术的发展。
该研究的作者解释说,人类能够看到的“可见光谱”是波长在 400 至 700 纳米之间的光。
普通的夜视系统依靠相机来采集光谱外人们看不见的红外光。
研究人员表示,相机所采集的图像会被转换到显示器上,显示器单色显示红外相机所拍摄的内容。
加州大学欧文分校的团队开发了成像算法,该算法依靠深度学习来预测人类在红外相机捕获的光线中将看到什么。
加州大学欧文分校的研究人员希望使用深度学习来预测红外光照明下的可见光谱图像
换言之,他们能够使用相机在人类完全看不见的环境中进行拍摄,并数字化渲染拍摄的图像。
为此,研究人员使用了对可见光和近红外光敏感的单色相机来获取面部打印图像的图像数据集。
这些图像是在覆盖标准可见红光、绿光、蓝光以及红外波长的多光谱照明下采集的。
研究人员优化了具有类 u-net 架构的卷积神经网络,根据近红外图像来预测可见光谱图像。该神经网络是弗莱堡大学大学计算机科学系最初为生物医学图像分割所开发的专用卷积神经网络。
左边是由红、绿、蓝三色输入图像组成的可见光谱基准真相图像。右边是unet-gan、unet和线性回归根据三幅红外输入图像预测重建的图像。
该系统使用 nvidia gpu 和 140 张人脸图像进行训练,其中 40 张用于验证,20 张用于测试。
最终,该团队成功重现了红外相机在黑暗房间中拍摄的彩色人像。换言之,他们创造了能够在全彩夜视系统。
可以肯定的是,这些系统目前还无法实现通用。它们需要经过训练后才能预测不同种类物体的颜色,比如花或人脸。
尽管如此,该研究未来可能会完全实现全彩夜视系统,就像我们在白天所能看到的一样。有朝一日,或许它使科学家也能够研究对可见光敏感的生物样本。
如何推动5G在工业互联网行业的技术成熟和商业成熟
逆变焊机原理_逆变焊机和直流焊机有什么区别
华为安全大咖谈 | 华为终端检测与响应EDR 第03期:全栈数据采集如何使威胁“被看到”
Synopsys为更快速的SoC验证推出下一代验证IP
Modbus网关的概念/功能/作用/特点
使用GPU加速深度学习展示如何实现全彩夜视系统
华为和奇瑞合作推出Luxeed 首搭鸿蒙4系统
双屏显示器有什么好处(电脑)_双屏显示器怎么切换
vivo iQOO 5手机迎来价格新低
DeFi正在重振去中心化交易所DEX
电动车防盗报警器语音提示芯片选型NV020C
美国芯片制造企业的新选择
国星光电纳入富时罗素指数 是德科技加速3GPP设备开发
2020年度中国科学十大进展
一加9系列真机疑似被泄露
教你六步玩转CNC数控机床编程!
关于英飞凌汽车电子生态圈的分析介绍
采用1700V SIC MOSFET反激式电源参考设计板介绍
中德双方在工业互联网领域技术加强数据空间领域的共识与合作
多种开关电源输出滤波器技术解析