基于Xilinx reVISION Stack Demo双摄像头采集图像
在近期举办的嵌入式视觉大会上，来自xilinx合作伙伴安富利（avnet）的高级fpga/dsp设计工程师mario bergeron向大家展示了一款双摄像头采集图像并实现融合的演示demo。硬件平台采用的是avnet picozed som（片上系统），核心集成的是xilinx zynq z-7030 soc，同时还用到了picozed嵌入式开发套件的fmc扩展板卡等模块。采用的两款摄像头分别是fmc接口的python-1300-c彩色图像传感器，分辨率达1280x1024，配置灵活，敏感度高，性能高，主要应用于工业图像采集应用，同样是安富利（avnet）公司设计生产的。另一个摄像头采用的是flir红外热成像传感器，输出60x80分辨率的红外视频流，通过pmod接口实现与picozed som的通信与数据传输。
图1：安富利（avnet）双摄像头图像融合应用模块设计
首先对彩色图像进行了sobel边缘检测处理，然后对红外图像进行拉伸处理（warped）并重新调整大小（resize），这样才能够将两幅图像进行融合。开发过程中充分借助了xilinx revision stack资源，sobel边缘检测和重新调整图像大小的算法都直接来自revision stack提供的算法库，图像融合部分是工程师mario bergeron采用c语言实现的，因为这三部分算法模块都是计算密集型任务，因此采用vivado hls进行综合创建硬件加速器模块，然后借助sdsoc工具实现加速器模块与arm处理器的通信连接，生成软件接口驱动程序。
图2：安富利（avnet）图像融合方案设计开发流程
整个系统的性能如何呢？我们以sobel边缘检测模块做一下对比，如果采用非硬件加速的sobel算法，使得zynq z-7030 soc的arm cortex-a9处理器的负载瞬间达到100%，输出的图像也仅为1帧/秒，如果采用硬件加速即使用zynq z-7030 soc的可编程资源来实现图像输出能够达到30帧/秒，同时arm处理器的负载也降低了80%，具体测试情况如下面视频所示：
xilinx revision stack包括丰富的平台、算法和应用开发资源，支持最流行的神经网络，针对应用层开发，提供完善工业级框架，包括面向机器学习的caffe和面向计算机视觉的openvx。xilinx revision stack支持更广泛的没有或者很少硬件设计专业知识的嵌入式软件和系统工程师，使其与机器学习、计算机视觉、传感器融合，从而可以更快速地开发视觉导向的智能系统。
INGCHIPS BLE芯片如何获得最大吞吐量？
华为在官网发布2019年一季度经营业绩，销售收入1797亿人民币
特斯拉的自动辅助驾驶功能，其可靠性没有被所有消费者接受？
利用RFID技术轻松实现工具自动化追踪
指纹识别技术在当代电子设备中的应用
基于Xilinx reVISION Stack Demo双摄像头采集图像
苹果折叠屏专利曝光将不同于华为的横向折叠设计而采用了纵向折叠
瑞风S4新一代车联网系统全球首发
都说荣耀V9高性价比,配置不输P10吗?事实只是一分钱一分货
CGM系统让使用者可以便捷地在智能手机上查看一分钟内最新的血糖读数
2014年LED照明十大创新应用技术大盘点
小爱捷径2.0全线发布可以供无AI键机型使用
韩国上半年存储芯片出口额几近腰斩
简单易用的电源就绪指示器可检测欠压和过压
如何知道APP权限正在窃取隐私信息？
三星晶圆代工厂被迫出狠招 找联发科接触海思
智慧灯杆的应用丰富了人们对未来智慧城市的想象
芯片工程师，月薪2W+什么水平？
大数据分析与机器学习有什么区别
24W机壳式AC-DC降压开关电源模块AP21-24W24N产品简介
图1：安富利（avnet）双摄像头图像融合应用模块设计
首先对彩色图像进行了sobel边缘检测处理，然后对红外图像进行拉伸处理（warped）并重新调整大小（resize），这样才能够将两幅图像进行融合。开发过程中充分借助了xilinx revision stack资源，sobel边缘检测和重新调整图像大小的算法都直接来自revision stack提供的算法库，图像融合部分是工程师mario bergeron采用c语言实现的，因为这三部分算法模块都是计算密集型任务，因此采用vivado hls进行综合创建硬件加速器模块，然后借助sdsoc工具实现加速器模块与arm处理器的通信连接，生成软件接口驱动程序。
图2：安富利（avnet）图像融合方案设计开发流程
整个系统的性能如何呢？我们以sobel边缘检测模块做一下对比，如果采用非硬件加速的sobel算法，使得zynq z-7030 soc的arm cortex-a9处理器的负载瞬间达到100%，输出的图像也仅为1帧/秒，如果采用硬件加速即使用zynq z-7030 soc的可编程资源来实现图像输出能够达到30帧/秒，同时arm处理器的负载也降低了80%，具体测试情况如下面视频所示：
xilinx revision stack包括丰富的平台、算法和应用开发资源，支持最流行的神经网络，针对应用层开发，提供完善工业级框架，包括面向机器学习的caffe和面向计算机视觉的openvx。xilinx revision stack支持更广泛的没有或者很少硬件设计专业知识的嵌入式软件和系统工程师，使其与机器学习、计算机视觉、传感器融合，从而可以更快速地开发视觉导向的智能系统。
INGCHIPS BLE芯片如何获得最大吞吐量？
华为在官网发布2019年一季度经营业绩，销售收入1797亿人民币
特斯拉的自动辅助驾驶功能，其可靠性没有被所有消费者接受？
利用RFID技术轻松实现工具自动化追踪
指纹识别技术在当代电子设备中的应用
基于Xilinx reVISION Stack Demo双摄像头采集图像
苹果折叠屏专利曝光将不同于华为的横向折叠设计而采用了纵向折叠
瑞风S4新一代车联网系统全球首发
都说荣耀V9高性价比,配置不输P10吗?事实只是一分钱一分货
CGM系统让使用者可以便捷地在智能手机上查看一分钟内最新的血糖读数
2014年LED照明十大创新应用技术大盘点
小爱捷径2.0全线发布可以供无AI键机型使用
韩国上半年存储芯片出口额几近腰斩
简单易用的电源就绪指示器可检测欠压和过压
如何知道APP权限正在窃取隐私信息？
三星晶圆代工厂被迫出狠招 找联发科接触海思
智慧灯杆的应用丰富了人们对未来智慧城市的想象
芯片工程师，月薪2W+什么水平？
大数据分析与机器学习有什么区别
24W机壳式AC-DC降压开关电源模块AP21-24W24N产品简介