基于DSP+FPGA+ASIC的实时图像处理系统
基于dsp+fpga+asic的实时图像处理系统
1.引言
随着红外焦平面阵列技术的快速发展，红外成像系统实现了高帧频、高分辨率、高可靠性及微型化，在目标跟踪、智能交通监控中得到了越来越多的应用，并向更加广泛的军事及民用领域扩展。实时红外图像处理系统一般会包括非均匀校正、图像增强、图像分割、区域特征提取、目标检测及跟踪等不同层次的实时图像处理算法，由于图像处理的数据量大，数据处理相关性高，因此实时红外图像处理系统必须具有强大的运算能力。目前有些红外图像处理系统使用fpga实现可重构计算系统[1]，运算速度快，但对于复杂算法的实现难度比较高，且灵活性差。大多数红外图像处理系统则采用dsp+fpga的硬件架构[2]，其中dsp负责实现图像处理算法，fpga负责实现各种接口电路，但诸如图像多级滤波等处理算法复杂度高，只使用dsp处理会耗费大量时间，一般采用并行多dsp系统以满足实时性要求[3]，但系统比较复杂，体积和功耗也不好控制，实现成本高。因此需要在硬件结构上合理分配处理任务，比如fpga可以完成输入图像的预处理工作，减轻dsp的负担，本实验室自主研制的asic芯片可以对输入红外图像进行多级滤波处理，进一步解放dsp。本文针对红外图像处理系统的实时性要求，提出了基于dsp+fpga+asic的图像处理架构。
2.实时红外图像处理系统
由于实时红外小目标检测算法的前端处理数据量大、实时性强且算法复杂度高，我们的系统结构需要保证灵活性，能够适应各种复杂的算法，同时又要保证高速处理能力，因此实时红外图像处理系统采用dsp+ fpga+asic的架构来满足设计的要求。其中，dsp具有高度的可编程性，可以完成比较复杂的任务。fpga的处理速度稍逊于asic，但具有一定的灵活性，它可以实时接收红外小目标检测算法前端的数据，完成输入图像的一些预处理工作。asic芯片处理速度快、性能强且可靠性好，可以完成图像滤波等特定的任务。
一种实时红外图像处理系统结构框图如图1所示：
fpga采用altera公司的stratix系列的ep1s10芯片。该芯片提供多达10,570个逻辑单元(les)，存储器容量为920,448016 bits，同时提供了高速dsp模块以及乘法器，专用乘法器适合于作协处理器，可以分担dsp复杂和耗时的算术运算，提升系统的性能。
dsp选用ti公司的tms320c6414芯片[4]。该芯片主频为600mhz，数据处理能力峰值可达4800mips(每秒48亿条指令)。由8个相互独立的功能单元构成。包含两组通用寄存器组，每组含有32个32位寄存器。片内采用2级存储器结构。
asic使用本实验室自主研制的多级滤波芯片[5]。该芯片采用smic 0.35mm工艺，芯片内部工作频率可达50mhz。有三个数据通道，分别级连不同数量的1*3基本滤波模板，每路数据通道采用流水线结构。采用定点运算，计算精度为8位二进制小数，可处理位宽为8-16位的数据，吞吐量为5m-10m像素/秒，支持128*128，256*256，320*240三种帧格式的图像滤波。
3.处理任务的合理分配
红外探测器输出图像数据到信号处理板，先进入fpga进行预处理，预处理包括非均匀性校正和图像增强等。asic对输入图像数据进行多级滤波处理。fpga在后续算法中也能协同dsp工作，算法中对运行速度要求很高，而算法结构不太复杂的处理均可在fpga 中实现，从而使得该fpga 成为dsp 的协处理器。经过预处理后的红外图像数据输出到dsp中进行后续算法处理，dsp的处理包括红外潜在小目标检测算法。dsp 处理后的潜在小目标和图像数据通过fpga传输到dpram中存储。
该实时红外图像处理系统主要由三部分组成：fpga模块，dsp模块和asic模块。在满足红外图像数据处理的实时性和高速可靠性要求的前提下，各处理模块所处理的任务要尽量达到平衡。
从资源角度看，算法用硬件处理速度快，占内存空间小，但灵活性差;用软件刚好相反，处理速度慢，但灵活性好。由于设计要满足实时性要求，希望硬件承担的任务越多越好。pga作为一种可编程的硬件资源，虽然它有相当强的设计灵活性，但是考虑到设计、实现调试的难度，不适合做全局、复杂的操作。asic芯片处理速度快，但灵活性差，只适合处理一些特定的占用大量处理器资源的运算。dsp作为软件资源，特点是灵活性好，适合复杂的算法，但速度慢。
从算法角度考虑，一个完整的算法在处理上是有层次的，算法对原始数据的操作是简单的、规则的，对后续数据的处理往往比较复杂，同时算法在实现前会被预先分成几个相互独立的功能模块。因此低层的、简单的操作可以由fpga中的逻辑单元模块或asic芯片硬件来完成，高层的、复杂的操作则由dsp软件来完成。
根据上述分析，本设计中fpga主要完成与各个外部设备的接口控制逻辑，同时完成一些数据量大、运算结构简单、速度要求高的算法;dsp完成后续结构复杂的目标检测算法;asic芯片对输入图像进行多级滤波处理。此方案保证了系统有足够的处理速度，能够达到红外图像处理系统的实时性要求。
3.1 fpga模块
fpga内部逻辑结构框图如图2所示。
fpga主要完成以下几方面的工作：图像数据接收逻辑，图像数据预处理模块，输入缓存fifo，dsp接口控制逻辑，asic接口控制逻辑，dpram接口控制逻辑，算法处理模块。
(1) 图像数据接收逻辑：根据探测器输出的数字视频信号的场同步，行同步以及时钟信号，发送控制信号接收图像数据。
(2) 图像数据预处理模块：对接收的图像数据进行非均匀性校正和图像增强等预处理。
(3) 输入缓存fifo：由fpga内部配置输入缓冲存储器fifo。预处理后的图像数据可以连续不间断地写入fifo中，以供dsp读取进行后续的图像处理。
(4) dsp接口控制逻辑：dsp 接口时序控制逻辑必须严格按照tms320c6414的emifa
可编程同步接口的时序来编写，并且满足相应的建立保持时间要求。dsp启动edma通道
读取红外图像数据，通过fpga的内部fifo进行连续的图像传输。
(5) asic接口控制逻辑：按照asic芯片的时序编写其控制逻辑，将图像数据导入asic
芯片进行图像多级滤波处理。
(6) dpram接口控制逻辑：编写dpram的控制逻辑，将dsp 处理后的数据通过fpga传输到dpram中存储。
(7) 算法处理模块：根据具体算法的需要，协同dsp完成算法中速度要求高，结构不太复杂的运算。
3.2 dsp模块
dsp主要完成红外小目标的检测和跟踪算法，功能如下：
(1) 启动edma通道不断读取fpga输出的红外图像数据。
(2) 对输入的红外图像数据，运行目标检测和跟踪算法，检测运动目标，并确定其方位。
(3) 与fpga建立连接，将算法中比较规则的运算交给fpga处理。
(4) dsp将处理后的运算结果通过fpga传输至dpram中存储。
3.3 asic模块
asic芯片从fpga中接收预处理后的图像数据进行处理，处理后的三路数据同步写入内部三个同步fifo，dsp可以根据需要选择输出多级滤波处理后的结果，进行后续算法的处理。
4.实验结果与分析
实时红外图像处理板已成功应用于多个红外探测系统中，效果良好。图3为实验时采用
高德ir108d探测器获得的原始红外图像，图4为经过多级滤波处理后标识的图像，图5为经过目标检测算法处理后输出的跟踪图像。可以看到，该系统能够实时检测并跟踪红外图像中的运动小目标。
5.结语
本文使用高性能的dsp(tms320c6414)，可编程逻辑器件fpga(stratix系列的ep1s10)
和专用asic多级滤波芯片，提出了dsp + fpga + asic的图像处理平台架构，设计了处理
能力强、接口可靠稳定的红外图像处理系统，并在系统中实现了非均匀性校正、小目标检测等算法。实验测试表明，该实时红外图像处理系统对每场320×240有效像素，每个像素14bit，场频50hz的输出数字视频信号能够进行实时处理，对视场中的运动小目标完成检测和跟踪功能，满足系统主要性能指标要求，成功应用于红外探测系统中。
本文作者创新点：采用自主研制的asic芯片对红外图像进行多级滤波处理，速度快，可靠性好，为dsp后续的目标检测跟踪算法节约时间。
用自攻螺钉固定修理洗衣机波轮打滑故障
AI威胁论从人工智能的理论及发展进程来讲均不成立
台湾美加MST介绍
米家智能后视镜评测 最具性价比的智能后视镜
DC电源模块的应用范围与市场前景
基于DSP+FPGA+ASIC的实时图像处理系统
开环、闭环电流电压传感器使用注意事项
中国5G智能电网全球标准占42%，美国被踢出局
什么是EOS原力主网，为什么一定要用区块链重塑未来
CISCO与华为3COM路由器的比较分析
智能交通未来展望，2024年规模将达1300亿美元
NASA持续推进太空“引爆点”技术
曝微软已签署20H1的RTM正式版
2023年6月28日东软载波微电子在青岛海尔集团产品推介会圆满举行
华为唯一硬盘供应商希捷被罚款3亿美元 还有4家中企被管制
7月全球TV液晶面板出货23.0M,BOE TV液晶面板排名第一
智能门锁产业目前还是一片蓝海，但未来发展并不轻松
工业触控一体机在电磁兼容方面具有更高的要求
MEMS惯性传感器的分类及应用解析
首款车型现身工信部产品公告 恒大汽车还能否翻身
1.引言
随着红外焦平面阵列技术的快速发展，红外成像系统实现了高帧频、高分辨率、高可靠性及微型化，在目标跟踪、智能交通监控中得到了越来越多的应用，并向更加广泛的军事及民用领域扩展。实时红外图像处理系统一般会包括非均匀校正、图像增强、图像分割、区域特征提取、目标检测及跟踪等不同层次的实时图像处理算法，由于图像处理的数据量大，数据处理相关性高，因此实时红外图像处理系统必须具有强大的运算能力。目前有些红外图像处理系统使用fpga实现可重构计算系统[1]，运算速度快，但对于复杂算法的实现难度比较高，且灵活性差。大多数红外图像处理系统则采用dsp+fpga的硬件架构[2]，其中dsp负责实现图像处理算法，fpga负责实现各种接口电路，但诸如图像多级滤波等处理算法复杂度高，只使用dsp处理会耗费大量时间，一般采用并行多dsp系统以满足实时性要求[3]，但系统比较复杂，体积和功耗也不好控制，实现成本高。因此需要在硬件结构上合理分配处理任务，比如fpga可以完成输入图像的预处理工作，减轻dsp的负担，本实验室自主研制的asic芯片可以对输入红外图像进行多级滤波处理，进一步解放dsp。本文针对红外图像处理系统的实时性要求，提出了基于dsp+fpga+asic的图像处理架构。
2.实时红外图像处理系统
由于实时红外小目标检测算法的前端处理数据量大、实时性强且算法复杂度高，我们的系统结构需要保证灵活性，能够适应各种复杂的算法，同时又要保证高速处理能力，因此实时红外图像处理系统采用dsp+ fpga+asic的架构来满足设计的要求。其中，dsp具有高度的可编程性，可以完成比较复杂的任务。fpga的处理速度稍逊于asic，但具有一定的灵活性，它可以实时接收红外小目标检测算法前端的数据，完成输入图像的一些预处理工作。asic芯片处理速度快、性能强且可靠性好，可以完成图像滤波等特定的任务。
一种实时红外图像处理系统结构框图如图1所示：
fpga采用altera公司的stratix系列的ep1s10芯片。该芯片提供多达10,570个逻辑单元(les)，存储器容量为920,448016 bits，同时提供了高速dsp模块以及乘法器，专用乘法器适合于作协处理器，可以分担dsp复杂和耗时的算术运算，提升系统的性能。
dsp选用ti公司的tms320c6414芯片[4]。该芯片主频为600mhz，数据处理能力峰值可达4800mips(每秒48亿条指令)。由8个相互独立的功能单元构成。包含两组通用寄存器组，每组含有32个32位寄存器。片内采用2级存储器结构。
asic使用本实验室自主研制的多级滤波芯片[5]。该芯片采用smic 0.35mm工艺，芯片内部工作频率可达50mhz。有三个数据通道，分别级连不同数量的1*3基本滤波模板，每路数据通道采用流水线结构。采用定点运算，计算精度为8位二进制小数，可处理位宽为8-16位的数据，吞吐量为5m-10m像素/秒，支持128*128，256*256，320*240三种帧格式的图像滤波。
3.处理任务的合理分配
红外探测器输出图像数据到信号处理板，先进入fpga进行预处理，预处理包括非均匀性校正和图像增强等。asic对输入图像数据进行多级滤波处理。fpga在后续算法中也能协同dsp工作，算法中对运行速度要求很高，而算法结构不太复杂的处理均可在fpga 中实现，从而使得该fpga 成为dsp 的协处理器。经过预处理后的红外图像数据输出到dsp中进行后续算法处理，dsp的处理包括红外潜在小目标检测算法。dsp 处理后的潜在小目标和图像数据通过fpga传输到dpram中存储。
该实时红外图像处理系统主要由三部分组成：fpga模块，dsp模块和asic模块。在满足红外图像数据处理的实时性和高速可靠性要求的前提下，各处理模块所处理的任务要尽量达到平衡。
从资源角度看，算法用硬件处理速度快，占内存空间小，但灵活性差;用软件刚好相反，处理速度慢，但灵活性好。由于设计要满足实时性要求，希望硬件承担的任务越多越好。pga作为一种可编程的硬件资源，虽然它有相当强的设计灵活性，但是考虑到设计、实现调试的难度，不适合做全局、复杂的操作。asic芯片处理速度快，但灵活性差，只适合处理一些特定的占用大量处理器资源的运算。dsp作为软件资源，特点是灵活性好，适合复杂的算法，但速度慢。
从算法角度考虑，一个完整的算法在处理上是有层次的，算法对原始数据的操作是简单的、规则的，对后续数据的处理往往比较复杂，同时算法在实现前会被预先分成几个相互独立的功能模块。因此低层的、简单的操作可以由fpga中的逻辑单元模块或asic芯片硬件来完成，高层的、复杂的操作则由dsp软件来完成。
根据上述分析，本设计中fpga主要完成与各个外部设备的接口控制逻辑，同时完成一些数据量大、运算结构简单、速度要求高的算法;dsp完成后续结构复杂的目标检测算法;asic芯片对输入图像进行多级滤波处理。此方案保证了系统有足够的处理速度，能够达到红外图像处理系统的实时性要求。
3.1 fpga模块
fpga内部逻辑结构框图如图2所示。
fpga主要完成以下几方面的工作：图像数据接收逻辑，图像数据预处理模块，输入缓存fifo，dsp接口控制逻辑，asic接口控制逻辑，dpram接口控制逻辑，算法处理模块。
(1) 图像数据接收逻辑：根据探测器输出的数字视频信号的场同步，行同步以及时钟信号，发送控制信号接收图像数据。
(2) 图像数据预处理模块：对接收的图像数据进行非均匀性校正和图像增强等预处理。
(3) 输入缓存fifo：由fpga内部配置输入缓冲存储器fifo。预处理后的图像数据可以连续不间断地写入fifo中，以供dsp读取进行后续的图像处理。
(4) dsp接口控制逻辑：dsp 接口时序控制逻辑必须严格按照tms320c6414的emifa
可编程同步接口的时序来编写，并且满足相应的建立保持时间要求。dsp启动edma通道
读取红外图像数据，通过fpga的内部fifo进行连续的图像传输。
(5) asic接口控制逻辑：按照asic芯片的时序编写其控制逻辑，将图像数据导入asic
芯片进行图像多级滤波处理。
(6) dpram接口控制逻辑：编写dpram的控制逻辑，将dsp 处理后的数据通过fpga传输到dpram中存储。
(7) 算法处理模块：根据具体算法的需要，协同dsp完成算法中速度要求高，结构不太复杂的运算。
3.2 dsp模块
dsp主要完成红外小目标的检测和跟踪算法，功能如下：
(1) 启动edma通道不断读取fpga输出的红外图像数据。
(2) 对输入的红外图像数据，运行目标检测和跟踪算法，检测运动目标，并确定其方位。
(3) 与fpga建立连接，将算法中比较规则的运算交给fpga处理。
(4) dsp将处理后的运算结果通过fpga传输至dpram中存储。
3.3 asic模块
asic芯片从fpga中接收预处理后的图像数据进行处理，处理后的三路数据同步写入内部三个同步fifo，dsp可以根据需要选择输出多级滤波处理后的结果，进行后续算法的处理。
4.实验结果与分析
实时红外图像处理板已成功应用于多个红外探测系统中，效果良好。图3为实验时采用
高德ir108d探测器获得的原始红外图像，图4为经过多级滤波处理后标识的图像，图5为经过目标检测算法处理后输出的跟踪图像。可以看到，该系统能够实时检测并跟踪红外图像中的运动小目标。
5.结语
本文使用高性能的dsp(tms320c6414)，可编程逻辑器件fpga(stratix系列的ep1s10)
和专用asic多级滤波芯片，提出了dsp + fpga + asic的图像处理平台架构，设计了处理
能力强、接口可靠稳定的红外图像处理系统，并在系统中实现了非均匀性校正、小目标检测等算法。实验测试表明，该实时红外图像处理系统对每场320×240有效像素，每个像素14bit，场频50hz的输出数字视频信号能够进行实时处理，对视场中的运动小目标完成检测和跟踪功能，满足系统主要性能指标要求，成功应用于红外探测系统中。
本文作者创新点：采用自主研制的asic芯片对红外图像进行多级滤波处理，速度快，可靠性好，为dsp后续的目标检测跟踪算法节约时间。
用自攻螺钉固定修理洗衣机波轮打滑故障
AI威胁论从人工智能的理论及发展进程来讲均不成立
台湾美加MST介绍
米家智能后视镜评测 最具性价比的智能后视镜
DC电源模块的应用范围与市场前景
基于DSP+FPGA+ASIC的实时图像处理系统
开环、闭环电流电压传感器使用注意事项
中国5G智能电网全球标准占42%，美国被踢出局
什么是EOS原力主网，为什么一定要用区块链重塑未来
CISCO与华为3COM路由器的比较分析
智能交通未来展望，2024年规模将达1300亿美元
NASA持续推进太空“引爆点”技术
曝微软已签署20H1的RTM正式版
2023年6月28日东软载波微电子在青岛海尔集团产品推介会圆满举行
华为唯一硬盘供应商希捷被罚款3亿美元 还有4家中企被管制
7月全球TV液晶面板出货23.0M,BOE TV液晶面板排名第一
智能门锁产业目前还是一片蓝海，但未来发展并不轻松
工业触控一体机在电磁兼容方面具有更高的要求
MEMS惯性传感器的分类及应用解析
首款车型现身工信部产品公告 恒大汽车还能否翻身