视频跟踪算法在Davinci SOC上的实现与优化
关键词：
davinci , soc , 跟踪算法 , 视频
目标跟踪作为计算机视觉的一个极具挑战性的研究任务，已被广泛的应用在人机交互、智能监控、医学图像处理等领域中。目标跟踪的本质是在图像序列中识别出目标的同时对其进行精确定位。为了克服噪声、遮挡、背景的改变等对目标识别带来的困难，出现了很多的跟踪算法。
因为目标跟踪算法需要处理的数据量大、运算复杂，需要性能强大的处理器才能实时处理。我们选用ti推出的最新产品tms320dm6446实现算法。tms320dm6446是一款高度集成的片上系统，集成了可以运行频率高达594mhz的c64x+ dsp核和297mhz的arm926处理器核。另外它还集成了数字视频所需的许多外部组件，如视频加速器，网络外设及高速外部存储接口。本设计充分利用dm6446的强大运算能力，在dsp内核上实时运行目标跟踪算法。 设计还在arm处理器上执行多线程应用程序，负责视频采集，显示，网络通信，外围器件控制等工作。
算法介绍
本系统实现的视频跟踪算法可参考文献-，整个算法分为基本算法和改进算法两部分。本算法是一种基于模板匹配技术的跟踪算法，即在手工选定或自动选定了待跟踪目标后，提取目标的外观信息作为模板，在后续的视频序列中，将候选图像区域与目标模板进行匹配，将最相似的图像区域作为运动目标当前的位置。在本文中，采用结构相似度，即“归一化互相关系数”作为候选区域与目标模板相似程度的度量标准，其计算公式如下所示：
上式中，f(m,n)和g(m,n)分别为目标模板和候选区域的灰度值矩阵，尺寸为mxn。uf和ug分别为目标模板和候选区域的灰度平均值，然后再求出f(m,n)和g(m,n)的协方差、f(m,n)的方差、g(m,n)的方差后，求出归一化互相关系数。式(1)通过从灰度值矩阵中减去灰度均值，有效地消除了光照给跟踪结果带来的影响。而对于匹配图像区域的搜索，为了达到减少匹配次数从而降低计算量的目的，我们借鉴了视频压缩领域中的三步搜索法(three step search, tss) 作为最匹配点的搜索算法。
为了增加模板匹配视频目标跟踪算法的鲁棒性，我们在基本算法的基础上实现了改进算法的部分。改进算法具有自适应遮挡处理与模板漂移抑制的能力，能够很好地解决前面提到模板匹配的视频目标跟踪算法需要解决的难题。具体来说，主要有如下四点改进：(1) 抑制漂移的带掩蔽卡尔曼外观滤波算法(drift-inhibitive masked kalman appearance filter, dimkaf )；(2) 内容自适应渐进式遮挡分析算法(content-adaptive progressive occlusion analysis, capoa)；(3) 可变掩蔽模板匹配算法(variant-mask template matching, vmtm)；(4) 局部最优匹配鉴定算法(local best match authentication, lbma)。 改进后整个算法的流程图如下所示：
图 1 跟踪算法主流程图
算法在davincisoc上的实现
dsp平台的选择
dm6446采用arm与dsp 双核结构，其中arm子系统搭载297 mhz主频的arm926 核，dsp部分则采用594 mhz的c64x+dsp核，外围存储均支持256 mb ddr2 ram和各类存储卡，另外使用了vpss 子系统丰富的视频前后处理功能，且都配备了完善的外设接口。目标跟踪算法需要做大量运算，dm6446 dsp核强大的运算处理能力保证了算法的实时处理。同时dm6446的arm核可以进行系统管理，数据读写，网络传输等处理。
我们使用spectrum digital公司的dvevm平台进行算法仿真、原型制作和软件优化。dvevm?还可实现视频输入／输出连接、网络接口、存储器接口以及标准的子卡连接等。
系统软件框架
整个系统的软件框架如图2如示。dm6446的arm核运行基于linux操作系统的应用程序，所用的外围设备都由arm负责控制。arm端的http服务器通过linux网络协议栈来处理http请求，并发送压缩视频数据。视频跟踪的应用程序由五个posix线程组成，分别是视频捕捉线程，视频跟踪线程，视频压缩线程，显示线程，系统控制线程。视频捕捉线程通过v4l2接口设备驱动从摄像头读取原始视频数据。视频跟踪线程把视频数据送到arm和dsp的共享缓冲内存，并通知dsp执行跟踪算法。压缩线程负责控制dsp侧的压缩算法并从共享内存中读取压缩数据。视频显示线程从视频缓存中读取视频数据帧，并叠加目标跟踪框，最后通过frame buffer设备驱动输出显示。系统控制线程负责响应遥控器和鼠标并执行相应操作。
图 2 软件结构图
dm6446的dsp核上运行dsp/bios实时操作系统和目标检测，跟踪算法，视频压缩算法。所有的算法的接口都符合ti xdais标准，由codec engine调用。除了算法，dsp核上还集成了管理内存和dma的framework component。
arm核和dsp核的通信由ti提供的codec engine软件框架负责。codec engine是介于应用程序和具体算法之间的软件模块，其中的visa api通过stub和skeleton访问engine spi最终调用算法。arm和dsp的所用共享缓冲内存都是通过cmem模块在ddr中分配的，缓冲内存地址连续且与dsp核cache对齐。
跟踪算法在dsp上的优化
为了充分发挥出davinci soc强大的视频处理能力，满足实时跟踪的需要，我们通过算法优化和编程优化相结合的方法对codec程序进行了大量的优化。
算法优化
算法优化是指在不降低算法性能的情况下，采用等效算法来降低计算量，我们的工作主要集中在“归一化互相关系数”的计算例程的简化上。根据均值和方差的性质，我们可以将(1)式化简为：
上式与式(1)比较，减少了大量的加减法计算，而且将方差和协方差的计算转化为大量的乘加运算，这为我们后面的编程优化也提供了极大的便利。例如m=64, n=64时，加法次数从36864减少到12288。
编程优化
编程优化是在计算量不变的情况下，根据davinci处理器dsp核心的特点，通过优化存储器的存取效率和提高程序的并行化程度来缩短程序运行所需要的指令周期数，以使程序运行得更快。我们的编程优化工作主要包含使用dsplib、使用线性汇编、使用内联函数以及循环展开等五个方面，下面将一一加以介绍。
dsplib的使用
在优化过程中，我们还采用了ccs中提供的库函数来对代码进行优化。ccs中针对c64x+ dsp提供了高度优化的dsplib库函数供用户使用，这些库函数提供了数字信号处理中常见的处理例程，而且由汇编语言写成，具有极高效的代码效率。特别是用于计算向量内积的dsp_dotprod和dsp_vecsumsq函数正好满足了我们的计算需求。在计算尺寸为32x32的“归一化互相关系数”时，优化后计算
部分只需要271个dsp时钟周期，而计算
和部分只需要267个dsp时钟周期，这大大提高了程序运行的速度。
线性汇编
对于uf和ug的计算，如果使用for循环实现，将会大大拖累整个“归一化互相关系数”计算例程的执行效率。我们用手工编写线性汇编代码的方式实现了dspsum函数，利用c64x + dsp中的8个并行计算单元，在每个dsp
时钟周期内同时进行4个16位加16位的加法操作，对于尺寸为32x32的求和计算而言，该函数只需要258个dsp时钟周期。
内联函数的使用
c64x+编译器提供的内联函数可快速优化c代码。内联函数是直接映射为内联的c64x+指令的特殊函数，内联函数用前下滑线(_)来表示，使用时同调用普通函数一样使用它。我们在优化过程中，使用了许多内联函数，如_round()等，大大提高了代码的执行效率。
循环展开
由于for技术循环需要打断c64x+ dsp内部的软件流水线，而频繁的for循环会大大降低dsp的处理效率，所以我们在优化过程中，将部分for循环进行了展开，以代码增加为代价提高了代码的执行效率。通过上述方法，可将代码的处理效率提高3-5倍。
测试结果
为了获得视频跟踪算法codec运行所需要的dsp时钟周期数，进而估计出优化后的算法代码是否已经满足实时跟踪的需要，我们使用ccstudio v3.3对同一测试序列，同一起始目标位置，不同大小模板的情况进行了离线仿真。
表 1 视频跟踪算法优化结果
表 2 dsp负载测试
结论
我们在基于双核dm6446的系统平台上，利用改进后的跟踪算法实现了智能目标跟踪系统。dm6446 arm核上的linux操作系统上的多线程程序负责视频采集、视频显示、算法控制、外围设备处理等任务。通过在ti codec engine软件架构下扩展目标跟踪算法的接口，我们成功在dm6446的dsp核上运行了跟踪算法。经过算法优化和编程优化，系统可以对采集输入的25fps，720×480分辨率视频中的128×128大小的目标进行实时跟踪。实验结果表明，该算法可以成功跟踪目标，并具有较强的鲁棒性。该技术将会在智能视频监控、智能用户接口、基于对象的视频压缩、巡航导弹末端制导和辅助驾驶等领域有广泛应用前景。
微调电阻器的检测方法
小米平衡车怎么样 一款完全针对年轻人的酷炫玩具
同是深圳连接器厂家，他们是如何做到超越同行获取订单！【轩业】
开关电源中的基本元件 电容及其分类
全球最大FPGA发布面世
视频跟踪算法在Davinci SOC上的实现与优化
华为荣耀四核爱享版中国芯手机今日已开始接受预约
泰克公司推出用于M-PHY测试的解决方案
社会进步的基础是企业
电信联通发起AI终端研究项目立项，推动AI终端的标准国际化
基于深度学习的耳朵识别系统概述
掩膜版研发生产企业清溢光电发布2022第一季度报告
城市交通道路积水监测系统设备的产品介绍
低价战略助力特斯拉净利润增速大涨
一文看懂储能电池应用
浅析电动汽车电池组充电智能化方案
如何选择合适的嵌入式操作系统
TL16C450--没有FIFO的单路UART芯片
LED路灯将圣地亚哥变成最美智能城市
加速推进与全球产业体系的融合 中国机床制造标准全面提升
目标跟踪作为计算机视觉的一个极具挑战性的研究任务，已被广泛的应用在人机交互、智能监控、医学图像处理等领域中。目标跟踪的本质是在图像序列中识别出目标的同时对其进行精确定位。为了克服噪声、遮挡、背景的改变等对目标识别带来的困难，出现了很多的跟踪算法。
因为目标跟踪算法需要处理的数据量大、运算复杂，需要性能强大的处理器才能实时处理。我们选用ti推出的最新产品tms320dm6446实现算法。tms320dm6446是一款高度集成的片上系统，集成了可以运行频率高达594mhz的c64x+ dsp核和297mhz的arm926处理器核。另外它还集成了数字视频所需的许多外部组件，如视频加速器，网络外设及高速外部存储接口。本设计充分利用dm6446的强大运算能力，在dsp内核上实时运行目标跟踪算法。 设计还在arm处理器上执行多线程应用程序，负责视频采集，显示，网络通信，外围器件控制等工作。
算法介绍
本系统实现的视频跟踪算法可参考文献-，整个算法分为基本算法和改进算法两部分。本算法是一种基于模板匹配技术的跟踪算法，即在手工选定或自动选定了待跟踪目标后，提取目标的外观信息作为模板，在后续的视频序列中，将候选图像区域与目标模板进行匹配，将最相似的图像区域作为运动目标当前的位置。在本文中，采用结构相似度，即“归一化互相关系数”作为候选区域与目标模板相似程度的度量标准，其计算公式如下所示：
上式中，f(m,n)和g(m,n)分别为目标模板和候选区域的灰度值矩阵，尺寸为mxn。uf和ug分别为目标模板和候选区域的灰度平均值，然后再求出f(m,n)和g(m,n)的协方差、f(m,n)的方差、g(m,n)的方差后，求出归一化互相关系数。式(1)通过从灰度值矩阵中减去灰度均值，有效地消除了光照给跟踪结果带来的影响。而对于匹配图像区域的搜索，为了达到减少匹配次数从而降低计算量的目的，我们借鉴了视频压缩领域中的三步搜索法(three step search, tss) 作为最匹配点的搜索算法。
为了增加模板匹配视频目标跟踪算法的鲁棒性，我们在基本算法的基础上实现了改进算法的部分。改进算法具有自适应遮挡处理与模板漂移抑制的能力，能够很好地解决前面提到模板匹配的视频目标跟踪算法需要解决的难题。具体来说，主要有如下四点改进：(1) 抑制漂移的带掩蔽卡尔曼外观滤波算法(drift-inhibitive masked kalman appearance filter, dimkaf )；(2) 内容自适应渐进式遮挡分析算法(content-adaptive progressive occlusion analysis, capoa)；(3) 可变掩蔽模板匹配算法(variant-mask template matching, vmtm)；(4) 局部最优匹配鉴定算法(local best match authentication, lbma)。 改进后整个算法的流程图如下所示：
图 1 跟踪算法主流程图
算法在davincisoc上的实现
dsp平台的选择
dm6446采用arm与dsp 双核结构，其中arm子系统搭载297 mhz主频的arm926 核，dsp部分则采用594 mhz的c64x+dsp核，外围存储均支持256 mb ddr2 ram和各类存储卡，另外使用了vpss 子系统丰富的视频前后处理功能，且都配备了完善的外设接口。目标跟踪算法需要做大量运算，dm6446 dsp核强大的运算处理能力保证了算法的实时处理。同时dm6446的arm核可以进行系统管理，数据读写，网络传输等处理。
我们使用spectrum digital公司的dvevm平台进行算法仿真、原型制作和软件优化。dvevm?还可实现视频输入／输出连接、网络接口、存储器接口以及标准的子卡连接等。
系统软件框架
整个系统的软件框架如图2如示。dm6446的arm核运行基于linux操作系统的应用程序，所用的外围设备都由arm负责控制。arm端的http服务器通过linux网络协议栈来处理http请求，并发送压缩视频数据。视频跟踪的应用程序由五个posix线程组成，分别是视频捕捉线程，视频跟踪线程，视频压缩线程，显示线程，系统控制线程。视频捕捉线程通过v4l2接口设备驱动从摄像头读取原始视频数据。视频跟踪线程把视频数据送到arm和dsp的共享缓冲内存，并通知dsp执行跟踪算法。压缩线程负责控制dsp侧的压缩算法并从共享内存中读取压缩数据。视频显示线程从视频缓存中读取视频数据帧，并叠加目标跟踪框，最后通过frame buffer设备驱动输出显示。系统控制线程负责响应遥控器和鼠标并执行相应操作。
图 2 软件结构图
dm6446的dsp核上运行dsp/bios实时操作系统和目标检测，跟踪算法，视频压缩算法。所有的算法的接口都符合ti xdais标准，由codec engine调用。除了算法，dsp核上还集成了管理内存和dma的framework component。
arm核和dsp核的通信由ti提供的codec engine软件框架负责。codec engine是介于应用程序和具体算法之间的软件模块，其中的visa api通过stub和skeleton访问engine spi最终调用算法。arm和dsp的所用共享缓冲内存都是通过cmem模块在ddr中分配的，缓冲内存地址连续且与dsp核cache对齐。
跟踪算法在dsp上的优化
为了充分发挥出davinci soc强大的视频处理能力，满足实时跟踪的需要，我们通过算法优化和编程优化相结合的方法对codec程序进行了大量的优化。
算法优化
算法优化是指在不降低算法性能的情况下，采用等效算法来降低计算量，我们的工作主要集中在“归一化互相关系数”的计算例程的简化上。根据均值和方差的性质，我们可以将(1)式化简为：
上式与式(1)比较，减少了大量的加减法计算，而且将方差和协方差的计算转化为大量的乘加运算，这为我们后面的编程优化也提供了极大的便利。例如m=64, n=64时，加法次数从36864减少到12288。
编程优化
编程优化是在计算量不变的情况下，根据davinci处理器dsp核心的特点，通过优化存储器的存取效率和提高程序的并行化程度来缩短程序运行所需要的指令周期数，以使程序运行得更快。我们的编程优化工作主要包含使用dsplib、使用线性汇编、使用内联函数以及循环展开等五个方面，下面将一一加以介绍。
dsplib的使用
在优化过程中，我们还采用了ccs中提供的库函数来对代码进行优化。ccs中针对c64x+ dsp提供了高度优化的dsplib库函数供用户使用，这些库函数提供了数字信号处理中常见的处理例程，而且由汇编语言写成，具有极高效的代码效率。特别是用于计算向量内积的dsp_dotprod和dsp_vecsumsq函数正好满足了我们的计算需求。在计算尺寸为32x32的“归一化互相关系数”时，优化后计算
部分只需要271个dsp时钟周期，而计算
和部分只需要267个dsp时钟周期，这大大提高了程序运行的速度。
线性汇编
对于uf和ug的计算，如果使用for循环实现，将会大大拖累整个“归一化互相关系数”计算例程的执行效率。我们用手工编写线性汇编代码的方式实现了dspsum函数，利用c64x + dsp中的8个并行计算单元，在每个dsp
时钟周期内同时进行4个16位加16位的加法操作，对于尺寸为32x32的求和计算而言，该函数只需要258个dsp时钟周期。
内联函数的使用
c64x+编译器提供的内联函数可快速优化c代码。内联函数是直接映射为内联的c64x+指令的特殊函数，内联函数用前下滑线(_)来表示，使用时同调用普通函数一样使用它。我们在优化过程中，使用了许多内联函数，如_round()等，大大提高了代码的执行效率。
循环展开
由于for技术循环需要打断c64x+ dsp内部的软件流水线，而频繁的for循环会大大降低dsp的处理效率，所以我们在优化过程中，将部分for循环进行了展开，以代码增加为代价提高了代码的执行效率。通过上述方法，可将代码的处理效率提高3-5倍。
测试结果
为了获得视频跟踪算法codec运行所需要的dsp时钟周期数，进而估计出优化后的算法代码是否已经满足实时跟踪的需要，我们使用ccstudio v3.3对同一测试序列，同一起始目标位置，不同大小模板的情况进行了离线仿真。
表 1 视频跟踪算法优化结果
表 2 dsp负载测试
结论
我们在基于双核dm6446的系统平台上，利用改进后的跟踪算法实现了智能目标跟踪系统。dm6446 arm核上的linux操作系统上的多线程程序负责视频采集、视频显示、算法控制、外围设备处理等任务。通过在ti codec engine软件架构下扩展目标跟踪算法的接口，我们成功在dm6446的dsp核上运行了跟踪算法。经过算法优化和编程优化，系统可以对采集输入的25fps，720×480分辨率视频中的128×128大小的目标进行实时跟踪。实验结果表明，该算法可以成功跟踪目标，并具有较强的鲁棒性。该技术将会在智能视频监控、智能用户接口、基于对象的视频压缩、巡航导弹末端制导和辅助驾驶等领域有广泛应用前景。
微调电阻器的检测方法
小米平衡车怎么样 一款完全针对年轻人的酷炫玩具
同是深圳连接器厂家，他们是如何做到超越同行获取订单！【轩业】
开关电源中的基本元件 电容及其分类
全球最大FPGA发布面世
视频跟踪算法在Davinci SOC上的实现与优化
华为荣耀四核爱享版中国芯手机今日已开始接受预约
泰克公司推出用于M-PHY测试的解决方案
社会进步的基础是企业
电信联通发起AI终端研究项目立项，推动AI终端的标准国际化
基于深度学习的耳朵识别系统概述
掩膜版研发生产企业清溢光电发布2022第一季度报告
城市交通道路积水监测系统设备的产品介绍
低价战略助力特斯拉净利润增速大涨
一文看懂储能电池应用
浅析电动汽车电池组充电智能化方案
如何选择合适的嵌入式操作系统
TL16C450--没有FIFO的单路UART芯片
LED路灯将圣地亚哥变成最美智能城市
加速推进与全球产业体系的融合 中国机床制造标准全面提升