基于赛灵思Spartan-3A的视频分析
视频分析对性能处理的要求可充分发挥赛灵思fpga的并行架构、嵌入式和dsp处理能力所带来的优点。
范围广泛的安全分析应用对处理带宽的要求迫使企业重新考虑系统硬件的设计方法。单个视频和图像dsp处理器已经不能以可接受的数据速率完成某些计算密集的分析运算了。此外，也没有强大可靠的解决方案能够在全视频帧速率下处理高分辨率(hd)。这也迫使系统工程师考虑多芯片或其它单芯片系统。两种解决方案各有其优点和缺点。
由多片dsp组成的多芯片系统一般可为设计人员提供更为熟悉的设计流程，但却增加了pcb成本、占用板级/系统级空间，同时还可能带来系统性能问题。另一方面，单芯片解决方案看起来在成本、封装和功耗方面具有优势，但可能会在无形中增加设计人员的学习难度，提高设计项目的复杂性和工程成本，并且有可能拖延产品发布的时间。
这也是位于加州伯克利的视频分析公司eutecus在开发下一代安全分析产品—多核视频分析引擎(mve™)时遇到的难题。
我们的第一代产品基于德州仪器(ti)的达芬奇(davinci)数字媒体片上系统(soc)平台。 但在第二代产品中，我们需要更强大的处理能力和系统集成度。我们很快发现多个dsp器件的解决方案无论在成本上还是在系统一级效益都不高。我们需要一个能够方便地将上一代产品移植过来，并且能够为我们的第二代mve提供更多特性的单芯片解决方案。
经过一番调研，我们找到了赛灵思公司的spartan®-3a dsp 3400a。该器件提供了126 个专用 xtremedsp®dsp48a逻辑片，可以提供足够的性能来满足我们的系统要求，并且价格也很有吸引力。
当进一步了解到赛灵思嵌入式开发套件(edk)支持spartan-3a dsp之后，我们对设计移植方面的担心也很快消失了。赛灵思公司的edk嵌入式开发套件可以实现基于赛灵思microblaze®嵌入式处理器的双处理器硬件架构，与ti公司davinci平台双处理器硬件架构类似。
选定器件之后，开始将现有的基于davinci的代码移植到赛灵思双处理器嵌入式系统，以创造一个单芯片视频安全分析设计。然后，在fpga构造中创建了适量的加速器模块来满足性能要求，其中包括在全帧速率下处理高分辨率视频。这就是第二代mve系统，现在已经成功地销售到航空航天/国防、机器视觉和监控市场。
视频分析产品简介
多核视频分析引擎(mve)基于instantvision embedded® 软件和能够提供许多高级功能的专用c-mva®协处理器。
mve/c-mva最新版本能够以全帧速率处理高分辨率视频。其功耗还不到1瓦，能够以全并行方式执行多种事件检测和分类算法。图1给出的是一个交通监控应用中视频分析输出的例子，针对不同类型的车辆、车流方向、车道变化以及违规变道等情况进行了分类，所有这些都是并发进行的并且利用不同的颜色进行了标记。
图 1. 多内核视频分析引擎 (mve)及示例应用的发展路线图
设计c-mva协处理器的目标是能够扩展其运算的复杂度以支持密集物体空间的分析功能，此时需要重叠分析和处理不完整的对象/事件，因此特别具有挑战性。专用dsp在这方面的支持性很差，而且计算可扩展能力也不好。而fpga在这两个方面则具有更大的灵活性。
spartan-3a dsp 3400a fpga中的126个xtremedsp dsp48a逻辑片能够提供高达30 gmac的dsp性能，因此完全能够满足视频分析应用苛刻的成本和性能要求。赛灵思fpga还允许我们根据客户需求增加更多视频分析功能以及相关的事件检测事例。我们在表1中做了小结。
表1： 典型事件检测应用中支持的视频分析功能
此外，通过赛灵思fpga和ise® 设计套件工具，视频分析设计小组可以为终端客户定制解决方案方面提供更大灵活性。通过快速建立标准分辨率和高分辨率视频处理原型，我们可以快速定制视频分析引擎和片上系统(soc)解决方案。这样我们就可以根据客户需求更高效地利用spartan-3a dsp 3400a或成本更低的spartan-3a dsp 1800a fpga器件中的可用资源。
fpga解决方案另一个好处是可以利用同一硬件平台创建多种不同的衍生产品。由于我们已经使用vhdl设计了多种分析加速器引擎，因此可以将这些专用内核集成到c-mva协处理器中。这种方法允许工程师重新利用双microblaze嵌入式系统来创建不同的fpga编程文件，这样就构成了高度可扩展的解决方案，可以轻松调节适应范围广泛的视频分析应用。
从davinci移植到赛灵思fpga
我们先前一代的视频分析产品基于ti davinci数字媒体soc芯片tms320dm6446。该芯片包括arm9x处理器和c64x+ dsp协处理器。在设计中，我们使用arm9x做通信和控制，用c64x+做分析算法的dsp处理。然而，两者组合起来构成的系统仍然无法满足我们第二代产品所需要的高性能处理要求。因此，我们转向了spartan-3a dsp fpga系列。
通过创建拥有两个独立运行microblaze v7软内核处理器的赛灵思嵌入式系统，我们简化了设计移植任务。这种架构使我们可以分别移植arm和dsp处理器代码，从而大大简化了设计移植过程。图2给出了eutecus硬件系统的框图，以及基于mve的参考soc设计。
图 2. dual-microblaze® system-on-chip (soc)架构mve引擎协处理器框图
我们的mve引擎包括运行在microblaze (mb0)上的instantvision嵌入式软件，运行在microblaze (mb1)上的系统控制和通信部分以及c-mva协处理器。c-mva协处理器是运行在fpga构造上的硬件加速器ip内核模块链。
利用ise设计套件和microblaze软核，我们的arm和dsp代码移植工作相当简单。一个突出优点就是，instantvision跨平台环境是采用高级标准c/c++语言编写的，只需要很少的修改。
一旦完成代码移植，我们验证其功能的正确性并且识别出性能瓶颈。事实表明，优化和加速对原ti处理器开发的c/c++代码是一项重要挑战，因为当初在开发这一平台的过程中，我们在汇编级优化时使用了几个davinci c64x+协处理加速模块。在转换过程中，我们遵循以下一系列步骤：首先利用高级c函数来重写这些模块。最后，用运行在fpga构造上的同等功能加速器模块来代替这些模块的大部分功能。
单相交流调压电路和三相交流调压电路讲解
数字式万用表使用方法
物联网还是“勿联网”？对物联网安全隐患的反思
洋巨头鏖战智能家居领域
教你如何测试电脑显示器
基于赛灵思Spartan-3A的视频分析
从汗液看出健康
Kubernetes网络部署方案
小米电视2018年Q4出货量再度称王 一举斩获全国冠军
2012年影响科技界的十大历史性产品
电子变压器高温老化试验
激光器恒电流驱动电路,constant current laser driver
未来5年数字经济中的关键技术发展趋势
高精度酒精检测仪设计方案
Bose在South Southwest（SXSW）推出AR音频平台，将允许用户用眼镜听到声音
荣联科技集团获“2022中国数字生态最具号召力奖”
三星Galaxy A72 5G泄露了照片
谷歌疯狂速度推进AI革命，让人们在深度学习系统中实现民主化
富士康高管与美国威斯康星州领导人面洽谈建厂计划
科华数据：看得见的智慧金融，看不见的数据中心
范围广泛的安全分析应用对处理带宽的要求迫使企业重新考虑系统硬件的设计方法。单个视频和图像dsp处理器已经不能以可接受的数据速率完成某些计算密集的分析运算了。此外，也没有强大可靠的解决方案能够在全视频帧速率下处理高分辨率(hd)。这也迫使系统工程师考虑多芯片或其它单芯片系统。两种解决方案各有其优点和缺点。
由多片dsp组成的多芯片系统一般可为设计人员提供更为熟悉的设计流程，但却增加了pcb成本、占用板级/系统级空间，同时还可能带来系统性能问题。另一方面，单芯片解决方案看起来在成本、封装和功耗方面具有优势，但可能会在无形中增加设计人员的学习难度，提高设计项目的复杂性和工程成本，并且有可能拖延产品发布的时间。
这也是位于加州伯克利的视频分析公司eutecus在开发下一代安全分析产品—多核视频分析引擎(mve™)时遇到的难题。
我们的第一代产品基于德州仪器(ti)的达芬奇(davinci)数字媒体片上系统(soc)平台。 但在第二代产品中，我们需要更强大的处理能力和系统集成度。我们很快发现多个dsp器件的解决方案无论在成本上还是在系统一级效益都不高。我们需要一个能够方便地将上一代产品移植过来，并且能够为我们的第二代mve提供更多特性的单芯片解决方案。
经过一番调研，我们找到了赛灵思公司的spartan®-3a dsp 3400a。该器件提供了126 个专用 xtremedsp®dsp48a逻辑片，可以提供足够的性能来满足我们的系统要求，并且价格也很有吸引力。
当进一步了解到赛灵思嵌入式开发套件(edk)支持spartan-3a dsp之后，我们对设计移植方面的担心也很快消失了。赛灵思公司的edk嵌入式开发套件可以实现基于赛灵思microblaze®嵌入式处理器的双处理器硬件架构，与ti公司davinci平台双处理器硬件架构类似。
选定器件之后，开始将现有的基于davinci的代码移植到赛灵思双处理器嵌入式系统，以创造一个单芯片视频安全分析设计。然后，在fpga构造中创建了适量的加速器模块来满足性能要求，其中包括在全帧速率下处理高分辨率视频。这就是第二代mve系统，现在已经成功地销售到航空航天/国防、机器视觉和监控市场。
视频分析产品简介
多核视频分析引擎(mve)基于instantvision embedded® 软件和能够提供许多高级功能的专用c-mva®协处理器。
mve/c-mva最新版本能够以全帧速率处理高分辨率视频。其功耗还不到1瓦，能够以全并行方式执行多种事件检测和分类算法。图1给出的是一个交通监控应用中视频分析输出的例子，针对不同类型的车辆、车流方向、车道变化以及违规变道等情况进行了分类，所有这些都是并发进行的并且利用不同的颜色进行了标记。
图 1. 多内核视频分析引擎 (mve)及示例应用的发展路线图
设计c-mva协处理器的目标是能够扩展其运算的复杂度以支持密集物体空间的分析功能，此时需要重叠分析和处理不完整的对象/事件，因此特别具有挑战性。专用dsp在这方面的支持性很差，而且计算可扩展能力也不好。而fpga在这两个方面则具有更大的灵活性。
spartan-3a dsp 3400a fpga中的126个xtremedsp dsp48a逻辑片能够提供高达30 gmac的dsp性能，因此完全能够满足视频分析应用苛刻的成本和性能要求。赛灵思fpga还允许我们根据客户需求增加更多视频分析功能以及相关的事件检测事例。我们在表1中做了小结。
表1： 典型事件检测应用中支持的视频分析功能
此外，通过赛灵思fpga和ise® 设计套件工具，视频分析设计小组可以为终端客户定制解决方案方面提供更大灵活性。通过快速建立标准分辨率和高分辨率视频处理原型，我们可以快速定制视频分析引擎和片上系统(soc)解决方案。这样我们就可以根据客户需求更高效地利用spartan-3a dsp 3400a或成本更低的spartan-3a dsp 1800a fpga器件中的可用资源。
fpga解决方案另一个好处是可以利用同一硬件平台创建多种不同的衍生产品。由于我们已经使用vhdl设计了多种分析加速器引擎，因此可以将这些专用内核集成到c-mva协处理器中。这种方法允许工程师重新利用双microblaze嵌入式系统来创建不同的fpga编程文件，这样就构成了高度可扩展的解决方案，可以轻松调节适应范围广泛的视频分析应用。
从davinci移植到赛灵思fpga
我们先前一代的视频分析产品基于ti davinci数字媒体soc芯片tms320dm6446。该芯片包括arm9x处理器和c64x+ dsp协处理器。在设计中，我们使用arm9x做通信和控制，用c64x+做分析算法的dsp处理。然而，两者组合起来构成的系统仍然无法满足我们第二代产品所需要的高性能处理要求。因此，我们转向了spartan-3a dsp fpga系列。
通过创建拥有两个独立运行microblaze v7软内核处理器的赛灵思嵌入式系统，我们简化了设计移植任务。这种架构使我们可以分别移植arm和dsp处理器代码，从而大大简化了设计移植过程。图2给出了eutecus硬件系统的框图，以及基于mve的参考soc设计。
图 2. dual-microblaze® system-on-chip (soc)架构mve引擎协处理器框图
我们的mve引擎包括运行在microblaze (mb0)上的instantvision嵌入式软件，运行在microblaze (mb1)上的系统控制和通信部分以及c-mva协处理器。c-mva协处理器是运行在fpga构造上的硬件加速器ip内核模块链。
利用ise设计套件和microblaze软核，我们的arm和dsp代码移植工作相当简单。一个突出优点就是，instantvision跨平台环境是采用高级标准c/c++语言编写的，只需要很少的修改。
一旦完成代码移植，我们验证其功能的正确性并且识别出性能瓶颈。事实表明，优化和加速对原ti处理器开发的c/c++代码是一项重要挑战，因为当初在开发这一平台的过程中，我们在汇编级优化时使用了几个davinci c64x+协处理加速模块。在转换过程中，我们遵循以下一系列步骤：首先利用高级c函数来重写这些模块。最后，用运行在fpga构造上的同等功能加速器模块来代替这些模块的大部分功能。
单相交流调压电路和三相交流调压电路讲解
数字式万用表使用方法
物联网还是“勿联网”？对物联网安全隐患的反思
洋巨头鏖战智能家居领域
教你如何测试电脑显示器
基于赛灵思Spartan-3A的视频分析
从汗液看出健康
Kubernetes网络部署方案
小米电视2018年Q4出货量再度称王 一举斩获全国冠军
2012年影响科技界的十大历史性产品
电子变压器高温老化试验
激光器恒电流驱动电路,constant current laser driver
未来5年数字经济中的关键技术发展趋势
高精度酒精检测仪设计方案
Bose在South Southwest（SXSW）推出AR音频平台，将允许用户用眼镜听到声音
荣联科技集团获“2022中国数字生态最具号召力奖”
三星Galaxy A72 5G泄露了照片
谷歌疯狂速度推进AI革命，让人们在深度学习系统中实现民主化
富士康高管与美国威斯康星州领导人面洽谈建厂计划
科华数据：看得见的智慧金融，看不见的数据中心