实时数据采集与存储系统的实现方法
1 引言
随着信息科学的飞速发展，数据采集和存储技术已经是数字信号处理中非常重要的环节，将决定整个系统的性能。它广泛应用于雷达，通信，遥测遥感等领域。它己经成为人们获得外界信息的重要手段。基于总线的数据采集与存储系统，由于可靠且易于实现、经济等优点，得到了广泛的应用。但当数据传输率很高时，保持高速数据存储过程的可靠性、实时性将会成为一个比较棘手的问题。为此一些厂商提供了双总线技术、64位/66mhzpci总线系统来解决这问题。但这些技术较为昂贵，且忽略了现有的硬件设备。经过实验与探索，我们选用adlink公司的pci-7300a_revb超高速数字i/o卡，利用现有的单(32位/33mhz)pci总线的计算机系统构成低成本的硬件平台，并利用自己开发的软件系统，最终实现了高速(45mbytes/sec)持续的数据采集于存储。
2 硬件组成及注意事项
为了利用现有的硬件设备，降低成本;我们采用adlink公司出品的pci-7300a_revb超高速数字i/o卡作为数据采集部分。该卡的主要特性如下：
·32位数字i/o通道
·32位pci总线
·通过触发信号控制数据采集操作的开始。
·100针scsi型连接器
·分散/聚拢方式的dma
·最高传输速率80mbytes/sec
要实现实时高速的数据存储，使用的一般的硬盘是不行的。所以我们选用希捷公司出品的型号为st3146707lc的scsi硬盘，该硬盘的容量是146gb,能满足记录大量数据的需要，其转速为10krpm。相应的scsi硬盘控制器，选用adaptec公司出品的型号为adaptec19160的ultra160-scsi硬盘控制器。
在搭建硬件平台的过程中有些问题是必须注意的，否则系统不能正常工作。首先，pci-7300a_revb卡虽然采用分散/聚拢方式的dma,但它对cpu资源的占用率是非常高的。经过实验证明，要保证整个数据采集与存储系统正常工作，只能使用奔四1.7g以上的计算机系统。其次，windows系统允许多个设备共享一个中断请求号(irq)。为了保证存储过程的实时性，必须确保scsi硬盘控制器和pci-7300a_revb卡使用不同的irq。可以在主板bios里把pnp(即插即用)/pci设备的irq进行手动配置。最后windows2000servicepack2(sp2)及早期版本不支持大于137gb容量的硬盘。须要先安装servicepack3,再在注册表(hkey_local_machinesystemcurrentcontrolsetservicesatapiparameters)里添加一个reg_dword类型的参数enablebiglba,并把值设成0x1。这样146gb的硬盘才能工作正常。
3 软件设计
软件设计直接决定硬件是否能正常工作，以及能否充分发挥硬件的性能。
3.1 pcis-dask及双缓冲区模式的工作原理
pcis-dask是adlink公司为自己的产品提供的驱动程序包，提供了专门用于实现高速数据采集的连续多缓冲区操作的一组api函数。通过这组api函数，我们可以按照双缓冲区的原理，非常方便地实现对数据的实时、高速、连续的采集与存储。
双缓冲区模式，在工程上称为“乒乓”缓冲区模式。跟常用的单缓冲区模式相比双缓冲区模式的优点是，它可以使用较小容量的内存，不间断地缓冲几乎无限量的数据(输入与输出端需协同工作)。这种缓冲区模式的工作原理是：在内存里开辟两块容量相等的缓冲区(以下将分别它们称为第一缓冲区和第二缓冲区)作为连续数据输入的缓冲区。工作开始时，数据采集卡首先将数据写入第一缓冲区中，在数据采集卡开始把数据写入第二缓冲区的同时，用户程序可以根据自身需要取出第一缓冲区中的数据做特定的处理。当第二缓冲区被写满后，数据采集卡回到第一缓冲区的起始处，以覆盖旧数据的方式，把新数据写入第一缓冲区中;与此同时用户程序取出第二缓冲区中的数据。整个数据采集处理过程可以如此不断地循环进行下去。
3.2 板卡驱动设置及注意的问题
对板卡驱动的深刻理解是编写好数据采集于存储程序的前提。在连续数据输入模式下，板卡驱动程序需要在系统内存里开辟一块缓冲区做为二级缓存，用户可以设置该缓冲区的大小。方法是：从菜单开始/程序/pci-dask/nudaqpciconfigurationutility打开dask2000devicedriverconfiguration对话框，从cardtype组合框中选择pci7300a_revb项，在di栏输入你想要开辟的缓冲区容量，点击ok按钮完成设置。需要注意的是板卡驱动设置的缓冲区(简称驱动缓冲区)容量与用户程序开辟的缓冲区(用户缓冲区)容量存在着一定关系。经过我们多次实验，得出驱动缓冲区容量大约是用户缓冲区的3倍;因此，当驱动缓冲区过小，而用户缓冲区较大时，会出现错误。
过小，而用户缓冲区较大时，会出现错误。
3.3 visualc++开发环境的设置
为了使用pcis-dask提供的实现连续多缓冲区操作的api函数，以及初始化板卡、设置板卡工作方式的api函数;需要visualc++连接pci-dask提供的动态连接库(pci-dask.lib)。具体方法是：打开工程，从菜单project/setting…打开projectsetting对话框，切换到link选项卡，在object/librarymodules拦中添加pci-dask.lib,点击ok按钮完成设置。最后在工程中加入头文件dask.h.。
3.4 多线程的实时数据存储软件设计
在要求高速、实时和连续采集和存储的情况下，一方面要求系统不间断地进行数据采集，同时还要进行数据实时地存储，否则将会丢失数据，造成数据不完整。为了解决这个问题，我们在软件实现中，引入了windows的多任务处理技术(multitasking)。在程序里创建两个工作线程分别完成数据采集和数据存储工作。缓冲方式采用上面所说双缓冲区模式，当数据采集线程(samplethreadproc)把采集到的数据写入第一缓冲区时，数据存储线程(storagethreadproc)把第二缓冲区的数据存入scsi硬盘;当数据采集线程把数据写入第二缓冲区时，数据存储线程把第一缓冲区的数据存入scsi硬盘;如此循环。另外通过实际实验测试adaptec19160ultra160-scsi硬盘控制器，配合希捷公司出品的st3146707lcscsi硬盘，持续写入速率能达到80mbytes/sec。远大于45mbytes/sec的采集速率。所以当数据采集线程写满其中一个缓冲区之前，数据存储线程已经把另一个缓冲区里的数据存储入scsi硬盘。所以这种方法能保证数据的实时性、完整性和连续性。其程序流程图如图1。
3.5 软件实现
由于篇幅所限，下面仅给出程序中核心的代码：
4 性能评估
为了验证该系统的性能，我们对其所能达到的采集和存储速率、以及数据正确率进行了测试和分析。
在测试中我们使用了自己设计的数据源，它能以任意速率发送32位的线性数字信号。另外编写了一个数据检测程序，可给出存储的数据的正确率和显示数据错误的地方。经过长时间的测试，得到结果是：数据源发送速率为45mbytes/sec时，存储的数据能达到100%的正确率。当数据源发送速率为50mbytes/sec时，数据有错误。
经分析原因出在数据采集过程，当有很多位发生进位时(如ffffffff→00000000)采集卡不能正确地采样数据。实际上经过特殊处理后，这样的数据还是可以使用的。
计算机32位/33mhzpci总线带宽典型的输出数据吞吐量为100mbytes/sec,输入数据吞吐量为120mbytes/sec,而系统中其他的pci设备也需要占用一定的带宽，并且数据采集和存储过程都要占用pci总线带宽;因此，45mbytes/sec(100%正确率)的采集和存储速率已经接近系统和硬件的极限。
5 结语
本文介绍的实现方法易于实现，且充分挖掘了硬件的性能，可满足对数据采集与实时存储速率要求较高(≤45mbytes/sec)的应用。由于使用的硬件平台是普通的奔四级pc机，所以开发成本较低。另外文中对实现过程中应注意的问题作了详细说明并给出核心编程部分，使读者很容易在较短时间内开发出满足自己需要的系统。
连锁门店无线通信方案
vivoX20发布会前瞻：vivoX20不止全面屏，刷脸解锁实现毫秒级！vivoX20发布会视频直播地址
三防相机的设计参数
14项A＋认证创手机屏幕纪录 一骑绝尘的iQOO 8 Pro京东今日开售
国务院办公厅发布《关于进一步优化营商环境更好服务市场主体的实施意见》
实时数据采集与存储系统的实现方法
东京电子成功开发400层堆叠3D NAND闪存技术
基于LM339的磁场检测电路设计制作
滑板车电池如何进行气密性检测
八天线LTE测试的挑战
美国家AI咨询委员会发布！提出AI发展目标和行动建议
CAT3606应用电路
定华雷达知识讲堂：雷达物位计日常如何维护？
荣耀7X发布会倒计时:全面屏+双摄,价格很亲民,你还会等待华为mate10吗?
基于FX1S-10MT型PLC和步进电机驱动装置实现玩具燃烧测试系统的设计
二层交换机与三层交换机的区别
“一种近红外的人脸识别设备和方法”科技成果评价会
将深度学习用于这些影像进行识别和区分，以便快速的筛查出病症的细微信息
MAX17116用于AMOLED的双输出DCDC电源
变压器变比组别测试仪的特点与技术参数
随着信息科学的飞速发展，数据采集和存储技术已经是数字信号处理中非常重要的环节，将决定整个系统的性能。它广泛应用于雷达，通信，遥测遥感等领域。它己经成为人们获得外界信息的重要手段。基于总线的数据采集与存储系统，由于可靠且易于实现、经济等优点，得到了广泛的应用。但当数据传输率很高时，保持高速数据存储过程的可靠性、实时性将会成为一个比较棘手的问题。为此一些厂商提供了双总线技术、64位/66mhzpci总线系统来解决这问题。但这些技术较为昂贵，且忽略了现有的硬件设备。经过实验与探索，我们选用adlink公司的pci-7300a_revb超高速数字i/o卡，利用现有的单(32位/33mhz)pci总线的计算机系统构成低成本的硬件平台，并利用自己开发的软件系统，最终实现了高速(45mbytes/sec)持续的数据采集于存储。
2 硬件组成及注意事项
为了利用现有的硬件设备，降低成本;我们采用adlink公司出品的pci-7300a_revb超高速数字i/o卡作为数据采集部分。该卡的主要特性如下：
·32位数字i/o通道
·32位pci总线
·通过触发信号控制数据采集操作的开始。
·100针scsi型连接器
·分散/聚拢方式的dma
·最高传输速率80mbytes/sec
要实现实时高速的数据存储，使用的一般的硬盘是不行的。所以我们选用希捷公司出品的型号为st3146707lc的scsi硬盘，该硬盘的容量是146gb,能满足记录大量数据的需要，其转速为10krpm。相应的scsi硬盘控制器，选用adaptec公司出品的型号为adaptec19160的ultra160-scsi硬盘控制器。
在搭建硬件平台的过程中有些问题是必须注意的，否则系统不能正常工作。首先，pci-7300a_revb卡虽然采用分散/聚拢方式的dma,但它对cpu资源的占用率是非常高的。经过实验证明，要保证整个数据采集与存储系统正常工作，只能使用奔四1.7g以上的计算机系统。其次，windows系统允许多个设备共享一个中断请求号(irq)。为了保证存储过程的实时性，必须确保scsi硬盘控制器和pci-7300a_revb卡使用不同的irq。可以在主板bios里把pnp(即插即用)/pci设备的irq进行手动配置。最后windows2000servicepack2(sp2)及早期版本不支持大于137gb容量的硬盘。须要先安装servicepack3,再在注册表(hkey_local_machinesystemcurrentcontrolsetservicesatapiparameters)里添加一个reg_dword类型的参数enablebiglba,并把值设成0x1。这样146gb的硬盘才能工作正常。
3 软件设计
软件设计直接决定硬件是否能正常工作，以及能否充分发挥硬件的性能。
3.1 pcis-dask及双缓冲区模式的工作原理
pcis-dask是adlink公司为自己的产品提供的驱动程序包，提供了专门用于实现高速数据采集的连续多缓冲区操作的一组api函数。通过这组api函数，我们可以按照双缓冲区的原理，非常方便地实现对数据的实时、高速、连续的采集与存储。
双缓冲区模式，在工程上称为“乒乓”缓冲区模式。跟常用的单缓冲区模式相比双缓冲区模式的优点是，它可以使用较小容量的内存，不间断地缓冲几乎无限量的数据(输入与输出端需协同工作)。这种缓冲区模式的工作原理是：在内存里开辟两块容量相等的缓冲区(以下将分别它们称为第一缓冲区和第二缓冲区)作为连续数据输入的缓冲区。工作开始时，数据采集卡首先将数据写入第一缓冲区中，在数据采集卡开始把数据写入第二缓冲区的同时，用户程序可以根据自身需要取出第一缓冲区中的数据做特定的处理。当第二缓冲区被写满后，数据采集卡回到第一缓冲区的起始处，以覆盖旧数据的方式，把新数据写入第一缓冲区中;与此同时用户程序取出第二缓冲区中的数据。整个数据采集处理过程可以如此不断地循环进行下去。
3.2 板卡驱动设置及注意的问题
对板卡驱动的深刻理解是编写好数据采集于存储程序的前提。在连续数据输入模式下，板卡驱动程序需要在系统内存里开辟一块缓冲区做为二级缓存，用户可以设置该缓冲区的大小。方法是：从菜单开始/程序/pci-dask/nudaqpciconfigurationutility打开dask2000devicedriverconfiguration对话框，从cardtype组合框中选择pci7300a_revb项，在di栏输入你想要开辟的缓冲区容量，点击ok按钮完成设置。需要注意的是板卡驱动设置的缓冲区(简称驱动缓冲区)容量与用户程序开辟的缓冲区(用户缓冲区)容量存在着一定关系。经过我们多次实验，得出驱动缓冲区容量大约是用户缓冲区的3倍;因此，当驱动缓冲区过小，而用户缓冲区较大时，会出现错误。
过小，而用户缓冲区较大时，会出现错误。
3.3 visualc++开发环境的设置
为了使用pcis-dask提供的实现连续多缓冲区操作的api函数，以及初始化板卡、设置板卡工作方式的api函数;需要visualc++连接pci-dask提供的动态连接库(pci-dask.lib)。具体方法是：打开工程，从菜单project/setting…打开projectsetting对话框，切换到link选项卡，在object/librarymodules拦中添加pci-dask.lib,点击ok按钮完成设置。最后在工程中加入头文件dask.h.。
3.4 多线程的实时数据存储软件设计
在要求高速、实时和连续采集和存储的情况下，一方面要求系统不间断地进行数据采集，同时还要进行数据实时地存储，否则将会丢失数据，造成数据不完整。为了解决这个问题，我们在软件实现中，引入了windows的多任务处理技术(multitasking)。在程序里创建两个工作线程分别完成数据采集和数据存储工作。缓冲方式采用上面所说双缓冲区模式，当数据采集线程(samplethreadproc)把采集到的数据写入第一缓冲区时，数据存储线程(storagethreadproc)把第二缓冲区的数据存入scsi硬盘;当数据采集线程把数据写入第二缓冲区时，数据存储线程把第一缓冲区的数据存入scsi硬盘;如此循环。另外通过实际实验测试adaptec19160ultra160-scsi硬盘控制器，配合希捷公司出品的st3146707lcscsi硬盘，持续写入速率能达到80mbytes/sec。远大于45mbytes/sec的采集速率。所以当数据采集线程写满其中一个缓冲区之前，数据存储线程已经把另一个缓冲区里的数据存储入scsi硬盘。所以这种方法能保证数据的实时性、完整性和连续性。其程序流程图如图1。
3.5 软件实现
由于篇幅所限，下面仅给出程序中核心的代码：
4 性能评估
为了验证该系统的性能，我们对其所能达到的采集和存储速率、以及数据正确率进行了测试和分析。
在测试中我们使用了自己设计的数据源，它能以任意速率发送32位的线性数字信号。另外编写了一个数据检测程序，可给出存储的数据的正确率和显示数据错误的地方。经过长时间的测试，得到结果是：数据源发送速率为45mbytes/sec时，存储的数据能达到100%的正确率。当数据源发送速率为50mbytes/sec时，数据有错误。
经分析原因出在数据采集过程，当有很多位发生进位时(如ffffffff→00000000)采集卡不能正确地采样数据。实际上经过特殊处理后，这样的数据还是可以使用的。
计算机32位/33mhzpci总线带宽典型的输出数据吞吐量为100mbytes/sec,输入数据吞吐量为120mbytes/sec,而系统中其他的pci设备也需要占用一定的带宽，并且数据采集和存储过程都要占用pci总线带宽;因此，45mbytes/sec(100%正确率)的采集和存储速率已经接近系统和硬件的极限。
5 结语
本文介绍的实现方法易于实现，且充分挖掘了硬件的性能，可满足对数据采集与实时存储速率要求较高(≤45mbytes/sec)的应用。由于使用的硬件平台是普通的奔四级pc机，所以开发成本较低。另外文中对实现过程中应注意的问题作了详细说明并给出核心编程部分，使读者很容易在较短时间内开发出满足自己需要的系统。
连锁门店无线通信方案
vivoX20发布会前瞻：vivoX20不止全面屏，刷脸解锁实现毫秒级！vivoX20发布会视频直播地址
三防相机的设计参数
14项A＋认证创手机屏幕纪录 一骑绝尘的iQOO 8 Pro京东今日开售
国务院办公厅发布《关于进一步优化营商环境更好服务市场主体的实施意见》
实时数据采集与存储系统的实现方法
东京电子成功开发400层堆叠3D NAND闪存技术
基于LM339的磁场检测电路设计制作
滑板车电池如何进行气密性检测
八天线LTE测试的挑战
美国家AI咨询委员会发布！提出AI发展目标和行动建议
CAT3606应用电路
定华雷达知识讲堂：雷达物位计日常如何维护？
荣耀7X发布会倒计时:全面屏+双摄,价格很亲民,你还会等待华为mate10吗?
基于FX1S-10MT型PLC和步进电机驱动装置实现玩具燃烧测试系统的设计
二层交换机与三层交换机的区别
“一种近红外的人脸识别设备和方法”科技成果评价会
将深度学习用于这些影像进行识别和区分，以便快速的筛查出病症的细微信息
MAX17116用于AMOLED的双输出DCDC电源
变压器变比组别测试仪的特点与技术参数