一种基于fpga的高速数据采集存储系统的制作方法
【专利摘要】本发明公开了一种基于FPGA的高速数据采集存储系统，包括FPGA核心板、数据采集模块、MPU模块、千兆以太网模块、显示模块、输入输出、存储模块。所述的存储模块通过DDR3与核心器件FPGA连接，显示、鼠标、键盘、千兆网等接口通过MPU模块与PCI?E Switch连接，实现与FPGA的数据交互。2个MINISAS接口模块直接与FPGA相连进行数据交互。通过系统的软件系统能够实现数据的导入、导出、数据的分析、维护等功能，而且可以实现简单的数据实时分析。本发明的数据传输速率高、存储量大、可现场扩容和进行坏块处理；系统接口多，具有较高的用户体验度；系统各模块单元之间交互性好，支持远程以太网控制。
【专利说明】
一种基于FPGA的高速数据采集存储系统
技术领域
[0001]本发明涉及一种高速数据采集存储系统，特别是涉及一种基于FPGA的高速数据采集存储系统。
【背景技术】
[0002]伴随着电子产品的日益普及，带动了数据采集技术和数据存储技术的快速发展。特别是在卫星导航、电子、雷达等技术领域，数据采集存储系统越来越发挥着举足轻重的作用。而且对数据采集存储系统的技术要求也日益提高:高数据采样速率、高数据传输速率、海量存储容量、功耗与成本低。传统的数据采集存储系统难以满足这样的要求。
[0003]近年来发展的FPGA(Field Programmable Gate Array，现场可编程门阵列)技术为新一代高速数据采集存储系统提供了良好的技术支持。FPGA具有非常多的硬件资源，集成在一块芯片上的可用逻辑门电路达千万级别，可以通过内部锁相环得到非常高的时频，内部时耗小，而且效率非常高，结构灵活，能够集成多个控制器、译编码和各种外围接口电路，因此可使用FPGA来设计数据采集与数据存储部分。而在信号处理方面，FPGA由于具有丰富的内核资源，方便使用者的调用。因此，高速数据采集存储系统采用FPGA，可简化设计，提高系统的灵活性和处理速度。
[0004]中国专利201010623689.5公开了一种基于FPGA的高速数据采集系统，包括接收模拟信号的差分放大单元、与所述差分放大单元相连接的A/D转换单元、与所述A/D转换单元相连接的FPGA处理单元、与所述FPGA处理单元相连接的微处理器，所述微处理器通过通信接口与上位机相连接。但是，该系统存在以下缺陷:1.系统的数据存储容量小、不支持现场扩容，而且无法进行坏块处理。2.系统的接口较少、无软件支持，用户体验度较低。3.系统各模块单元之间交互性差。4.系统不支持远程以太网控制。
【发明内容】
[0005]本发明的目的在于克服现有技术的不足之处，提出一种基于FPGA的高速数据采集存储系统，其数据存储量大、可现场扩容和进行坏块处理;该系统的接口多，在功能强大的软件支持下的用户体验度高；系统各模块单元之间交互性好;并且，该系统支持远程以太网控制。
[0006]为了解决现有技术的上述问题，本发明采用以下技术方案。
[0007]本发明的一种基于FPGA的高速数据采集存储系统，包括数据传输存储硬件系统和数据传输存储软件系统，其特征在于:
[0008]所述的数据传输存储硬件系统，集成于一个电路板上，包括:FPGA核心板、ETP接插件模块、PC1-E开关模块、MPU子卡模块、千兆以太网口模块、显示模块、输入输出模块、MINI SAS接口模块、SSD存储阵列模块、DDR3缓存模块；
[0009 ]所述的千兆以太网模块、显示模块、输入输出模块、SSD存储阵列模块通过MPU子卡模块分别与PC1-E开关模块连接，实现与FPGA核心板的数据交互；
[0010]所述的SSD存储阵列模块通过至少一级DDR3缓存模块与FPGA核心板连接；
[0011]所述的FPGA核心板包括GTP模块，用于将数据以差分信号的形式进行传输；
[0012]2个所述的MINISAS接口模块，用于直接与FPGA核心板相连进行数据交互；
[0013]所述的MPU子卡模块包含ETX-Express连接器，用于与所述的MPU子卡的南桥和北桥的数据传输；
[0014]所述的SSD存储阵列模块，包括至少一个由Flash闪存介质和控制IC组成的外接固态硬盘；
[0015]所述的数据传输存储软件系统，包括操作系统、管理软件、MATLAB、通讯协议、盘阵驱动、底层硬件驱动部分，用于数据的导入、导出，数据的分析、维护，以及简单的数据实时分析;用户通过显示模块、输入输出模块的输入输出设备与系统应用程序进行数据交互。
[0016]进一步的，所述的FPGA核心板采用XilinxZynq-7000芯片，其包括的GTP模块的最高数据率为6.125Gbps。
[0017]进一步的，所述的ETP接插件模块，包括2个96芯的EPT103-40064接插件；所述的EPT103-40064接插件的接口包括4个通道，每个通道可传输4对LVDS数字信号。
[0018]进一步的，所述的SSD存储阵列模块，包括多个外接固态硬盘，构成多路数据存储通道的电子盘阵。
[0019]进一步的，所述的PC1-E模块，含有15路可配置端口。
[0020]进一步的，所述的FPGA核心板中的数据在存入存储阵列之前，需进行以下过程:
(I)相位补偿、(2)8b/10b编码、(3)并行到串行的转换。
[0021]进一步的，所述的SSD存储阵列模块中的数据在输入到FPGA核心板进行数据处理之前，需进行以下过程:(I)时钟的恢复、(2)串行到并行的转换、(3)字节同步、(4)8b/10b编码，以及(5)相位补偿。
[0022]进一步的，所述的基于FPGA的数据传输存储硬件系统，包括4个所述的数据传输存储硬件系统集成电路板;所述的VPX接口，用于所述的每个数据传输存储硬件系统集成电路板之间的相互通信与数据交互。
[0023]与现有技术相比，本发明的优点和有益效果包括:
[0024]1.本发明系统的存储系统速度快、稳定度高、保密性强。支持现场容量扩充，可直接更换硬盘。而且，多个存储通道并行存储，便于数据的备份转存。
[0025]2.可同时使用软件和硬件利用损耗均衡算法、ECC校验方法，对存储介质的坏块进行维护。有效防止存储数据的损坏，也可延长FLASH的使用寿命。对于坏块中的数据，读出时可以通过软件进行恢复。采用外接固态硬盘阵列的方式存储，形成电子阵列式的多通道高速存储，便于数据的备份转存，实现高速、大容量存储、回放。单板的持续记录速度多700MB/
So
[0026]3.可通过软件操作选择是进行数据的导入还是数据的导出，且可以实现对数据的分析、维护等功能。完善的软件功能，提高了用户体验，减轻数据分析难度。采用标准的MPU子卡来实现键盘、鼠标、千兆网等接口。支持操作系统、管理软件、支持MATLAB等分析软件。
[0027]4.采用VPX接口作为记录板之间联系的桥梁，记录板之间可以通过它来进行的数据交互。提高整个记录存储系统的效率和灵活性。
[0028]5.本发明的系统采用了 2个96芯的EPTl 03-40064接插件，接插件将背板上的差分信号直接传输给FPGA，而无需与MPU模块或者PC1-E SWITCH连接。通过VPX接插件和其它数据采集记录板互联进行高速的数据传输，最高速率可达1.25GB/S。
[0029]6.人机交互功能可以通过⑶I界面显示，可以显示接收和发送对设备的控制命令、BIT信息、设备的工作状态信息等。支持远程以太网控制。
【附图说明】
[0030]图1是本发明的一个实施例的功能框图。
[0031]图2是本发明的一个实施例的高速收发器(GTP)的内部逻辑原理图。
[0032]图3是本发明的一个实施例的PC1-ESwitch功能框图。
[0033]图4是本发明的一个实施例的MPU模块的功能框图。
[0034]图5是本发明的一个实施例的软件架构框图。
【具体实施方式】
[0035]本发明的一种基于FPGA的高速数据采集存储系统，包括数据传输存储硬件系统和数据传输存储软件系统，其数据传输存储硬件系统，集成于一个电路板上，包括= FPGA核心板、ETP接插件模块、PC1-E开关模块、MPU子卡模块、千兆以太网口模块、显示模块、输入输出模块、MINISAS接口模块、SSD存储阵列模块(电子盘阵)、DDR3缓存模块；
[0036]所述的千兆以太网模块、显示模块、输入输出模块、SSD存储阵列模块通过MPU子卡模块分别与PC1-E开关模块连接，实现与FPGA核心板的数据交互;FPGA模块与PC1-E开关模块之间可以实现数据的交换，PC1-E开关模块的I路X4通道与VPX接口相连，可以实现该接口板与背板上的其它背板实现数据交互，而这些背板之间是完全独立的系统，可以交互数据，但互不干涉。
[0037]所述的SSD存储阵列模块通过至少一级DDR3缓存模块与FPGA核心板连接；用于调节GTP模块与SSD的数据差。
[0038]所述的FPGA核心板包括GTP模块，用于将数据以差分信号的形式进行传输;从而减少外接设备对数据的干扰。
[0039]2个所述的MINISAS接口模块，用于直接与FPGA核心板相连进行数据交互；而无需与MPU模块或者PC1-E SWITCH连接。
[0040]本发明实施例所述的MPU子卡模块包含ETX-Express连接器，用于与所述的MPU子卡的南桥和北桥的数据传输；其北桥有I路533MHz 64Bit与DDR2缓存连接，有3路与ETX-Expre ss连接器相连，分别是I路VGA模拟信号、I路LVDS和I路PCI 16。与MPU模块的南桥之间通过4路DMI 2.5GB/s连接。相比北桥，南桥与ETX-Express连接器连接的通道较多，包括:I路LPC33MHz 4、1路USB1.5/12/480MHz 6、2路DATA I.5GB/s、I路A/C、4路PC1-Express2.5GB/s、I路IDE、I路GP10、I路PCI 33MHz 32，另外，南桥与ETX-Express连接器之间有I路通过10/100B-T Ethernet连接。ETX-Express不仅与南北桥进行数据交互，还用于提供12VDC 与 SVSBY信号。
[0041]所述的SSD存储阵列模块，包括至少一个由Flash闪存介质和控制IC组成的外接固态硬盘；
[0042]所述的数据传输存储软件系统，包括操作系统、管理软件、MATLAB、通讯协议、盘阵驱动、底层硬件驱动部分，用于数据的导入、导出，数据的分析、维护，以及简单的数据实时分析;用户通过显示模块、输入输出模块的输入输出设备与系统应用程序进行数据交互。该软件系统的功能主要体现在三个方面:1、显示功能:基于Windows操作系统实现的，人机交互功能可以通过⑶I界面显示，可以显示接收和发送对设备的控制命令、BIT信息、设备的工作状态信息等。2、系统硬件设备控制功能:包括设备的记录启动/停止、回放的启动/停止、设备的工作方式控制、数据输入通道的选择控制等。3、数据管理功能:主要包括对记录数据的查询功能(根据时间信息)、数据的截取、数据的上传/下载功能。此外还可以通过MATLAB等软件对数据进行简单的分析。
[0043]所述的FPGA核心板采用XilinxZynq-7000芯片，其包括的GTP模块的最高数据率为6.125Gbps。该产品的FPGA内部集成有ARM，两者通过AXI4总线进行高速连接，有效解决了FPAG与ARM之间的传输问题。另外，其高速收发器GTP的功耗很低，可支持500Mb/s—6.6Gb/s的传输速率。
[0044]所述的ETP接插件模块，包括2个96芯的EPT103-40064接插件；所述的EPT103-40064接插件的接口包括4个通道，每个通道可传输4对LVDS数字信号。所述的ETP接插件模块的2个96芯的EPT103-40064接插件，用于传输给FPGA核心板的信号还包括I路时钟信号、I
路同步信号和4路备用信号。
[0045]所述的SSD存储阵列模块，包括多个外接固态硬盘，构成多路数据存储通道的电子盘阵。该电子盘阵可进行坏块处理，损耗均衡算法，ECC校验等。其一路通道的容量大小为8T，四路通道即可实现32T超大容量的存储。且支持现场容量的扩容，在存盘已满的情况下可以直接更换硬盘。
[0046]所述的PC1-E模块，含有15路可配置端口。通过这些端口，不仅可以传输数据和控制/管理信息，还是FPGA模块与千兆网口、显示器、输入输出设备连接的桥梁。
[0047]所述的FPGA核心板中的数据在存入存储阵列之前，需进行以下过程:(I)相位补偿、(2)8b/10b编码、(3)并行到串行的转换。
[0048]所述的SSD存储阵列模块中的数据在输入到FPGA核心板进行数据处理之前，需进行以下过程:(I)时钟的恢复、(2)串行到并行的转换、(3)字节同步、(4)8b/10b编码，以及
(5)相位补偿。
[0049]所述的基于FPGA的数据传输存储硬件系统，包括4个所述的数据传输存储硬件系统集成电路板;所述的VPX接口，用于所述的每个数据传输存储硬件系统集成电路板之间的相互通信与数据交互。
[0050]下面结合附图对本发明做进一步详细说明。
[0051]图1是本发明的一个实施例的功能框图。如图1所示，本发明的一个实施例的一种基于FPGA的高速数据采集存储系统，其板型大小为6U，尺寸为233.35 X 220mm，板卡的厚度不大于40.3mm。一个单块的数据采集存储系统板的功耗小于50W。该数据采集记录系统，通过Xi I inx的Zynq-7000系列FPGA来实现数据的高速采集，快速传输与存储。而FPGA和MPU模块之间的数据传输、控制及管理则通过IDT公司的PC1-E Switch(外部组件互连总线接口开关)芯片实现。
[0052]通过FPGA核心板实现接插件上的LVDS接口、PC1-E端口以及2个MINI SAS(迷你串行连接接口)接口(只是采用MINISAS接口，来实现LVDS(低电压差分信号)信号的数据传输，12位的数据宽度，采用的时钟为100MHz，即总的数据率为150MB/S)之间的数据转换。本数据采集记录系统采用了 2个96芯的EPT103-40064接插件。该接口上包含4个传输通道，每个传输通道可以传输2组(Rx和Tx)4对LVDS信号，数据率为80Mbps;其它传输信号包含I路时钟信号、I路同步信号和4路备用信号。即4个通道可以实现160MB/S的数据传输，用于数据存储以及回放，以便该数据采集系统独立于其它系统进行数据采集。同时PC1-E Switch器引出一路PC1-EX4，通过VPX(高速串行总线接口)接插件和其它数据采集记录板互联进行高速的数据传输，最高速率为I.25GB/S。
[0053]本系统采用SSD存储阵列模块构成的电子盘阵作为存储器，实现高速、大容量存储、回放。电子盘阵工作速度快、稳定度高、保密性强的特点，因此常用于专用机和工业控制机。电子盘阵由Flash闪存介质和控制IC组成，是一种可多次读写的存储器，安装和使用非常方便。由于存储介质是闪存，其防震能力比普通硬盘强;而且，速度更快、重量轻，非常适用于移动使用。另外，由于该电子盘阵没有普通硬盘的旋转介质，因而抗震性极佳，同时工作温度范围宽，扩展温度的电子盘阵可工作在-40C-+85C，因此可广泛应用于网络计算机(NC)，工业控制，航空航天，军事，导航设备等领域。
[0054]图2是本发明的一个实施例的高速收发器(GTP)的内部逻辑原理图。如图2所示，本发明实施例的GTP高速收发器由PCS (物理编码子层)与PMA (物理介质连接)构成。发送通道部分的PMA主要负责串化8b/10b编码器部分输入的并行信号为比特流，接收部分的PMA负责将SFP光模块部分输入的数据由串行变成并行，但是首先要将时钟数据从串行数据中恢复出来。因为收发器使用的时频精度要求高，所以发送通道部分的PCS首先将要发送的信号输入相位补偿FIFO，来补偿发送部分的PCS相位与FPGA内核相位的差，外部输入参考时钟将通过专门的锁相环电路来产生，在通过相位补偿FIFO之后，并行数据和串行数据便可高度同步。
[0055]图3是本发明的一个实施例的PC1-ESwitch功能框图。如图3所示，PC1-E Switch是一种类似于常用的USB Hub的设备，不过它最多可以有N个端口，已经被广泛应用在了传统的存储系统中。Switch是新概念，它与上一代标准PC1-X的桥接模式相比，最大的一个本质区别就是在同一个Bus内部的多个角色之间采用的是Switch交换，而不再是Bus,—个Switch相当于一个虚拟桥与虚拟Bus的集合。另外PC1-E Switch可将事务在各个端口之间传递。
[0056]IDT公司的92HD81B1B5NLB是支持 15端口48通道(Lanes)的PCI Express Gen 2开关芯片，每一个端口的通道数量都可以配置成x4，x8或者是xl6，合计480GT/S的带宽。92HD81B1B5NLB芯片的结构设计得比较灵活，它将48个通道分布在3个Stat1n中，而且每一个Stat1n都可以由内部总线连接到Packet RAM内，大大提升了效率。每一个通道还可以配置成上下游端口。
[0057]具体PC1-E各宽口使用:5路X2的PC1-E供接口使用，I路X4的PC1-E供X86模块使用，I路Xl的PC1-E供光纤使用。
[0058]图4是本发明的一个实施例的MPU模块的功能框图。如图4所示，采用标准的MPU子卡(以存储部分作为母板)来实现显示、键盘、鼠标、千兆网等接口。MPU子卡模块包括一片主频在1.4G至2.13G的迅驰处理器。该处理器与ITP-700之间的带宽为133MHz。通过533MHzFSB*64-Bit与MPU模块的北桥相连接。内核供电电压由RM-頂VP-1V提供。
[0059]MPU模块的北桥有I路533MHz 64Bit与DDR2缓存连接，有3路与ETX-Express连接器相连，分别是I路VGA模拟信号、I路LVDS和I路PCI 16。与MI3U模块的南桥之间通过4路DMI2.5GB/S连接。相比北桥，南桥与ETX-Express连接器连接的通道包括:1路LPC33MHZ 4、I路USB1.5/12/480MHz 6、2路DATA I.5GB/s、I路A/C、4路PC1-Express 2.5GB/s、I路IDE、I路GP10、1路PCI 33MHz 32，此外南桥与连接器之间还有I路通过10/100B-T Ethernet连接。ETX-Express不仅与南北桥进行数据交互，还提供12VDC与SVSBY信号。
[0060]图5是本发明的一个实施例的软件架构框图。如图5所示，高速采集设备的软件是基于Windows操作系统实现的，主要用来实现人机交互、设备功能模块的控制、数据管理、简单数据分析、系统的BIT工作等。按照软件架构所示，当操作员需要与机器进行数据交互时，可以通过显示器、键盘、鼠标来接受或者发送对设备控制命令。(I)当设备收到是控制命令时，就根据响应的通讯协议，控制底层硬件驱动，并将操作结果返回到应用层通过显示器显示出来。(2)当设备接收到的是数据管理指令，就启动响应的盘阵驱动，盘阵驱动再进一步调用底层硬件驱动，同样将操作结果通过显示器显示出来。
[0061]设备控制功能包括设备的记录启动/停止、回放的启动/停止、设备的工作方式控制、数据输入通道的选择控制等。
[0062]其数据管理功能主要包括对记录数据的查询功能、数据的截取、数据的上传/下载功能。
[0063]总之，本发明的一种基于FPGA的高速数据采集存储系统，能够从终端设备通过EPT接插件采样回波数据，通过低电压差分(LVDS)技术高速传输，传输给FPGA进行实时数据处理分析。FPGA处理后的数据经由光纤传输给存储阵列进行数据的高速存储。该设计方案提供鼠标、键盘、千兆以太网等接口通过PC1-E Switch器，与FPGA核心板芯片互联，支持数据的查询与截取、记录状态监控、文件信息指示、远程以太网控制功能。
【主权项】
1.一种基于FPGA的高速数据采集存储系统，包括数据传输存储硬件系统和数据传输存储软件系统，其特征在于: 所述的数据传输存储硬件系统，集成于一个电路板上，包括= FPGA核心板、ETP接插件模块、PC1-E开关模块、MPU子卡模块、千兆以太网口模块、显示模块、输入输出模块、MINISAS接口模块、SSD存储阵列模块、DDR3缓存模块； 所述的千兆以太网模块、显示模块、输入输出模块、SSD存储阵列模块通过MPU子卡模块分别与PC1-E开关模块连接，实现与FPGA核心板的数据交互； 所述的SSD存储阵列模块通过至少一级DDR3缓存模块与FPGA核心板连接； 所述的FPGA核心板包括GTP模块，用于将数据以差分信号的形式进行传输； 2个所述的MINISAS接口模块，用于直接与FPGA核心板相连进行数据交互； 所述的MPU子卡模块包含ETX-Express连接器，用于与所述的MPU子卡的南桥和北桥的数据传输； 所述的SSD存储阵列模块，包括至少一个由Flash闪存介质和控制IC组成的外接固态硬盘; 所述的数据传输存储软件系统，包括操作系统、管理软件、MATLAB、通讯协议、盘阵驱动、底层硬件驱动部分，用于数据的导入、导出，数据的分析、维护，以及简单的数据实时分析;用户通过显示模块、输入输出模块的输入输出设备与系统应用程序进行数据交互。2.根据权利要求1所述的一种基于FPGA的高速数据采集存储系统，其特征是:所述的FPGA核心板采用Xilinx Zynq-7000芯片，其包括的GTP模块的最高数据率为6.125Gbps。3.根据权利要求1所述的一种基于FPGA的高速数据采集存储系统，其特征是:所述的ETP接插件模块，包括2个96芯的EPT103-40064接插件;所述的EPT103-40064接插件的接口包括4个通道，每个通道可传输4对LVDS数字信号。4.根据权利要求1所述的一种基于FPGA的高速数据采集存储系统，其特征是:所述的SSD存储阵列模块，包括多个外接固态硬盘，构成多路数据存储通道的电子盘阵。5.根据权利要求1所述的一种基于FPGA的高速数据采集存储系统，其特征是:所述的PC1-E模块，含有15路可配置端口。6.根据权利要求1所述的一种基于FPGA的高速数据采集存储系统，其特征是:所述的FPGA核心板中的数据在存入存储阵列之前，需进行以下过程: (1)相位补偿； (2)8b/10b编码; (3)并行到串行的转换。7.根据权利要求1所述的一种基于FPGA的高速数据采集存储系统，其特征是:所述的SSD存储阵列模块中的数据在输入到FPGA核心板进行数据处理之前，需进行以下过程: (1)时钟的恢复； (2)串行到并行的转换； (3)字节同步； (4)8b/10b编码; (5)相位补偿。8.根据权利要求1所述的一种基于FPGA的高速数据采集存储系统，其特征是:所述的基于FPGA的数据传输存储硬件系统，包括4个所述的数据传输存储硬件系统集成电路板和VPX接口 ；所述的VPX接口，用于所述的每个数据传输存储硬件系统集成电路板之间的相互通信与数据交互。
【文档编号】G06F3/06GK106095334SQ201610395244
【公开日】2016年11月9日
【申请日】2016年6月3日 公开号201610395244.3, CN 106095334 A, CN 106095334A, CN 201610395244, CN-A-106095334, CN106095334 A, CN106095334A, CN201610395244, CN201610395244.3
【发明人】林明, 杨帆, 代品宣
【申请人】江苏科技大学