基于NVME和双级链表的大规模数据实时存储调用系统及方法与流程

基于nvme和双级链表的大规模数据实时存储调用系统及方法
技术领域
1.本发明涉及雷达系统仿真技术领域，尤其是涉及一种基于nvme和双级链表的大规模数据实时存储调用系统及方法。


背景技术：

2.在雷达半实物仿真实验过程中，为对雷达处理流程中出现的问题、现象进行技术分析，复现仿真实验任意一段实验过程，需要对整个仿真实验过程中的数据高速采集和存储，并实时调用任意位置的存储数据完成实验过程的实时回放。
3.雷达回波数据存储、回放的响应速度要求较高，在按雷达脉冲进行处理时，存储和回放的响应时间均为微秒级(10-6
s)，这就要求仿真系统既能够实时存储海量数据，同时在进行回放时，还能够按照脉冲触发(微秒级)实时调用该段数据。
4.传统窄带雷达系统信号带宽较窄、存储信号数据量较小，实时存储较为容易，利用传统基于msata(mini-sata)接口的sata(serial advanced technology attachment)硬盘可满足传输速率和存储容量的需求，同时利用windows自带的系统文件对数据进行管理，完成以数据流驱动的存储数据回放，但存储数据按脉冲触发的任意位置实时回放依然是一个技术难题。随着雷达技术体制的不断发展，回波信号精细化分析和高分辨处理的要求越来越高，雷达的信号带宽不断增大，存储和实时回放的实验数据量越来越大，利用msata接口硬盘的存储方式已经不能满足大带宽信号的存储和回放需求。雷达的技术体制已经由传统的和通道、方位差通道、俯仰差通道的3通道单脉冲接收体制逐渐发展为数字多波束体制(通道数量一般不小于7)，通道数量的增加进一步提升了对大规模雷达回波数据的传输、存储的需求。
5.随着存储数据量的逐渐增大，大规模数据的文件管理和任意位置实时调用也是个技术难点，采用标准操作系统如windows操作系统、linux操作系统等进行文件管理，此时文件分区表由zynq的arm处理器或者microblaze软处理器来维护，软件实现速度不够，不能够完成大规模数据的任意位置实时调用，利用fpga实现文件系统的方法则存在实现技术复杂、不便于更改和维护的问题。


技术实现要素：

6.针对现有技术中雷达回波大规模数据的实时存储和任意位置调用工作，缺乏能够满足带宽1ghz以上、通道数量8路以上回波信号的实时存储、回放以及任意位置快速调用的技术手段，本发明的目的是提供一种基于nvme和双级链表的大规模数据实时存储调用系统及方法。
7.为实现上述发明目的，本发明采用如下技术方案：
8.一种基于nvme和双级链表的大规模数据实时存储调用系统，其基于vpx平台构建，包括主控单元、光纤接口单元、固态存储单元、转存单元；其中，
9.所述主控单元，运行于主控计算机上，通过管理网口与上位机相连，用于接收用户
的操作指令；通过管理网口与光纤接口单元的fpga处理器连接，用于进行对外控制网口指令的交互和解析、固态存储单元各存储板的维护和管理；
10.所述光纤接口单元，通过光纤接口与外部的数据采集设备和数据发送设备连接，通过数据采集设备实现大规模回波数据的高速采集，完成大规模数据的实时存储，将对外光纤接口输入的大规模数据存储至固态存储单元，并能够向数据采集设备发送实时运行状态；通过数据发送设备实现大规模数据的实时回放，并完成数据分发、时序控制工作；
11.所述固态存储单元，包括若干个6u vpx存储板，基于nvme(non-volatile memory express，非易失性内存管理主机系统控制器通过接口技术规范)接口的固态存储介质进行构建，进行数据高速实时存储；
12.所述转存单元，基于光纤pcie接口板卡实现，通过高速传输接口与转存服务器连接，进行大规模数据的高速转存工作。
13.一种基于nvme和双级链表的大规模数据实时存储调用方法，其包括以下步骤：
14.s1、主控单元接收用户的操作指令，包括状态自检、数据存储、数据回放、全盘格式化命令，用于实现操作指令的交互和解析、以及管理固态存储单元各存储板；
15.s2、利用数据采集设备高速采集雷达回波数据，并通过高速光纤接口将数据传输至光纤接口单元；主控单元通过管理网口下发控制命令至光纤接口单元，光纤接口单元接到控制命令后，将大规模数据通过多路并行高速传输至固态存储单元；
16.s3、固态存储单元利用fpga软核处理器实现自定义文件系统，通过一组双级链表来管理固态存储单元中的文件，实现文件的相关操作，具体包含：初始化、存储、删除、全盘格式化、任意位置回放；
17.其中，自定义文件系统由文件链表区、数据区两部分组成，文件链表区为双级链表，包含第一级链表和第二级链表，第一级链表为文件信息链表，该链表管理实际存储的各个存储文件以及剩余空闲空间，文件信息链表中的每一个节点，即每一个文件，均对应一组二级链表，即数据簇链表，数据簇链表中的每一个节点标志了组成文件的数据簇(cluster)在固态存储单元中的位置分布；数据区存储的数据为经过光纤接口单元传输过来的大规模回波数据；
18.在进行数据存储时，通过访问文件信息链表获取各相应文件数据簇的位置并下传到fpga软核处理器，fpga软核处理器依照数据簇位置完成数据簇的存储操作，通过nvme命令直接访问存储单元的物理扇区空间，并将操作结果反馈至fpga软核处理器；
19.s4、采用双级链表的自定义文件系统实现大规模数据的任意位置实时调用，操作为：在进行数据回放时，通过访问文件信息链表获取各相应文件数据簇的位置并下传到fpga软核处理器，fpga软核处理器依照数据簇位置完成数据簇的实时调用操作，通过nvme命令直接访问存储单元的物理扇区空间，并将操作结果反馈至fpga软核；
20.s5、在完成数据的实时调用时，通过数据发送设备实现大规模数据的实时回放；
21.s6、在固态存储单元中，存储空间已满时，通过转存单元将数据转存至转存服务器中；转存单元基于光纤pcie接口板实现，通过高速传输接口与转存服务器连接，用于实现固态存储单元中数据的导出功能。
22.由于采用如上所述的技术方案，本发明具有如下优越性：
23.该基于nvme和双级链表的大规模数据实时存储调用系统及方法，其基于fpga+
nvme实现大规模数据的实时存储和回放，采用双级链表文件管理技术实现大规模数据的文件名和硬盘物理地址的管理，读写实体则由fpga硬件完成，进而满足大规模数据的快速调用需求；完成1ghz以上带宽、8路以上回波信号的实时存储、回放和调用，为雷达仿真实验的数据采集存储、实验现象复现分析提供技术支撑；能够提高仿真实验效率，为雷达信号处理过程中实验现象分析，复现实验结果提供软硬件支持。
附图说明
24.图1是本发明基于nvme和双级链表的大规模数据实时存储调用系统的结构框图；
25.图2是图1中的大规模数据实时存储调用系统一实施例的结构图；
26.图3是本发明基于nvme和双级链表的大规模数据实时存储调用方法的流程图；
27.图4是本发明基于nvme和双级链表的大规模数据实时存储调用方法的自定义文件系统组成图；
28.图5是本发明基于nvme和双级链表的大规模数据实时存储调用方法的系统文件操作流程图。
具体实施方式
29.下面结合附图和实施例对本发明的技术方案作进一步详细说明。
30.如图1、2所示，该基于nvme和双级链表的大规模数据实时存储调用系统，其基于vpx平台构建，包括主控单元、光纤接口单元、固态存储单元、转存单元；其中，
31.所述主控单元，运行于主控计算机上，通过管理网口与上位机相连，用于接收用户的操作指令，包括状态自检、获取文件列表、数据存储、数据回放、全盘格式化命令；通过管理网口与光纤接口单元的fpga处理器连接，用于进行对外控制网口指令的交互和解析、以及固态存储单元各存储板的维护和管理；
32.所述光纤接口单元，分别通过两个4*100g光模块与外部的数据采集设备、数据发送设备连接，通过数据采集设备实现大规模回波数据的高速采集，完成大规模数据的实时存储，将对外光纤接口输入的大规模数据存储至固态存储单元，能够向数据采集设备发送实时运行状态，主要包括实际可用容量、已用容量，当前已用容量等；通过数据发送设备实现大规模数据的实时回放，同时光纤接口单元的fpga还完成大规模数据的分发存储、时序控制工作；
33.所述固态存储单元，包括若干个6u vpx存储板，基于nvme接口的固态存储介质进行构建，用于实现数据高速实时存储，多路并行以增加数据吞吐率，满足大规模数据的实时存储速率和容量要求；
34.所述转存单元，基于光纤pcie接口板卡实现，通过高速传输接口与转存服务器连接，进行大规模数据的高速转存工作。
35.如图1～5所示，一种基于nvme和双级链表的大规模数据实时存储调用方法，其包括以下步骤：
36.s1、主控单元接收用户的操作指令，包括状态自检、数据存储、数据回放、全盘格式化命令，用于实现操作指令的交互和解析、以及管理固态存储单元各存储板；
37.s2、通过数据采集设备高速采集雷达回波数据，并通过高速光纤接口中的4*100g
光模块将8路1ghz以上带宽采集数据传输至光纤接口单元；主控单元通过管理网口下发控制命令至光纤接口单元，光纤接口单元接到控制命令后，将大规模数据通过多路并行高速传输至固态存储单元；
38.s3、参见图3，大规模数据实时存储调用系统通过解析用户的操作命令，利用vpx存储板中的fpga软核处理器实现自定义文件系统，通过一组双级链表来管理固态存储单元中的文件，实现文件的相关操作，具体包含：初始化、存储、删除、全盘格式化、任意位置回放等操作，实现大规模数据的实时存储；
39.其中，自定义文件系统由文件链表区、数据区两部分组成，如图4所示，文件链表区为双级链表，存储了一个双级文件链表，即第一级的文件信息链表和第二级的数据簇链表，用于管理数据区中的已用空间与空闲空间，数据区为经过光纤接口单元传输过来的大规模回波数据；文件链表存储在固态存储单元的起始64mb空间位置，系统每次加电后，fpga软核处理器自动从存储空间读取文件链表，经过数据的存储、删除等文件操作后，更新后的文件链表自动下载存储在固态存储单元中；数据区位于存储空间的起始主存地址位置，用来存放用户实时存储的数据，数据区按照4mb为粒度划分为若干簇，簇(cluster)为数据操作的基本单元，每个簇的物理地址都映射为文件链表中的一个数据簇节点；此时，对于每一块固态硬盘，操作的最小粒度为1mb，从而保证数据区能够以4mb为粒度管理文件的存储、回放及删除功能；文件实时存储操作时，fpga以相同物理扇区地址同时访问16片nvme接口的固态硬盘，完成数据操作；
40.s4、在进行数据回放时，自定义文件系统能够实现大规模数据的任意位置实时调用；如图5所示，系统加电后，fpga软核处理器自动从存储空间读取文件链表，通过访问文件链表获取各相应文件数据簇的位置并下传到fpga，fpga依照数据簇位置依次完成数据簇的实时调用操作，通过nvme命令直接访问存储单元的物理扇区空间，并将操作结果反馈至软核。文件实时调用操作时，fpga以相同物理扇区地址同时访问16片nvme接口的固态硬盘，完成数据实时调用操作；
41.s5、在完成数据的实时调用时，通过数据发送设备实现大规模数据的实时回放；
42.s6、在固态存储单元中，存储空间已满时，通过转存单元将数据转存至转存服务器中；转存单元基于光纤pcie接口板实现，通过高速传输接口与转存服务器连接，用于实现固态存储单元中数据的导出功能。
43.以上所述仅为本发明的较佳实施例，而非对本发明的限制，在不脱离本发明的精神和范围的情况下，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明的专利保护范围之内。