一种可高速传输的文件存储系统和文件管理方法

本发明属于存储，具体涉及一种可高速传输的文件存储系统和文件管理方法。

背景技术：

1、在存储技术领域，面临的挑战来自于用户不断增长的容量和性能要求。随着数据量的不断增长，和传输速度的不断提高，对于数据生命周期的各个环节，数据的性能也有不同的诉求，需要对数据传输方法和存储性能不断调整，比如使用更加先进传输效率更高的硬件设备，和更加高效的存储方法设计。如何简化数据管理、提升存储系统的性能、降低设备成本是当前存储技术的难题。

2、在现有的文件存储系统中，多数只有应用层对存储设备的管理和设计，可以进行存储和回放，但缺少实体装置无法进行高速数据传输，传输效率低，限制了在某些大数据量、高时效性的应用场景上的使用。其次，存储方式多采用分级存储技术，即采用高性能的固态驱动器(solid state disk)和低性能大容量的机械盘组成混合存储池的技术，此类方法的数据传输速度无法满足大数据量、实时性的使用场景。另外，在现有的文件存储系统中，可以实现存储文件的录取和存储，但在已存储的文件中无法进行删除或者删除后存储空间无法回收，大大降低了存储设备的使用效率。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种可高速传输的文件存储系统和文件管理方法。本发明要解决的技术问题通过以下技术方案实现：

2、本发明提供了一种可高速传输的文件管理方法，包括：

3、利用多个传输通道接收文件数据，将所述文件数据缓存在内部对应设置的多个ddr缓存空间中，所述传输通道为pcie3.0或万兆以太网；

4、所述ddr缓存空间达到预设存储数据量时，生成文件存储信息，根据所述文件存储信息，按照预设的存储方式将所述ddr缓存空间中的缓存数据存储在存储设备中；其中，通过设置的所述ddr缓存空间的存储信息转移标志位，实现多个ddr缓存空间的交替接收存储文件数据直至所述文件数据传输存储完成；

5、所述文件数据存储完成后，生成所述文件数据对应的文件信息，按照所述预设的存储方式将所述文件信息存储在所述存储设备中，将所述文件信息中的文件有效性标志位置为第一取值。

6、本发明还提供了一种可高速传输的文件存储系统，包括：数据传输模块、存储设备交互模块、文件管理模块和文件系统交互模块，其中，

7、所述数据传输模块，用于利用多个传输通道接收文件数据，将所述文件数据缓存在内部对应设置的多个ddr缓存空间中；所述ddr缓存空间达到预设存储数据量时，生成文件存储信息；在所述文件数据存储完成后，生成所述文件数据对应的文件信息，将所述文件信息中的文件有效性标志位置为第一取值；

8、所述存储设备交互模块，用于根据所述文件存储信息，按照预设的存储方式将所述ddr缓存空间中的缓存数据存储在存储设备中；按照所述预设的存储方式将所述文件信息存储在所述存储设备中；

9、所述文件管理模块，用于显示所述文件信息和所述存储设备的空间使用情况；还用于接收文件导出指令和文件导入指令；

10、所述文件系统交互模块，用于根据文件导出指令，将所述文件数据从所述存储设备导出至操作系统中；还用于根据文件导入指令，将所述文件数据从所述操作系统导入至所述存储设备中；

11、其中，通过设置的所述ddr缓存空间的存储信息转移标志位，以使所述数据传输模块和所述存储设备交互模块通过多个ddr缓存空间交替接收存储文件数据直至所述文件数据传输存储完成。

12、与现有技术相比，本发明的有益效果在于：

13、1.本发明的可高速传输的文件管理方法，使用了pcie3.0和万兆以太网作为传输通道，并且使用脱离文件系统的存储设备为载体，可以实现最高5gb/s的高速数据传输和存储，利用多个ddr缓存空间交替传输，保证整体数据流的高速稳定传输，且各通道间互不干扰。

14、2.本发明的可高速传输的文件管理方法，可以实现文件的存储、回放、删除和碎片空间整理功能，通过在文件信息中设置有效性标志位，得到删除命令时在文件信息部分找到目标文件更改文件的有效性，此时删除文件的数据大小成为碎片空间无法做存储使用，通过碎片空间整理功能将碎片空间回收后可继续用于数据存储。

15、3.本发明的可高速传输的文件存储系统，设置的文件管理模块包含人机交互界面，在界面中对文件系统交互模块和存储设备交互模块进行管理，包含文件导入导出、存储文件信息、存储文件的删除和碎片空间显示和整理功能，实现准确便捷的对存储文件进行管理。

16、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

技术特征：

1.一种可高速传输的文件管理方法，其特征在于，包括：

2.根据权利要求1所述的可高速传输的文件管理方法，其特征在于，所述文件存储信息包括当前所述ddr缓存空间中缓存数据的存储地址、数据大小和传输通道。

3.根据权利要求1所述的可高速传输的文件管理方法，其特征在于，通过设置的所述ddr缓存空间的存储信息转移标志位，实现多个ddr缓存空间交替接收存储文件数据直至所述文件数据传输存储完成，包括：

4.根据权利要求1所述的可高速传输的文件管理方法，其特征在于，所述文件信息还包括：文件数据的大小、文件数据的名称、文件数据的类型和存储时间。

5.根据权利要求1所述的可高速传输的文件管理方法，其特征在于，所述预设的存储方式包括：

6.根据权利要求1所述的可高速传输的文件管理方法，其特征在于，所述文件管理方法还包括：

7.根据权利要求6所述的可高速传输的文件管理方法，其特征在于，根据搜索得到的文件信息，确定对应文件数据的存储位置，根据所述存储位置进行数据移动，实现所述碎片空间的回收，包括：

8.根据权利要求1所述的可高速传输的文件管理方法，其特征在于，所述文件管理方法还包括：

9.一种可高速传输的文件存储系统，其特征在于，包括：数据传输模块、存储设备交互模块、文件管理模块和文件系统交互模块，其中，

10.根据权利要求9所述的可高速传输的文件存储系统，其特征在于，所述文件管理模块，还用于接收文件删除指令，根据文件删除指令，在所述存储设备中查找所述文件的文件信息，将所述文件信息中的文件有效性标志位置为第二取值，所述存储设备中存储所述文件数据的空间成为碎片空间；还用于接收碎片空间整理指令，根据碎片空间整理指令，选取所述存储设备中文件有效性标志位为第二取值所有文件信息；根据选取的文件信息，确定对应文件数据的存储位置，根据所述存储位置进行数据移动，实现所述碎片空间的回收。

技术总结
本发明涉及一种可高速传输的文件存储系统和文件管理方法，该方法，包括：利用多个传输通道接收文件数据，将文件数据缓存在内部对应设置的多个DDR缓存空间中；DDR缓存空间达到预设存储数据量时，生成文件存储信息，根据文件存储信息，按照预设的存储方式将DDR缓存空间中的缓存数据存储在存储设备中；其中，通过设置的DDR缓存空间的存储信息转移标志位，实现多个DDR缓存空间交替接收存储文件数据直至文件数据传输存储完成；文件数据存储完成后，生成文件数据对应的文件信息，按照预设的存储方式将文件信息存储在存储设备中，将文件信息中的文件有效性标志位置为第一取值。本发明方法保证整体数据流的高速稳定传输，且各通道间互不干扰。

技术研发人员：郭亮,孙浩然,刘恒良,全大英,许晴,荆丹,张子旭,全英汇,邢孟道
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/1/22