一种基于光闸系统下实现文件不落盘同步的方法与流程

本发明属于数据管理和数据同步领域，具体涉及一种基于光闸系统下实现文件不落盘同步的方法。

背景技术：

1、随着计算机网络应用的普及和网络安全意识的提高，越来越多的单位将内部的部门按照不同的保密级别划分成不同的网络安全域，高密级网络安全域不能将涉密信息流向低密级网络安全域。在此情况下，多数场景就有了文件单向同步的需求，为此可以使用单向光闸进行文件的单向同步，文件同步操作时需要两台服务端与一台光闸，将外网侧服务端的文件经过光闸传输到内网侧的服务端，一般需要光闸系统外网侧采集存储好外网侧文件之后，单向传输至光闸内网侧系统，再由内网侧系统将存储文件传输至内网侧服务端。

2、这种普通落盘方式存在如下的问题，一方面，文件传输整体耗时长，一次文件传输包含外网侧服务端到光闸外网侧系统的文件传输、光闸外网侧系统到内网侧系统的文件传输以及光闸内网侧系统到内网侧服务端的文件传输三个过程；另一方面，受光闸系统硬盘硬件限制，传输的文件不能超过光闸内外网侧系统的硬盘空间，否则将无法缓存所有内容，而且对光闸系统硬盘文件系统得格式也有要求，如fat32格式就无法存储4gb以上的文件。

技术实现思路

1、本发明目的在于针对上述问题，提出一种不落盘的传输方式，即在文件传输过程中文件无需在光闸系统内存储，文件传输以流的方式进行同步，这样既解决了文件整体传输耗时的问题，也解决了文件传输受光闸系统硬盘限制的问题。

2、为实现上述目的，本发明提出的技术方案为一种基于光闸系统下实现文件不落盘同步的方法，包含以下步骤：

3、步骤1：启动文件下载监测流程，用于获取远端文件信息并控制上传端和下载端程序的启停；

4、步骤2：开始文件下载流程，用于实际的文件下载与转发；

5、步骤3：进行文件上传监测流程，用于接收下载端的控制信息以及控制上传程序的启停；

6、步骤4：进行文件上传流程，用于实际的文件接收与上传，并处理接收的乱序数据。

7、进一步的，前述文件下载监测流程，具体包含以下步骤：

8、步骤11：定时获取远端服务器的文件列表信息；

9、步骤12：遍历文件信息，根据本地存储的特征文件信息判断某文件是否被下载过；

10、步骤13：对于被传输过的文件，根据时间信息判断是否已更新，更新过的文件将通知上传端并启动文件传输程序；

11、步骤14：对于未被传输过的文件，记录特征文件，并通知上传端以及启动文件传输程序；

12、步骤15：完成遍历或当前运行的上传程序已达最大数量后，本次监测任务结束；

13、步骤16：最后定时获取下载程序状态，当下载程序异常停止时，将通知上传端并重新启动下载程序。

14、进一步的，前述文件下载流程包含以下步骤：

15、步骤21：启动udp转发线程，用于将数据转发至上传端；

16、步骤22：初始化curl库，设置数据下载回调函数；

17、步骤23：数据下载回调函数接收到数据后将数据依次放入队列中；

18、步骤24：udp转发线程从队列中取出数据，根据顺序设置好索引字段后转发本次数据。

19、进一步的，前述文件上传监测流程包含以下步骤：

20、步骤31：处理来自下载端的文件下载事件；

21、步骤32：存储相关的文件属性信息，并判断是否有程序正在传输该文件，如有则需要停止该程序，启动新的文件上传程序；

22、步骤33：处理来自下载端的目录创建事件，根据下载端传输的数据向远端服务器创建目录。

23、进一步的，前述文件上传流程包含以下步骤：

24、步骤41：启动udp接收线程，用于接收下载端的数据；

25、步骤42：初始化curl库，设置数据上传回调函数；

26、步骤43：udp接收来自下载端的数据，判断本次数据与上次数据的索引信息是否为顺序，将顺序数据放入队列中；

27、步骤44：将无序数据放入红黑树排序容器中，本次数据不放入队列；

28、步骤45：红黑树容器中数据部分有序后，依次放入队列中，直至无序或容器为空；

29、步骤46：上传回调函数依次从队列中取出数据，并写入内存中，curl库将数据转发至服务器。

30、与现有技术相比，本发明具有以下优点：

31、1，在文件同步过程中数据不在光闸中存储，即不落盘的传输方式，在文件传输过程中文件无需在光闸系统内存储。

32、2，由于文件传输通过流的方式进行同步，这样既解决了文件整体传输耗时长的问题，也解决了文件传输受光闸系统硬盘限制的问题。

技术特征：

1.一种基于光闸系统下实现文件不落盘同步的方法，其特征在于包含以下步骤：

2.根据权利要求1所述的基于光闸系统下实现文件不落盘同步的方法，其特征在于，所述文件下载监测流程包含以下步骤：

3.根据权利要求1所述的基于光闸系统下实现文件不落盘同步的方法，其特征在于，所述文件下载流程包含以下步骤：

4.根据权利要求1所述的基于光闸系统下实现文件不落盘同步的方法，其特征在于，所述文件上传监测流程包含以下步骤：

5.根据权利要求1所述的基于光闸系统下实现文件不落盘同步的方法，其特征在于，所述文件上传流程包含以下步骤：

技术总结
本发明公开了一种基于光闸系统下实现文件不落盘同步的方法，首先启动文件下载监测流程，用于获取远端文件信息并控制上传端和下载端程序的启停；开始文件下载流程，用于实际的文件下载与转发；然后进行文件上传监测流程，用于接收下载端的控制信息以及控制上传程序的启停；最后进行文件上传流程，用于实际的文件接收与上传，并处理接收的乱序数据。本发明在文件同步过程中数据不在光闸中存储，即不落盘的传输方式，在文件传输过程中文件无需在光闸系统内存储，也解决了文件整体传输耗时长和文件传输受光闸系统硬盘限制的问题。

技术研发人员：贾磊,陈羽
受保护的技术使用者：江苏深网科技有限公司
技术研发日：
技术公布日：2024/9/23