一种跨节点直连分片交换系统的制作方法

1.本发明属于数据交换领域大文件分片跨节点直传技术领域，具体涉及一种跨节点直连分片交换系统。


背景技术：

2.随着计算机信息科学技术和互联网的不断发展，网络交换组成越来越复杂，安全注意事项越趋严格，参与交换的文件大小越来越大，系统间的批量数据跨节点交换共享要求越来越多。因网络的差异和文件交换需要节转的特殊性，一般较大文件使用节转方式进行传输交换，在多交换节点的传输程中，对每个交换节点进行文件读写，网络通道的建立与释放，消耗大量的网络和计算机运算能力，增加了每个节点的处理负担，增加了交换送达时间，容易引发其他异常问题，各方面都存在较多不足之处。
3.传统情况下，从交换节点a1、a2、a3到an进行数据交换时，待a1完整读取数据，写入本地验证成功后，又开始读取数据，继续向a2开始写入，a2重复a1的步骤，依次类推，到an时完成所有数据的接受，开始对接业务进行数据使用，完成基本交换过程。在这个过程中，从a1到an重复了文件的写入和读取，完成了无效的结转工作，有一个节点出现问题，调用端和使用端都不便于准确知悉错误，进行适配处理，对性能和健壮性有较大的损耗。


技术实现要素：

4.本发明的目的在于针对现有技术中的缺陷，提供了一种跨节点直连分片交换系统，用于提高多节点交换过程的性能和效率，让交换节点以数据网关的方式存在，达到大文件实时交换的效果，同时借助双向复用通道，可以及时反馈目标段数据分片送达情况，通过校验提高数据交换的可靠性。
5.为了实现上述目的，本发明采用的技术方案是：
6.一种跨节点直连分片交换系统，包括请求端、接受端、接入节点、交换节点与接受节点；
7.所述接入节点对外提供接口进行数据接入，同时将接入数据分片后向下级节点转发，另外接受下级节点的数据验证，并将保存的分片验证数据向下传递，在完成交互后给请求者进行结果反馈；
8.所述交换节点承担网关职责，收到分片数据后即刻按规则向下级节点转发，并且按下级节点要求进行分片交换数据结果验证，验证不通过则重新下发缓冲分片；
9.所述接受节点接受分片数据后解码，将分片数据写入接受端的数据流，实现数据的边传输边使用的功能，同时将验证请求向上级节点请求，以确保合适的数据被写入请求数据流，确保数据的交换安全。
10.所述跨节点直连分片交换系统具体包括如下步骤：
11.s1：接入节点在接受大文件数据时，进行动态分片，然后依据所经节点性能、带宽及路径长度寻找最短路径后，对分片数据及其简要信息进行组包编码，向交换节点下发，并
且将当前分片数据的验证码保存到节点内存中；
12.s2：交换节点收到数据后，解包分片头信息，并且形成整个分片的验证信息，将验证信息向发送节点反馈；同时计算最短路径后，对分片组包数据继续向下级节点下发；
13.s3：接受到反馈信息节点的验证数据节点，与保存的同分片序号的数据进行比对验证，若验证通过，则将验证编码通过通道下发至验证申请节点；若验证不通过，则停止请求验证节点的数据批次下发，重新从未验证通过的节点进行下发；若是已经下发三个分片数据，却没有收到验证请求，则停止下发，等待申请验证通过后重新开始下发；
14.s4：请求验证节点收到验证结果后，在本地保存分片序号的数据验证编码，以便下级节点进行验证；若是在下发3个分片的数据后，没有收到上个节点的验证码，则不再下发，等待验证结果返回后继续下发；如果超过1分钟没有收到验证结果，则向上反馈本批次交换失败；
15.s5：每个交换节点循环步骤s3-4的处理流程，直到所有分片数据处理完毕；
16.s6：接受节点收到分片数据，对数据解码，向上发送验证请求，同时按照批号和文件流位置，将前3个排序分片的数据写入接受流，供处理端按文件流方式处理；当收到最后批次的分片流时，则将剩余已验证分片依次写入处理流，实现跨节点实时在线交换；
17.s7：每个交换节点收到最后分片数据的验证请求，自动向前序节点发送交换完毕的请求包，在接入节点收到交换完毕的请求包后，向请求者反馈交换完毕的信息，整个交换过程完成。
18.所述步骤s1中经过动态分片后得到的分片数据中包括但不限于以下信息：文件编号、分片编号、分片长度和分片位置。
19.与现有技术相比，本发明具有如下有益效果：
20.1)本发明围绕减少等待时间的原则，将交换节点数据节转步骤做了取消处理，即每个交换节点在收到分片数据后，同时开始向下级节点转发，并且利用通道分片的模拟化处理，从逻辑上建立快速处理保障，取消了中间节转步骤，使得最终数据消费和数据提供方在分片模式上实现了同步操作，提高了处理效率和性能，减少了多节点节转过程中可能产生的异常；
21.2)本发明在数据交换过程中使用已建据链路通道，通过多路复用技术，将大文件分片，在交换节点只承担数据转发和验证的网关责任，利用循环验证技术实现数据验证，在提高交换性能，降低对硬件依赖的情况下，能够有效保证交换速度与交换质量，形成完全闭环的快速交换能力。
附图说明
22.图1是本发明实施例的流程框图。
具体实施方式
23.下面将结合具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明来解释本发明，但并不作为对本发明的限定。
24.本发明公开了一种跨节点直连分片交换系统，包括请求端、接受端、接入节点、交换节点与接受节点；
25.所述接入节点对外提供接口进行数据接入，同时将接入数据分片后向下级节点转发，另外接受下级节点的数据验证，并将保存的分片验证数据向下传递，在完成交互后给请求者进行结果反馈；
26.所述交换节点承担网关职责，收到分片数据后即刻按规则向下级节点转发，并且按下级节点要求进行分片交换数据结果验证，验证不通过则重新下发缓冲分片；
27.所述接受节点接受分片数据后解码，将分片数据写入接受端的数据流，实现数据的边传输边使用的功能，同时将验证请求向上级节点请求，以确保合适的数据被写入请求数据流，确保数据的交换安全。
28.所述跨节点直连分片交换系统在数据交换前，实现后置模式的数据验证，通过变更分析实现数据交换结果及使用过程的确认，从而提高数据交换的质量，实现数据使用情况的确认，具体步骤如下：
29.s1：接入节点在接受大文件数据时，进行动态分片，在分片数据携带文件编号、分片编号、分片长度和分片位置等信息，然后依据所经节点性能、带宽及路径长度寻找最短路径后，对分片数据及其简要信息进行组包编码，向交换节点下发，并且将当前分片数据的验证码保存到节点内存中；
30.s2：交换节点收到数据后，解包分片头信息，并且形成整个分片的验证信息，将验证信息向发送节点反馈；同时计算最短路径后，对分片组包数据继续向下级节点下发；
31.s3：接受到反馈信息节点的验证数据节点，与保存的同分片序号的数据进行比对验证，若验证通过，则将验证编码通过通道下发至验证申请节点；若验证不通过，则停止请求验证节点的数据批次下发，重新从未验证通过的节点进行下发；若是已经下发三个分片数据，却没有收到验证请求，则停止下发，等待申请验证通过后重新开始下发；
32.s4：请求验证节点收到验证结果后，在本地保存分片序号的数据验证编码，以便下级节点进行验证；若是在下发3个分片的数据后，没有收到上个节点的验证码，则不再下发，等待验证结果返回后继续下发；如果超过1分钟没有收到验证结果，则向上反馈本批次交换失败；
33.s5：每个交换节点循环步骤s3-4的处理流程，直到所有分片数据处理完毕；
34.s6：接受节点收到分片数据，对数据解码，向上发送验证请求，同时按照批号和文件流位置，将前3个排序分片的数据写入接受流，供处理端按文件流方式处理；当收到最后批次的分片流时，则将剩余已验证分片依次写入处理流，实现跨节点实时在线交换；
35.s7：每个交换节点收到最后分片数据的验证请求，自动向前序节点发送交换完毕的请求包，在接入节点收到交换完毕的请求包后，向请求者反馈交换完毕的信息，整个交换过程完成。
36.本发明通过自定义数据流格式，将大文件转换成分片流数据，通过实现在建立的网络通道上使用多路复用技术形成单个交换标志的内部通道，在不构建新通道的基础上开始分片数据交换和汇聚。在每个交换节点接受到数据后，按照流量带宽、交换节点处理能力与网络距离选择最短路由，向下级节点无节转转发；另一方面，向上级节点反馈当前分片序号的验证结果，上级节点验证无误，则完成验证，否则从验证有误的分片重新开发下发，接受节点按最新的分片序号及文件流位置进行分片数据流接受。系统按3分片数据需要，接受下一个节点的验证码，如果收不到，则等待不做下发，如果收到，则在当前下发包中携带验
证编码；对于接受端，只处理接收到验证码的数据，如此保障数据的一致性，确保交换系统的健壮性。
37.以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理。