一种基于数据处理的大文件分片传输方法、系统和介质与流程

本技术涉及文件分片处理，具体而言，涉及一种基于数据处理的大文件分片传输方法、系统和介质。

背景技术：

1、在项目管理系统中，有涉及到项目的每个阶段的文档管理需求包括大量的视频文件以及项目过程件，需要从前端向后端传输大型文件，而单次的请求不能满足传输大文件的需要，对于大文件的处理，无论是用户端化还是服务端，如果一次性读取发送、接收容易造成内存问题，因此对于大文件上传需采取切块分段上传，而对于各类大文件的分片上传，需要设计前后端的优化配合，并且存在如何分片和如何对应无误的识别处理和验证，以获得分片的合并，同时大文件分片上传易出现中断和不完全弊端，而这些问题都需要优化合理设计。

2、针对上述问题，目前亟待有效的技术解决方案。

技术实现思路

1、本技术实施例的目的在于提供一种基于数据处理的大文件分片传输方法、系统和介质，可以通过对大文件进行功能模块化分片和标识获得分片符号信息，再结合分片信息进行处理获得散列值的对比结果，后进行分片合并，实现对大文件的优化分片管理以及断点检验和中断上传技术，以及实现前端、服务端以及存储端的分片处理以及关联信息交互的模块分片关联设计功能。

2、本技术实施例还提供了一种基于数据处理的大文件分片传输方法，包括以下步骤：

3、前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元；

4、前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息；

5、前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示；

6、存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息；

7、文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度；

8、若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件；

9、文件服务单元将合并文件的结果反馈至前端单元。

10、可选地，在本技术实施例所述的基于数据处理的大文件分片传输方法中，所述前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元，包括：

11、前端单元对待传输大文件根据大文件属性通过预设分片模型进行分片处理，获得分片信息，包括分片类型特征信息、分片属性特征信息、分片功用信息；

12、前端单元将全部分片以及对应所述分片信息传递给文件服务单元，文件服务单元根据所述分片信息对各分片进行签名并链接，生成标识id信息和上传链接信息；

13、所述文件服务单元将接收的所述全部分片对应的所述标识id信息和上传链接信息返回至前端单元。

14、可选地，在本技术实施例所述的基于数据处理的大文件分片传输方法中，所述前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息，包括：

15、前端单元根据接收的所述标识id信息与对应分片进行标识关联，并获取所述分片对应的序列号信息；

16、将所述序列号信息结合分片大小以及所述标识id信息进行信息捆绑，生成分片符号信息。

17、可选地，在本技术实施例所述的基于数据处理的大文件分片传输方法中，所述前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示，包括：

18、前端单元根据所述分片符号信息生成分片发送信息；

19、通过对应的所述上传链接信息将所述分片发送信息发送至文件服务单元；

20、将对应所述分片上传至存储集群单元生成目标分片；

21、前端单元同时对上传进度进行同步显示。

22、可选地，在本技术实施例所述的基于数据处理的大文件分片传输方法中，所述存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息，包括：

23、存储集群单元根据接收到的所述目标分片获取对应关联的标识id信息；

24、将所述标识id信息反馈至所述文件服务单元；

25、文件服务单元根据所述标识id信息调取所述目标分片的分片符号信息。

26、可选地，在本技术实施例所述的基于数据处理的大文件分片传输方法中，所述文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度，包括：

27、当前端单元的分片上传进度完成后，文件服务单元根据所述分片符号信息提取序列号信息；

28、将各所述目标分片的序列号信息结合分片类型特征信息通过散列运算模型进行聚合处理，获得全部目标分片的第一散列值；

29、根据所述分片信息以及目标分片大小进行计算处理获得分片特性检定值，并根据分片特性检定值对所述第一散列值进行加权处理，获得第一修正散列值；

30、文件服务单元将所述第一修正散列值与所述待传输大文件的对应第二散列值进行对比，并根据对比结果判断分片的上传完整度；

31、所述分片特性检定值的计算公式为：

32、；

33、其中，为分片特性检定值，为目标分片大小，、、分别为分片类型特征信息、分片属性特征信息、分片功用信息，、、、为预设特征系数。

34、可选地，在本技术实施例所述的基于数据处理的大文件分片传输方法中，所述若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件，包括：

35、若分片的所述上传完整度符合预设完整度要求，则文件服务单元根据所述目标分片的标识id信息从存储集群单元调取对应目标分片；

36、文件服务单元根据所述大文件属性通过预设文件合并模型对全部目标分片进行分片合并，获得合并文件。

37、第二方面，本技术实施例提供了一种基于数据处理的大文件分片传输系统，该系统包括：存储器及处理器，所述存储器中包括基于数据处理的大文件分片传输方法的程序，所述基于数据处理的大文件分片传输方法的程序被所述处理器执行时实现以下步骤：

38、前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元；

39、前端单元根据接收的签名和标识信息对分片进行关联，并结合分片的序列号信息进行信息捆绑，生成分片符号信息；

40、前端单元将所述分片符号信息发送至文件服务单元，并将对应分片上传至存储集群单元，同时对上传进度进行同步显示；

41、存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元，以调取分片符号信息；

42、文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权，获得第一修正散列值，并与所述待传输大文件的第二散列值进行对比，判断分片上传完整度；

43、若分片上传完整度符合要求，则文件服务单元从存储集群单元调取对应分片，并进行分片合并获得合并文件；

44、文件服务单元将合并文件的结果反馈至前端单元。

45、可选地，在本技术实施例所述的基于数据处理的大文件分片传输系统中，所述前端单元对待传输大文件进行分片处理获得分片信息，并结合对应分片传递给文件服务单元，文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元，包括：

46、前端单元对待传输大文件根据大文件属性通过预设分片模型进行分片处理，获得分片信息，包括分片类型特征信息、分片属性特征信息、分片功用信息；

47、前端单元将全部分片以及对应所述分片信息传递给文件服务单元，文件服务单元根据所述分片信息对各分片进行签名并链接，生成标识id信息和上传链接信息；

48、所述文件服务单元将接收的所述全部分片对应的所述标识id信息和上传链接信息返回至前端单元。

49、第三方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于数据处理的大文件分片传输方法程序，所述基于数据处理的大文件分片传输方法程序被处理器执行时，实现如上述任一项所述的基于数据处理的大文件分片传输方法的步骤。

50、由上可知，本技术实施例提供的一种基于数据处理的大文件分片传输方法、系统和介质，分别通过前端单元、文件服务单元和存储集群单元对大文件进行分片处理获得分片信息结合分片进行传递获得签名和标识并返回，根据签名和标识对分片进行关联并结合分片序列号信息进行捆绑生成分片符号信息并结合分片上传，根据分片获取对应关联信息并反馈调取分片符号信息，并提取序列号信息结合分片信息进行聚合和加权获得第一修正散列值，再与大文件的第二散列值进行对比判断分片上传完整度，若完整度符合要求调取对应分片并合并获得合并文件；从而对大文件进行功能模块化分片和标识获得分片符号信息，再结合分片信息进行处理获得散列值的对比结果，后进行分片合并，实现对大文件的优化分片管理以及断点检验和中断上传技术，以及实现前端、服务端以及存储端的分片处理以及关联信息交互的模块分片关联设计功能。

51、本技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。