支持航天工程文件数据上传与全链路管理的方法及系统

本发明涉及载人航天工程数据处理，具体而言，本发明涉及支持航天工程文件数据上传与全链路管理的方法及系统。

背景技术：

1、在载人航天工程领域中，涉及众多业务单位，以前各业务单位产生的数据分散管理，当用户需要对各单位数据采集和数据分析工作时，需要协调多业务部门配合，数据收集困难且效率不高，用户体验不好。

2、为促进载人航天任务相关数据的集中统一高效管理，建设了专有云平台，为载人航天工程任务实施过程中产生的任务数据提供存储管理与服务基础底座。基于专有云平台构建面向载人航天工程的“存管用”一体化数据管理与服务平台，该平台用于管理与服务载人航天工程对应的各业务单位的工程任务，还用于提供数据汇交、存储管理、共享分发等服务，因各业务单位汇交数据至云平台的数据差异大，汇交周期、数据类型、处理逻辑各不相同，简单的数据和文件上传处理方式并不能满足业务的需要。

3、因此，有必要提供支撑多业务单位、多文件类型的数据上传归档方法，根据各业务单位的工程任务相关文件数据的特点，对文件数据提供统一集中的上传处理，保障文件上传的高效性、准确性，保证数据规范化接入和全生命周期的合规管理。

技术实现思路

1、本发明所要解决的技术问题是提供了支持航天工程文件数据上传与全链路管理的方法及系统，旨在解决上述背景技术中所描述的技术问题。

2、第一方面，本发明解决上述技术问题的技术方案如下：支持航天工程文件数据上传与全链路管理的方法，该方法包括：

3、获取待上传文件的业务单位和文件类型；

4、根据业务单位和文件类型，确定待上传文件对应的文件配置规则；

5、根据文件配置规则，对待上传文件的文件名进行规范性校验；

6、对通过规范性校验的待上传文件进行重复性校验；

7、将通过重复性校验的待上传文件进行上传。

8、本发明的有益效果是：基于业务单位和文件类型，预先配置文件配置规则，可实现对不同业务单位、不同文件类型的文件数据的多样性统一管理，经过对待上传文件分别进行规范性校验和重复性校验，可使得所要上传的文件更加统一，从而可提升文件数据上传的高效性、准确性，保证数据规范化接入和全生命周期的合规管理，另外，对于大批量的文件，也可实现文件统一、高效、准确地上传。

9、在上述技术方案的基础上，本发明还可以做如下改进。

10、进一步，上述根据文件配置规则，对待上传文件的文件名进行规范性校验，包括：

11、s11，根据文件配置规则，对待上传文件的文件名按照下划线拆分，得到i个元信息节点；

12、s12，对于每个元信息节点，判断该元信息节点下是否有数据，若判定该元信息节点下有数据，执行s13，若判定该元信息节点下没有数据，判定规范性校验失败；

13、s13，对于每个元信息节点，判断该元信息节点对应的字段长度是否符合预设的字段长度要求，若符合字段长度要求，则执行s14，若不符合字段长度要求，则判定规范性校验失败；

14、s14，对于每个元信息节点，判断该元信息节点对应的字段范围是否符合预设的字段范围要求，若符合字段范围要求，则执行s15，若不符合字段范围要求，则判定规范性校验失败；

15、s15，对于每个元信息节点，判断该元信息节点对应的字段类型是否符合预设的字段类型要求，若符合字段类型要求，则判定规范性校验成功，若不符合字段类型要求，则判定规范性校验失败；

16、上述对通过规范性校验的待上传文件进行重复性校验，包括：

17、s21，根据待上传文件的业务单位和文件类型，从数据库中确定待上传文件对应的文件名集合，判断待上传文件的文件名与文件名集合之间是否存在交集，若存在交集，执行s22，若不存在交集，则判定重复性校验通过，其中，数据库中存储有不同业务单位对应的已上传文件和不同文件类型对应的已上传文件；

18、s22，判断第一文件的文件大小和待上传文件的文件大小是否相等，若不相等，则执行s23，若相等，则判定重复性校验失败，其中，第一文件为文件名集合中与待上传文件的文件名存在交集的文件名对应的文件；

19、s23，判断第一文件和待上传文件是否为同一个用户上传的文件，若是同一个用户上传的文件，则判定重复性校验通过，对待上传文件进行断点续传，若不是同一个用户上传的文件，则判定重复性校验失败。

20、采用上述进一步方案的有益效果是，对于规范性校验，从待上传文件的文件名下是否有数据、字段长度，字段范围和字段类型四个方面，全面对待上传文件的文件名进行校验，可保证待上传文件的文件名的规范性，同时，对于重复性校验，从待上传文件与对应的文件名集合之间是否有交集、文件大小和上传文件的用户是否为同一个用户几个方面，全面对待上传文件的文件名进行校验，可对待上传文件进行准确的重复性校验。

21、进一步，在将通过重复性校验的待上传文件进行上传之后，该方法还包括：对待上传文件进行完整性校验。

22、采用上述进一步方案的有益效果是，在上传该待上传文件之后，还对该待上传文件进行完整性校验，以保证上传的文件是完整的。

23、进一步，在将通过重复性校验的待上传文件进行上传之后，该方法还包括：提取待上传文件的元信息；将待上传文件的元信息存储至分布式数据库和kafka消息队列；基于kafka消息队列中存储的待上传文件的元信息，将待上传文件的元信息同步写入es数据库中。

24、采用上述进一步方案的有益效果是，对于上传后的文件，可将该文件的元信息分别存储至分布式数据库，es数据库，以及kafka消息队列中，实现不同需求的存储，其中，存储至es数据库中还可支持对文件信息的全文检索。

25、进一步，将待上传文件的元信息同步写入es数据库中之后，该方法还包括：

26、对写入es数据库中的待上传文件的元信息、分布式数据库中存储的待上传文件的元信息以及kafka消息队列中存储的待上传文件的元信息进行一致性校验；若未通过一致性校验，对es数据库中的待上传文件的元信息进行补数据处理。

27、采用上述进一步方案的有益效果是，在将待上传文件的元信息同步写入es数据库中之后，对写入es数据库中的待上传文件的元信息、分布式数据库中存储的待上传文件的元信息以及kafka消息队列中存储的待上传文件的元信息进行一致性校验，可保证写入es数据库中的数据、kafka消息队列中存储的元信息、以及元信息数据库中的数据一致，并且在不一致时，可对es数据进行补数据处理。

28、进一步，该方法还包括：在待上传文件上传的过程中，监控整个上传链路过程，获取文件上传相关信息，并可视化显示文件上传相关信息，文件上传相关信息包括文件上传进度、文件上传状态和文件归档状态信息。

29、采用上述进一步方案的有益效果是，通过可视化显示文件上传相关信息，可使得用户更直观的了解文件上传情况，提高用户体验。

30、进一步，上述将通过重复性校验的待上传文件进行上传，包括：根据待上传文件的传输场景，确定待上传文件的目标传输方式，目标传输方式为api方式或web方式；按照目标传输方式，将通过重复性校验的待上传文件进行上传。

31、采用上述进一步方案的有益效果是，基于不同的传输场景，采用不同的文件传输方式，以满足不同的传输场景上传需求。

32、第二方面，本发明为了解决上述技术问题还提供了支持航天工程文件数据上传与全链路管理的系统，该系统包括：

33、获取模块，用于获取待上传文件的业务单位和文件类型；

34、规则确定模块，用于根据业务单位和文件类型，确定待上传文件对应的文件配置规则；

35、规范性校验模块，用于根据文件配置规则，对待上传文件的文件名进行规范性校验；

36、重复性校验模块，用于对通过规范性校验的待上传文件进行重复性校验；

37、上传模块，用于将通过重复性校验的待上传文件进行上传。

38、第三方面，本发明为了解决上述技术问题还提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时实现本发明的支持航天工程文件数据上传与全链路管理的方法。

39、第四方面，本发明为了解决上述技术问题还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明的支持航天工程文件数据上传与全链路管理的方法。

40、本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。