一种数据处理方法、装置、设备和存储介质与流程

本发明实施例涉及航空航天及大数据，尤其涉及一种数据处理方法、装置、设备和存储介质。

背景技术：

1、现有技术中，分布式并行处理成为处理大载荷数据文件的有效的方法。然而在直接的并行处理过程中，各个分布式节点仅处理分配给本节点的部分数据文件，一个大的载荷数据文件拆分成几个部分之后，子(部分)数据文件之间并不存在优先级，这就导致了拆分之前的载荷数据文件中的顺序没有得到保持。如果希望保持顺序，则只能利用单一节点对大载荷数据文件进行串行处理，这样则会导致解析时间过长，不能充分利用分布式并行处理带来的好处。

技术实现思路

1、本发明实施例提供一种数据处理方法、装置、设备和存储介质，以实现能够解决分布式处理及全局顺序保持存在矛盾的问题，可以提升分类有序载荷数据文件的解析效率。

2、根据本发明的一方面，提供了一种数据处理方法，包括：

3、获取初始载荷数据文件；

4、根据预设并行度对所述初始载荷数据文件中的载荷数据进行拆分，得到至少一个载荷数据段；

5、将每个所述载荷数据段中的载荷数据分别存储至至少一个预设主题中；

6、对每个所述预设主题中的载荷数据进行排序，得到所述初始载荷数据文件对应的目标载荷数据。

7、根据本发明的另一方面，提供了一种数据处理装置，该装置包括：

8、获取模块，用于获取初始载荷数据文件；

9、拆分模块，用于根据预设并行度对所述初始载荷数据文件中的载荷数据进行拆分，得到至少一个载荷数据段；

10、存储模块，用于将每个所述载荷数据段中的载荷数据分别存储至至少一个预设主题中；

11、排序模块，用于对每个所述预设主题中的载荷数据进行排序，得到所述初始载荷数据文件对应的目标载荷数据。

12、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据处理方法。

16、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据处理方法。

17、本发明实施例通过获取初始载荷数据文件，根据预设并行度对初始载荷数据文件中的载荷数据进行拆分，得到至少一个载荷数据段，将每个载荷数据段中的载荷数据分别存储至至少一个预设主题中，对每个预设主题中的载荷数据进行排序，得到初始载荷数据文件对应的目标载荷数据。通过本发明的技术方案，能够解决分布式处理及全局顺序保持存在矛盾的问题，可以提升分类有序载荷数据文件的解析效率。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，每个所述载荷数据段中包括至少一个载荷数据，每个所述载荷数据携带类别信息；

3.根据权利要求2所述的方法，其特征在于，将每个所述载荷数据段对应的至少一个载荷数据集合分别存储至至少一个预设主题中，包括：

4.根据权利要求3所述的方法，其特征在于，将每个所述载荷数据段对应的每种载荷数据集合分别存储至每种类别信息对应的预设主题中，包括：

5.根据权利要求4所述的方法，其特征在于，将每个所述载荷数据段对应的每种载荷数据集合分别存储至每种类别信息对应的预设主题的分区中，包括：

6.根据权利要求5所述的方法，其特征在于，对每个所述预设主题中的载荷数据进行排序，得到所述初始载荷数据文件对应的目标载荷数据，包括：

7.根据权利要求1所述的方法，其特征在于，根据预设并行度对所述初始载荷数据文件中的载荷数据进行拆分，得到至少一个载荷数据段，包括：

8.一种数据处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据处理方法。

技术总结
本发明公开了一种数据处理方法、装置、设备和存储介质。该方法包括：获取初始载荷数据文件；根据预设并行度对所述初始载荷数据文件中的载荷数据进行拆分，得到至少一个载荷数据段；将每个所述载荷数据段中的载荷数据分别存储至至少一个预设主题中；对每个所述预设主题中的载荷数据进行排序，得到所述初始载荷数据文件对应的目标载荷数据。通过本发明的技术方案，能够解决分布式处理及全局顺序保持存在矛盾的问题，可以提升分类有序载荷数据文件的解析效率。

技术研发人员：周大创,刘兆富
受保护的技术使用者：北京和德宇航技术有限公司
技术研发日：
技术公布日：2024/1/16