基于布隆过滤器的数据重复性校验方法、装置及设备与流程

本申请涉及大数据领域，尤其涉及一种基于布隆过滤器的数据重复性校验方法、装置及设备。

背景技术：

1、随着数据规模不断的扩大，在软件测试过程中，通常需要对测试数据进行重复性校验，以避免对相同的数据进行多次不必要的测试。

2、相关技术中，在对数据进行重复性检查时，通常采用人工抽样检查的方式进行校验。然而，上述人工抽样检查的方式，容易导致校验结果不准确，并且需要耗费较多的时间。

技术实现思路

1、本申请提供一种基于布隆过滤器的数据重复性校验方法、装置及设备，用以解决相关技术中重复性校验耗时较长的问题。

2、第一方面，本申请提供一种基于布隆过滤器的数据重复性校验方法，应用于多核中央处理器，所述方法包括：

3、响应于数据校验请求，确定至少一个映射函数，其中，所述数据校验请求用于请求确定待校验集合中是否存在重复的数据；所述待校验集合中存在多条待校验数据；所述映射函数为用于对所述待校验数据进行数据转化处理的函数；

4、根据所述映射函数，对待比对数据进行数据映射处理，确定所述待比对数据对应的第一二进制数组；所述第一二进制数组表征所述待比对数据；所述待比对数据为所述待校验集合中除所述待校验数据以外的其余全部待校验数据；

5、确定预设线程池中的空闲的线程组，并基于所述空闲的线程组中的第一线程，根据所述映射函数对所述待校验数据进行数据映射处理，得到第二二进制数组；所述预设线程池包括多组线程组，所述线程组包括两个线程；

6、基于所述空闲的线程组中的第二线程，根据所述第一二进制数组和所述第二二进制数组，确定校验结果，所述校验结果用于表征所述待校验数据是否存在于所述待比对数据中。

7、第二方面，本申请提供一种基于布隆过滤器的数据重复性校验装置，应用于多核中央处理器，所述装置包括：

8、第一确定单元，用于响应于数据校验请求，确定至少一个映射函数，其中，所述数据校验请求用于请求确定待校验集合中是否存在重复的数据；所述待校验集合中存在多条待校验数据；所述映射函数为用于对所述待校验数据进行数据转化处理的函数；

9、第二确定单元，用于根据所述映射函数，对待比对数据进行数据映射处理，确定所述待比对数据对应的第一二进制数组；所述第一二进制数组表征所述待比对数据；所述待比对数据为所述待校验集合中除所述待校验数据以外的其余全部待校验数据；

10、第三确定单元，用于确定预设线程池中的空闲的线程组；

11、处理单元，用于基于所述空闲的线程组中的第一线程，根据所述映射函数对所述待校验数据进行数据映射处理，得到第二二进制数组；所述预设线程池包括多组线程组，所述线程组包括两个线程；

12、第四确定单元，用于基于所述空闲的线程组中的第二线程，根据所述第一二进制数组和所述第二二进制数组，确定校验结果，所述校验结果用于表征所述待校验数据是否存在于所述待比对数据中。

13、第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

14、所述存储器存储计算机执行指令；

15、所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面中任一项所述的方法。

16、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如如第一方面中任一项所述的方法。

17、第五方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现第一方面中任一项所述的方法。

18、本申请提供的基于布隆过滤器的数据重复性校验方法、装置及设备，应用于多核中央处理器，通过预设线程池中的多个线程组并行的进程数据重复性校验，有利于提高数据重复性校验的效率。

技术特征：

1.一种基于布隆过滤器的数据重复性校验方法，其特征在于，应用于多核中央处理器，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述待校验数据具有时间信息；所述时间信息表征所述待校验数据用作软件测试过程中的测试数据的时间；

3.根据权利要求1所述的方法，其特征在于，所述数据校验请求中包括：校验要求时长以及校验误码率；所述校验要求时长为对所述待校验集合进行重复性校验所要求的时长；所述校验误码率表征所能接受的校验结果不准确的概率；

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，在确定所述待校验数据的位置信息之后，所述方法还包括：

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

7.根据权利要求4所述的方法，其特征在于，所述数据校验请求中包括：校验要求时长；所述方法还包括：

8.一种基于布隆过滤器的数据重复性校验装置，其特征在于，应用于多核中央处理器，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的方法。

技术总结
本申请提供一种基于布隆过滤器的数据重复性校验方法、装置及设备，可用于大数据领域；该方法应用于多核中央处理器，该方法包括：响应于数据校验请求，确定至少一个映射函数；根据映射函数，确定待比对数据对应的第一二进制数组；第一二进制数组表征待比对数据；待比对数据为待校验集合中除待校验数据以外的其余全部待校验数据；确定预设线程池中的空闲的线程组，并基于空闲的线程组中的第一线程，根据映射函数确待校验数据对应的第二二进制数组；基于空闲的线程组中的第二线程，根据第一二进制数组和第二二进制数组，确定校验结果。本申请提供的方法，可以提高数据重复性校验的效率，以及准确率。

技术研发人员：靳晨鹏
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/15