用于动态批量数据摄取优先化的系统和方法与流程

文档序号:20009849发布日期:2020-02-22 03:59阅读:来源:国知局

技术特征:

1.一种在数据系统中进行批量数据摄取优先化的计算机实现的方法,包括:

在数据集上实施第一空间效率概率数据结构,其中所述数据集包括多个简档数据;

接收对应于所述多个简档数据中的一些简档数据的更新数据;

在包括所述更新数据的所述数据集上实施第二空间效率概率数据结构;

确定所述第二空间效率概率数据结构的一组非共享简档数据;以及

相对于所述数据集的其它简档数据,优先化所述第二空间效率概率数据结构的所述一组非共享简档数据。

2.根据权利要求1所述的方法,其中所述第一空间效率概率数据结构对应于第一布隆过滤器,并且所述第二空间效率概率数据结构对应于第二布隆过滤器。

3.根据权利要求2所述的方法,还包括执行所述第一布隆过滤器和所述第二布隆过滤器的交叉。

4.根据权利要求3所述的方法,还包括使用所述交叉识别所述数据集中不同优先级的简档数据以高速缓存,其中所述第二空间效率概率数据结构的所述一组非共享简档数据的高速缓存的优先级高。

5.根据权利要求4所述的方法,其中存在于所述第一布隆过滤器和所述第二布隆过滤器两者中的一组简档数据的高速缓存的优先级低。

6.根据权利要求3所述的方法,其中,相对于所述数据集的其它简档数据,优先化所述第二空间效率概率数据结构的所述一组非共享简档数据还包括根据优先化计划对所述数据集的简档数据进行等级排序。

7.根据权利要求6所述的方法,还包括根据数据简档的特性将所述数据集分割成多个数据集段,每个数据集段包括不同的高速缓存优先级。

8.根据权利要求7所述的方法,其中,所述第一布隆过滤器对应于多个第一布隆过滤器,并且所述多个第一布隆过滤器中的每一个对应于所述简档数据的不同段。

9.根据权利要求8所述的方法,其中每个数据集段的不同高速缓存优先级包括重要性段、风险评分段、消费者类型段或支付历史段中的一种。

10.根据权利要求5所述的方法,还包括高速缓存所述第二空间效率概率数据结构的所述一组非共享简档数据。

11.一种用于在数据系统中进行批量数据摄取优先化的系统,包括:

存储对应于多个简档数据集的数据集的数据存储库,所述多个简档数据集中的每一个对应于主账号并且包括交易数据;以及

处理器和托管摄取优先化模块的存储器,其中所述摄取优先化模块包括用于由所述处理器执行的指令,所述指令用于:

在所述数据存储库的一个或多个简档数据集上实施第一空间效率概率数据结构;

接收对应于所述多个简档数据集中的一些简档数据集的更新数据;

更新所述数据集以包括所述更新数据;

在包括所述更新数据的所述一个或多个简档数据集上实施第二空间效率概率数据结构;

确定所述第二空间效率概率数据结构的一组非共享简档数据;以及

相对于所述数据集的其它简档数据,优先化所述第二空间效率概率数据结构的所述一组非共享简档数据。

12.根据权利要求11所述的系统,其中所述第一空间效率概率数据结构对应于第一布隆过滤器,并且所述第二空间效率概率数据结构对应于第二布隆过滤器。

13.根据权利要求12所述的系统,还包括用于执行所述第一布隆过滤器和所述第二布隆过滤器的交叉的指令。

14.根据权利要求13所述的系统,其中所述摄取优先化模块包括用于由所述处理器执行的更多指令,所述更多指令用于使用所述交叉识别所述数据集中不同优先级的简档数据以高速缓存,其中所述第二空间效率概率数据结构的所述一组非共享简档数据的高速缓存的优先级高。

15.根据权利要求14所述的系统,其中存在于所述第一布隆过滤器和所述第二布隆过滤器两者中的一组简档数据的高速缓存的优先级低。

16.根据权利要求13所述的系统,其中,用于相对于所述数据集的其它简档数据,优先化所述第二空间效率概率数据结构的所述一组非共享简档数据的指令还包括用于根据优先化计划对所述数据集的简档数据进行等级排序的指令。

17.根据权利要求16所述的系统,还包括用于根据数据简档的特性将所述数据集分割成多个数据集段的指令,每个数据集段包括不同的高速缓存优先级。

18.根据权利要求17所述的系统,其中,所述第一布隆过滤器对应于多个第一布隆过滤器,并且所述多个第一布隆过滤器中的每一个对应于所述简档数据的不同段。

19.根据权利要求18所述的系统,其中每个数据集段的不同高速缓存优先级包括重要性段、风险评分段、消费者类型段或支付历史段中的一种。

20.根据权利要求15所述的系统,还包括另一处理器和托管高速缓存模块的另一存储器,所述高速缓存模块包括用于在所述另一处理器上执行以用于高速缓存所述第二空间效率概率数据结构的所述一组非共享简档数据的指令。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1