数据处理方法和装置与流程

文档序号:26432804发布日期:2021-08-27 13:29阅读:来源:国知局

技术特征:

1.一种数据处理方法,其中,包括:

获取查询请求;

判断所述查询请求中查询条件中的数据是否与预存的中间数据匹配;

在判断结果为是的情况下,从所述中间数据中获取对应的数据,将所述数据确定为得到查询结果;

在判断结果为否的情况下,重新获取数据,依据获取的数据的个数和数值总和,得到中间数据,并依据所述中间数据计算所述数据的均值,得到所述查询请求对应的查询结果。

2.根据权利要求1所述的方法,其中,所述方法还包括:

在获取查询请求之前,对每组数据进行分片存储;

分别计算每个分片中数据的中间数据;

获取所述每个分片中数据的中间数据,并对所述每个分片中数据的中间数据进行均值计算,得到均值。

3.根据权利要求2所述的方法,其中,所述对每组数据进行分片存储包括:

从第一存储介质中获取所述每组数据,并将所述每组数据加载至第二存储介质。

4.根据权利要求2所述的方法,其中,所述分别计算每个分片中数据的中间数据包括:

在第三存储介质包括各分片内存的情况下,从所述各分片内存中获取对应的数据,得到所述每个分片中数据;

从所述每个分片中数据中获取每组数据;

依据所述每组数据的个数和所述每组数据中各个数据的数值总和,得到所述每个分片中数据的中间数据。

5.根据权利要求4所述的方法,其中,所述对所述每个分片中数据的中间数据进行均值计算,得到均值包括:

将所述每个分片中数据的中间数据存储至第四存储介质,其中,所述第四存储介质包括汇总节点的内存;

根据存储于所述汇总节点的内存的中间数据,通过将各组数据中的数值和与各组数据中的数据个数进行计算,得到所述均值。

6.一种数据处理装置,其中,包括:

请求获取模块,用于获取查询请求;

判断模块,用于判断所述查询请求中查询条件中的数据是否与预存的中间数据匹配;

第一获取模块,用于在判断结果为是的情况下,从所述中间数据中获取对应的数据,将所述数据确定为得到查询结果;

第二获取模块,用于在判断结果为否的情况下,重新获取数据,依据获取的数据的个数和数值总和,得到中间数据,并依据所述中间数据计算所述数据的均值,得到所述查询请求对应的查询结果。

7.根据权利要求6所述的装置,其中,所述装置还包括:

存储模块,用于在获取查询请求之前,对每组数据进行分片存储;

第一计算模块,用于分别计算每个分片中数据的中间数据;

第二计算模块,用于获取所述每个分片中数据的中间数据,并对所述每个分片中数据的中间数据进行均值计算,得到均值。

8.根据权利要求7所述的装置,其中,所述第一计算模块包括:

提取单元,用于在第三存储介质包括各分片内存的情况下,从所述各分片内存中获取对应的数据,得到所述每个分片中数据;

数据获取单元,用于从所述每个分片中数据中获取每组数据;

计算单元,用于依据所述每组数据的个数和所述每组数据中各个数据的数值总和,得到所述每个分片中数据的中间数据。

9.一种存储介质,其中,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的方法。

10.一种处理器,其中,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5中任意一项所述的方法。


技术总结
本发明公开了一种数据处理方法和装置。其中,该方法包括:获取查询请求;判断查询请求中查询条件中的数据是否与预存的中间数据匹配;在判断结果为是的情况下,从中间数据中获取对应的数据,将数据确定为得到查询结果;在判断结果为否的情况下,重新获取数据,依据获取的数据的个数和数值总和,得到中间数据,并依据中间数据计算数据的均值,得到查询请求对应的查询结果。本发明解决了基于分布式算法中需要针对大量数据进行计算,导致的时延高,效率低的技术问题。

技术研发人员:马云雷
受保护的技术使用者:阿里巴巴集团控股有限公司
技术研发日:2020.07.31
技术公布日:2021.08.27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1