基于查询大数据量结果集实时数据统计的性能优化方法与流程

文档序号:37106702发布日期:2024-02-22 21:05阅读:来源:国知局

技术特征:

1.一种基于查询大数据量结果集实时数据统计的性能优化方法,其特征在于,包括以下步骤:

2.如权利要求1所述的一种基于查询大数据量结果集实时数据统计的性能优化方法,其特征在于,步骤1中,创建存储多种不同聚合类型的mysql数据库表时,根据具体业务需求进行分析,得到若干需要在查询时聚合的字段后,对这些字段进行排列组合,创建所述mysql数据库表,每个mysql数据库表中包含必须的字段以及排列组合生成的聚合字段。

3.如权利要求1所述的一种基于查询大数据量结果集实时数据统计的性能优化方法,其特征在于,步骤2中,在java中使用quarz框架搭建所述定时任务服务。

4.如权利要求1所述的一种基于查询大数据量结果集实时数据统计的性能优化方法,其特征在于,步骤3中,在mapping中设置字段的type属性以及字段的analyzer属性,其中:

5.如权利要求4所述的一种基于查询大数据量结果集实时数据统计的性能优化方法,其特征在于,步骤3中,若当前字段中涉及较多的中文或者中英文混合,则在设置字段的analyzer属性时,使用ik分词器和pinyin分词器结合的方式设定分词器,包括以下步骤:

6.如权利要求4所述的一种基于查询大数据量结果集实时数据统计的性能优化方法,其特征在于,步骤402中,相关安全合理性检查包括以下方面:

7.如权利要求1所述的一种基于查询大数据量结果集实时数据统计的性能优化方法,其特征在于,步骤405包括以下步骤:

8.如权利要求1所述的一种基于查询大数据量结果集实时数据统计的性能优化方法,其特征在于,还包括mysql与elasticsearch数据同步的步骤,由java中的quarz定时任务框架服务提供mysql与elasticsearch的数据同步,具体包括以下内容:


技术总结
本发明的技术方案是提供了一种基于查询大数据量结果集实时数据统计的性能优化方法,依据在MySQL数据库进行预聚合分表查询所提供的思路,结合ElasticSearch在聚合查询方面优异的性能表现,将用户根据关键字进行多字段聚合查询的请求处理者从MySQL转变为ElasticSearch。本发明提出在ElasticSearch中进行分索引查询,通过待聚合字段的排列组合,创建所有对应聚合类型的预聚合结果存放表,然后根据预聚合结果存放表的表结构在ElasticSearch中构建对应的Mapping和索引,在索引中导入文档,ElasticSearch将索引中的文档通过分词器提取出各个词项并建立倒排索引,保存词项和文档实体之间的对应关系,加快聚合查询的速度。

技术研发人员:张伟,朱海峰,孙建
受保护的技术使用者:南京万得资讯科技有限公司
技术研发日:
技术公布日:2024/2/21
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1