海量会话数据聚合分析方法、系统、设备及介质与流程

本发明涉及数据处理，具体地，涉及一种海量会话数据聚合分析方法、系统、设备及介质。

背景技术：

1、在网络性能管理领域，通过将某个时间范围内的时序数据汇聚成会话数据以便对网络中的会话进行洞察和分析是普遍的需求，当前网络性能管理设备处理能力日渐提升，每分钟的会话数达到数百万级别，时序数据更是达到每分钟千万级别，此时用户需要将出问题的时间范围内的海量时序数据中聚合出会话数据，并定位到出问题的会话，一般实现方式是在查询时，将整个查询时间段内时序数据聚合成会话数据，此方法由于数据量过于庞大，计算机内存满足不了需求，需要限制查询的时间范围，比如限定范围为一分钟，这使得排查效率低下，而且由于时间范围短，无法有效还原网络中的长连接，另外由于时序数据量大，聚合消耗时间长，用户等待结果时间长，交互性差。

2、综上所述，现有技术中存在以下缺陷：1)系统资源限制，无法支持长时间海量会话数据分析，从而造成会话不完整；2)分析过程时间过长，需要等待整个查询结束才能反馈结果，交互性差。

技术实现思路

1、针对现有技术中的缺陷，本发明提供一种海量会话数据聚合分析方法、系统、设备及介质。

2、根据本发明提供的一种海量会话数据聚合分析方法、系统、设备及介质，所述方案如下：

3、第一方面，提供了一种海量会话数据聚合分析方法，所述方法包括：

4、步骤s1：通过前端发送查询请求，输入模块接收并对请求参数进行校验，当必要参数缺失时，返回校验错误，校验完后，把请求参数发送到会话分析管理模块；

5、步骤s2：通过会话分析管理模块接收请求参数，管理整个查询的生命周期，将任务分片，把分片任务下发到会话任务管理模块；

6、步骤s3：会话数据任务管理模块通过消息队列接收子任务，接收到子任务后，执行子任务，并且正确标记子任务状态；

7、步骤s4：当会话数据任务完成时，会话分析管理模块调度会话表查询模块，生成分片会话数据，多个分片进行合并，生成预览或者最终结果。

8、优选地，所述步骤s2包括：

9、步骤s2.1：拆分子任务，按时序升序，将时间范围拆分为多个固定时间切片的会话数据生成子任务，并将第一个时间分片设置为10秒；

10、步骤s2.2：拆分子任务后，依次将子任务下发到会话数据任务管理模块，下发后，定期轮询子任务状态，此时子任务状态分为调度中、运行中、已完成、异常结束，当任务状态被标记为调度中和运行中时，下一个轮询周期继续轮询，直到任务状态被标记为已完成或者异常结束；

11、步骤s2.3：会话表查询模块查询子任务的会话数据，执行过滤、排序和分页。

12、优选地，所述步骤s2.2中，对于异常结束的任务，无须触发预览；对于已完成状态，触发预览行为，将子任务预览的请求下发到会话表查询模块。

13、优选地，所述步骤s2.3还包括：如果上一个分片已经完成，则合并当前分页数据和上一个分页数据，再做排序和分页，然后输出预览结果；如果当前分页已经是最后分页，此次查询结束。

14、优选地，所述步骤s3包括：

15、步骤s3.1：判断是否超过并发量，如果超过并发量，将任务插入到缓存队列的前端，休眠若干时间后，下次优先调度，如果没有超过并发量，开始调度任务；

16、步骤s3.2：会话数据任务管理模块接收到子任务之后，调用时序数据完整性校验模块，对分片任务进行数据完整性校验；

17、步骤s3.3：会话数据生成模块在执行数据生成之前，调用任务状态管理模块，将任务标记成运行中，然后开始生成数据，对于会话数据，除网络中的五元组外，选用一个会话id进行分组聚合，并且分桶累计多个分片的会话指标，聚合完之后，输出到全局会话表。

18、优选地，所述步骤s3.2中对分片任务进行数据完整性校验包括：如果数据不完整，则把该分片标记为不完整，跳过此分片的会话数据聚合；如果分片是完整的，调用任务状态管理模块，查看子任务状态。

19、优选地，所述查看子任务状态包括：

20、如果子任务已经正常结束，则标记子任务结束并返回；

21、如果子任务运行中，则标记子任务在运行中并返回；

22、如果子任务状态为异常，则查询会话表，如果会话表中无该时间分片任务，把子任务重新标记云运行中，并且执行会话数据聚合任务，如果有数据，则标记完成并返回，如果子任务为未知，则执行会话数据聚合任务。

23、第二方面，提供了一种海量会话数据聚合分析系统，所述系统包括：

24、输入模块：提供对外的接口，接收查询请求，对请求参数进行校验；

25、会话分析管理模块：处理查询请求，管理整个查询的生命周期，将中间预览结果适时的输出反馈；

26、会话数据任务管理模块：维护一个任务队列，管理分片查询任务；

27、会话数据生成模块：通过任务管理模块中的分片任务作为输入，获取任务状态，如果任务未被执行过，则执行分片任务，将分片时序数据聚合成会话数据，并且更新分片状态；

28、时序数据完整性校验模块：校验时序数据的完整性；

29、任务状态管理模块：维护任务状态表，记录分片任务状态；

30、会话表查询模块：按照查询需求查询会话表，并且返回中间预览结果，当查询结束时，返回最终查询结果。

31、第三方面，提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述海量会话数据聚合分析方法中的步骤。

32、第四方面，提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现所述海量会话数据聚合分析方法中的步骤。

33、与现有技术相比，本发明具有如下的有益效果：

34、1、本发明能够支持长时间范围的海量起始会话数据分析；

35、2、本发明能够在分析过程中实时反馈中间处理结果，提高交互性。

36、本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。

技术特征：

1.一种海量会话数据聚合分析方法，其特征在于，包括：

2.根据权利要求1所述的海量会话数据聚合分析方法，其特征在于，所述步骤s2包括：

3.根据权利要求2所述的海量会话数据聚合分析方法，其特征在于，所述步骤s2.2中，对于异常结束的任务，无须触发预览；对于已完成状态，触发预览行为，将子任务预览的请求下发到会话表查询模块。

4.根据权利要求2所述的海量会话数据聚合分析方法，其特征在于，所述步骤s2.3还包括：如果上一个分片已经完成，则合并当前分页数据和上一个分页数据，再做排序和分页，然后输出预览结果；如果当前分页已经是最后分页，此次查询结束。

5.根据权利要求1所述的海量会话数据聚合分析方法，其特征在于，所述步骤s3包括：

6.根据权利要求5所述的海量会话数据聚合分析方法，其特征在于，所述步骤s3.2中对分片任务进行数据完整性校验包括：如果数据不完整，则把该分片标记为不完整，跳过此分片的会话数据聚合；如果分片是完整的，调用任务状态管理模块，查看子任务状态。

7.根据权利要求6所述的海量会话数据聚合分析方法，其特征在于，所述查看子任务状态包括：

8.一种海量会话数据聚合分析系统，基于权利要求1-7任意一项所述的海量会话数据聚合分析方法，其特征在于，包括：

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的海量会话数据聚合分析方法中的步骤。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的海量会话数据聚合分析方法中的步骤。

技术总结
本发明提供一种海量会话数据聚合分析方法、系统、设备及介质，涉及数据处理技术领域，包括：步骤S1：通过前端发送查询请求，输入模块接收并对请求参数进行校验，当必要参数缺失时，返回校验错误，校验完后，把请求参数发送到会话分析管理模块；步骤S2：通过会话分析管理模块接收请求参数，管理整个查询的生命周期，将任务分片，把分片任务下发到会话任务管理模块；步骤S3：会话数据任务管理模块通过消息队列接收子任务，接收到子任务后，执行子任务，并且正确标记子任务状态；步骤S4：当会话数据任务完成时，会话分析管理模块调度会话表查询模块，生成分片会话数据，多个分片进行合并，生成预览或者最终结果。本发明具有高交互性，能够支持长时间范围的海量起始会话数据分析。

技术研发人员：李镇鹏,蔡晓华,杨光辉
受保护的技术使用者：上海天旦网络科技发展有限公司
技术研发日：
技术公布日：2024/1/11