一种实时流量留存和批量抽取方法与流程

文档序号:33887611发布日期:2023-04-21 00:15阅读:来源:国知局

技术特征:

1.一种实时流量留存和批量抽取方法,其特征在于:基于实时采集所获各待分析网络数据流在文件系统中各文件内的存储,根据各待分析网络数据流按预设网络数据流聚合规则划分下各聚合key分别与其所对应各时间标记信息对应组合构成的各个待分析键、以及各个待分析键分别所对应各待分析网络数据流在文件系统中存储地址构成的各个待分析值,按如下步骤a至步骤d,响应包含目标聚合key与目标时间段的目标抽取请求;

2.根据权利要求1所述一种实时流量留存和批量抽取方法,其特征在于,执行步骤a之前,还包括如下操作:

3.根据权利要求2所述一种实时流量留存和批量抽取方法,其特征在于:所述步骤a中,基于各待分析键按其时间标记信息升序的排序,依次遍历各待分析键,首先判断各待分析键中是否存在时间标记信息大于或等于新目标时间段开始时间的待分析键,是则获得各待分析键中第一个时间标记信息大于或等于新目标时间段开始时间的待分析键,并继续获得该待分析键后时间标记信息小于或等于新目标时间段结束时间的各个待分析键,进而获得该所获各待分析键分别对应的待分析值,作为各个待选值,然后进入步骤b;否则关于目标抽取请求的响应为空。

4.根据权利要求1所述一种实时流量留存和批量抽取方法,其特征在于:实时分别针对各个采集所获待分析网络数据流,按如下步骤i至步骤vii,实现采集所获各待分析网络数据流在文件系统中各文件内的实时存储,并构建各待分析网络数据流按预设网络数据流聚合规则划分下各聚合key分别与其所对应各时间标记信息对应组合成的各个待分析键、以及各个待分析键分别所对应各待分析网络数据流在文件系统中存储地址构成的各个待分析值;

5.根据权利要求4所述一种实时流量留存和批量抽取方法,其特征在于:所述步骤vi中,以文件系统中已存在文件的最大存储地址的下一存储地址,按预设文件最大存储数据量,创建新文件、并定义其标记为可写入。

6.根据权利要求1至5中任意一项所述一种实时流量留存和批量抽取方法,其特征在于:所述构成待分析值的存储地址包括以文件起始存储地址构成文件序号、存储地址偏移量、以及预设文件最大存储数据量。


技术总结
本发明涉及一种实时流量留存和批量抽取方法,采用全新设计逻辑,针对网络数据流的留存、以及抽取两个环节,进行前后统一的逻辑调度关系设计,其中,针对留存,引入缓存中继、以及文件系统写入两个环节,获得各待分析网络数据流在文件系统中各文件内的存储,并构建各待分析网络数据流按预设网络数据流聚合规则划分下各聚合key分别与其所对应各时间标记信息对应组合成的各个待分析键、以及各个待分析键分别所对应各待分析网络数据流在文件系统中存储地址构成的各个待分析值,基于此进一步针对目标抽取请求,通过目标聚合key、目标时间段分别与各待分析键、以及对应待分析值的比较,实现对目标抽取请求的响应,如此提高实时流量的存储速度和后续使用时批量抽取的效率,对于留存流量的快速提取分析有重要意义。

技术研发人员:李华蓉,赵小磊,赵康,郝元,檀学峰
受保护的技术使用者:江苏省海量数据技术研究所有限公司
技术研发日:
技术公布日:2024/1/11
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1