一种数据查询方法
【专利摘要】本发明公开了一种数据查询方法,具体包括以下步骤:初始化查询条件页面;查询;统计;数据导出;查看详细信息;其中查询是通过设定的查询条件从数据库中的协议表中查询出符合条件的协议数。本发明查询协议数据途径多,能够查询出比较全面的协议数据,使用者能够从多种协议数据中查询出非平凡的、隐含的、事先未知的、有潜在使用价值的信息。
【专利说明】一种数据查询方法
【技术领域】
[0001]本发明主要涉及互联网领域,尤其涉及一种数据查询方法。
【背景技术】
[0002]随着计算机和网络技术的不断进步发展,各联网单位在互联网中的活动也日益频繁,互联网安全也日益严重,同时在整个网络活动中也产生了各种各样的协议数据;因此需要把这些海量的数据收集起来加以解析、分析、挖掘处理,以备需要时查询使用;由此可见数据查询技术起到了很重要的作用,通过对数据的查询就能实时的撑控某个区域的各个联网单位的联网活动是否在进行着危及网络安和社会稳定,为维护网络安全社会稳定提供有力的依据。
[0003]本功能解决对联网单位历史上网数据无法查询的空白,能够更清楚的查询出多种协议的数据如:社交网络、网页邮件、即时通讯、电子邮件、游戏等数据,数据查询就相当于实现了一个对历史数据回放的功能。
[0004]现有的技术只能是查询单位的协议数据还没法同时查询出多个协议数据,或者对在网络已经产生的数据还没办进行捕获存储起,因此想要查询联网单位历史上网产生的各协议数据的查询还是一片空白地带;本发明的目的是:起到查询历史上网数据、支持多协议数据的查询。
[0005]本发明是依赖系统的海量数据仓库为基础,而实现的一种数据查询手段,在日常互联网交互中会产生大量的数据,系统通过布置在各单位中的联网探针实时或定时的把各联网单位在互网活动中产生的数据捕获到数据仓库中,为后期的数据查询、数据分析、数据挖掘提供依据;数据查询就是通过只定的查询条件把某个区域、某个时间段、某个IP段中所有联网单位在互联网中活动中产生的数据一一展现出来,使民警能够从中找出非平凡的、隐含的、事先未知的、有潜在使用价值的信息,起到对互联网数据实时了解撑控功能。
【发明内容】
[0006]本发明目的就是为了弥补已有技术的缺陷,提供一种数据查询方法,系统主要通过设定的基本的查询条件和数据、协议查询条件从数据库中的各个协议表中提取符合条件的协议数据;基本的查询条件包含:捕获时间、IP地址、MAC地址,数据、协议查询条件包含:数据源、数据库、协议类型;协议数据主要包含:网页浏览、Web聊天室、网页论坛、网页邮箱、电子邮件、即时通讯、文件传输、远程登陆、游戏、突防工具、P2P下载、远程控制、多媒体、VoIP、网络视频、VPN、网络视频。
[0007]本发明是通过以下技术方案实现的:
一种数据查询方法,其特征在于,具体包括以下步骤:
(I):初始化查询条件页面
1)把一些必要的数据加载出来如:数据源、协议以及页面上的一些默认的选项;
2)从数据类型配置表、地市管理部门系统表、地区表取得初始化的数据源; 3)从协议表、协议类型取得协议的类型以及协议;
(2):查询
通过设定的查询条件从数据库中的协议表中查询出符合条件的协议数:
1)各协议数据表:网页浏览协议表、网页聊天、网页论坛表、网页邮件表、电子邮件表、即时通讯表、文件传输表、远程登录表、网络游戏表、突防工具表、P2P下载表、远程控制表、多媒体表、网络语音表、虚拟网络表、网络社交表;
2)进入查询条件的校验,检查所有的查询条件是否符合要求;如果有条件不符合要求则返回到查询条件设置页面,并给出提示信息;如果有的条件都条件都符合要求则进入查询的下一步的处理阶段;
3)获取缓存对象Cache,判断缓存中是否存在数据,如果缓存中存在数据则进入业务逻辑接口实现类MassDataQueryServiceImpl的getDataList2 O方法中进行业务逻辑的处理,如果缓存中没有数据则进入业务逻辑实现类MassDataQueryServiceImpl的getDataList ()方法中进行业务处理;
4)进入业务处理层中将业务处理完之后进入数据操作实现类MassDataQueryDaoImpl中的getDataList ()进行数据的操作执行存储过程取数据,如果是查询缺省库时调用存储过程:hl.get_large_page_query,如果是查询档案库时调用存储过程:hl.get_large_page_query_ar ;
5)进入业务处理层统计查询数据的总条件数,通过调用MassDataQueryServiceImpl的 getDataCountList O 方法完成;
6)通过探针的ID获取对象Device,通过调用DeviceConfig类的getDeviceDetailO完成,把探针信息也封装到查询数据的结果集对象中,方便页面展示;
7)通过HttpServletRequest把查询数据的条件存放到Session中缓存,以便在整个会话的过程中都能使用;
8)生成页面数据的表格,通过动态列表生成,整个处理程主要在DataBean类中的getDataTableO方法内成程,首先通过DataConfig来加载配置方件下的各协议数据要展示的列,然后通过遍历查询出来的协议数据,把它一一的赋值到对应的列中;
9)跳转到查询结果页面展示查询出来的结果;
(3):统计
1)在查询条件页面中设置好统计的条件;
2)开始执行统计,进入后台程序处理阶段;
3)进入MassDataQueryBean的statisticsO方法中,对统计的条件进校验,主要校验数据的非空属性和是否符合要求,校验通过则进入下一步的处理,校验不通过则返页面并给出提示信息;
4)进入DataStatisticsBean的statisticsO方法中,获取缓存对象Cache,如果查询条件中的协议类型ID为-1的,则调用缓存的StoreO方法把查询条件添到缓存中;
5)判断缓存中是否有缓存数据,如果有则从缓存中取统计数据,没有则从业务逻辑层Sevice经过业务处理以及经过数据操作层Dao执行h1.get_large_query_count存储过程来获得;
6)生成查询统计日志; 7)在页面中展示统计结果;
(4):数据导出
1)初始化数据导出窗口,通过读取协议数据的配置文件获得可导出的列;
2)执行导出,判断是否勾选了导出的列,如果没有则给出提示信息;
3)判断是批量导出还是全部导出;
4)批量导出时:
a、首先判断是否有可导出的列,如果没有则从协议配置文件中加载;
b、取得缓存中的键;
C、通过缓存的键从业务层中取得导出的数据; d、生成导txt文件导出文件或生成Execl导出文件;
5)全部导出时:
a、判断是否有可导出的列,如果没有则从协议配置文件中加载;
b、取得缓存中的键;
C、通过缓存的键从业务层中取得导出的数据; d、生成导txt文件导出文件或生成Execl导出文件;
6)生成出导日志
(5):查看详细信息
1)页面点击查详细信息;
2)初始化;
3)获取详细信息;
4)获取协议数据;
5)判断缓存数据是否有改变;
6)得到协议数据的详细信息;
7)初始化数据;
8)重置查询条件;
9)得到详细信息的页面排版;
10)得到详细信息页面的功能操作权限。
[0008]本发明的优点是:
本发明查询协议数据途径多,能够查询出比较全面的协议数据,使用者能够从多种协议数据中查询出非平凡的、隐含的、事先未知的、有潜在使用价值的信息。
【专利附图】
【附图说明】
[0009]图1为本发明的总体流程图。
【具体实施方式】
[0010]如图1所示,一种数据查询方法,具体包括以下步骤:
(I):初始化查询条件页面
1)把一些必要的数据加载出来如:数据源、协议以及页面上的一些默认的选项;
2)从数据类型配置表、地市管理部门系统表、地区表取得初始化的数据源; 3)从协议表、协议类型取得协议的类型以及协议;
(2):查询
通过设定的查询条件从数据库中的协议表中查询出符合条件的协议数:
1)各协议数据表:网页浏览协议表、网页聊天、网页论坛表、网页邮件表、电子邮件表、即时通讯表、文件传输表、远程登录表、网络游戏表、突防工具表、P2P下载表、远程控制表、多媒体表、网络语音表、虚拟网络表、网络社交表;
2)进入查询条件的校验,检查所有的查询条件是否符合要求;如果有条件不符合要求则返回到查询条件设置页面,并给出提示信息;如果有的条件都条件都符合要求则进入查询的下一步的处理阶段;
3)获取缓存对象Cache,判断缓存中是否存在数据,如果缓存中存在数据则进入业务逻辑接口实现类MassDataQueryServiceImpl的getDataList2 O方法中进行业务逻辑的处理,如果缓存中没有数据则进入业务逻辑实现类MassDataQueryServiceImpl的getDataList ()方法中进行业务处理;
4)进入业务处理层中将业务处理完之后进入数据操作实现类MassDataQueryDaoImpl中的getDataList ()进行数据的操作执行存储过程取数据,如果是查询缺省库时调用存储过程:hl.get_large_page_query,如果是查询档案库时调用存储过程:hl.get_large_page_query_ar ;
5)进入业务处理层统计查询数据的总条件数,通过调用MassDataQueryServiceImpl的 getDataCountList O 方法完成;
6)通过探针的ID获取对象Device,通过调用DeviceConfig类的getDeviceDetailO完成,把探针信息也封装到查询数据的结果集对象中,方便页面展示;
7)通过HttpServletRequest把查询数据的条件存放到Session中缓存,以便在整个会话的过程中都能使用;
8)生成页面数据的表格,通过动态列表生成,整个处理程主要在DataBean类中的getDataTableO方法内成程,首先通过DataConfig来加载配置方件下的各协议数据要展示的列,然后通过遍历查询出来的协议数据,把它一一的赋值到对应的列中;
9)跳转到查询结果页面展示查询出来的结果;
(3):统计
1)在查询条件页面中设置好统计的条件;
2)开始执行统计,进入后台程序处理阶段;
3)进入MassDataQueryBean的statisticsO方法中,对统计的条件进校验,主要校验数据的非空属性和是否符合要求,校验通过则进入下一步的处理,校验不通过则返页面并给出提示信息;
4)进入DataStatisticsBean的statisticsO方法中,获取缓存对象Cache,如果查询条件中的协议类型ID为-1的,则调用缓存的StoreO方法把查询条件添到缓存中;
5)判断缓存中是否有缓存数据,如果有则从缓存中取统计数据,没有则从业务逻辑层Sevice经过业务处理以及经过数据操作层Dao执行h1.get_large_query_count存储过程来获得;
6)生成查询统计日志;7)在页面中展示统计结果;
(4):数据导出
1)初始化数据导出窗口,通过读取协议数据的配置文件获得可导出的列;
2)执行导出,判断是否勾选了导出的列,如果没有则给出提示信息;
3)判断是批量导出还是全部导出;
4)批量导出时:
a、首先判断是否有可导出的列,如果没有则从协议配置文件中加载;
b、取得缓存中的键;
C、通过缓存的键从业务层中取得导出的数据;d、生成导txt文件导出文件或生成Execl导出文件;
5)全部导出时:
a、判断是否有可导出的列,如果没有则从协议配置文件中加载;
b、取得缓存中的键;
C、通过缓存的键从业务层中取得导出的数据;d、生成导txt文件导出文件或生成Execl导出文件;
6)生成出导日志
(5):查看详细信息
1)页面点击查详细信息;
2)初始化;
3)获取详细信息;
4)获取协议数据;
5)判断缓存数据是否有改变;
6)得到协议数据的详细信息;
7)初始化数据;
8)重置查询条件;
9)得到详细信息的页面排版;
10)得到详细信息页面的功能操作权限。
【权利要求】
1.一种数据查询方法,其特征在于,具体包括以下步骤: (1):初始化查询条件页面 1)把一些必要的数据加载出来如:数据源、协议以及页面上的一些默认的选项; 2)从数据类型配置表、地市管理部门系统表、地区表取得初始化的数据源; 3)从协议表、协议类型取得协议的类型以及协议; (2):查询 通过设定的查询条件从数据库中的协议表中查询出符合条件的协议数: 1)各协议数据表:网页浏览协议表、网页聊天、网页论坛表、网页邮件表、电子邮件表、即时通讯表、文件传输表、远程登录表、网络游戏表、突防工具表、P2P下载表、远程控制表、多媒体表、网络语音表、虚拟网络表、网络社交表; 2)进入查询条件的校验,检查所有的查询条件是否符合要求;如果有条件不符合要求则返回到查询条件设置页面,并给出提示信息;如果有的条件都条件都符合要求则进入查询的下一步的处理阶段; 3)获取缓存对象Cache,判断缓存中是否存在数据,如果缓存中存在数据则进入业务逻辑接口实现类MassDataQueryServiceImpl的getDataList2 O方法中进行业务逻辑的处理,如果缓存中没有数据则进入业务逻辑实现类MassDataQueryServiceImpl的getDataList ()方法中进行 业务处理; 4)进入业务处理层中将业务处理完之后进入数据操作实现类MassDataQueryDaoImpl中的getDataList ()进行数据的操作执行存储过程取数据,如果是查询缺省库时调用存储过程:hl.get_large_page_query,如果是查询档案库时调用存储过程:hl.get_large_page—query—ar ; 5)进入业务处理层统计查询数据的总条件数,通过调用MassDataQueryServiceImpl的 getDataCountList O 方法完成; 6)通过探针的ID获取对象Device,通过调用DeviceConfig类的getDeviceDetailO完成,把探针信息也封装到查询数据的结果集对象中,方便页面展示; 7)通过HttpServletRequest把查询数据的条件存放到Session中缓存,以便在整个会话的过程中都能使用; 8)生成页面数据的表格,通过动态列表生成,整个处理程主要在DataBean类中的getDataTableO方法内成程,首先通过DataConfig来加载配置方件下的各协议数据要展示的列,然后通过遍历查询出来的协议数据,把它一一的赋值到对应的列中; 9)跳转到查询结果页面展示查询出来的结果; (3):统计 1)在查询条件页面中设置好统计的条件; 2)开始执行统计,进入后台程序处理阶段; 3)进入MassDataQueryBean的statisticsO方法中,对统计的条件进校验,主要校验数据的非空属性和是否符合要求,校验通过则进入下一步的处理,校验不通过则返页面并给出提示信息; 4)进入DataStatisticsBean的statisticsO方法中,获取缓存对象Cache,如果查询条件中的协议类型ID为-1的,则调用缓存的StoreO方法把查询条件添到缓存中;5)判断缓存中是否有缓存数据,如果有则从缓存中取统计数据,没有则从业务逻辑层Sevice经过业务处理以及经过数据操作层Dao执行h1.get_large_query_count存储过程来获得; 6)生成查询统计日志; 7)在页面中展示统计结果; (4):数据导出 1)初始化数据导出窗口,通过读取协议数据的配置文件获得可导出的列; 2)执行导出,判断是否勾选了导出的列,如果没有则给出提示信息; 3)判断是批量导出还是全部导出; 4)批量导出时: a、首先判断是否有可导出的列,如果没有则从协议配置文件中加载; b、取得缓存中的键; C、通过缓存的键从业务层中取得导出的数据; d、生成导txt文件导出文件或生成Execl导出文件; 5)全部导出时: a、判断是否有可导出的列,如果没有则从协议配置文件中加载; b、取得缓存中的键; C、通过缓存的键从业务层中取得导出的数据; d、生成导txt文件导出文件或生成Execl导出文件; 6)生成出导日志 (5):查看详细信息 1)页面点击查详细信息; 2)初始化; 3)获取详细信息; 4)获取协议数据; 5)判断缓存数据 是否有改变; 6)得到协议数据的详细信息; 7)初始化数据; 8)重置查询条件; 9)得到详细信息的页面排版; 10)得到详细信息页面的功能操作权限。
【文档编号】G06F17/30GK103902708SQ201410128450
【公开日】2014年7月2日 申请日期:2014年3月31日 优先权日:2014年3月31日
【发明者】徐文政 申请人:安徽新华博信息技术股份有限公司