一种公安大数据分布式管控系统及方法与流程

[0001]
本发明涉及分布式技术领域，具体涉及一种公安大数据分布式管控系统及方法。


背景技术：

[0002]
各种公安系统产生的大量实时数据由前端感知设备为起点，经过多环节流转汇聚到大数据平台，进而由下级单位再汇聚到上级单位，一方面，数据延迟逐步增加，海量数据实时管控比对的时效性有待进一步提高，另一方面，大量数据汇聚上级单位后占用大量物理资源和计算资源，无法利用下级已有资源，造成资源未能合理有效利用。


技术实现要素：

[0003]
鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种公安大数据分布式管控系统及方法，具体方案如下：
[0004]
作为本发明的第一方面，提供一种公安大数据分布式管控系统，包括分布式搜索引擎elasticsearch以及部署于上级和各个下级的分布式实时管控系统，上级的分布式实时管控系统用于接收管控规则，并将管控规则下发给各个下级的分布式实时管控系统；
[0005]
所述分布式实时管控系统用将本级数据源中的海量数据实时写入到分布式消息队列kafka中，完成海量数据的实时接入，并利用分布式流式计算引擎flink，将kafka订阅中的实时数据与所述管控规则进行比对计算，对符合管控规则的数据写入告警信息到kafka中；
[0006]
下级分布式实时管控系统还用于将本级kafka订阅中的告警信息推送到上级分布式实时管控系统的kafka中；上级分布式实时管控系统还用于将kafka订阅中的告警信息推送给用户界面显示，同时推送告警信息到分布式搜索引擎elasticsearch中；
[0007]
所述分布式搜索引擎elasticsearch用于保存上级分布式实时管控系统推送过来的告警信息，并提供历史告警信息查询功能。
[0008]
进一步地，所述分布式实时管控系统包括管控管理模块、数据接入模块、管控比对模块和mysql数据库；
[0009]
上级分布式实时管控系统的管控管理模块用于接收管控规则，并将管控规则下发给各个下级分布式实时管控系统的管控管理模块；
[0010]
所述管控管理模块用于将收到的管控规则写入到本级系统中的mysql数据库；
[0011]
所述数据接入模块用于将本级数据源中的海量数据实时写入到分布式消息队列kafka中，完成海量数据的实时接入；
[0012]
所述管控比对模块用于从mysql数据库中加载管控规则，并利用分布式流式计算引擎flink，将kafka订阅中的实时数据与所述管控规则进行比对计算，对符合管控规则的数据写入告警信息到kafka中。
[0013]
进一步地，上级分布式实时管控系统部署于上级单位，各个下级的分布式实时管控系统分别部署于各个下级单位。
[0014]
进一步地，所述系统还包括分布式管控平台，所述分布式管控平台管理系统用户的管控权限，根据系统用户的权限，利用上级分布式实时管控系统对已经授权的下级单位下发管控规则，并接收上下级分布式实时管控系统推送的告警信息，将告警信息推送给用户界面显示。
[0015]
进一步地，所述分布式管控平台包括用户统一入口，通过所述用户统一入口接收用户的查询请求，基于所述查询请求从分布式搜索引擎elasticsearch中查询历史告警信息，并反馈给用户。
[0016]
作为本发明的第二方面，提供一种公安大数据分布式管控方法，所述方法包括：
[0017]
上级分布式实时管控系统接收管控规则，将管控规则下发给各个下级的分布式实时管控系统；
[0018]
分布式实时管控系统将本级数据源中的海量数据实时写入到分布式消息队列kafka中，完成海量数据的实时接入，并利用分布式流式计算引擎flink，将kafka订阅中的实时数据与所述管控规则进行比对计算，对符合管控规则的数据写入告警信息到kafka中；
[0019]
下级分布式实时管控系统将本级kafka订阅中的告警信息推送到上级分布式实时管控系统的kafka中，上级分布式实时管控系统将kafka订阅中的告警信息推送给用户界面显示，同时推送告警信息到分布式搜索引擎elasticsearch中。
[0020]
进一步地，所述分布式实时管控系统包括管控管理模块、数据接入模块、管控比对模块和mysql数据库；
[0021]
通过上级分布式实时管控系统的管控管理模块接收管控规则，并将管控规则下发给各个下级分布式实时管控系统的管控管理模块；各级分布式实时管控系统的管控管理模块将收到的管控规则写入到本级系统中的mysql数据库；各级分布式实时管控系统的数据接入模块将本级数据源中的海量数据实时写入到分布式消息队列kafka中，完成海量数据的实时接入；各级分布式实时管控系统的管控比对模块从mysql数据库中加载管控规则，并利用分布式流式计算引擎flink，将kafka订阅中的实时数据与所述管控规则进行比对计算，对符合管控规则的数据写入告警信息到kafka中。
[0022]
进一步地，上级分布式实时管控系统部署于上级单位，各个下级的分布式实时管控系统分别部署于各个下级单位。
[0023]
进一步地，所述方法还包括：通过分布式管控平台管理系统用户的管控权限，根据系统用户的权限，利用上级分布式实时管控系统对已经授权的下级单位下发管控规则，并接收上级分布式实时管控系统推送的告警信息，将告警信息推送给用户界面显示。
[0024]
进一步地，所述方法还包括：在分布式管控平台设置用户统一入口，通过所述用户统一入口接收用户的查询请求，并基于所述查询请求从分布式搜索引擎elasticsearch中查询历史告警信息，并反馈给用户。
[0025]
本发明具有以下有益效果：
[0026]
本发明提供的一种公安大数据分布式管控系统及方法，将传统集中式管控系统改造升级为分布式管控系统，通过在上级单位和各个下级单位部署一套分布式实时管控系统，将算力按需分配给下级单位，由下级将计算结果提交给上级系统汇总，显著提高了软硬件资源的利用率，能在数据感知阶段就进行比对计算，提高比对预警时效和实战效能，解决了公安系统中海量数据实时管控比对时效性的技术问题，可以极大减少资源利用不合理的
问题。
附图说明
[0027]
图1为本发明实施例提供的一种公安大数据分布式管控系统结构图。
具体实施方式
[0028]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0029]
作为本发明的第一实施例，提供一种公安大数据分布式管控系统，包括分布式搜索引擎elasticsearch以及部署于上级和各个下级的分布式实时管控系统，上级的分布式实时管控系统用于接收管控规则，并将管控规则下发给各个下级的分布式实时管控系统；还支持用户通过统一的上级分布式实时管控系统，根据系统用户的权限，选择管控范围，按全局管控或指定下级管控，将管控规则下发给所有下级分布式实时管控系统，或者下发给指定的下级分布式实时管控系统；
[0030]
所述分布式实时管控系统用将本级数据源中的海量数据经过转换处理后实时写入到该分布式实时管控系统的分布式消息队列kafka中，完成海量数据的实时接入，并利用分布式流式计算引擎flink，将kafka订阅中的实时数据与所述管控规则进行比对计算，判定是否存在有符合管控规则的数据，若存在有符合管控规则的数据，则向kafka中写入对应的告警信息；
[0031]
下级分布式实时管控系统还用于将本级kafka订阅中的告警信息推送到上级分布式实时管控系统的kafka中；上级分布式实时管控系统还用于将kafka订阅中的告警信息推送给用户界面显示，同时推送告警信息到分布式搜索引擎elasticsearch中；
[0032]
所述分布式搜索引擎elasticsearch用于保存上级分布式实时管控系统推送过来的告警信息，并提供历史告警信息查询功能。
[0033]
其中，上级分布式实时管控系统部署于上级单位，各个下级的分布式实时管控系统分别部署于各个下级单位，所述分布式实时管控系统包括管控管理模块、数据接入模块、管控比对模块和mysql数据库，如图1所示。
[0034]
上级分布式实时管控系统的管控管理模块用于接收管控规则，并将管控规则下发给各个下级分布式实时管控系统的管控管理模块；
[0035]
所述管控管理模块用于将收到的管控规则写入到本级系统中的mysql数据库；
[0036]
所述数据接入模块用于将本级数据源中的海量数据转换成统一格式，并实时写入到分布式消息队列kafka中，完成海量数据的实时接入；
[0037]
所述管控比对模块用于从mysql数据库中加载管控规则，并利用分布式流式计算引擎flink，将kafka订阅中的实时数据与所述管控规则进行比对计算，对符合管控规则的数据写入告警信息到kafka中。
[0038]
其中，所述系统还包括分布式管控平台，所述分布式管控平台管理系统用户的管控权限，根据系统用户的权限，利用上级分布式实时管控系统对已经授权的下级单位下发
管控规则，并接收上级分布式实时管控系统推送的告警信息，将告警信息推送给用户界面显示；另外，所述分布式管控平台包括用户统一入口，通过所述用户统一入口接收用户的查询请求，基于所述查询请求从分布式搜索引擎elasticsearch中查询历史告警信息，并反馈给用户。
[0039]
作为本发明的第二实施例，还提供一种公安大数据分布式管控方法，所述方法包括：
[0040]
上级分布式实时管控系统接收管控规则，将管控规则下发给各个下级的分布式实时管控系统；
[0041]
分布式实时管控系统将本级数据源中的海量数据经过转换处理后实时写入到该分布式实时管控系统的分布式消息队列kafka中，完成海量数据的实时接入，并利用分布式流式计算引擎flink，将kafka订阅中的实时数据与所述管控规则进行比对计算，判定是否存在有符合管控规则的数据，若存在有符合管控规则的数据，则向kafka中写入对应的告警信息；
[0042]
下级分布式实时管控系统将本级kafka订阅中的告警信息推送到上级分布式实时管控系统的kafka中，上级分布式实时管控系统将kafka订阅中的告警信息推送给用户界面显示，同时推送告警信息到分布式搜索引擎elasticsearch中。
[0043]
本发明将传统集中式管控系统改造升级为分布式管控系统，通过在上级单位和各个下级单位部署一套分布式实时管控系统，将算力按需分配给下级单位，由下级将计算结果提交给上级系统汇总，显著提高了软硬件资源的利用率，能在数据感知阶段就进行比对计算，提高比对预警时效和实战效能，解决了公安系统中海量数据实时管控比对时效性的技术问题，可以极大减少资源利用不合理的问题。
[0044]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。