一种基于Flink的区域布控方法和设备与流程

文档序号:36408000发布日期:2023-12-16 16:42阅读:来源:国知局

技术特征:

1.一种基于flink的区域布控方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于flink的区域布控方法,其特征在于:布控信息包括人员类别布控信息、车辆布控信息、mac布控信息;

3.根据权利要求1所述的基于flink的区域布控方法,其特征在于:通过flink cdc创建第一同步虚拟表,获取业务端下发的至mysql中的布控信息,并对第一同步虚拟表中的布控信息进行同步变更,具体包括:通过flink cdc创建第一同步虚拟表,实时监听mysql中布控信息的变更,从所述第一同步虚拟表中过滤失效的布控信息,获取新增的布控信息,及时同步修改更新的布控信息,确保flink中虚拟表与mysql中业务表数据的有效性和一致性;

4.根据权利要求1所述的基于flink的区域布控方法,其特征在于:将第一同步虚拟表中的布控信息与第二同步虚拟表中的抓拍数据信息进行比对,从抓拍数据信息中筛选出符合布控信息要求的预警数据,具体包括:

5.根据权利要求4所述的基于flink的区域布控方法,其特征在于:使用flink sql中的filter()函数过滤布控信息、抓拍数据信息中的无效数据,具体包括:对于布控信息,过滤过期和已撤控的布控数据,对于抓拍数据信息中的车辆抓拍数据,从第二同步虚拟表中过滤车牌号为空,采集设备id不在区域布控列表内,数据采集时间不在区域布控时间内的数据,对于抓拍数据信息中的人脸抓拍数据,从第二同步虚拟表中过滤身份证号为空、采集设备id不在区域布控列表内,数据采集时间不在区域布控时间内的数据,对于抓拍数据信息中的mac采集信息,从第二同步虚拟表中过滤mac为空、mac所属人身份证号为空,采集设备id不在区域布控列表内,数据采集时间不在区域布控时间内的数据。

6.根据权利要求1所述的基于flink的区域布控方法,其特征在于:第一数据库为es数据库,将预警数据同步输出至第一数据库,具体包括:使用flink cdc创建es输出数据同步表,分别将人脸抓拍虚拟表数据、车辆抓拍虚拟表数据、mac采集虚拟表数据按照布控类别,存储至同一索引中。

7.根据权利要求1所述的基于flink的区域布控方法,其特征在于:还包括如下步骤:将预警数据同步写入第二kafka,将第二kafka的数据导入第二数据库中,在第二数据库分别创建aggregate模型表和duplicate模型表,aggregate模型表存储目标在不同采集设备的统计信息,duplicate模型表存储目标在不同时间的详细记录数据。

8.根据权利要求7所述的基于flink的区域布控方法,其特征在于:将预警数据同步写入第二kafka,具体包括:使用flink cdc创建kafka输出数据同步表,分别将人脸抓拍虚拟表数据、车辆抓拍虚拟表数据、mac采集虚拟表数据按照布控类别,存储至同一主题中,设置connector为upsert-kafka,可自动覆盖更新数据,设置key.format和value.format为json,指定json格式数据,为数据存储做准备。

9.根据权利要求7所述的基于flink的区域布控方法,其特征在于:将第二kafka的数据使用routine load导入第二数据库中,具体包括:在第二数据库中创建一个kafka例行导入任务,订阅第二kafka的数据,通过不断的从第二kafka读取数据,将所述数据导入到第二数据库中;

10.一种基于flink的区域布控设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于flink的区域布控程序,所述基于flink的区域布控程序配置为实现如权利要求1至9中任一项所述的基于flink的区域布控方法。


技术总结
本发明公开了一种基于Flink的区域布控方法和设备,所述方法包括:通过Flink cdc创建第一同步虚拟表,获取业务端下发的至Mysql中的布控信息,并对第一同步虚拟表中的布控信息进行同步变更;通过Flink cdc创建第二同步虚拟表,从用于实时传输抓拍数据信息的第一Kafka中读取抓拍数据信息;将第一同步虚拟表中的布控信息与第二同步虚拟表中的抓拍数据信息进行比对,得到符合要求的预警数据;将预警数据同步输出至第一数据库,用于供业务端详细结果查询,将预警数据同步写入第二Kafka,将第二Kafka数据导入Doris中,在Doris分别创建Aggregate模型表和Duplicate模型表,用于存储目标在不同采集设备的统计信息、目标在不同时间的详细记录数据。

技术研发人员:杨玲,杨光
受保护的技术使用者:武汉众智数字技术有限公司
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1