一种数字视网膜海量目标检索及布控方法与流程

[0001]
本发明是一种数字视网膜海量目标检索及布控方法，涉及安防监控和人工智能领域，更具体地，涉及数字视网膜智能视频监控的海量目标检索及布控方法。


背景技术：

[0002]
目前部署的视频监控系统，采用的是十多年前的技术标准h.264，数据压缩效率低，建设成本高，应用效果差强人意，主要表现在：
[0003]
1)早期标准压缩效率低。在保证视频质量的情况下，我国部署的三千万摄像机估计需要数千亿元的存储成本，各地在存储空间不足的情况下，往往对视频进行过度压缩，造成大量视频图像质量严重劣化，在发生案件或安全事故时，看不清关键人物和车辆；
[0004]
2)监控视频联网难。很多省市部署的摄像机都超过百万，但采用老标准编码，在现有通信带宽条件下，能够实时传输的视频只有数百路，大部分监控视频得不到有效利用；
[0005]
3)高度密集的摄像机无法进行全场景覆盖。尽管部分地区的摄像机分布密集度很高，仍然无法进行全场景覆盖，对于摄像机覆盖的区域地面摄像机拍摄的信息也是有限的，同时全天候采集的视频数据冗余度很高，但很难提取全局有价值信息，造成巨大的信息浪费；
[0006]
4)海量视频检索难。传统视频监控系统是通过监控人员调阅历史录像来实现事件的回放取证，人工回放录像取证的方式效率低，尽管图像检索技术有了快速的发展，但是在产业界应用，特别是安防领域的大规模应用还亟待解决；
[0007]
5)缺乏视频精准分析。在公安等部门的实战应用中，视频监控技术存在视频调阅慢、分析难的问题。


技术实现要素：

[0008]
本发明的目的是一种建立高效行人多模态特征向量数据索引表的方法，利用大数据云计算平台，保证该行人多模态特征搜索引擎的空间索引实及时且可靠。
[0009]
一种数字视网膜海量目标检索及布控方法，其特征在于，包括下列步骤，
[0010]
步骤1、组建大数据平台网，包含生产集群和测试集群，采用两台核心交换机汇聚；
[0011]
对于生产集群，汇聚交换机下面成对挂接业务接入交换机的万兆光接口、带外管理接入交换机的千兆接口，其中万兆用于走业务数据，而千兆用于走带外管理数据可选；对于测试集群，汇聚交换机下挂接单台业务接入交换机的千兆接口；为了让节点间的交换带宽不成为系统性能的瓶颈，业务网络均采用10ge网卡；
[0012]
步骤2、集群及各个组件搭建完成后，首先格式化整个集群中hdfs文件系统所在的系统存储空间，然后启动集群；
[0013]
步骤4、启动hadoop之后，接着启动zookeeper组件，最后启动hbase组件和启动flink组件；
[0014]
步骤5、采集数据：主要为交通干道，尤其适用于识别难度较高的人员密集的公共
场所；本发明涉及的用于识别、比对行人的图片的来源途径为行人图像库；所述行人图像库中包括由交通网络中的多个高速摄像头拍摄的实时交通序列行人图像；所述交通序列行人图像包括拍摄时间以及所摄摄像头的空间位置信息；所述待检索图片可以是在行人图像库中提取的公共场所摄像头拍摄的某一待识别的行人的图片，也可以是经其他途径上传的待识别行人的图片；
[0015]
步骤6、清洗数据：对所述待检索行人图片进行预处理以去除噪声干扰，所述预处理包括按预设规则进行尺寸变换、裁剪、像素值抖动以及归一化；通过预处理，获得符合预设要求的图片；
[0016]
步骤7、数据分布式云存储：非结构化数据存入hdfs中，结构化数据存入hbase中；
[0017]
步骤8、多模态特征联合精准检索：行人图像之间的相似度计算主要用于行人图像之间依据其属性或者特征的相近程度进行打分，并且根据分数的高低来判断行人图像整体内容的近似程度；
[0018]
步骤9、筛查搜索结果：如果不是需要的行人图片，可以分语义或者已搜索的图片进行二次检索、三次检索或者更多次，直至找到布控需要的图片；
[0019]
步骤10、对目标行人进行布控，对已经查到的行人图片或者特征语义下达布控任务；
[0020]
步骤11、对目标行人进行告警：如果在目标行人在某一监控点下出现，系统会出现声音或者短信告警；
[0021]
步骤12、对目标行人轨迹回放。
[0022]
本发明的有益效果如下：
[0023]
本发明基于云架构设计，充分利用云计算平台的超强计算能力，部署多种算法，实现多算法的混合，同时吸纳各种算法的优点，提高大数据库容量下人脸行人图像的识别和比对性能，同时支持行人年龄、是否提包、下身衣服颜色、下身衣服、发型、帽子、背包、方向、性别、雨伞、上身颜色、是否抱小孩、上身衣服等属性的语义化检索。提供种基于云计算技术的以图搜人海量目标检索及布控系统可代替人力监控，提高监控效率，减少人工费用。
附图说明
[0024]
图1、是本发明系统框架图；
[0025]
图2、是本发明流程图；
[0026]
图3、是本发明准检索思路图；
[0027]
图4、是本发明车辆轨迹回放图；
[0028]
图5、是本发明车辆位置回放图。
具体实施方式
[0029]
一种数字视网膜海量目标检索及布控方法，其特征在于，包括下列步骤，
[0030]
步骤1、组建大数据平台网，包含生产集群和测试集群，采用两台核心交换机汇聚；
[0031]
对于生产集群，汇聚交换机下面成对挂接业务接入交换机的万兆光接口、带外管理接入交换机的千兆接口，其中万兆用于走业务数据，而千兆用于走带外管理数据可选；对于测试集群，汇聚交换机下挂接单台业务接入交换机的千兆接口；为了让节点间的交换带
宽不成为系统性能的瓶颈，业务网络均采用10ge网卡；
[0032]
步骤2、集群及各个组件搭建完成后，首先格式化整个集群中hdfs文件系统所在的系统存储空间，然后启动集群；
[0033]
步骤4、启动hadoop之后，接着启动zookeeper组件，最后启动hbase组件和启动flink组件；
[0034]
步骤5、采集数据：主要为交通干道，尤其适用于识别难度较高的人员密集的公共场所；本发明涉及的用于识别、比对行人的图片的来源途径为行人图像库；所述行人图像库中包括由交通网络中的多个高速摄像头拍摄的实时交通序列行人图像；所述交通序列行人图像包括拍摄时间以及所摄摄像头的空间位置信息；所述待检索图片可以是在行人图像库中提取的公共场所摄像头拍摄的某一待识别的行人的图片，也可以是经其他途径上传的待识别行人的图片；
[0035]
步骤6、清洗数据：对所述待检索行人图片进行预处理以去除噪声干扰，所述预处理包括按预设规则进行尺寸变换、裁剪、像素值抖动以及归一化；通过预处理，获得符合预设要求的图片；
[0036]
步骤7、数据分布式云存储：非结构化数据存入hdfs中，结构化数据存入hbase中；
[0037]
步骤8、多模态特征联合精准检索：行人图像之间的相似度计算主要用于行人图像之间依据其属性或者特征的相近程度进行打分，并且根据分数的高低来判断行人图像整体内容的近似程度；
[0038]
步骤9、筛查搜索结果：如果不是需要的行人图片，可以分语义或者已搜索的图片进行二次检索、三次检索或者更多次，直至找到布控需要的图片；
[0039]
步骤10、对目标行人进行布控，对已经查到的行人图片或者特征语义下达布控任务；
[0040]
步骤11、对目标行人进行告警：如果在目标行人在某一监控点下出现，系统会出现声音或者短信告警；
[0041]
步骤12、对目标行人轨迹回放。
[0042]
视频监控产业在快速发展的过程中，不断向网络化、高清化、智能化、多元化的方向发展。随着人工智能、云计算、大数据、无人机技术的深入应用，视频智能分析多元化已成为新一代视频监控系统最鲜明的特色。由北京大学数字视频编解码国家工程实验室研发的“数字视网膜端到端系统”同时支持监控视频的浓缩转码、图像分析、特征检索、应用展示等功能的智能视频监控平台(简称“平台”)，平台集视觉内容分析、视觉特征检索、大数据分析、云存储、深度学习等多项前沿技术，研制了并行多路视频浓缩转码、人车视觉特征提取、海量视觉大数据快速检索、双流远程通信、软件定义摄像机网络、实时业务应用中间件多项技术，兼顾在线摄像机和离线视频文件，适用于城市级大规模监控视频的高效存储、快速检索及智能应用，能够为用户提供整体的大规模监控视频智能化应用解决方案，可广泛应用于公安机关接入的各种卡口、微卡口、治安监控视频场景的智能视频处理。为城市综合管理、公安机关侦破案件提供有效的技术手段。
[0043]
随着各地“天网工程”、“平安城市”等建设的不断深入，视频监控立体化防控体系建设的持续完善，视频监控系统覆盖到的物理空间越来越广。随着前端设备规模的快速正常，每个城市产生的视频数据每时每刻都在呈浪涌式增长。如何处理这些海量数据，对传统
系统使用关系型数据库(oracle、mysql、sqlserver)的技术架构中提出了极大挑战，单单从数据存储层面已无法满足用户需求。如果基于这些数据再进行业务分析和关联数据交叉运算，利用技战法进行碰撞，对于传统技术架构来说，更是不可能完成的事。从实战角度来说，必须要对此类技术架构进行升级换代，使其能满足大数据处理带来的挑战。
[0044]
我们需要重点思考：面对海量行人数据，如何快速有效的锁定嫌疑行人，提升实战效能？如何对嫌疑行人进行有针对性的行人排查，从而优化警力部署？如何对嫌疑行人进行有效的缉查布控？
[0045]
基于上述因素，我们推出了一种数字视网膜海量目标检索及布控方法。此系统结合视频结构化、行人识别、大数据处理三项核心技术对城市视频中涉及到的“行人”实战元素进行特征提取、标注解析处理，将结构化之后的海量数据与大数据处理系统结合在一起为智慧公安提供贴合实战和社会管理职能目标的综合性解决方案。
[0046]
一种数字视网膜海量目标检索及布控方法，包括如下步骤：
[0047]
步骤1：行人数据采集：
[0048]
步骤2：行人数据云存储:非结构化数据存入hdfs中，结构化数据存入hbase中。
[0049]
步骤3：多模态特征联合精准检索；
[0050]
步骤4：目标行人进行布控；
[0051]
步骤5：云计算平台实时计算：
[0052]
(1)通过sift特征匹配算法检测目标行人特征以及行人图像和卡口行人图像中的匹配特征点，并筛选匹配度较高的特征点；
[0053]
(2)确定匹配特征点的相关特征点群，并根据相关特征点群确定卡口行人图像中的候选匹配行人图像区域；
[0054]
(3)flink云计算平台根据相关特征群中特征点的数量计算目标特征行人图像和候选匹配行人图像区域的相似度r1；
[0055]
(4)flink云计算平台用感知哈希算法计算目标特征行人图像和候选匹配行人图像区域的相似度r2；
[0056]
(5)flink云计算平台计算目标特征行人图像和候选匹配行人图像区域的灰度颜色直方图，并根据灰度颜色直方图计算目标特征行人图像和候选匹配行人图像区域的相似度r3；
[0057]
(6)对相似度r1、r2、r3进行加权，flink云计算平台云计算目标特征行人图像和候选匹配行人图像区域最终的相似度r；
[0058]
(7)按照上述步骤依次检索卡口行人图像，将相似度值大于阈值0.6的候选匹配行人图像区域所在的卡口行人图像筛选出来并按照相似度值由大到小的顺序依次排列显示。
[0059]
步骤6：目标行人布控结果报警；
[0060]
步骤7：目标行人布控轨迹回放；
[0061]
为了实现上述目的，本发明提供一种数字视网膜海量目标检索及布控方法来实现。
[0062]
本发明公开了一种数字视网膜海量目标检索及布控方法，所述方法包括：预先获取用于行人过滤的特征信息，所述特征信息包括行人年龄、是否提包、下身衣服颜色、下身衣服、发型、帽子、背包、方向、性别、雨伞、上身颜色、是否抱小孩、上身衣服等；根据行人宏
观特征信息缩小所述待检索图片中的识别范围，对所述待检索图片进行分析获得多维特征信息；对所述多维特征信息进行深度特征融合，获得全局特征；根据全局特征在行人图像库中通过特征索引获得相似行人图像，并以行人图像相似度进行排序，获得检索结果。所述方法及系统使用多种特征融合和深度神经网络方法，有效的提高了行人搜索的精度；通过基于云计算技术的行人检索，有效提高了对于海量数据的搜索性能。
[0063]
本发明公开了一种数字视网膜海量目标检索及布控方法，所述组织结构包括
[0064]
(1)硬件层：该层主要提供了基于hadoop的海量视频的分布式存储与检索系统的底层服务器硬件以及操作系统等基础环境的支持。
[0065]
(2)分布式文件系统层：这一层主要是在硬件层的基础上采用hdfs分布式文件系统为上层应用提供分布式存储与读取功能。hdfs采用的分布式存储、副本存放与负载均衡等策略保证了整个存储平台的高可靠性、可扩展性和高可用性。本发明采用hdfs分布式存储视频等大数据文件，为大规模数据提供高吞吐量的流式读写。
[0066]
(3)数据库层：这一层主要是在hdfs作为底层存储机制的基础上，采用面向列存储的hbase数据库存储。hbase为海量数据提供实时地、快速地访问机制。本发明采用hbase数据库来存储海量视频检索系统中需要进行实时访问的视频属性信息、视频摘要属性信息以及目标图像等海量的小文件，依据上层应用的需求对hbase数据库进行了设计，以满足不同的存储和读取需求。
[0067]
(4)分布式计算层
[0068]
该层主要解决海量视频检索中特征提取和检索的分布式计算问题。flink是开源的分布式计算框架，为存储在hadoop中的数据提供了快速的计算方案。本发明应用flink计算框架，对存储在hbase中的目标图像进行特征的分布式提取和检索，大大提高了处理速度。
[0069]
(5)业务逻辑层
[0070]
这一层的主要作用是实现系统中各个业务逻辑运行，包括视频的预处理、特征提取与视频检索等相关的操作，并实现与底层数据库的读写操作。视频的预处理是通过对原始视频进行存储操作、视频摘要处理及存储操作、目标图像的提取与存储操作；特征提取操作包括对目标图像进行基于flink的分布式特征提取，然后将特征存储到底层hbase数据库中；视频检索包括对待检索的图像进行特征提取然后采用flink的分布式匹配，将处理的结果返回上层的用户接口层。
[0071]
(6)用户接口层
[0072]
这一层的主要作用是提供用户对人车等布控条件请求信息，以及接受布控的结果数据以轨迹的方式进行呈现。
[0073]
本发明的技术方案如下：
[0074]
为使本发明的目的、技术方案和优点更加清楚，以下结合具体的实例，并参照附图，对本发明作进一步的描述。
[0075]
用于实施的硬件环境是：用于实施的硬件环境是：本发明系统服务端运行在hadoop集群中，集群中共有四台服务器。集群采用了主从式的服务器架构，一台服务器作为主节点master，其余三台作为从节点slave，它们都运行在同一个局域网中，硬件环境如表1。
[0076]
表1
[0077][0078]
本发明使用fastdfs集群文件系统存储图片和视频信息，hbase集群存储结构化特征信息，flink集群进行搜人，搜车的实时计算，zookeeper提供服务的可靠性，角色分配如下表2：
[0079]
表2
[0080][0081][0082]
本发明具体实施如下：
[0083]
步骤1、组网：本项目大数据平台包含生产集群和测试集群，采用两台核心交换机
(汇聚)。
[0084]
对于生产集群，汇聚交换机下面成对挂接业务接入交换机(万兆光接口)、带外管理接入交换机(千兆接口)，其中万兆用于走业务数据，而千兆用于走带外管理数据(可选)。对于测试集群，汇聚交换机下挂接单台业务接入交换机(千兆接口)即可。为了让节点间的交换带宽不成为系统性能的瓶颈，业务网络均采用10ge网卡。
[0085]
步骤2、集群及各个组件搭建完成后，首先格式化整个集群中hdfs文件系统所在的系统存储空间，然后启动集群。
[0086]
步骤4、启动hadoop之后，接着启动zookeeper组件，最后启动hbase组件和启动flink组件。
[0087]
步骤5、采集数据：主要为交通干道，尤其适用于识别难度较高的人员密集的公共场所；本发明涉及的用于识别、比对行人的图片的来源途径为行人图像库；所述行人图像库中包括由交通网络中的多个高速摄像头拍摄的实时交通序列行人图像；所述交通序列行人图像包括拍摄时间以及所摄摄像头的空间位置信息。所述待检索图片可以是在行人图像库中提取的公共场所摄像头拍摄的某一待识别的行人的图片，也可以是经其他途径上传的待识别行人的图片。
[0088]
步骤6、清洗数据：对所述待检索行人图片进行预处理以去除噪声干扰，所述预处理包括按预设规则进行尺寸变换、裁剪、像素值抖动以及归一化；通过预处理，获得符合预设要求的图片。
[0089]
步骤7、数据分布式云存储：非结构化数据存入hdfs中，结构化数据存入hbase中。
[0090]
步骤8、多模态特征联合精准检索：行人图像之间的相似度计算主要用于行人图像之间依据其属性或者特征的相近程度进行打分，并且根据分数的高低来判断行人图像整体内容的近似程度。
[0091]
步骤9、筛查搜索结果：如果不是需要的行人图片，可以分语义或者已搜索的图片进行二次检索、三次检索或者更多次，直至找到布控需要的图片。
[0092]
步骤10、对目标行人进行布控，对已经查到的行人图片或者特征语义下达布控任务。
[0093]
步骤11、对目标行人进行告警：如果在目标行人在某一监控点下出现，系统会出现声音或者短信告警。
[0094]
步骤12、对目标行人轨迹回放。