一种面向监控视频的关联可视分析方法
【技术领域】
[0001] 本发明属于计算机应用技术领域，具体涉及一种面向监控视频的关联可视分析方 法。
【背景技术】
[0002] 随着科技的发展，视频监控技术也得到了飞速的发展，同时视频监控的画面的信 息也呈海量式增长，超越了人力有效的处理范围，使得人们要从中找到有效的监控信息如 同大海捞针，需要耗费大量的时间，人力和物力。如何有效的对监控视频内容进行滤除冗 余信息，快速的查找、定位、分析关联关系等问题，已经成为了当下计算机领域里的热点 研宄问题，已有大量的科研及应用开发人员针对监控视频可视分析的应用进行了研宄开 发，其中一种方式是对监控视频进行预处理，对监控视频的监控对象及背景进行一定的 分析，构建起监控视频的内容中间索引结构，实现对监控视频内容的快速定位浏览（参考 文献：BagheriS,ZhengJY.TemporalMappingofSurveillanceVideo[C]//Pattern Recognition(ICPR), 201422ndInternationalConferenceon.IEEE, 2014:4128-4133.) 〇 通过构建起的中间结构，将视频内容的时空次序打乱，实现非线性的索引结构，为用以提供 快速浏览和定位的功能。
[0003] 但是这样的方式在解决海量的监控视频内容查找及分析问题上时仍旧存在大量 的问题。首先，由于这种方式并未对监控对象进行进一步的处理，只是将识别的监控对象依 据时间或空间的关系进行展示，而从海量的监控视频中识别得到的监控对象的数量之多， 仍旧远远超过了人能处理的范畴，要从中找到关键对象及内容依旧非常困难；其次，对监控 视频进行分析的过程往往需要根据不同的对象和内容进行来回查找，而不是简单的查看浏 览，对监控对象进行一定的关联分析将提高整个分析过程的效率；最后，使用静态视频摘要 的方式进行展示，只能从一个维度对视频内容进行展示，不能完全实现将时空打乱重组进 行展示的目的，不利于对监控视频的内容进行深度的分析。
【发明内容】
[0004] 本发明的目的在于提供一种面向监控视频的关联可视分析方法，对多个监控视频 的内容进行联合关联分析，以达到去除监控视频中大量冗余片段的同时提取出监控视频中 的场景和对象等信息，并从大量的监控视频中挖掘出不同的监控对象之间的潜在的关联关 系的目的，再通过有效的可视化形态和高效、自然的交互方式来展现提取的视频结构及关 联关系，辅助用户对监控视频进行分析、查找等处理。
[0005] 为实现上述目的，本发明采用如下的技术方案：
[0006] 一种面向监控视频的关联可视分析方法，其步骤为：
[0007] 1)构建监控视频的背景模型
[0008] 利用混合高斯模型对监控视频中的每一幅帧图像的每一个点进行混合高斯建模， 该混合高斯模型中使用K(此处我们取K= 3,即对像素点的RGB颜色模型下的每个分量构 建一个高斯分布）个高斯分布统计视频帧中同一像素点的特征，得到t时刻对应帧的背景 概率密度函数：
【主权项】
1. 一种面向监控视频的关联可视分析方法，其步骤为： 1) 从每一所选监控视频中分别提取出监控场景和监控对象信息； 2) 对提取出的所述监控对象进行相似度计算，得到不同监控视频中的相同监控对象的 匹配映射关系，构建监控视频的视频内容结构； 3) 根据所述监控视频的视频内容结构构建对象场景矩阵，记录各监控对象在不同监控 场景中出现的次数； 4) 根据给定的时间段条件从所述对象场景矩阵中找出最高场景共现率的若干监控对 象，然后选取一监控对象，将其与所述视频内容结构中的监控对象进行匹配查询返回若干 相似监控对象；或根据给定的场景条件从所述对象场景矩阵中找出监控对象共现率最高的 若干监控场景，然后从监控场景中选取一监控对象，将其与所述视频内容结构中的监控对 象进行匹配查询返回若干相似监控对象。
2. 如权利要求1所述的方法，其特征在于，所述视频内容结构为： 〈Videos〉：： = <DescribeXTime> {<Scene>} <Scene>:: = <Scene_id><Time><Background_img><Location>{<0bject>} <Object): : = <0bject_id> {<Time>} <FeatureXObject_imgXSimilarity_list> <Similarity_list>:: = {<0bject_id>, <0bject_id>,Similarity}； 其中，〈Videos〉结构代表整个监控视频，其包含了具有起始和终止时间的〈Time〉结 构、存储了该监控视频文字描述信息的〈Describe〉结构W及指向场景结构〈Scene〉的 链表；场景结构〈Scene〉包含标示场景实例的唯一标识<Scene_id〉、场景出现的时间段 〈Time〉、地理坐标信息〈Location〉、背景图像〈Backgrountimg〉和指向在该场景中出现 过监控对象的链表{〈object〉};监控对象结构〈object〉包含监控对象的唯一标识结构 <0bject_id〉、提取出的图像特征<Fea1:ure〉、该监控对象所在的图像Object_img、该监控 对象在监控场景出现的时间段〈Time〉W及指向与该监控对象相似的其它对象的链表结构 <Similarity_list〉的指针；<Similarity_list〉是由一系列S元组构成的链表，每个S元 组包含了相似的两个监控对象的〇bject_id和相似值value。
3. 如权利要求2所述的方法，其特征在于，所述图像特征<Fea化re〉包括颜色直方图和 Sift特征。
4. 如权利要求1或2或3所述的方法，其特征在于，采用层级饼状视图作为主视图展示 所述视频内容结构；使用场景时间图展示每个监控对象的发展转移过程；采用详情统计视 图展示某个监控场景中监控对象出现次数的情况统计或者某个监控对象在不同监控场景 中出现次数的统计。
5. 如权利要求4所述的方法，其特征在于，所述层级饼状图为动态的=层饼状图，其中 将采集时间相同的监控视频放到同一时间段扇片下，再在该扇片下划分出不同场景的子扇 片；所述层级饼状图在初始状态为两层；第一层是时间片段层、第二层是场景层，第=层对 象层折叠影藏；其中，第一层中，每一扇片表示一个时间段，通过设定扇片代表的时间间隔， 对所述视频内容结构中的〈Time〉结构的数据进行分裂合并处理，得到需要展示的视频内 容结构；第二层中的每一扇片表示在相应的第一层扇片的时间段下的某个监控场景的监控 内容。
6. 如权利要求5所述的方法，其特征在于，当选中某一扇片时，则所述层级饼状图根据 所述视频内容结构更新为w该扇片为中屯、的层级内容的饼状图，同时将对象层内容展开， 将监控场景下跟踪的监控对象展现在层级饼状图的最外层；当一监控对象被选中展开时， 则根据图像特征计算查找相似的监控对象并排布在所述层级饼状图的第一层，在第二层中 展示设定时间段内共现率最高的监控对象的列表。
7. 如权利要求1所述的方法，其特征在于，所述从监控场景中选取一监控对象，将其与 所述视频内容结构中的监控对象进行匹配查询返回若干相似监控对象的方法为：首先获取 圈选手势的规整图形，再计算该规整图形的内接矩形，并由该矩形来截取当前视频帖相应 位置的图像；然后将圈选图像进行归一化处理转化为统一大小的图像，并计算其在HSV下 的颜色直方图，W及其SIFT特征点作为输入的检索图像特征；最后将该图像的特征与所述 视频内容结构中的所有监控对象的特征进行相似度计算，选取若干相似监控对象返回并展 /J、- 〇
8. 如权利要求1或7所述的方法，其特征在于，所述相似度计算的方法为： 1) 将监控对象的图像归一化为统一大小的图像，然后在HSV颜色空间下提取监控对象 的颜色直方图； 2) 利用SIFT算法提取图像的特征点； 3) 对颜色直方图进行归一化处理，并计算两颜色直方图的相似度； 4) 对图像进行SIFT特征点匹配，并得到SIFT特征匹配相似度 Swr(Mi,M;)=(户营/2,其中Cm表示匹配的特征点数，P1和P2分别表示两个监控对象M1、M2的图像SIFT特征点数； 5) 根据颜色直方图的相似度针和SIFT特征匹配相似度确定两监控对象最终的相似 度。
9. 如权利要求1所述的方法，其特征在于，所述从每一所选监控视频中分别提取出监 控场景和监控对象的方法： 1) 将每一监控视频的前S帖作为训练帖，构建背景模型； 2) 用该监控视频的当前帖与背景模型做差，得到前景像素块，并对前景像素快进行腐 蚀、膨胀处理，得到前景团块； 3) 将当前获得的前景团块与已经跟踪的团块做重叠计算，更新有重叠团块的位置，将 无重叠的团块作为新的前景团块加入到跟踪团块列表中，并使用新的团块对原视频帖进行 分割，获取新的监控对象的图像。
【专利摘要】本发明公开了一种面向监控视频的关联可视分析方法。本方法为：1)从每一监控视频中分别提取出监控场景和监控对象信息；2)对监控对象进行相似度计算，得到不同监控视频中的相同监控对象的匹配映射关系，构建视频内容结构；3)根据视频内容结构构建对象场景矩阵，记录各监控对象在不同监控场景中出现的次数；4)根据给定的时间段条件或场景条件从所述对象场景矩阵中找出对象共现率最高的若干监控对象或监控场景，然后选取一监控对象，将其与所述视频内容结构中的监控对象进行匹配查询返回若干相似监控对象。本发明能够从大量的监控视频中挖掘出不同的监控对象之间的潜在的关联关系，辅助用户对监控视频进行分析、查找等处理。
【IPC分类】G06K9-00, G06F17-30
【公开号】CN104794429
【申请号】CN201510127715
【发明人】马翠霞, 曾德鋆, 王宏安
【申请人】中国科学院软件研究所
【公开日】2015年7月22日
【申请日】2015年3月23日