专利名称：复杂场景下的群体运动模式检测方法
技术领域：
本发明属于计算机视觉、智能信息处理领域。主要涉及一种视频监控内容智能分析方法，具体是一种复杂场景下的群体运动模式检测方法。
背景技术：
随着全球对于公共安全的关注不断增加，公共场所的监控设备越来越多，安防和监控需求也越来越多。因此，对于规模庞大的监控信息的处理，和人类 运动行为和事件的分析，受到了越来越多国内外学者的关注，成为了近些年计算机视觉研究领域的一个热点话题，也取得了很多的成果。所谓复杂场景，一般是指场景中包含较多物体且分布零散不规则，是相对于那些背景单纯的场景而言的。与传统的运动行为分析相比，复杂场景的群体运动分析存在着诸多新的挑战。场景相对复杂，目标相对弱小，遮挡现象极其严重等问题，使得传统方法中的目标检测和目标跟踪都难以实现，自然也无法进行之后的运动行为分析。因此，对于多目标的运动分析，分成了基于个体和基于整体两个方向。前者适用于目标个数较少的情况，可以采用改进后的传统算法进行目标的检测和跟踪，然后利用得到的信息进行运动行为分析和建模；后者则适用于密度较高的群体场景。本发明则是属于后者的情况，不再针对每个目标进行研究，而是将整个群体作为研究对象，从总体上进行研究分析。关于群体运动模式的分析，国内外的学者已经做了一定的工作，但是并没有成熟的可以投入使用的系统。一般来说，群体运动模式是指具有同类运动特征的运动流的集合，能够反应出群体运动的特点和某种形态。通常的表现形式是含有运动信息的运动路径或运动区域，比如有颜色的曲线，其中颜色表示不同的方向信息，而曲线表示运动的路径。对于运动模式的检测，基本上遵循了 3个步骤1)特征的检测；2)特征的运动信息提取；3)运动模式/行为/事件的识别和建模。很多时候，在运动模式检测完成之后，可以进一步实现对异常行为/事件的检测。对于特征的检测，常用的方法有角点检测、SIFT、KLT关键点检测等；对于运动信息的获取，常用的方法是光流法和时空梯度法检测；而根据特征检测和运动信息提取的方式和内容不同，运动行为的建模方式的种类也不相同，常见的有最大熵模型、方向直方图模型、隐马尔可夫模型、运动动能模型、主题模型等。虽然现在已经提出了一些关于群体分析的方法，但是还存在一些问题。一方面现有的方法太偏重理论性，在真实的复杂的场景下，难以实现预期的结果；另一方面，现有的方法的运算量较大，计算代价很高。本发明考虑到这些问题，针对现实复杂场景的情况，提高算法实用性，同时优化算法的检测效率。
发明内容
本发明将视频区域划分成单元格，采用LK光流法对运动信息进行提取，之后以单元格为单位，对运动信息进行统计分析，使用方向直方图和速度直方图对每个单元格的运动模式进行建模，然后在根据相邻单元格之间的运动流进出关系，进行单元格运动模式优化矫正以及单元格的语义学习，最后综合所有单元格运动模式，生成全局运动模式以及全局语义区域。本发明技术方案如下一种复杂场景下的群体运动模式检测方法，包括如下步骤A1-A4 Al、获取监控视频；A2、使用背景差分法获取运动区域，首先使用Harris角点检测方法获取视频序
列中弟t巾贞易于跟S示的点，Pt = {pi = (Xp Yi) IO ^ i ^ NfeaturepointsI，其中N
featurepoints 是为
Harris角点检测方法设定的数量上限阈值；将这些点作为特征点，使用LK光流法对这些特征点进行跟踪并对结果进行计算，可以得到第t巾贞的特征向量Vt = Ivi = (X^yijUi, V^ai,m) |0彡i彡Nfeatur_nts},其中(U^vi)是运动向量Ai是Vt的方向角度,Hii是运动向量的大小。之后我们设定阈值Mmax和Mmin，作为运动向量大小的阈值，将所有Hii ( Mmil^Pmi ^ Mmax的向量判定为噪声并去除；将视频中所有帧跟踪得到的特征向量组成一个集合，采用高斯ART方法进一步减少该集合中特征向量的数量，以减少计算量；将视频区域划分成MXN个大小相等的单元格，使得该集合中的特征向量分别属于这些单元格；对每个单元格内的特征向量进行统计，建立这些特征向量的方向直方图Hi,」A3、对单元格内的运动信息进行优化；设直方图Hq中的最大值为hmax，即表示这个方向的特征向量数量是最多的；设定Xhmax(ο < λ < I)为阈值，若某个方向的特征向量数量大于该阈值，认为这个方向是其对应单元格的主运动方向；统计每个单元格相邻的8个单元格中，指向该单元格的主运动方向所含特征向量的数量，将其总和nin作为单元格的流入向量数；将每个单元格所含的主运动方向的特征向量数量的总和记作Iut作为单元格的流出向量数；比较单元格的流入向量数和流出向量数，若Iut > > nin,即该单元格流出向量数远远大于流入向量数，判定该单元格为“出口”类型的单元格；若11_ <<nin,即该单元格流入向量数远远大于流出向量数，判定该单元格为“入口”类型的单元格；否则判定该单元格为“路径”类型的单元格；A4、根据单元格的运动信息建立全局运动模式将相邻的“出口”类型单元格合并，形成“出口”;将相邻的“入口 ”单元格合并，形成入口 ；从“出口 ”出发，依照单元格的主运动方向，依次连接相邻的“路径”类型单元格，形成“路径”;一个“出口 ”，一个“入口 ”，以及能够连接它们的最短“路径”形成一种运动模式，用不同的颜色表示不同运动模式所包含的单元格。所述的方法，所述步骤A3中的单元格内运动信息优化包括如下步骤步骤SI :利用单元格的方向直方图获得单元格的主运动方向；步骤S2 :根据相邻单元格的运动流主方向，统计该单元格的运动流进出情况；步骤S3 :根据单元格间的运动流关系，判断单元格的语义类型。所述的方法，所述步骤A4中的建立全局运动模式包括如下步骤步骤SI :根据单元格的语义类型，对单元格进行合并，形成语义区域；步骤S2 :根据相邻单元格的关联关系以及语义区域的关联关系，绘制出不同类型区域及区域之间路径的可视化表示。本发明使用光流法对真实监控下的公共场所这样的人群密度较大的复杂场景进行运动信息提取，并用单元格的形式将这些信息区域化。本发明以单元格为基本对象，对运动模式进行监测分析，并进一步进行语义区域判定。本发明解决了传统的运动模式分析方法无法适用于这种遮挡严重、目标众多的复杂场景的问题，为公共场合的监控和安防提供了智能化支持。
图I是本发明的运行流程示意图；图2是原始视频截图；图3是特征点提取图；图4是瞬时特征向量图；图5是特征向量场；
图6是将视频区域划分成单元格；图7中A、B、C、D分别表示了检测出的4种运动模式；
具体实施例方式以下结合具体实施例，对本发明进行详细说明。实施例I :本发明是一种复杂环境下的群体运动模式检测方法，主要针对商场、车站等人群较为密集的公共场所。利用计算机视觉技术分析和检测特定场景的人群运动模式，为后续的异常检测、场景理解或是人为监控提供支持。图I本发明的方法流程图，复杂场景下的群体运动模式检测方法，包括如下步骤A1-A4 Al、获取监控视频，该视频的大小为480X360像素，图2是该视频的原始截图；A2、使用背景差分法获取运动区域，在运动区域内利用Harris角点检测算法提取特征点，利用LK光流法对这些特征点进行跟踪，得到特征向量。运动信息的提取是后续工作的基本前提，而在复杂环境下的群体运动信息的提取由于目标弱小、遮挡等问题，传统的方法会遇到诸多的限制，甚至难以实现。本发明没有对背景进行建模，因为复杂群体环境下，要对背景进行建模或者进行其它处理都要花费很大的代价，而且在之后的步骤中会对运动信息进行去噪，所以即使不进行背景处理，也不会对最后结果产生影响。首先使用Harris角点检测方法获取视频序列中第t帧易于跟踪的特征点，如图3中的白色圈即为检测到的该帧图像的特征点。Pt = {Pi = (Xi^yi)Nfeatu_nts}，其中Nfeatureptjints是我们为Harris角点检测方法设定的数量上限阈值。将这些点作为特征点，使用LK光流法对这些特征点进行跟踪并对结果进行计算，可以得到第t帧的特征向量Vt =Ivi= (XpyiiUi, Vpapmi) |0 彡 i 彡 NfeaturelrointJ,其中(UiJi)是运动向量，Bi 是 Vt 的方向角度，Hii是运动向量的大小。之后我们设定阈值Mniax和Mniin,作为运动向量大小的阈值，将所有HIi < Mmin和HIi ^ Mmax的向量判定为噪声并去除。图4是视频中某一帧的瞬时特征向量图，白色箭头是该时刻相应特征点的运动特征向量。即使这样，经过一定时间的积累，一段视频序列的总的特征向量数量依然非常多，会使得后期的计算代价太大。所以我们采用高斯ART方法进一步减少特征向量的数量，以减少计算量。图5是该段视频的所有特征向量形成的向量场。将视频区域划分成24X18个单元格，每个单元格的大小即为20X20像素；记录每个单元格中，从视频开始到t时刻所包含的特征向量。例如，第i行第j列的单元区域Celliij前t帧包含的特征向量为Vt^建立其方向直方图模型统计“上、右上、右、右下、下、左下、左、左上”这8个方向的特征向量的数量。A3、进一步对单元格内的运动信息进行优化。设直方图Ht_u中的最大值为hmax，即表示这个方向的特征向量数量是最多的，为hmax。我们设定Ahmax(0< λ < I)为阈值，若某个方向的特征向量数量大于该阈值，我们认为这个方向是其对应单元格的主运动方向，如图6，箭头显示了其对应单元格的主方向。某个单元格的主运动方向可能是一个，也可能是多个。主运动方向表明了该单元格所包含内容所运动的方向，所以，我们认为下意识该单元格内的运动流将会运动至其主要方向所对应的相邻单元格。例如，单元格Celliij的主运动方向为“右”，那么我们认为下一时刻，单元格Celli,」内的运动流应该进入了单元格celli+1,
统计每个单元格相邻的8个单元格中，指向该单元格的主运动方向所含特征向量的数量， 将其总和nin作为单元格的进入向量数；将每个单元格所含的主运动方向的特征向量数量的总和记作η_。比较单元格的流入和流出数量，若η- >> nin,即该单元格流出的数量远远大于流入的数量，判定该单元格为“出口”类型的单元格；若11_ << nin，即该单元格流入的数量远远大于流出的数量，判定该单元格为“入口”类型的单元格；否则判定该单元格为“路径”类型的单元格。A4、根据单元格的运动信息建立全局运动模式。将相邻的“出口”类型单元格合并，形成“出口 ” ；将相邻的“入口”单元格合并，形成入口；从“出口”出发，依照单元格的主运动方向，依次连接相邻的“路径”类型单元格，形成“路径”;一个“出口 ”，一个“入口 ”，以及能够连接它们的最短“路径”即表示一种运动模式。图7的4个小图分别表示了检测到的4种运动模式。实施例2 本发明所述步骤A3中的单元格内运动信息优化包括如下步骤步骤SI :利用单元格的方向直方图获得单元格的主运动方向；步骤S2 :根据相邻单元格的运动流主方向，统计该单元格的运动流进出情况；步骤S3 :根据单元格间的运动流关系，判断单元格的语义类型。根据之前计算的每个单元格的方向直方图，我们将8个方向中特征向量数量大于设定阈值的方向成为主运动方向。之后，根据每个单元格其8个相邻单元格的主运动方向，计算该单元格的运动流进入数量。例如图2中，第i行第j列的单元格，记作cell [i，j]，其相邻的8个单元格中，主运动方向指向它的是单元格cell [i-1，j-Ι]和cell [i，j-1]，所含的特征向量数量分别是nl和n2,所以流入单元格cell [i, j]的运动流数量为nin = nl+n2。而单元格cell [i, j]的主运动方向有两个,分别包含n3和n4个特征向量,所以,流出该单元格的运动流数量为= η3+η4。通过比较每个单元格的流入向量数量nin和流出向量数量,若>> nin,即该单元格流出的数量远远大于流入的数量，判定该单元格为“出口”类型的单元格；若η-< < nin,即该单元格流入的数量远远大于流出的数量，判定该单元格为“入口 ”类型的单元格；否则判定该单元格为“路径”类型的单元格。实施例3
本发明所述步骤A4中的建立全局运动模式包括如下步骤步骤SI :根据单元格的语义类型，对单元格进行合并，形成语义区域；步骤S2 :根据相邻单元格的关联关系以及语义区域的关联关系，绘制出不同类型区域及区域之间路径的可视化表示。由步骤3，我们得到了单元格的语义类型，然后我们将相邻的“出口”类型的单元格、“入口”类型的单元格分别合并生成“出口”区域和“入口”区域。之后我们从“出口”区域出发，将“路径”类型的单元格连接起来，形成“路径”区域，连接的条件是“当前单元格主运动方向指向的相邻单元格”。之后，我们将一个“入口”区域和一个“出口”区域，以及能够将他们连接起来的所有“路径”部分，称为一个运动模式。最后，用不同的颜色表示出不同 的运动模式。应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
权利要求
1.一种复杂场景下的群体运动模式检测方法，其特征在于，包括如下步骤A1-A4 Al、获取监控视频； A2、使用背景差分法获取运动区域，首先使用Harris角点检测方法获取视频序列中第t 帧易于跟踪的点，Pt = Ipi = (xi; Yi) |0 彡 i 彡 NfeaturelrointJ，其中 Nfeaturelroints 是为 Harris角点检测方法设定的数量上限阈值；将这些点作为特征点，使用LK光流法对这些特征点进行跟踪并对结果进行计算，可以得到第t巾贞的特征向量Vt = Ivi = (Xi, yi； Ui, Vi, ai；m) |0彡i彡Nfeatur_nts},其中(U^vi)是运动向量Ai是Vt的方向角度,Ini是运动向量的大小。之后我们设定阈值Mmax和Mmin，作为运动向量大小的阈值，将所有Hii ( Mmil^Pmi ^ Mmax的向量判定为噪声并去除；将视频中所有帧跟踪得到的特征向量组成一个集合，采用高斯ART方法进一步减少该集合中特征向量的数量，以减少计算量；将视频区域划分成MXN个大小相等的单元格，使得该集合中的特征向量分别属于这些单元格；对每个单元格内的特征向量进行统计，建立这些特征向量的方向直方图Hi,」 A3、对单元格内的运动信息进行优化；设直方图Hi, j中的最大值为h_，即表示这个方向的特征向量数量是最多的；设定Xh_(0< A < I)为阈值，若某个方向的特征向量数量大于该阈值，认为这个方向是其对应单元格的主运动方向；统计每个单元格相邻的8个单元格中，指向该单元格的主运动方向所含特征向量的数量，将其总和nin作为单元格的进入向量数作为单元格的流入向量数；将每个单元格所含的主运动方向的特征向量数量的总和记作IVlt作为单元格的流出向量数；比较单元格的流入向量数和流出向量数，若IVlt >>nin，即该单元格流出向量数远远大于流入向量数，判定该单元格为“出口”类型的单元格；若nout<<nin,即该单元格流入向量数远远大于流出向量数，判定该单元格为“入口”类型的单元格；否则判定该单元格为“路径”类型的单元格； A4、根据单元格的运动信息建立全局运动模式将相邻的“出口”类型单元格合并，形成“出口 ”;将相邻的“入口 ”单元格合并，形成入口；从“出口”出发，依照单元格的主运动方向，依次连接相邻的“路径”类型单元格，形成“路径”;一个“出口 ”，一个“入口 ”，以及能够连接它们的最短“路径”形成一种运动模式，用不同的颜色表示不同运动模式所包含的单元格。
2.根据权利要求I所述的方法，其特征在于，所述步骤A3中的单元格内运动信息优化包括如下步骤 步骤SI :利用单元格的方向直方图获得单元格的主运动方向； 步骤S2 :根据相邻单元格的运动流主方向，统计该单元格的运动流进出情况； 步骤S3 :根据单元格间的运动流关系，判断单元格的语义类型。
3.根据权利要求I所述的方法，其特征在于，所述步骤A4中的建立全局运动模式包括如下步骤 步骤SI :根据单元格的语义类型，对单元格进行合并，形成语义区域； 步骤S2 :根据相邻单元格的关联关系以及语义区域的关联关系，绘制出不同类型区域及区域之间路径的可视化表示。
全文摘要
本发明公开了一种复杂场景下的群体运动模式检测方法，包括如下步骤A1-A4A1、获取监控视频；A2、使用背景差分法获取运动区域；A3、对单元格内的运动信息进行优化；A4、根据单元格的运动信息建立全局运动模式。本发明使用光流法对真实监控下的公共场所这样的人群密度较大的复杂场景进行运动信息提取，并用单元格的形式将这些信息区域化。本发明以单元格为基本对象，对运动模式进行监测分析，并进一步进行语义区域判定。本发明解决了传统的运动模式分析方法无法适用于这种遮挡严重、目标众多的复杂场景的问题，为公共场合的监控和安防提供了智能化支持。
文档编号G06T7/20GK102708573SQ20121004683
公开日2012年10月3日 申请日期2012年2月28日 优先权日2012年2月28日
发明者侯晓慧, 刘志镜, 周鸿 , 唐国良, 姚勇, 屈鉴铭, 王韦桦, 袁通, 贺文骅, 陈东辉 申请人:西安电子科技大学