一种人群场景中全局和局部异常行为检测方法与流程

本发明属于图像处理
技术领域：
，尤其涉及一种人群场景中全局和局部异常行为检测方法。
背景技术：
：视频监控设备已广泛应用于交通路口、商店、银行、地铁车站和学校等公共场所，以保障社会安全。通过视频监控可以很容易地记录在摄像机监视的视频中的情况。然而，对于大多数现有的监控系统，不能自动检查异常事件，并且一个人不可能在任何时候都监视监控器。由于监控设备通常安装在公共场所，因此人群行为分析一直是计算机视觉研究领域的一个新热点。由于遮挡现象，个体行为分析的经典方法不能用于拥挤的场景。拥挤地区的视频监控对公共安全起着越来越重要的作用。本发明提出了一种基于人群运动特征的拥挤场景中的异常检测新方法。在日常生活中，我们遇到的大多数行为，如行人走在人行道上或站在地铁站的人，都是正常的。然而，有些行为，如人们突然向四面八方散射，一辆超速行驶的汽车出现在人行道上，或者人们打架，与我们经常看到的不同，因此他们被视为异常的行为。总的来说，异常行为很少以不同的形式出现。因此，异常行为检测就是从正常的事件中识别出这些异常事件，这是一个二分类问题。这个问题分为全局异常行为检测(gaa)和局部异常行为检测(laa)。对于全局异常行为检测，在同一场景的同一时刻只存在异常行为或正常行为。对于局部异常行为检测，正常行为和异常行为同时出现在一个场景中。技术实现要素：本发明所要解决的技术问题在于克服现有技术的不足，提出一种人群场景中全局和局部异常行为检测方法，解决现有的检测方法中忽略各个区域之间的信息差异，对于分散的异常行为存在误检的问题。本发明具体采用以下技术方案解决上述技术问题：一种人群场景中全局和局部异常行为检测方法，具体包含以下步骤：步骤1，输入待检测人群场景图像；步骤2，提取待检测人群场景图像的混合光流直方图；步骤3，对步骤2特征提取的混合光流直方图进行全局异常行为检测，具体如下：步骤3.1，通过两个稀疏表示过程分别判断特征提取后的图像是否异常；步骤3.2，用模糊积分对两个稀疏表示过程的判断进行处理，进而得出结果；步骤4，对步骤2特征提取的混合光流直方图进行局部异常行为检测，具体如下：步骤4.1，提取输入图像中感兴趣区域的前景；步骤4.2，通过在线加权聚类对感兴趣区域进行局部异常检测；步骤4.3，采用多目标跟踪的方法滤除噪声；步骤5，通过步骤3和步骤4完成多人群场景中全局和局部异常行为检测。作为本发明一种人群场景中全局和局部异常行为检测方法的进一步优选方案，在步骤2中，混合光流直方图hg具体表示如下：hg＝(μ,δ)其中，μ表示光流的期望，δ表示在相同方向的方差，r表示时空容器中有r个持续帧，hi表示第i个光流直方图。作为本发明一种人群场景中全局和局部异常行为检测方法的进一步优选方案，在步骤3.1中，所述两个稀疏表示过程均包含一个动态词典更新的过程，其中，动态词典更新过程的表达式如下：其中，在词典φ中所有元素的src表示为srcdic＝[src1dic,src2dic,...,srcndic]t，下一个样本的src可表示为srcy，m*是词典的样本索引，其到达下一个样本y的距离最小，ωm*是新的将取代词典φ中第m*个样本，bm*是旧词典中第m*个样本；作为本发明一种人群场景中全局和局部异常行为检测方法的进一步优选方案，两个稀疏表示过程的稀疏表示的公式如下：其中，src为稀疏重构代价，x表示特征权重的系数，y为特征乘以权重系数后的表达式，λ为参数，φ为词典，||||2为欧式距离，||x||1为l1范数。作为本发明一种人群场景中全局和局部异常行为检测方法的进一步优选方案，所述步骤4.1具体包含如下步骤：步骤4.11，通过高斯混合模型方法对输入图像进行背景建模，把感兴趣的前景提取出来；步骤4.12，通过滑动窗口扫描检测当前帧的前景和感兴趣区域ri，再提取区域中的混合光流直方图特征，且ri＝{di,li}，其中，di和li分别对应混合光流直方图特征和空间位置。作为本发明一种人群场景中全局和局部异常行为检测方法的进一步优选方案，所述步骤4.2具体包含如下步骤：步骤4.21，将一帧图像的空间位置分为2l-1×2l-1个网格，其中，l是间隔尺寸级；步骤4.22，在每个网格中我们通过owc算法对一定时间内的运动特征进行建模：其中，网格中的聚类更新具体如下：ωk←ωk+α(ok-ωk)ck←ck+ok(α/ωk)(di-ck)其中，为权重，ck是一个网格中k聚类的质心，α是学习率，且0<α<1，若从di到ck的欧式距离小于阈值θ，则把ok设为1，否则把ok设为0；步骤4.23，将属于正常聚类的hohfs认为具有较大的权重，将属于异常聚类的hohfs认为具有较小的权重，将聚类由ωk降序排序，则定义第一个聚类b为正常，即其中，δ是决定聚类中最小能定位正常hohfs的阈值；如果di能够匹配第一个聚类b中的一个，则它被检测为正常，否则为异常。作为本发明一种人群场景中全局和局部异常行为检测方法的进一步优选方案，所述步骤4.3多目标跟踪如下：步骤4.31，在时刻t时，获得一组轨迹：t＝{t1,...,tm}，其中ti＝{xi,t-1,pi,t-1,a,h,q,r}；m为所获得的轨迹总数，xi,t-1和pi,t-1为t-1时刻的估计状态和估计状态协方差，a是状态转移矩阵，h是测量矩阵，q是过程噪声协方差，r是测量噪声协方差；步骤4.32，通过连通分量标记算法从检测到的异常rois的前景像素中提取一系列新的块，其中块的质心定义为z＝{z1,t,...,zn,t}；步骤4.33，对一个已存在的轨迹ti，使用t-1时刻的估计状态xi,t-1和估计状态协方差pi,t-1来预测它的新状态^xi,t和状态协方差^pi,t；具体计算如下：其中，a状态转移矩阵，q是过程噪声协方差；步骤4.34，通过门控计算将关联现有轨迹ti和zj,t来起到多目标跟踪的效果。本发明采用上述技术方案，能产生如下技术效果：1、在特征级，本发明提出了一种新的名为混合光流直方图的描述符，对于全局异常行为检测由两个稀疏进程组成，每个进程都有一个动态词典更新的过程，两个稀疏过程给出两个概率，最后的结果通过模糊积分判断；2、对于局部异常行为的检测，先提取感兴趣区域的小方块，然后用在线加权聚类的算法进行判断，最后采用多目标跟踪的方法对噪声进行滤波；3、本发明提出的方法能避免光照变化的阴影的干扰，能准确检测出全局异常和不同类型的局部异常行为，具有一定的鲁棒性，有效性。附图说明图1为本发明方法流程图；图2为umn数据集中三种不同场景下的实验结果示意图；图3为umn数据集中的全局异常行为检测的roc曲线；图4(a)为ucsd数据集中的ped1实验结果示意图；图4(b)为ucsd数据集中的ped2实验结果示意图；图5为ped1数据集中局部异常行为检测的roc曲线；图6为ped2数据集中局部异常行为检测的roc曲线。具体实施方式下面结合附图对本发明的技术方案进行详细说明：本发明的目的是提供一种新的全局和局部异常行为检测方法，其实现思路为：提出了一种新的描述符名为混合光流直方图的特征。对于全局异常行为的检测有两个稀疏过程，一个判断区域是否正常，另一个判断区域是否异常，每个进程都有一个动态词典更新的过程，两个稀疏过程给出两个概率，最后用模糊积分对这两个判断进行处理，得到该区域的最终结果。对于局部异常行为检测，先提取感兴趣区域的前景，然后通过在线加权聚类进行检测，用多目标跟踪的方法滤除噪声。本发明方法流程图如图1所示。其中，特征提取的方法：首先把视频帧分成若干大小相同的小方块，并且沿时间轴的连续帧中的同一位置几个这样的小方块构成一个容器。对于时空容器中的每一块，计算光流的分布信息，其光学矢量可以表示为f(x,y)＝(vx(x,y),vy(x,y))，这里vx(x,y),vy(x,y)表示光流沿x轴，y轴，因此，光流在(x,y)上的大小可以表示为：它的方向可以表示为：所有像素的光流方向可以在[0,360°)范围内被分为b个相等的区域，像素对范围内光流的贡献是：这里bk是第k个范围的方向，1≤k≤b。对于时空容器中的每一块，计算了沿b方向的光流分布信息，并且可以得到直方图h＝(g1,g2,...,gb)∈r1*b，然后，针对同一时空容器和不同帧中的一系列小方块，计算期望值和方差。假设在时空容器v中有r个持续帧，计算这些帧的光流直方图，它们的期望和方差如下：这里μk(1≤k≤b)表示光流在第k个方向的期望，δk(1≤k≤b)表示在相同方向的方差，其中μ＝(μ1,μ2,...,μb)∈r1*bandδ＝(δ1,δ2,...,δb)∈r1*b。较大的方差值导致更明显的光流速度变化。此外，还记得速度的变化是加速度，因此，k方向加速度的值可以表示为α∝δk(1≤k≤b).我们结合直方图中的期望和方差来描述局部时空容器中的运动特征，直方图可以表示为hg＝(μ,δ)。描述符叫做混合光流直方图。与普通特征提取相比，我们的方法是计算光流在方向和大小上的变化，从而形成加速度信息，从而提高运动状态的表达。稀疏重构的方法：视频帧通常用一系列的特征来表示b＝[h1,h2,...,hn]，这里n是重要特征的总量。为了表示具有高维特征的视频样本，稀疏表示提供了一种合理的方法。把这些特征乘以一组表示特征权重的系数，我们就可以得到：y＝[h1x1,h2x2,…,hnxn]t(6)这里x1,x2,...,xn是系数。为得到最佳的系数组，应该使足够小，这意味着我们需要建立一个优化问题，表示为：这里l2范数||||2表示欧式距离。用矩阵φ表达特征，公式7为：在确定样本时，为了使用较少的特征，系数矢量x中必须有一些0元素。l0范数||x||0被添加到公式8中：l0范数计算非零元素个数，因此，公式9用最少的特征计算最佳的系数组。用l1范数来代替l0范数具有相同的效果，在这里：公式10是稀疏表示的最终形式。其中x*是重建系数。我们将其修改为公式11，并将稀疏重建成本表示为公式12。正常帧重构代价较小，而异常帧通常产生较大的重建代价。因此，可以采用src作为一类分类问题的异常度量。动态词典的更新：词典更新的目的是使词典更准确地描述正常样本。初始词典只包含训练数据的正常样本，我们试图在词典中添加一些测试样本的正常样本，以便词典能更好地处理测试数据。我们解决了如何选择广泛样本来更新词典的问题。在选择了足够的样本来建立词典φ＝[b1,b2,...bn]t后，判断即将到来的样本是否正常。在词典的维度不变的情况下，应增加各种正常样本。扫描字典，找到一个与这个正常样本相距距离最小的样本，将其帧合并到词典中。这里的距离是用稀疏重建成本来衡量的，在词典φ中所有元素的src表示为srcdic＝[src1dic,src2dic,...,srcndic]t，下一个样本的src可表示为srcy，动态词典更新表示为：这里m*是词典的样本索引，其到达下一个样本y的距离最小，ωm*是新的将取代词典φ中第m*个样本。bm*是旧词典中第m*个样本。所述双稀疏表示的过程：本发明中的双稀疏表示是一个包含两个稀疏表示过程的系统。词典中只包含正常基，另一个词典的建立包含由第一个稀疏表示过程得到的异常样本。异常词典可以由非常低概率的基组成。第二个稀疏表示的方程是：这里φab是异常词典，公式14和15与公式11和12没什么不同，但新词典φab与正常词典φ相似需要一个动态词典更新的过程，各种异常样本被添加到词典中。首先测试视频中的几个测试样本是否正常。如果样本正常，φ则会更新。当样品如果判断为异常则被添加到φab。在φab建立后，之后到来的样本会有两个稀疏过程分别判断，这两个稀疏过程是并行的。最后用模糊积分给出判断。作为最终结果，更新过程必须继续下去。如果最终的结果是正常的，则把测试结果添加到φ中去，否则添加到φab中。所述感兴趣区域前景的提取：通过高斯混合模型(gmm)方法进行背景建模之后，滑动窗口用于扫描检测到当前帧的前景和感兴趣区域(roi)可能和局部异常行为有关。具体而言，对于滑动窗口内的所有像素，如果前景像素的比例大于阈值，则窗口被高亮显示为roi。可以看出，这一过程过滤大部分的背景，降低了计算成本以及提高异常检测的鲁棒性。由于一个异常不只发生在一个帧中，所以我们采用了一个时间为中心的滑动窗口t:{t-n,···,t-1,t,t+1,···,t+n}去提取hohf描述符。除了运动信息，我们还保留每个roi的空间位置(即x和y坐标)。从现在开始，一个roi表示为ri＝{di,li}，这里di和li分别对应hohf和空间位置。这里hohf特征通过捕捉方向和运动强度信息区分运动模式。所述在线加权聚类算法：一帧图像的空间位置被分为2l-1×2l-1个网格，这里l是间隔尺寸级，rois位于相同网格通过在线学习进行聚类。这一步骤有助于克服透视失真，这可能导致提取特征的尺度变化。在每个网格中我们通过owc算法对最近时间内的特征进行建模。具体而言，让ω1,...,ωk作为权重，并且c1,...,ck是一个网格中k聚类(k≤t)的质心，这里∑kk＝1ωk＝1，k和t分别是现有聚类的数量和指定的最大聚类数。对于一个新的ri，我们先把它的di分配到一个网格中，在网格中用li和聚类更新如下：ωk←ωk+α(ok-ωk)(16)ck←ck+ok(α/ωk)(di-ck)(17)这里α(0<α<1)是学习率，如果从di到ck的欧式距离小于阈值θ把ok设为1，否则设为0。如果没有现有聚类匹配di，则产生一个新的聚类ωk+1＝α和ck+1＝di。如果k<t，新的聚类被添加到现有的聚类中。如果k＝t，最小权重ωk的聚类被新的聚类替代，权重在这一步后重整。通常属于正常聚类的hohfs被认为具有较大的权重，然而表示异常的聚类具有较小的权重。因此，如果聚类是由ωk降序排序，我们定义第一个b聚类为正常：这里δ是决定聚类中最小能定位正常hohfs的阈值。换言之，如果di能够匹配第一个聚类b中的一个，则它被检测为正常，否则为异常。该算法的一个重要优点是它是自适应的。从公式16我们得出一个结论，表示正常hohfs的一个聚类如果它不能匹配一个新的di以logδ/log(1-α)为原则更新，则它将被认为是一个异常的聚类。同样的，如果我们总是检测一些相似的异常hohfs，代表这些hohfs聚类的权重就会逐渐增加最终变成正常聚类。所述多目标跟踪算法：尽管我们检测到每帧视频中异常的rois，由于运动物体严重遮挡。仍然有一些错误和丢失的检测。假设一个异常事件出现在一个连续的时空位置，我们采用了简化的mtt算法来提高检测性能。在时刻t时，我们可以获得一组轨迹t＝{t1,...,tm}，其中每个轨迹的状态由卡尔曼滤波器建模。定义为ti＝{xi,t-1,pi,t-1,a,h,q,r}。与此同时，我们通过连通分量标记算法从检测到的异常rois的前景像素中提取一系列新的块。这些块的质心定义为z＝{z1,t,...,zn,t}。对一个已存在的轨迹ti，我们首先使用t-1时刻的估计状态xi,t-1和估计状态协方差pi,t-1来预测它的新状态^xi,t和状态协方差^pi,t：这里a状态转移矩阵，q是过程噪声协方差。接下来，通过门控计算将关联现有轨迹ti和zj,t。具体来说，构造距离矩阵d，这里dij是ti和zj,t之间马氏距离平方的度量：这里zj,t是块j在时刻t的质心，h是测量矩阵，r是测量噪声协方差。当且仅当dij≤g时，我们把候选的zj,t和轨迹ti关联。这里g是门控大小。当门内有多个块时，我们采用全局最近邻(gnn)方案将最近的块分配给轨迹。由于稀疏的分布块和提出的异常检测器鲁棒，它在我们的方法中效果很好。一个块可以分配给现有的轨迹，也可以启动一个新的轨迹。如果一个块zj,t被分配给现有轨迹ti，轨迹被更新如下：这里k是卡尔曼收益，i是单位矩阵。如果没有块被分配给现有轨迹ti，轨迹被更新为：如果在一定数量的帧中没有为其分配块，则删除现有的轨迹，根据轨迹长度，该轨迹可能消失或噪声。为了测试我们提出的方法的效果，该算法被应用在几个已发布的数据集中。本发明采用umn数据集来测试我们全局异常行为检测中的算法性能，而ucsn数据集用于在处理局部异常行为时对算法性能进行测试。在umn数据集中的实验结果：umn数据集由两个户外场景和一个室内场景组成，每个场景下包含几个人群快速逃生行为。总帧数为7,739，分辨率为320×240。对于每个场景，我们使用500到1600个正常帧进行训练，其余帧用于测试。实验中把特征提取时的参数r设为4，b设为8。相对而言，与其他数据集比较umn数据集是相当简单的，所以目前的异常检测算法很好地执行这个数据集。图2给出的是本发明算法在三个不同场景下的正常和异常的实验结果图。图像结果的标注在左上方。我们将umn数据集上的三种不同方法进行比较，包括社会力模型socialforcemodel，光流法opticalflow和条纹线表示法streaklinerepresentationmethod。roc曲线如图3所示。roc曲线显示的真正类率(truepositiverate，tpr)和假正类率(falsepositiverate，ftr)。tpr为正确标注帧的比例，fpr为错误标注帧的比率。表1是本发明所提出的方法的auc值和eer值和其余方法的比较。表1methodauc(％)eer(％)opticalflow8324socialforce93.812.6spm96.213.5ourmethod97.513.2从图表中可以看出，在三种场景下正常和异常的行为，并把人群突然向四周扩散在右上角标注为异常行为，从roc曲线、auc和eer的值可以看出本发明的算法较其它三种方法有一定的优越性、鲁棒性、有效性。在ucsd数据集中的实验结果：我们对ucsd数据集进行了局部异常行为检测的实验，该数据集包含两个不同行人通道的子集。第一组，表示为“ped1”，具有34个训练剪辑和36个测试剪辑，每个具有158×238分辨率，固定的长度为200帧。而第二个被表示为“ped2”，具有16个训练剪辑和12个测试剪辑，每个测试剪辑的分辨率为240×360，长度从120到180帧不等。实验中，我们应用具有1/2重叠的20×10滑动窗口来提取roi，两者的时间长度设置为6。参数θ设为0.15，n＝8,l＝4,t＝15,andα＝0.001。同样的图4(a)是ped1的实验结果，图4(b)是ped2的实验结果，图5和图6是本发明所使用的方法同其他三种方法：基于社会力模型的方法(socialforce)，基于增量编码长度(incrementalcodinglength，icl)，基于混合动态纹理的分层条件随机场的异常检测(aconditionalrandomfieldwithahierarchicalmixtureofdynamictexture，h-mdt-crf)在ped1和ped2上的roc曲线的比较。表2是这四种方法的auc值和eer值的比较。表2从图表中可以看出，在ped1和ped2数据集中，人群中滑滑板，骑车，小汽车，行人踏入草坪被正确标注为红色，测试结果和当前使用比较广泛的异常行为检测方法的roc曲线、auc和eer值对比，在性能方面充分证明本发明提出方法的优越性。当前第1页12