专利名称：前景物体检测方法和设备的制作方法
技术领域：
本发明涉及视频图像处理技术，更具体地说，本发明涉及一种在已采集的视频图像序列中检测前景物体并消除检测结果中阴影区域的方法及设备
背景技术：
随着计算机技术、图像处理技术的飞速发展，视频被越来越多的应用到社会的各个领域，如视频监控、视频会议等。对视频的分析处理，已成为当前图像处理领域的研究热点，其关键的处理技术就是对视频序列中的运动物体或目标进行检测，其结果通常用于目标跟踪、分类等更高层次的分析与处理。作为运动物体检测的一种有效方法，减背景 (Background Subtraction)算法将场景背景从当前图像中减去以得到运动前景，具有准确定位和不扩大运动区域等优点。但是，通过减背景所得到的运动物体检测结果中，通常会包含跟随前景物体同时运动的投射阴影，直接导致检测结果不准确。由于无法分辨检测结果中阴影和真实前景物体而导致的问题大体可分为两类首先，检测出的前景物体轮廓会因为阴影的存在而发生变形，进而影响物体位置预测和物体分类结果；其次，阴影会导致不同物体轮廓之间发生错误粘连，从而使得对物体数目检测出现错误，这种现象对视频监控领域应用影响极大，例如对场景物体计数和分类。现有技术中，对前景物体检测结果中阴影消除的方法主要有两种一种是使用先验知识的方法，即通过事先获取物体轮廓信息和场景的物理信息达到消除阴影的目的。这种方法对场景和用户均有较高要求，不适于推广应用。另一种方法是不使用先验信息，通过计算场景的空间信息以及透明度，这种方法计算代价大，对系统要求高，很难在实际应用中实现。例如，专利文献1提出了一种使用图像强度信息的阴影消除方法。此专利对前景检测结果中的每个像素点，根据每个像素在当前图像和背景图像中强度信息的差异计算强度互相关值(cross correlation)。对每个像素而言，其强度互相关值是在以当前像素为中心的MxN邻域中计算得到。如果该互相关值大于预设阈值，则该像素即为阴影。但是，强度信息仍然容易受到光线变化影响，并不足以区分阴影区域。专利文献2提出了一种结合阴影消除的运动物体检测方法。此专利提出了两种阴影消除方法纹理分析和拓扑结构分析。在纹理分析方法中，此专利使用纹理特征对检测出的前景物体和背景模型进行比较，如果在同一区域中，前景物体的纹理特征和背景模型有明显区别，则该物体为真实前景物体；反之，则为阴影区域。但是，此专利中每个像素点的纹理特征仅用单个纹理特征值表示。此外，纹理特征的计算也只考虑了像素点自身，没有考虑到区域中相邻像素的影响。并且在该专利中，前景物体检测和阴影检测是两个独立的算法， 并未整合在一起。专利文献3提出了一种检测图像中阴影像素的方法。此专利中，两个HSV颜色直方图被用于阴影检测。对图像中的每个像素均需要计算两个颜色直方图。第一个直方图使用H/S颜色值，第二个直方图使用S/V颜色值。在阴影检测过程中，首先需要引入两个预设线向量；然后对每个像素进行判断，如果其H/S值大于第一个线向量，而S/V值小于第二个线向量，则此像素为阴影。但是，此专利中使用颜色直方图作为特征进行比较，而颜色特征极易受到光线变化的影响。除此之外，该专利是在整个图像中检测阴影区域，并非只针对前景物体的投射阴影，因此容易混淆背景阴影和真实物体的阴影。专利文献1美国专利US 7620266 B专利文献2美国专利US 2009/0060352 Al专利文献3美国专利US 7305127 B
发明内容
如上所述，现有的针对前景物体检测的阴影消除方法都无法有效地适应实际应用的需求。针对现有技术中存在的问题，本发明提出一种新的前景物体检测及阴影消除方法。 在本发明中，阴影区域的定义为该区域并不如真实的前景物体一样具备自身的纹理特征。 阴影区域的纹理特征与其对应的背景区域的纹理特征相似，区别仅仅在于区域中光线强度的变化。简而言之，阴影区域的纹理特征是对应背景区域的纹理特征在光线强度发生改变后的结果。因此，本发明所述方法的基本思想就是通过不同区域纹理特征的差异，区分出前景物体和阴影及背景区域。根据本发明的一个方面，提供一种前景物体检测方法，包括步骤(a)连续采集被监控区域的当前图像，得到包含前景物体的视频图像序列；(b)创建一个由多个纹理直方图组成的背景模型；(c)将所采集的当前图像作为输入图像，对图像中的每个像素计算一个局部纹理直方图；(d)根据每个像素的局部纹理直方图，在背景模型中找到匹配的纹理直方图；以及(e)根据匹配结果将每个像素分类为前景像素点和背景像素点，得到前景图像。所创建的背景模型是一组像素的集合，集合中每个像素被一组自适应的纹理直方图所描述，每个直方图都有一个取值为0到1之间的权值。所述局部纹理直方图是一个在输入图像中以当前像素为中心以艮为半径的区域。根据本发明的方法，还包括步骤(f)利用前景图像和当前输入图像，对背景模型进行更新。根据本发明的方法，所述步骤(d)包括采用相似性度量，对在步骤(C)中得到的局部纹理直方图和背景模型中所有的纹理直方图进行相似性计算；对计算得到的局部纹理直方图与背景模型中所有纹理直方图之间的相似性值，判断是否存在一个或多个相似性值大于预设阈值；当所有相似性值均小于预设阈值时，删除背景模型中权值最小的纹理直方图，并将当前像素的局部纹理直方图加入背景模型中，局部纹理直方图的权值为预设初始权值；以及当存在一个或多个相似性值大于预设阈值时，选择最大相似性值对应的背景模型中的纹理直方图作为当前像素的匹配直方图。其中，相似性度量为任意一种直方图相似性度量方法。所述将局部纹理直方图加入背景模型时，局部纹理直方图的权值为预设初始权值。所述步骤(e)包括将背景模型中的所有纹理直方图按照权值大小降序排列；选出用于描述背景的纹理直方图集合；判断当前像素属于背景像素点或前景像素点；以及输出最后的前景物体检测结果。
所述选出用于描述背景的纹理直方图集合取决于直方图的权值，其中，直方图的权值越大，该直方图被认为用于描述背景的概率越高。所述判断当前像素属于背景像素点或前景像素点包括将当前像素的匹配直方图与选出的用于描述背景的直方图集合中进行比较，如果匹配直方图位于描述背景的直方图集合中，则当前像素属于背景像素点，否则，则当前像素属于前景像素点。所述步骤(f)包括利用当前输入图像，更新每个像素的匹配直方图；以及更新背景模型中所有纹理直方图的权值，其中，提高匹配直方图的权值，降低其他直方图的权值。根据本发明的另一个方面，提供一种前景物体检测设备，包括图像采集模块，用于连续采集被监控区域的当前图像，得到包含前景物体的视频图像序列；背景建模模块，用于创建一个由多个纹理直方图组成的背景模型；纹理直方图计算模块，用于根据所采集的当前图像，对图像中的每个像素计算一个局部纹理直方图；直方图匹配模块，用于根据每个像素的局部纹理直方图，在背景模型中找到匹配的纹理直方图；像素分类模块，根据匹配结果将每个像素分类为前景像素点和背景像素点，得到前景图像。根据本发明的所述的前景物体检设备，还包括背景模型更新模块，用于根据前景图像和当前输入图像，对背景模型进行更新。所述图像采集模块包括一个用于采集视频图像序列的摄像头所述前景物体检测设备的所述直方图匹配模块还包括相似性计算计算模块，采用相似性度量，对纹理直方图计算模块所得到的局部纹理直方图和背景模型中所有的纹理直方图进行相似性计算；比较模块，对计算得到的局部纹理直方图与背景模型中所有纹理直方图的相似性值，判断是否存在一个或多个相似性值大于预设阈值；以及决策模块，当所有相似性值均小于预设阈值时，删除背景模型中权值最小的纹理直方图，将当前像素的局部纹理直方图加入背景模型中，以及当存在一个或多个相似性值大于预设阈值时，选择最大相似性值对应的背景模型中的纹理直方图作为当前像素的匹配直方图。所述前景物体检测设备的所述像素分类模块包括排序模块，用于将背景模型中的所有纹理直方图按照权值大小降序排列；选择模块，选出用于描述背景的纹理直方图集合；判断模块，判断当前像素属于背景像素点或前景像素点；以及输出模块，输出最后的前景物体检测结果。所述前景物体检测设备的所述选择模块基于直方图的权值选出用于描述背景的纹理直方图集合，其中，直方图的权值越大，该直方图被认为用于描述背景的概率越高。所述前景物体检测设备的所述判断模块比较当前像素的匹配直方图与选出的用于描述背景的直方图集合中的直方图，并在匹配直方图位于描述背景的直方图集合中的情况下将当前像素确定为背景像素点，以及在匹配直方图不位于描述背景的直方图集合中的情况下将当前像素确定为前景像素点。所述背景模型更新模块利用当前输入图像更新每个像素的匹配直方图以及更新背景模型中所有纹理直方图的权值，其中，提高匹配直方图的权值，降低其他直方图的权值。从上述方案可以看出，本发明利用纹理特征建立背景模型，同时，考虑到像素之间的邻接关系，以在一定邻域内计算得到的自适应纹理直方图作为纹理特征，能够有效的区分前景物体和阴影区域。同时，本发明中前景物体检测和阴影消除过程在同一算法实现，降低了计算复杂度，节省了大量的计算资源。此外，本发明所述前景物体检测及阴影消除方法不需要保存原始视频序列中的全部数据，节省了存储空间，更有利于实际应用。本发明方法的实现简单有效，具有很好的实际运用性。通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。
图1为本发明实施例中前景物体检测及阴影消除方法的总体流程图。图2为本发明一个示例图像序列中的一帧图像。图3a为图2所示图像的纹理图；图北为图3a所示纹理图中的一个像素点的局部邻域纹理图。图4为图1所示流程图中寻找匹配直方图部分方法的流程图。图5为图1所示流程图中像素点分类部分方法的流程图。图6a为图2所示图像的前景物体检测结果中的阴影区域示例图；图6b为使用本发明实施例中前景物体检测及阴影消除方法对图2所示图像进行处理后的检测结果图像。图7为按照本发明实施例的前景物体检测及阴影消除设备的总体框图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。图1为本发明实施例中前景物体检测及阴影消除方法的总体流程图。如图1所示， 该流程包括如下步骤步骤10，连续采集被监控区域的图像，得到包括前景物体在内的所述被监控区域的视频图像序列，该视频图像序列为后续步骤的输入数据。除了实时采集的视频序列外，事先存储的图像序列或其它格式的图像数据也可以作为输入数据。例如，图2示出了一个示例图像序列中的一帧图像101，其中，该示例图像101包括了一个前景物体102。在步骤10， 一个图像采集设备，如摄像头，被用于进行视频数据的采集。采集后的数据将被存储于存储设备中或进行实时处理。步骤11，在得到当前的输入图像后，建立一个用以描述当前背景的非参数化模型， 目的是能够真实反映被监控区域的场景背景变化。在步骤11，对背景中每个像素点建模的过程相互独立，可以在需要的前提下进行高速并行计算。由于所有背景像素点的建模过程相同，因此，在接下来的具体实施方式
介绍中，仅详细介绍其中一个像素点的建模过程。此外，在实际应用中，被监控区域通常为整幅图像的范围。在实际应用中，本方明所述方法使用位置固定的采集设备采集视频数据。由于所监控区域的背景比较复杂，使得在对区域背景建模的过程中容易受到噪声的影响。因此，使用包含多个自适应模型的背景模型对像素点进行建模更具有实际应用意义。本发明提出了一种基于纹理特征的自适应混合直方图模型作为背景模型。在本发明的实施例中，采用了局部二值化模式(Local Binary I^attern，LBP)作为纹理描述算子，将使用LBP算子在像素点的以艮为半径的邻域中计算得到的纹理直方图作为背景模型中所使用的纹理直方图。 半径艮定义了直方图的计算区域，取值越小，直方图越能体现局部纹理信息。LBP算子最早 ^ Ojala ^A^^T*"Multi-resolution gray-scale and rotation invariant texture classification with local binary pattern，，，IEEE Trans, on PAMI 中，此夕卜，在不偏离本发明范围的前提下，可以釆用其他现有的纹理描述算子，例如边缘直方图，SIFT(Scale Invariant Feature Transform)等方法。在混合直方图模型中，对当前图像上的每一个像素使用混合直方图模型建模。简而言之，每个像素点由一组自适应纹理直方图Ov ...，IvJ表示，其中，κ表示混合直方图模型中直方图的个数。同时，模型中每个直方图含有一个取值在O到1之间的权值Wk(0<k < κ+1)。与普通混合模型不同，混合直方图模型是逐步处理观测数据的，权值和每个直方图的数据会随着不同输入数据而自适应的发生变化，直方图个数K的取值取决于场景的复杂程度以及计算精度的要求。混合直方图模型的主要思想是使用3-5个纹理直方图对像素点进行建模，描述像素的纹理特征分布。混合直方图模型能够反映真实场景中的各种变化，是一种多模式的建模方法，具有单直方图模型不可比拟的鲁棒性。在背景简单的场景中，K值不宜太大(k <= 3)。在背景变化比较复杂的场景中，需要混合更多的直方图(3 < k < 6)。步骤12，对在步骤10中采集到的视频图像序列进行处理，计算像素的局部纹理直方图。在步骤12中，一个纹理描述算子被用于计算当前输入图像的纹理图。得到纹理图后， 对图像中的所有像素点提取以其为中心，半径为艮的局部邻域，并在该局部邻域内计算局部纹理直方图，计算得到的局部纹理图作为该像素点的特征向量。例如，图2所示图像101 中，前景物体102进入场景。图3a是对应于示例图像101，按照步骤12所述方法，使用LBP 文理算子计算得到的纹理图120。在图3a中，像素点122的局部邻域纹理图121被提取出来，如图北所示。通过局部邻域纹理图121计算得到的局部纹理直方图作为像素点122的特征向量。图4为本发明实施例中步骤13的流程图，目的是对当前像素，在混合直方图模型中找到匹配的直方图。在步骤13中，输入为在步骤11中建立的混合直方图模型132，以及在步骤12中计算得到的像素点的局部纹理直方图131。在步骤133中，像素的局部纹理直方图131将和混合直方图模型132中所有的直方图进行比较，比较过程可以使用任意一种直方图相似性度量。本发明实施例中使用的相似性度量为直方图相交
N-I
',n , '&k’n / f其中，ht是像素的局部纹理直方图131，hk是混合直方图模型132中的第k个直方图，N是直方图的维数(bin)。直方图相交可以度量两个直方图中相似的部分，忽略仅在一个直方图中出现的特征。并且，直方图相交的计算简单，代价低。此外，在不偏离本发明范围的前提下，可以采用其他现有的直方图相似性度量方法，例如chi-sqUare，巴氏距离 (Bhattacharyya distance)等卞法。通过步骤133，可以得到像素点的局部纹理直方图131和混合直方图模型132中K 个直方图比较后的K个相似性值。基于这些相似性值，在步骤134中寻找该像素点的匹配直方图。如果所有K个相似性值均小于预设阈值Tp，则不存在匹配直方图。否则，最大相似性值对应的直方图被选为该像素点的匹配直方图。步骤135将判断该像素点是否存在匹配直方图，存在则直接进行到下一步骤，如果不存在匹配直方图，进行到步骤136。在步骤136 中，使用该像素点的局部纹理直方图131替换混合直方图模型132中权值最小的直方图，权值同时更改为初始权值。例如，本发明实施例中初始权值为0. 01。步骤14，对步骤13的输出结果进行判断，如果该像素存在匹配直方图，继续进行到步骤15中进行处理，如果不存在匹配直方图，则判定当前像素为前景像素点，进行到步骤16中处理。图5是本发明实施例中步骤15的流程图，在步骤15中，将根据像素点的匹配直方图对像素点进行分类。像素点的匹配直方图151以及建立的混合直方图模型132将作为步骤13的输入数据，进行进一步的处理。在混合直方图模型132中，并非所有的直方图都用于描述场景背景，其中只有B个直方图被用于描述背景分布(B<K)。本发明认为混合直方图模型中的任意一个直方图是否用于描述背景分布，是和其权值大小紧密相关的。直方图权值越大，该直方图被用于描述背景的可能性越大。在步骤152中，把当前混合直方图模型中的所有直方图按照权值进行降序排列，在按照权值进行降序排列后，最有可能由背景产生的直方图将会在序列的顶端。 在此排序基础上，在步骤153中选取前B个直方图，认为它们用于描述背景分布。选取的标准是B 二 argmin(^*=] wk>TB)(2)其中，Tb被认为用于确定背景分布的最小范围，它的取值和K值紧密相关。如果Tb 取值较小，则认为当前的场景背景比较简单。反之，对于较复杂的场景，则需要较大取值的 T
iB0选出用于描述背景的直方图后，在步骤154中，将像素点的匹配直方图和选出的B 个背景直方图进行比较，比较过程相同于步骤133。对当前像素而言，如果与这B个直方图中任意一个纹理直方图匹配，则判定为背景像素点。反之，如果不与这B个直方图中任意一个匹配，则判定为前景像素点。步骤155将像素点的分类结果输出到下一个步骤。步骤16，结合步骤14和步骤15的输入结果，输出本发明最终的前景物体检测结果。在输出的最终检测结果中，如果像素点属于背景像素点，像素值修改为零，像素点属于前景像素点，保持原像素值不变。例如，图6a为没有阴影消除方法的前景物体检测结果。 图6b为使用本发明实施例中前景物体检测及阴影消除方法对图2中示例图像101进行检测后的最终结果图像。通过对两幅结果图像进行对比可以看出，图6a中存在阴影区域160 与真实前景物体相连，造成前景物体轮廓变形。而图6b中，阴影区域162中的大部分阴影已经消除，准确检测到运动的前景物体161。步骤17，最终的检测结果用于更新本发明中所述背景模型-混合直方图模型。在步骤17中，对当前像素点而言，只更新混合直方图模型中其匹配直方图的数据，公式为hk = (l-α )hk+a ht(3)其中，ht是当前像素在步骤12中计算得到的局部纹理直方图，hk是在步骤13中得到的像素点的匹配直方图。此外，更新混合直方图模型中每个直方图的权值，公式为
权利要求
1.一种前景物体检测方法，包括步骤(a)连续采集被监控区域的当前图像，得到包含前景物体的视频图像序列；(b)创建一个由多个纹理直方图组成的背景模型；(c)将所采集的当前图像作为输入图像，对图像中的每个像素计算一个局部纹理直方图；(d)根据每个像素的局部纹理直方图，在背景模型中找到匹配的纹理直方图；(e)根据匹配结果将每个像素分类为前景像素点和背景像素点，得到前景图像。
2.如权利要求1所述的前景物体检测方法，还包括步骤(f)利用前景图像和当前输入图像，对背景模型进行更新，包括 利用当前输入图像，更新每个像素的匹配直方图；更新背景模型中所有纹理直方图的权值，其中，提高匹配直方图的权值，降低其他直方图的权值。
3.如权利要求2所述的前景物体检测方法，其中，所述步骤(d)包括采用相似性度量，对在步骤(c)中得到的局部纹理直方图和背景模型中所有的纹理直方图进行相似性计算；对计算得到的局部纹理直方图与背景模型中所有纹理直方图的相似性值，判断是否存在一个或多个相似性值大于预设阈值；当所有相似性值均小于预设阈值时，删除背景模型中权值最小的纹理直方图，将当前像素的局部纹理直方图加入背景模型中；当存在一个或多个相似性值大于预设阈值时，选择最大相似性值对应的背景模型中的纹理直方图作为当前像素的匹配直方图。
4.如权利要求1所述的前景物体检测方法，其中，所述步骤(e)包括 将背景模型中的所有纹理直方图按照权值大小降序排列；选出用于描述背景的纹理直方图集合； 判断当前像素属于背景像素点或前景像素点； 输出最后的前景物体检测结果。
5.如权利要求4所述的前景物体检测方法，其中，判断当前像素属于背景像素点或前景像素点包括将当前像素的匹配直方图与选出的用于描述背景的直方图集合中进行比较，如果匹配直方图位于描述背景的直方图集合中，则当前像素属于背景像素点，否则，则当前像素属于前景像素点。
6.一种前景物体检测设备，该设备包括图像采集模块，用于连续采集被监控区域的当前图像，得到包含前景物体的视频图像序列；背景建模模块，用于创建一个由多个纹理直方图组成的背景模型； 纹理直方图计算模块，用于根据所采集的当前图像，对图像中的每个像素计算一个局部纹理直方图；直方图匹配模块，根据每个像素的局部纹理直方图，在背景模型中找到匹配的纹理直方图；像素分类模块，根据匹配结果将每个像素分类为前景像素点和背景像素点，得到前景图像；
7.如权利要求6所述的前景物体检设备，还包括背景模型更新模块，用于根据前景图像和当前输入图像，对背景模型进行更新，其中， 所述背景模型更新模块利用当前输入图像更新每个像素的匹配直方图以及更新背景模型中所有纹理直方图的权值，其中，提高匹配直方图的权值，降低其他直方图的权值。
8.如权利要求7所述的前景物体检测设备，其中，所述直方图匹配模块还包括相似性计算计算模块，采用相似性度量，对纹理直方图计算模块所得到的局部纹理直方图和背景模型中所有的纹理直方图进行相似性计算；比较模块，对计算得到的局部纹理直方图与背景模型中所有纹理直方图的相似性值， 判断是否存在一个或多个相似性值大于预设阈值；决策模块，当所有相似性值均小于预设阈值时，删除背景模型中权值最小的纹理直方图，将当前像素的局部纹理直方图加入背景模型中，以及当存在一个或多个相似性值大于预设阈值时，选择最大相似性值对应的背景模型中的纹理直方图作为当前像素的匹配直方图。
9.如权利要求6所述的前景物体检测设备，其中，所述像素分类模块包括排序模块，用于将背景模型中的所有纹理直方图按照权值大小降序排列；选择模块，选出用于描述背景的纹理直方图集合；判断模块，判断当前像素属于背景像素点或前景像素点；输出模块，输出最后的前景物体检测结果。
10.如权利要求9所述的前景物体检测设备，其中，所述判断模块比较当前像素的匹配直方图与选出的用于描述背景的直方图集合中的直方图，并在匹配直方图位于描述背景的直方图集合中的情况下将当前像素确定为背景像素点，以及在匹配直方图不位于描述背景的直方图集合中的情况下将当前像素确定为前景像素点。
全文摘要
本发明提供了一种前景物体检测及阴影消除的方法及设备，其中，方法包括连续采集被监控区域的图像，得到包括前景物体在内的所述被监控区域的图像序列；创建一个由多个纹理直方图组成的背景模型；将所采集的当前图像作为输入图像，对图像中的每个像素计算一个局部纹理直方图；根据每个像素的局部纹理直方图，在背景模型中找到匹配的纹理直方图；根据匹配结果将每个像素分类为前景像素点和背景像素点，得到前景图像；利用前景图像和当前输入图像，对背景模型进行更新。本发明的实验结果表明，该方法在室内外场景均能准确检测前景物体并有效消除检测结果中的阴影区域，可用于例如视频监控、视频会议等视频图像处理领域。
文档编号G06T5/40GK102346854SQ20101025190
公开日2012年2月8日 申请日期2010年8月3日 优先权日2010年8月3日
发明者邓宇 申请人:株式会社理光