一种多特征融合的运动目标阴影检测及消除方法与流程

本发明属于运动目标检测技术领域，特别是一种多特征融合的运动目标阴影检测及消除方法。

背景技术：

近年来，随着图像处理技术的发展，基于机器视觉的目标检测与跟踪系统得到了广泛应用。运动目标检测作为机器视觉领域中的重点研究内容之一，交叉融合了包括模式识别、自动控制、图像处理及特征融合等诸多学科理论知识。然而，由于运动阴影与运动目标具有相同的运动特征，利用背景差分法将目标与背景分离时，常常会将阴影误判为运动目标的一部分，导致运动目标形状出现变化，从而降低了后续目标检测与跟踪的准确性。因此，探究一种准确检测并消除运动目标阴影的方法成为当前目标检测研究工作的一大难点。

在对运动阴影进行检测前，首先要准确检测到运动目标。如今，各国研究人员不断研究运动目标检测算法以得到更好的检测效果。光流法、帧间差分法及背景差分法都是主流的目标检测算法。光流法由gibson于1950年首次提出，其原理是利用像素在时域上的变化及相邻图像帧间的相似性来获取上一帧与当前帧间目标的运动信息。光流法稳定性好，准确性高，但计算量大，很难满足实时性需求。帧间差分法的原理是根据相邻图像帧间的对应像素点的差异，再结合经验设立阈值，从而提取出运动区域。常用的帧间差分法有两帧差分法和三帧差分法。帧间差分法具有计算简单、通用性强等优点，但是容易出现空洞等检测结果，难以对相似度高的目标进行准确检测。背景差分法是先对视频图像里的背景像素建立参数模型，再对当前帧图像和背景帧图像进行差分运算，从而实现前景区域与背景的分离。背景差分法的关键是构建合适的背景模型，常见的建模方法有：码本算法、w4模型算法、混合高斯模型法、非参数的核密度估计法及统计平均法等。背景差分法实时性高，但易受图像中的噪音干扰，易发生将目标阴影误判为运动目标的现象。可以看出，单一的目标检测算法都存在些许不足之处，为了得到更精确的目标检测结果，还需要将多种检测算法相结合。

与此同时，很多学者针对光照条件下的运动阴影问题进行研究并取得了一定数量的理论成果。常用的阴影检测与消除方法可分为两大类：模型法和特征法。其中，基于模型的阴影检测算法主要利用光照、目标轮廓与面积等先验信息对运动阴影建立数学模型，再将像素点和运动阴影模型相匹配，进而判断其是否属于阴影。该类算法需要针对具体场景建模，因而不具通用性，无法满足复杂场景中对运动目标阴影进行检测的需求。

不同于模型法，基于特征的阴影检测算法通过将当前视频图像与背景图像的特征信息进行对比，并利用阴影区域、背景与运动目标在几何、颜色、纹理、物理等特征上的差异性将阴影与目标分离开来。此类算法不易受环境与目标对象影响，是当前目标阴影消除的主流算法。其中，基于几何特征的阴影检测算法主要利用目标的形状、面积等特征来检测运动目标的阴影；基于颜色特征的阴影检测算法主要是在rgb、hsv、yuv及hsi各颜色空间中对运动阴影进行检测；基于纹理特征的阴影检测算法常常以梯度特征和lbp特征作为纹理特征进行阴影检测。而基于单特征的阴影检测方法往往具有局限性，只能实现具有某一类特征的目标阴影检测需求，不具备通用性，难以实现在复杂背景下对目标阴影的准确检测与消除。

技术实现要素：

本发明的目的是提供一种能够准确、实时地检测出运动目标中存在的阴影，并且鲁棒性好、准确性高、实时性高的多特征融合的运动目标阴影检测及消除方法。

实现本发明目的的技术解决方案为：一种多特征融合的运动目标阴影检测及消除方法，其特征在于，包括以下步骤：

步骤1、建立背景模型：读取视频图像序列，采用混合高斯模型方法建立图像的背景模型；

步骤2、获取运动目标区域：使用三帧差分法对图像的前景和背景进行分离，得到运动目标前景区域，并对运动目标前景区域中的噪声干扰进行滤波、膨胀和腐蚀形态学操作，得到运动目标前景区域sf；

步骤3、提取颜色特征：提取运动目标前景区域sf的colorname特征，得到包含黑、蓝、棕、灰、绿、橙、紫、红、粉、白和黄的十一维颜色特征，再通过主成分分析法将十一维颜色特征自适应降至三维，得到基于colorname特征的阴影候选区域scn；

步骤4、提取边缘特征：使用canny边缘算法提取运动目标前景区域sf的边缘特征，得到基于边缘特征的阴影候选区域se；

步骤5、并行方式融合：将步骤3得到的基于colorname特征的阴影候选区域scn和步骤4得到基于边缘特征的阴影候选区域se，采用并行方式进行融合，得到最终的阴影区域s，即s＝scn∪se；

步骤6、建立阴影评估辅助模型：结合光照强度ea、阴影强度eb和阴影系数z，构建阴影评估辅助模型，对图像中最终的阴影区域s进行评估；

步骤7、消除阴影：根据阴影区域评估结果，决定是否需要执行阴影消除操作，若需要，则将当前帧运动目标前景区域sf中最终的阴影区域s中的像素点用背景像素填充，实现当前帧的阴影消除，并对阴影消除结果进行更新；反之，则保留上一帧图像的阴影消除结果；

步骤8、读取下一帧，重复步骤3～步骤7，直到图像序列读取结束。

本发明与现有技术相比，其显著优点在于：(1)将混合高斯模型方法与三帧差分法结合，并利用大津算法设置阈值，便于提取出更为精确的背景模板及前景运动区域，提高了前景与背景分离的准确率；(2)融合colorname特征和边缘特征对运动目标的阴影进行检测，克服了单一特征的局限性，有利于解决运动目标检测中的同色干扰及光照强度不定的问题；(3)采用并行策略将colorname特征与边缘特征相融合，提高了阴影检测的全面性，降低了漏检的可能，使得阴影部分的检测更为准确；(4)在阴影检测的同时，构建了阴影评估辅助模型对每一帧中存在的阴影情况进行评估，及时更新了阴影消除的结果，实时性高。

附图说明

图1是本发明多特征融合的运动目标阴影检测及消除方法的流程示意图。

图2是本发明中混合高斯模型方法的流程示意图。

图3是本发明中三帧差分法的流程示意图。

图4是本发明中混合高斯模型方法与三帧差分法相结合的流程示意图。

图5是本发明中阴影评估辅助模型进行阴影评估的流程示意图。

图6是本发明实施例中的四组仿真效果图，分别是第10帧、25帧、66帧和105帧原图像及其处理效果，每组的(a)、(b)、(c)、(d)依次代表对应帧的原图、背景图、前景图(阴影检测结果图)和阴影消除结果图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

选取一段存在光照条件不稳定及障碍物遮挡问题的实验室图像视频序列，在matlab2017a和visualstudio2013平台上对该视频图像序列进行系列处理。

如图1所示，本发明的一种多特征融合的运动目标阴影检测及消除方法，包括以下步骤：

步骤1、建立背景模型：读取视频图像序列，先对图像进行滤波去噪等操作，再采用混合高斯模型方法建立图像的背景模型，结合图2，具体步骤如下：

步骤1.1、建模预处理：定义k个高斯函数来表示每个像素点的像素值，设定每个采样点都服从混合高斯分布，则单个采样点xi服从的混合高斯分布概率密度函数：

yj，i＝σj，i²i

其中，p(xi)是单个采样点xi服从的混合高斯分布的概率，η(xi，μj，i，yj，i)为第i时刻第j个高斯分布的概率密度函数，wj，i为第i时刻第j个高斯分布的权重，μj，i为第i时刻第j个高斯分布的均值，yj，i为第i时刻第j个高斯分布的协方差，xi是采样点第i时刻的像素值，σj，i²为第i时刻第j个高斯分布的方差，i为三维单位矩阵；

步骤1.2、匹配高斯分布模型：设每个新像素值为ai，将ai与k个高斯模型进行匹配，直到得到与新像素值匹配的分布模型，即存在：

|ai-μj，i-1|≤2.5σj，i-1

其中，μj，i-1是第i-1时刻第j个高斯分布的均值，σj，i-1是第i-1时刻第j个高斯分布的标准差。

若该匹配模式符合背景要求，则该像素属于背景，反之则属于前景。

步骤1.3、更新权重：依照下式进行每个模式的权值更新：

wk，i＝(1-θ)*wk，i-1+θ*qk，i

其中，wk，i是第i时刻第k个高斯分布的权重，wk，i-1是第i-1时刻第k个高斯分布的权重，θ为学习率，qk，i用来表示第i时刻第k个高斯分布所处模式是否匹配，取值依模式匹配情况而定，若模式相匹配，则qk，i＝1；反之，qk，i＝0，并重新归一化每个模式的权值：

步骤1.4、生成高斯模型：针对未匹配的模式，其均值与标准差均保持不变，匹配模式的参数按照下式进行更新：

ρ＝θ·η(ai|μk，σk)

μi＝(1-ρ)·μi-1+ρ·ai

σi²＝(1-ρ)·σi-1²+ρ·(ai-μi)^t(ai-μi)

其中，ρ是更新率，ai是第i时刻的新像素值，μk、σk分别是第k个高斯分布的均值和标准差，η(ai|μk，σk)是第i时刻第k个高斯分布的概率密度，μi-1、μi分别是第i-1、i时刻的均值，σi-1²、σi²分别是第i-1、i时刻的方差。

步骤2、获取运动目标区域：使用三帧差分法对图像的前景及背景进行分离，得到运动目标前景区域，并对运动目标前景区域中的噪声干扰进行滤波、膨胀和腐蚀形态学操作，得到效果较好的运动目标前景区域sf。如图3、图4所示，具体步骤如下：

步骤2.1、针对前后连续三帧图像fi-1(x，y)、fi(x，y)、fi+1(x，y)，先分别将相邻两帧图像进行差分运算，再由大津算法设置阈值进行二值化运算，得到两个差分图像ni(x，y)、ni+1(x，y)；

步骤2.2、将步骤2.1中得到的两帧差分图像作“与”运算，获得运动目标的三帧差分图像gi(x，y)，即：

gi(x，y)＝ni(x，y)∩ni-1(x，y)

步骤2.3、对三帧差分图像进行形态学操作，去除图像噪声，再根据三帧差分图像之间的区别，检测得到图像目标的相对运动区域φs、上一帧已被覆盖的背景区域φb及当前帧被覆盖的背景区域φbc；

步骤2.4、将运动区域φs内的像素点与其前n个高斯分布按模式匹配公式进行匹配，并进一步判断得到图像的前景区域与背景，若像素点与高斯模型相匹配，则是背景点；若像素点与每个高斯模型都不匹配，则该点是前景点；重复此操作，将所有前景点的集合设置为运动目标前景区域sf。

步骤3、提取颜色特征：提取运动目标前景区域sf的colorname特征，得到包含黑、蓝、棕、灰、绿、橙、紫、红、粉、白和黄的十一维颜色特征，再通过主成分分析法将十一维颜色特征自适应降至三维，得到基于colorname特征的阴影候选区域scn，具体如下：

步骤3.1、使用颜色映射把rgb图像转换为包含黑、蓝、棕、灰、绿、橙、紫、红、粉、白和黄的十一维的颜色概率表示，再进行归一化操作，得到图像的十一维颜色表示；

步骤3.2、为了降低运算时间，使用主成分分析法对该颜色空间进行自适应降维，即在保证图像基本颜色特征的前提下，进一步降低其维数。而主成分分析法的基本原理是先计算最小代价函数εi_cost，再以此函数来寻找当前帧的u1×u2正交列向量投影矩阵li，li应满足最小代价函数εi_cost的计算公式如下：

上式中：

其中，βi为权重函数，c×v为前景运动区域的邻域矩阵，为图像的十一维颜色特征表示，(c，v)∈{0，…，c-1}×{0，…，v-1}，0＜j＜i，是li中的各向量，其权值由第j帧的降维系数决定；

步骤3.3、根据公式对前景运动区域进行线性投影处理，将u1维的colorname颜色特征降至u2维的颜色特征，其中u1＝11，u2＝3，是图像的三维颜色特征表示。

步骤4、提取边缘特征：使用canny边缘算法提取运动目标前景区域sf的边缘特征，得到基于边缘特征的阴影候选区域se，具体如下：

步骤4.1、选择3×3矩阵a对运动目标前景区域sf进行腐蚀操作，并从运动目标前景区域sf中减去腐蚀操作后的区域，再使用canny边缘算法检测前景区域中的边缘轮廓，记为e1，即有：

其中，sf是运动目标前景区域，是腐蚀运算符号，e1是经canny边缘检测算法得到的边缘轮廓；

步骤4.2、提取被边缘e1包围在内的区域中存在的边缘轮廓，即运动目标的轮廓，记为e2；

步骤4.3、分别在水平方向和垂直方向对e2区域内部进行像素填充，结果记为e3，即：

其中，vki(x，y)＝1表示e2区域先水平填充、再垂直填充运算；hki(x，y)＝1则表示e2区域先垂直填充、再水平填充运算；

步骤4.4、从运动目标前景区域sf中去除经像素填充后的运动目标区域e3，得到基于边缘特征的阴影候选区域se。

步骤5、并行方式融合：将步骤3得到的基于colorname特征的阴影候选区域scn和步骤4得到的基于边缘特征阴影候选区域se，采用并行方式进行融合，得到最终的阴影区域s，即有s＝scn∪se。

步骤6、建立阴影评估辅助模型：结合光照强度ea、阴影强度eb和阴影系数z，构建阴影评估辅助模型，对图像中最终的阴影区域s进行评估，如图5所示，具体操作如下：

步骤6.1、定义光照强度ea、阴影强度eb及阴影系数z：

其中，j∈{a，b}表示j的取值为a或b(a表示光亮，b表示阴影)，pa、pb分别为光照区域和阴影区域，na为受光照强度ea影响的光照区域的像素点数，nb为阴影区域的像素点数，ei是像素的能量强度；

步骤6.2、设定光强阈值z1和阴影系数阈值z2，对当前帧图像中的阴影情况进行评估；根据仿真实验，设定光强阈值z1＝300和阴影系数阈值z2＝0.25；

步骤6.3、判断图像中的光照强度是否达到阈值：若光强小于z1值，则说明图像中阴影不明显，维持图像的阴影情况；反之，则说明存在明显阴影，需进一步计算图像的阴影系数；

步骤6.4、若阴影系数低于z2，则不对当前帧图像中的阴影进行消除，维持阴影情况；否则，进行阴影消除。

步骤7、消除阴影：根据步骤6中的阴影区域评估结果，决定是否需要执行阴影消除操作，若需要，则将当前帧运动目标前景区域sf中最终的阴影区域s中的像素点用背景像素填充，实现当前帧的阴影消除；并对阴影消除结果进行更新；反之，则保留上一帧图像的阴影消除结果；

步骤8、读取下一帧，重复步骤3～步骤7，直到图像序列读取结束。

结合图6的仿真效果图，按顺序依次是第10帧、25帧、66帧和105帧的原图像及其处理效果图，每组的(a)、(b)、(c)、(d)依次代表对应帧的原图、背景图、前景图(阴影检测结果图)和阴影消除结果图。可以看出，本发明基于多特征融合的运动目标阴影检测及消除方法，克服了单特征检测的局限性，解决了图像中运动目标因光照不定等因素造成的运动阴影问题，提高了运动目标阴影检测及消除的准确性与实时性。