专利名称：：运动目标图像分割方法
技术领域：
：本发明属于图像处理计算机
技术领域：
，涉及一种运动目标图像分割方法。技术背景复杂背景下运动人体图像的分割是视频监控图像处理最基本的环节，它旨在从监控所得视频序列图像中将运动人体区域从背景图象中提取出来。运动区域的有效分割对于监控目标的分类、跟踪和身份识别等后期处理非常重要。然而由于背景图象的动态变化，比如天气的变化、光照条件的变化、背景的混乱干扰、运动目标的影子、物体与环境之间或者物体与物体之间的遮挡、甚至摄像机的运动等，使得运动人体图像的检测成为一件相当困难的工作。也因此引起了国内外许多研究者的浓厚兴趣，成为近年来视频图像信息检测领域备受关注的前沿热点。依据算法特点，复杂背景下视频图像中运动人体检测方法可大致分为运动分割和静止分割两类算法。运动分割算法是利用移动目标所具有的运动属性，将其从序列图像背景中区分出来。静止分割算法则是首先对单帧图像依据其各区域的灰度、纹路或轮廓梯度等信息做静态分割，之后在连续帧图像之间采用相似块匹配法做运动估计，最后再合并各分割区域完成运动目标的提取。对于背景静止、只有简单全局场景运动的视频图像，通常采用差分运动检测算法或背景建模运动检测算法。差分运动检测算法是将相邻两帧或三帧的图像差做阈值化来提取图像的运动区域。背景建模运动检测算法是常用的运动分割方法之一。通常，该算法先要利用完整的视频图像序列信息进行统计建模以区分像素类别(背景/运动区域)并生成背景图像；再从每帧图像扣除背景以获得运动目标。总之，运动分割算法众多，关键是寻找到一个最恰当的方法，即在代价最小的情况下实现预期的分割目标。
发明内容本发明针对公共场所定点监控所得视频图像具有背景静止与全景运动的特点，提出一种可用于复杂背景视频监控中运动目标图像分割方法。本发明可为监控系统的有效使用及监控效果的可靠评价提供帮助，可广泛应用于公安、消防、海关、港口、车站等各种公共场所，获得可观的社会效益和公共安全服务的提升。本发明采用如下的技术方案一种运动目标图像分割方法，每次的图像分割采用如下的步骤步骤一采用最小中位方差法获取背景图像；步骤二采用间接差分函数/(a,W^-，，:1)^,)Sg56—/)^:1、)获得差分0+l)+("l)(256-a)+(256-6)图像，其中a，6分别表示当前图像与背景图像在同一像素点位置的灰度(强度)值，且OSa,"255，0S/O,6)化步骤三选择分割阈值r，m^=^A""，U》T将差分图像二值化，获得二值化前景图像；步骤四设/^,)为n帧采集的序列图像，^:)和^^)分别为根据步骤一得到的更新后和当前的背景图像，vi/(;)为根te步骤三得到的二值化前景图像，根据公式+《"？5，>=动态更新背景图像；步骤五利用形态学滤波消除二值图像中的噪声并填补运动目标图像中的缺失。上述的运动目标图像分割方法，步骤一中，可以根据公式Aw)=arg(min^-p)"分别得到/、G、B三个分量的背景图像，式中；7是像素位置(X，力处待确定的彩色图像值，f为帧索引值；步骤三中可以采用最大化类间方差法来确定阈值r;步骤四中，《可以取0.8。本发明所用视频图像数据具有背景静止与全景运动的特点，采用动态背景建模和差分运动检测相结合的算法来分割运动目标图像。从图3、图4和图5的各阶段结果来看，本发明所采用复杂背景视频监控中运动人体轮廓图像分割方法的总体方案是合适的；其中静止背景建模、动态背景更新、差分运动分割与形态学后处理等处理环节皆是不可缺或的；其处理流程基本合理，最终分割结果比较清楚、利索。在现代社会监控系统中，自动获取监控对象数据的方法大致可以分为两类一类是利用压电、红外、环形磁感应线圈等传感器获得监控对象本身的参数，这类方法跟踪识别率较高，但是容易损坏，安装也不方便；还有一类就是基于图像处理和模式识别的方法(本发明属于此种)，克服了前面一类方法的局限，由于图像处理识别技术的进步和硬件性价比的大幅提高，使得本发明所提出的方法得以实施。与前一种方法相比较，本发明产生的技术效果显著，环境适应能力强，能长期稳定工作，并可在被监控对象不知情的情况下进行监控，使得安全监控的效果大大提高，并能避免传统(第一种)监控器监测时与监控对象产生的的不必要的摩擦与矛盾。图l运动人体轮廓图像分割流程。图2不同背景灰度的差分函数。图3(a)R分量的运动分割结果。图3(b)G分量的运动分割结果。'图3(c)B分量的运动分割结果。图3(d)a、b、c三幅图取"或"运算结果。图4形态学滤波处理后结果。图5最后运动目标分割结果。图6二值图像的膨胀运算示例，(a)是一幅二值图像，(b)图为结构元素B，标有"+"代表结构元素的参考点，(c)膨胀结果图。图7二值图像的腐蚀运算示例，(a)是一幅二值图像(b)图为结构元素B，标有"+"代表结构元素的参考点，(c)腐蚀结果图。具体实施方式下面结合附图和实施例对本发明做详细描述。本发明以复杂背景视频监控中的运动人体轮廓图像分割方法作为实施例，整个图像分割过程包括静止背景建模、动态背景更新、差分运动分割与形态学后处理等步骤，如图1所示。下面分别对每个步骤，结合实施例做进一步详细描述。1.静止背景建模本发明实验所用数据为中国科学院北京自动化研究所发布的步态数据库。它是一个含20个对象的小型数据库，所有数据均在户外使用单台摄像机(PanasonicNV-DX100EN)采集而得，每个对象摄取三个方向行走(0°、45°、90°)的视频序列数据。本发明中仅使用0。方向的数据，即人体侧面行走序列。本发明采用最小中位方差法(Leastmedianofsquares,LmedS)对背景图像进行建模。最小中位方差法(LmedS)是以稳健统计为理论基础提出的一种算法。稳健的概念是指个别异常值对统计量的影响程度，1急健统计是一种适用于样本群中存在异常值的参数估计方法。稳健统计在计算机视觉领域中受到了广泛的关注，主要是由于计算机视觉问题的输入数据中常常被异常值所干扰。在稳健统计中，为了评价某种算法抵抗异常值扰动的能力，Hampel提出了失效点BP(BreakdownPoint)的概念。由于起初它是一个渐近结果，不便计算，故而Donoho和Huber定义了对于有限样本的BP为*附s(r,X卜mirH」;风附;:r,X)取无穷大〉(1)其中r为参数估计值，"为样本X的含量，/(m;r,X)表示将I中任意替换w个点后两侧参数估计值之差的上确界。对于有限样本的BP，表示用该法作参数估计时，允许数据中存在的不会使估计值失效的异常点数目的最小比例，当数据中的异常点比例超过BP时，估计值会变得很不稳定。5对异常点的处理方法基本有两种，一种是自协调方法(Accommodation-basedapproach)，即方法本身能够承受异常点的干扰，另一种则是首先剔除异常点，再按传统方法进行处理。最小中位方差算法(LmedS)是二者的结合，在自协调前提下，再用最小均方估计算法(Leastmeansquare,LMS)进行估计，因此它既能消除异常点干扰，同时能获得较好的估计效果。Rousseeu'w和Leroy关于最小中位方差法的定义为已知序列义={xpx2,.x,.~}中x,是;c的iV个观测值，根据;c,对x进行估计，假设估计值为么贝U:^=arg{min5w^/,(x,—6*)2}(2)其中z、l,2…，iV。本发明所使用数据库中的视频序列是固定摄像机拍摄所得，理论上来说，即若完全不存在干扰或其他影响，背景是静止的。对视频序列单帧分析，跟踪其中某一点灰度随时间变化曲线，该曲线应基本保持平稳。然而，对有运动物体或其他环境干扰因素发生点而言，其灰度分布曲线会随时间而变化。本发明尝试对步态序列中不同位置像素的灰度进行了跟踪观察。静止背景建模过程如下所述。若令/('w)代表N帧采集的序列图像，其中^代表帧索引值(^1，2，…，AO，(x,力e/t，则背景S(^为Aw)=arg{minp—(/"_p)2}(3)式中P是像素位置0,力处待确定的彩色图像(凡G^)值，若每个分量是8比特的图像，则p的取值范围是0255;/是帧索引值，它在17V之间变化。(arg表示满足()中要求的未知数的值)算法的具体流程为(仅以及分量为例)(i)选定一个像素点位置(x,力；(ii);7=0;(iii)依次计算(7^—p)2,(C)2,…,(/:)-"2;(iv)对计算结果排序，若W为偶数，取排序后第iV/2和(iV+l)/2个数的平均值，若iV为奇数，则取第7V/2个数，结果保存到数组m^中，即med。；(v);=;+1，当；<=255，返回(iii)，重复执行(iii)，(iv)，(v)，结果保存为me力，否则执行(vi);(vi)找出m《,w^,…me^5中最小值，对应的户值即为该像素点位置的背景灰度值。(vii)重新选择像素点位置，返回(ii)重复执行，直到图像中所有像素点均计算完毕。考虑到数据库图像均为iC^格式，因此这里对及、G、B三个分量分别建模，经合成也可获得及、G、B格式的彩色背景图像。1.差分运动分割为了确定运动目标，最常用方法是对当前图像与背景模型相减得到的差分图像再进行阈值分割。这种方法的一个很大不足是对低对比度图像，将因其灰度变化太小而难以确定分割阈值，即很难将运动目标从背景中完全清晰地提取出来。为此，本发明改用一个间接差分函数来执行差分操作。该差^^函数的表达为〃jw_12如静+2%/(256_a)(256「6)(5)(o+l)+("l)(256-a)+(256-z0其中",6分别表示当前图像与背景图像在同一像素点位置的灰度(强度)值，且0Sa,6S255，0S/("，Zj)S1。当"=6时，/(",6)=0;当a，6不同时，/0,6)与a,6之间的差值成正比。同时，差分函数的灵敏度可随背景灰度值自动改变。以6=5和6=100为例，其差分函数如图2所示。从图中可看出6不同，差分函数/("，6)也不同，当6较小(6=5)时，差分函数随着"的增长迅速变大，这说明在低对比度情况下差分函数的灵敏度会自动提高，这种自适应性提高了图像分割的准确度。当确定了背景图像与当前图像的差分值后，就需要选择分割阈值r(osr")。本发明采取0tsu方法(论文出处OtsuN.Athresholdselectionmethodfromgrey-levelhistograms.In:IEEETrans.Systems,ManandCybernetics,1979,SMC-9(1)，62~66)，即通过最大化类间方差来确定阈值r。其二值化过程可表述为(02.动态背景更新以上虽然通过最小中位方差法建立了静止背景模型，但由于噪声和光照变化的影响，实际视频序列的背景并非是时刻保持静止不变的。为了获得更加精确的差分运动分割(也即背景减除)效果，必须动态地更新背景。本发明采用Karmann与Brandt的卡尔曼滤波方法进行背景的动态更新(论文出处KaxmarmK，BrandtA.Movingobjectrecognitionusinganadaptivebackgroundmemory.In:C即pelliniVed.Time-varyingImageProcessingandMovingObjectRecognition.2.Elsevier,Amsterdam,TheNetherlands,1990)。设^^)和5("w)分别为更新后和当前的背景，根据当前帧/("^)中做完运动检测所获取的二值化前景图像M(;)，背景更新过程为其中"是加权系数，本发明通过实验分析得出a取0.8较为合适。当更新后背景和更新前背景之间足够接近时，停止更新。用自动更新的背景进行运动分割的结果如图3所示。3.形态学后处理运动分割后的图像中难免会存在噪声，同时运动目标中会有少量点被误判为背景，因此还需要对图像进行后处理，以获得最佳的分割效果。本发明使用形态学滤波来消除二值图像中的噪声并填补运动目标中的缺失。在形态学中，膨胀运算和腐蚀运算是最基本的形态变换。①膨胀运算(Dilation)膨胀运算也称扩张运算，用符号""表示，x用b来膨胀记为x@b，定义为X@B={x|[(B')x门幻#0}膨胀过程可以描述如下集合B首先做关于原点的映射B'，然后平移x形成集合(B、)x，最后计算集合(IT)x与集合X不为空集的结构元素参考点的集合。换句话说，用B来膨胀X得到的集合是B"的位移与集合X至少有一个非零元素相交时结构元素B的参考点位置的集合。例l.膨胀运算示例如图6(a)是一幅二值图像，阴影部分代表灰度值为高(一般为l)的区域，白色部分代表灰度值为低(一般为0)的区域，其左上角空间坐标为(0，0)。(b)图为结构元素B，标有"+"代表结构元素的参考点。膨胀的结果如图(c)所示，其中黑色为膨胀扩大的部分。把结果XB与X相比发现，X按照B的形态膨胀了一定范围。因此，该运算被名之为膨胀。②腐蚀运算(Erosion)腐蚀运算也称侵蚀运算，用符号"'<9"表示，X用B来腐蚀记为XeB，定义为xGb={x|)x[X}腐蚀过程可以描述如下集合B平移x后仍在集合X中的结构元素参考点的集合。换句话说，用b来腐蚀x得到的集合是b完全包括在集合x中时b的参考点位置的集合。例2腐蚀运算示例如图7(a)是一幅二值图像，(b)图为结构元素B，标有"+"代表参考点。腐蚀的结果如图(c)所示，其中黑色为腐蚀后留下的部分。把结果X0B与X相比发现，X的区域范围被縮小了，可见，不能容纳结构元素的部分都被腐蚀掉了。在形态学中，开运算^。万是指^被S腐蚀后再用B来膨胀的结果，艮卩式中d表示腐蚀运算，④表示膨胀运算。开运算可完全删除不能包含结构元素的对象，如平滑对象的凸轮廓、断开狭窄的连接、去掉细小的突起部分。闭运算与开运算刚好相反，它的定义是指^被S膨胀后再用S来腐蚀的结果，艮[1:<formula>formulaseeoriginaldocumentpage9</formula>闭运算可填充比结构元素小的洞，如平滑对象的凹轮廓、将狭长缺口连接成细长弯口。可利用开运算和闭运算的上述性质，实现滤波和填充空洞的功能。图4给出了形态学滤波处理的结果。形态学滤波处理后，噪声并不一牢完全消除，有的杂散噪声可能会形成大小不一的块，而运动目标往往是这些块中最大的，因此可对图像进行连通域分析，目的在于在图像中仅保留运动目标。连通域分析的步骤为(i)标记连通矩阵；(ii)计算每个矩阵像素个数；(iii)找出像素最多的矩阵；(iv)确定运动目标。最后获得的运动目标分割如图5所示。权利要求1.一种运动目标图像分割方法，每次的图像分割采用如下的步骤步骤一采用最小中位方差法获取背景图像；步骤二采用间接差分函数<mathsid="math0001"num="0001"><math><![CDATA[<mrow><mi>f</mi><mrow><mo>(</mo><mi>a</mi><mo>,</mo><mi>b</mi><mo>)</mo></mrow><mo>=</mo><mn>1</mn><mo>-</mo><mfrac><mrow><mn>2</mn><msqrt><mrow><mo>(</mo><mi>a</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow><mrow><mo>(</mo><mi>b</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow></msqrt></mrow><mrow><mrow><mo>(</mo><mi>a</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><mi>b</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow></mrow></mfrac></mrow><mfrac><mrow><mn>2</mn><msqrt><mrow><mo>(</mo><mn>256</mn><mo>-</mo><mi>a</mi><mo>)</mo></mrow><mrow><mo>(</mo><mn>256</mn><mo>-</mo><mi>b</mi><mo>)</mo></mrow></msqrt></mrow><mrow><mrow><mo>(</mo><mn>256</mn><mo>-</mo><mi>a</mi><mo>)</mo></mrow><mo>+</mo><mrow><mo>(</mo><mn>256</mn><mo>-</mo><mi>b</mi><mo>)</mo></mrow></mrow></mfrac>]]></math>id="icf0001"file="A2008100538300002C1.tif"wi="80"he="11"top="40"left="76"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>获得差分图像，其中a，b分别表示当前图像与背景图像在同一像素点位置的灰度(强度)值，且0≤a，b≤255，0≤f(a，b)≤1；步骤三选择分割阈值T，<mathsid="math0002"num="0002"><math><![CDATA[<mrow><msub><mi>M</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></msub><mo>=</mo><mfencedopen='{'close=''><mtable><mtr><mtd><mn>1</mn></mtd><mtd><mi>f</mi><mrow><mo>(</mo><msub><mi>a</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></msub><mo>,</mo><msub><mi>b</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></msub><mo>)</mo></mrow><mo>≥</mo><mi>T</mi></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mi>Otherwise</mi></mtd></mtr></mtable></mfenced></mrow>]]></math>id="icf0002"file="A2008100538300002C2.tif"wi="54"he="9"top="68"left="80"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>将差分图像二值化，获得二值化前景图像；步骤四设I(x，y)t为N帧采集的序列图像，B(x，y)n+1和B(x，y)n分别为根据步骤一得到的更新后和当前的背景图像，M(x，y)n为根据步骤三得到的二值化前景图像，根据公式id="icf0003"file="A2008100538300002C3.tif"wi="75"he="11"top="110"left="29"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/>动态更新背景图像；步骤五利用形态学滤波消除二值图像中的噪声并填补运动目标图像中的缺失。根据权利要求1所述的运动目标图像分割方法，其特征在于，步骤一中，根据公式<mathsid="math0003"num="0003"><math><![CDATA[<mrow><msub><mi>B</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></msub><mo>=</mo><mi>arg</mi><mo>{</mo><msub><mi>min</mi><mi>p</mi></msub><msub><mi>med</mi><mi>t</mi></msub><msup><mrow><mo>(</mo><msubsup><mi>I</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mi>t</mi></msubsup><mo>-</mo><mi>p</mi><mo>)</mo></mrow><mn>2</mn></msup><mo>}</mo></mrow>]]></math>id="icf0004"file="A2008100538300002C4.tif"wi="55"he="5"top="137"left="29"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>分别得到R、G、B三个分量的背景图像，式中p是像素位置(x，y)处待确定的彩色图像值，t为帧索引值。根据权利要求1所述的运动目标图像分割方法，其特征在于，步骤三中采用最大化类间方差法来确定阈值T。根据权利要求1所述的运动目标图像分割方法，其特征在于，步骤四中，α取0.8。2.步骤二:采用间錢分函数/("n-^|^2;^56—、H6—^获體分刚象，.0+1)+(&+1)(256—a)+(256—。其中a,6分别表示当前图像与背景图像在同一像素点位置的灰度(强度)值，且0","255，0S/(",W^1;步骤三选择分割阈值r，M(^H1A，'，、'力)^将差分图像二值化，获得二值化前景图像；步骤四设/(")为N帧采集的序列图像，B二,)和5")分别为根据步骤一得到的更新后和当前的背景图像，为根据步骤三得到的二值化前景图像，根据公式《;,一"，'力+(1—，5:—)"动态更新背景刚象；歩骤五利用形态学滤波消除二值图像中的噪声并填补运动目标图像中的缺失。根据权利要求1所述的运动目标图像分割方法，其特征在于，歩骤一中，根据公式S(w^arg(m附^(/(")-p六分别得到i、G、B三个分量的背景图像，式中p是像素位置(x,力处待确定的彩色图像值，r为帧索引值。根据权利要求1所述的运动目标图像分割方法，其特征在于，步骤三中采用最大化类间方差法来确定阈值:r。根据权利要求l所述的运动目标图像分割方法，其特征在于，步骤四中，a取0.8。全文摘要本发明属于图像处理计算机
技术领域：
，提供一种运动目标图像分割方法，采用如下的步骤采用最小中位方差法获取背景图像；采用间接差分函数获得差分图像；步骤三选择分割阈值T，将差分图像二值化，获得二值化前景图像；根据更新后和当前的背景图像以及二值化前景图像，动态更新背景图像；利用形态学滤波消除二值图像中的噪声并填补运动目标图像中的缺失。本发明可为监控系统的有效使用及监控效果的可靠评价提供帮助，可广泛应用于公安、消防、海关、港口、车站等各种公共场所，获得可观的社会效益和公共安全服务的提升。文档编号G06T7/20GK101315701SQ200810053830公开日2008年12月3日申请日期2008年7月11日优先权日2008年7月11日发明者万柏坤,刘双迟,希张,东明,程龙龙申请人:天津大学