专利名称：结合色度偏差和亮度偏差的视频运动目标检测方法
技术领域：
本发明涉及的是一种视频的运动目标检测方法，特别涉及一种结合色度偏差 和亮度偏差的视频运动目标检测方法，属于视频处理技术领域。
背景技术：
视频的运动目标检测就是从视频序列中检测出运动物体，是计算机视觉、视 频图像跟踪等应用领域的重要研究内容。运动目标能否被准确有效的检测和提 取，直接影响到后续的目标分类、跟踪和行为理解的处理效果。
目甜常用的运动目标检测方法有光流法、帧间差分法和背景差分法，这三种 方法都有各自的优缺点。其中光流法检测结果最准确，但运算公式复杂、计算量 大、实时性差、对硬件要求高。帧间差分法利用相邻图像信息的变化量，区分出 背景和甜景运动目标，优点是计算量比光流法小，对场景光线的变化不太敏感， 受目标阴影的影响小，但是无法检测出突然静止的物体以及相邻帧上物体的重叠 部分。背景差分法能得到较精确的目标图像，运算效率也比较高，缺点是对光照 和外部条件造成的场景变化比较敏感，对背景的更新率和系统的实时性无法兼 顾。
经对现有技术的文献检索发现，禹晶等在《计算机工程》2006年3月刊上 发表的文章"基于色度偏差的运动目标检测"中提出先将各帧同位置像素的色度 值排序，再取中间值来得到背景帧，并直接对亮度差和色度差矩阵通过取阈值来 进行运动目标检测的方法。该方法具有如下缺点在进行背景帧提取时会留下大 量的前景运动轨迹；在得到亮度差和色度差矩阵之后没有滤除噪声，这会影响后 续前景物体的检测，直接根据连通区域去除噪声，可能会把较小的运动物体也去 除掉；没有明确提出亮度差和色度差阈值的确定方法；由于亮度差和色度差相结 合判定运动物体会有一定的偏差，该方法没有明确提出保留目标边界。
发明内容
本发明针对现有技术存在的不足，提出一种结合色度偏差和亮度偏差的视频
运动目标检测方法。本发明提出的运动目标检测方法可解决在视频帧数少、前景 运动缓慢的情况下，背景提取效果不佳的问题；通过对亮度差和色度差矩阵的中 值滤波来除去部分噪声点并保留边界；提出一种确定亮度差阈值的方法，能够根 据不同的视频序列特点准确的确定出相应的亮度差阈值；通过点集的投影来保留 运动目标的边界，使运动目标检测结果更加准确。
本发明是通过以下技术方案实现的，具体步骤如下
第一步，背景帧的提取
在已有的背景帧提取方法中，对于视频序列中的某一像素的R、 G、 B通道的 色度值，只有在甜景运动物体经过该点时才会发生大的变化。将各帧同位置像素 的色度值排序，取中间值就能得到背景帧在这一点的色度值。但是遇到视频序列 帧较少，或者前景物体运动速度慢的情况，提取出来的背景帧上会有运动目标留 下的痕迹。
在本发明中，使用统计加滤波的方法来进行背景帧的提取，具体步骤如下
① 用统计的方法分通道提取背景帧
RGB每个通道的色度值范围都是
，将这个区间等分成n份，记为[O， p]， [p+l,2p]，…，[(n-l)p, 255]。设某像素在各帧中的色度值pixel (i，j,d,k) 集中分布在区间[mp+l， (m+l) p] ((XnKn)，则对分布在该区间中的所有 pixel (i， j, d， k)值排序，取最中间值作为d通道的背景像素色度值。
② 中值滤波
在分通道对黑色轨迹区域的pixel(i, j,d，k)进行分布统计、排序和选择时， 其中一个通道的色度值与另外两个通道的色度值相差很多，此时就会显示出不规 则的色斑、色块比如绿和蓝的色度值较小，而红色通道色度值较大，则三通道 合成后红色就显示出来了。通过对这些颜色不平衡点的分析，发现这些噪点符合 椒盐噪声的模型，故可采用中值滤波来消除这些点的干扰。
③ 修改色度值
为消除由步骤②得到的背景帧中存在的小块的色斑，将饱和度剧变点的原 RGB三通道色度值替换成RGB三通道的色度均值。
第二歩，结合亮度差和色度差的视频运动目标检测 本发明提出的方法，在利用亮度差和色度差信息检测前景物体前，先对亮度 差和色度差矩阵进行滤波，以消除一部分噪声，再利用统计的高斯模型计算出亮 度差的阈值，并根据经验值确定出色度差的阈值；最后对检测的结果作保留边界 处理，使检测结果更加准确。方法步骤如下 ①计算亮度偏差和色度偏差
设=[￡fl(/)，￡c(0，&(/)]为背景图像第Z个像素的RGB值， /, ^/力'),4(/),/力')]表示当前图像第/个像素的RGB值，用下式计算当前图像和
背景图像的亮度偏差
② 噪声的消除
在实行检测方法之前，先对每一帧的亮度差和色度差矩阵进行中值滤波，除 去一部分噪点并保留边界，这样做能够减少噪声点对运动目标检测的影响，增加 准确度。
③ 引入概率统计的方法确定亮度差阈值
设pixel (i， j， d， k)为第k帧中像素(i， j)在d通道的亮度差值，按照下式可 以将所有的亮度差值归一化为标准正态分布。
若取Z二3， O(z>Z) = 0.13%，则亮度差值出现概率小于O. 13%的点为运动 物体，由此确定出阈值暗于背景的前景阈值为r—a=-3cr + //;亮于背景的前景 阈值为7; =3cr + //。
如果前景物体比背景暗，则判定运动目标的条件如下
'— w)2+w)2+w)2
用下式计算当前图像和背景图像的色度偏差
pixel(i，j,d,k) < r一
如果前景物体比背景亮
则判定运动目标的条件如下:
pixel(i,j,d,k)>7;
使用两种阈值，可以同时检测出一幅画面上亮度值比背景暗和比背景亮的物 体，而不用先使用边界分割，将每个运动物体单独提取出来进行阈值分析。
此外，色度差矩阵经过滤波和归一化后，也需要定一个阈值确定运动的物体。 本发明提出的方法通过研究不同的视频序列，得到色度差阈值的经验值为0.1 (归一化后的色度差取值范围是[O， l])。 ④运动目标分割
设由歩骤②得到的运动目标为点集F。，由原始的视频帧和背景帧的差值得到
的前景点集为《，将F。和^比较
*如果F。的某段边界在《内，则取F。的边界作为运动目标的边界，而在《
这段边界以外，被分割出来的《的子集就是运动目标的阴影区域；
*如果《的某段边界在F。内，则取《为运动目标的边界，被分割出来的F。 的子集作为噪声点舍弃。 本发明的效果与禹晶等在《计算机工程》2006年3月刊上发表的"基于色度 偏差的运动目标检测"中提出的现有技术相比可以在视频帧数少、前景运动较 慢的情况下准确提取出不含前景信息的背景帧，可以将前景的运动轨迹所占的像 素的个数减少80%以上，大大提高了背景帧提取的准确性；通过对亮度差和色度 差矩阵的中值滤波来除去部分噪声点并保留边界；提出了一种确定亮度差阈值的 方法，能够根据不同的视频序列特点准确地确定出相应的亮度差阈值，并采用了 点集之间的投影方法来保存运动目标的边界；可使运动目标检测的准确率提高 30%以上。
图1为本发明方法流程图
图2为本发明方法中背景帧提取的流程图
图3为本发明方法中亮度差阈值计算的流程图
具体实施例方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案 为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护 范围不限于下述的实施例。 如图1所示，本实施例可以分为以下几个步骤。
(1) 利用统计方法分RGB通道提取背景帧
在本实施例中，利用统计加滤波的方法分RGB通道来提取背景帧，其流程如图 2所示，具体步骤如下
① 利用统计方法分RGB通道提取背景帧
RGB每个通道的色度值范围都是
，将这个区间等分成n份，记为[O， p]， [p+l，2p]，…，[(n-l)p，255]。对于要进行运动检测的视频序列，设某像素 在各帧中的色度值pixel (i， j，d，k)集中分布在区间[mp+l， (m+l)p] (0〈m〈n)，则 对分布在该区间中的所有pixel(i， j, d， k)值排序，取最中间值作为d通道的背
景像素色度值。
② 中值滤波
分析①的处理结果，可发现背景帧中存在很多颜色不平衡点，经分析发现， 这些颜色不平衡点符合椒盐噪声的模型，故可用中值滤波来消除颜色不平衡点的千扰。
③ 修改色度值
对于②的处理结果中仍然存在前景运动的物体和颜色比较异常的彩色小土央， 可以通过如下处理进行消除如果某通道的色度值明显比其它通道大或小，而且 和四周的像素色度差值较大，饱和度变化大于某个阈值，则删除该像素原来的 RGB通道色度值，并用整幅背景帧的色度均值代替。
使用禹晶等在《计算机工程》2006年3月刊上发表的"基于色度偏差的运动 目标检测"中提出的方法进行背景帧的提取时，背景帧中含有大量的前景运动轨 迹信息，这意味着背景帧提取得不够准确，将直接影响到后续的运动目标检测的 结果。而使用本实施例提出的方法可以大量减少前景的运动轨迹，尤其在视频帧 数有限、前景运动较慢的条件下，仍可达到非常理想的效果。
(2) 计算当前帧和背景帧的亮度差和色度差值
设￡,=[&(/),i e(a^(0]为背景图像第/个像素的RGB值， /, ^/^')，4(/)，/,(/)]表示当前图像第/个像素的RGB值，用下式计算当前图像和
背景图像的亮度偏差
W)2+￡G(/)2+W)2 用下式计算当前图像和背景图像的色度偏差-
(3) 中值滤波
在本实施例中，在利用亮度差和色度差信息检测前景物体前，先对每一帧的 亮度差和色度差矩阵进行中值滤波，除去一部分噪点并保留边界。这样做能够减 少噪声点对运动目标检测的影响，增加检测的准确度。
(4) 用概率统计方法确定亮度差和色度差阈值
在本发明中，用概率统计方法得到亮度差阈值的计算流程如图3所示。
① 归一化
由于图像显示和后续处理的需要，得将所有的灰度值归一化到[O， l]区间， 在视频序列所有帧的亮度差矩阵中，差值最大的一部分像素点为噪声的概率极 大，因此取最大差值的90%，记为t，作为所有像素亮度差值新的最大值，而亮 度差大于t的像素点，记为p，看成是噪声点，归一化的过程中把原亮度差值p 改为新值t。经过了归一化处理，又能去除一部分的噪声。
② 用高斯模型拟合亮度差矩阵
噪声的存在严重影响每一帧算出的亮度差方差的准确性，因此，必须先进行 中值滤波。接着，对所有的帧的所有像素统一求取均值/z和方差cr。
设pixel(i, j，d，k)为第k帧中像素(i， j)在d通道的亮度差值，按照下式 可以将所有的亮度差值归一化为标准正态分布。
<formula>formula see original document page 10</formula>由此可以确定 暗于背景的前景阈值为
亮于背景的前景阈值为 例如，取定Z:3，因为O)(z〉Z"0.13。/。，认为亮度差值出现概率小于0.13%
的点为运动物体；那么当2<-Z或者PZ时则判定该点为前景点。
这样就将所有亮度差值归一化到标准正态分布，而门限值由取定的Z确定下
來所以，可以根据不同的视频序列的特点计算出不同的亮度差值，而不用每次都
山人工來确定。 ③计算阈值
前景物体比背景暗或亮，按两种情况分别确定亮度差阈值 *如果前景物体比背景暗，则判定运动目标的条件如下-
pixel(i,j，d,k)<71a
*如果前景物体比背景亮，则判定运动目标的条件如下
pixel(i,j,d，k)〉7;
此外，色度差矩阵经过滤波和归一化后，也需要定一个阈值确定运动的物体。 本实施例提出的方法通过研究不同的视频序列，得到色度差阈值的经验值为0.1 (归一化后的色度差取值范围是[O， l])。 (5)检测出前景运动物体 使用(4)中的两种亮度差阈值和色度差阈值，可以同时检测出一幅画面上亮 度值比背景暗和比背景亮的物体，而不用先使用边界分割，将每个运动物体单独 提取出来进行阈值分析。
(6)对检测结果进行保留边界处理 为保留检测出来的运动目标的边缘，需要对检测结果进行保留边界处理。设 由歩骤(5)得到的运动目标为点集F。，由原始的视频帧和背景帧的差值得到的
甜景点集为巧，将《和巧比较 -
*如果《的某段边界在《内，则取F。的边界作为运动目标的边界，而在F。
这段边界以外，被分割出来的《的子集就是运动目标的阴影区域； *如果《的某段边界在《内，则取^为运动目标的边界，被分割出来的F。
的子集作为噪声点舍弃。
权利要求
1、一种结合色度偏差和亮度偏差的视频运动目标检测方法，其特征在于，具体步骤如下第一步，背景帧的提取使用统计加滤波的方法来进行背景帧的提取，首先用统计的方法分通道提取背景帧，然后采用中值滤波来消除分通道提取的背景帧中颜色不平衡点的干扰，最后将饱和度剧变点的原RGB三通道色度值替换成RGB三通道的色度均值，以消除中值滤波后得到的背景帧中存在的小块的色斑；第二步，结合亮度差和色度差的视频运动目标检测在利用亮度差和色度差信息检测前景物体前，先对亮度差和色度差矩阵进行滤波，以消除一部分噪声，再利用统计的高斯模型计算出亮度差的阈值，并根据经验值确定出色度差的阈值，最后对检测的结果作保留边界处理。
2、 根据权利要求1所述的结合色度偏差和亮度偏差的视频运动目标检测方 法，其特征是，所述用统计的方法分通道提取背景帧，具体为RGB每个通道的 色度值范围都是
，将这个区间等分成n份，记为[O， p]， [p+l，2p]，…， [(n-l)p,255]，设某像素在各帧中的色度值pixel(i, j,d，k)集中分布在区间 [mp+l， (m+l)p] ， 0〈m〈n，则对分布在该区间中的所有pixel (i， j, d， k)值排序， 取最中间值作为d通道的背景像素色度值。
3、 根据权利要求1所述的结合色度偏差和亮度偏差的视频运动目标检测方 法，其特征是，所述结合亮度差和色度差的视频运动目标检测，步骤如下①计算亮度偏差和色度偏差设为背景图像第/个像素的RGB值， /, 二[A(/)，/e(/),/^(/)]表示当前图像第/个像素的RGB值，用下式计算当前图像和 背景图像的亮度偏差<formula>formula see original document page 2</formula>用下式计算当前图像和背景图像的色度偏差 ② 噪声的消除先对每一帧的亮度差和色度差矩阵进行中值滤波，除去一部分噪点并保留边界；③ 引入概率统计的方法确定亮度差阈值设pixel (i， j， d， k)为第k帧中像素(i， j)在d通道的亮度差值，按照下式将 所有的亮度差值归一化为标准正态分布；z = (/ ixe/ (7, 乂， d, A:) - //)/o"若取2 = 3， O)(z>Z) = 0.13%，则亮度差值出现概率小于0. 13°/。的点为运动物体，由此确定出阈值暗于背景的前景阈值为7^=-3(7 + //;亮于背景的前景阈值为7;=3<7+; ;如果前景物体比背景暗，则判定运动目标的条件如下-pixel(i,j，d,k) < T—a如果前景物体比背景亮，则判定运动目标的条件如下pixel(i，j，d，k)>ra④ 运动目标分割设由步骤②得到的运动目标为点集F。，由原始的视频帧和背景帧的差值得到的前景点集为FA ，将F。和F6比较以确定运动目标的边界。4、 根据权利要求3所述的结合色度偏差和亮度偏差的视频运动目标检测方 法，其特征是，色度差矩阵经过滤波和归一化后，设定一个阈值确定运动的物体， 色度差阈值的经验值为0. 1，归一化后的色度差取值范围是[O， l]。5、 根据权利要求3所述的结合色度偏差和亮度偏差的视频运动目标检测方 法，其特征是，所述将F。和K比较以确定运动目标的边界，具体为如果F。的某段边界在《内，则取F。的边界作为运动目标的边界，而在《这段边界以外，被分割出来的《的子集就是运动目标的阴影区域； 如果^的某段边界在F。内，则取《为运动目标的边界，被分割出来的《的 子集作为噪声点舍弃。
全文摘要
一种视频处理技术领域的结合色度偏差和亮度偏差的视频运动目标检测方法。步骤如下首先用统计的方法分通道提取背景帧，然后采用中值滤波来消除背景帧中颜色不平衡点的干扰，最后将饱和度剧变点的原RGB三通道色度值替换成RGB三通道的色度均值；在利用亮度差和色度差信息检测前景物体前，先对亮度差和色度差矩阵进行滤波，再利用统计的高斯模型计算出亮度差的阈值，并根据经验值确定出色度差的阈值，最后对检测的结果作保留边界处理。本发明可在视频帧数少、前景运动较慢的情况下准确提取出不含前景信息的背景帧，能根据不同视频序列的特点准确计算出确定前景物体的亮度差阈值，并保存了运动目标的边界，从而准确地检测出视频序列中的运动目标。
文档编号G06T7/20GK101098462SQ20071004373
公开日2008年1月2日 申请日期2007年7月12日 优先权日2007年7月12日
发明者余松煜, 瑞 张, 张思竹, 杨小康 申请人:上海交通大学