专利名称：虚假运动过滤器的制作方法
虚假运动过滤器相关案件说明本申请要求2006年3月24日提交的美国临时申请第60/743760 号的权益和优先权，该美国临时申请以引用的方式并入本文.背景技术Wren等人提出了基于使用数字傅立叶变换或数字余弦变换分解每 个像素上的瞬时信号来从基础虚假(spurious)运动中提取周期性信息 的方法，见Wren， C丄和Porikli， F.所著的《Waviz: Spectral Similarity for Object Detection》 (//zfer力"/o/za/ /To/"i^Ao/7 o/7户er,or迈a/7ce fFa/wa〃o/ o/ 7!raci7/^ <f iST/rFe/Z/s"", 2005年 l月)以及Porikli， F.和Wren， C丄所著的《Change Detection by Frequency Decomposition: Wave-Back》 (fiwi^Ao/ an /鹏《e J/7aAF^/s ,o_rM//〃me^//a i/7ferae〃Fe lyerF7ces, 2005年4月)。 如 果当前频率特征(signature)大大不同于模拟背景频率特征的模型，则 将当前像素归类为前景像素.这两种方法实际上是羊一步稞运动检测 法，而我们的过滤器被设计用来仅仅消除虚假运动.这两种方法面临 的一个困境是，它们要求用于DFT或DCT函数的固定的窗口大小。选择 宽的窗口给出较好的频率分辨率，但是时间分辨率较差.窄的窗口给 出良好的时间分辨率，但是频率分辨率较差，宽的窗口可能造成运动 对象之后的长的拖尾.拖尾是由于因运动对象上的像素在背景模型中 形成"污染"而将背景像素错误地确定为运动像素而造成的.Wren建 议通过动态调节窗口大小来减轻这一问题，相比较而言，本发明在这方面更具适应性，这是因为过滤强度与 虚假运动强度成比例，并且假设常规的运动对象触发较弱的虚假运动 响应(对于大多数情形，这一假设是成立的)，常规的运动对象将会 经受较小的过滤强度，这转化为等效地减小过滤器的窗口大小。这样， 按照本发明的实现方式较为简单.对显著运动也存在积极研究，这项研究检测运动的"显著性"， 以便将不显著的虚假运动与显著的常规运动分离开来，见R. P. Wildes和L.Wixson所著的 Detecting Salient Motion Using Spatiotemporal filters and Optical Flow》 (/Voceed//^ o尸f力e /迈age toder"^//^ ITo由Ao/7， 349-356， 1998 ).显然，这 些办法统统有别于本发明.显著运动基于光流技术，普遍认为光流技术是不精确且易于出错 的。如果行人向前走3步并向后走2步，那么就很难将其认作显著运动. 因为本发明的办法使用长得多的时间段(与典型运动相比)来检测虚 假运动，所以比较容易检测到行人，不过，显著运动在检测极度啃杂 的虚假运动区域内的对象方面可能占有优势，因为本发明的办法倾向 于使用非常强的过滤，这可能会影响常规运动对象的检测.就本文作者所知，到目前为止，显著运动技术还没有商用.由此，需要用于在监视系统中提供虚假过滤的新的改良方法和系发明内容本发明提供用于在监视系统中处理视频信号的系统和方法.按照 本发明的一个方面的方法包括确定视频信号中两帧之间的差异的测量 值、对视频信号施加阈值和用低通过滤器过滤视频信号的步骤.按照本发明的其它方面，该方法包括生成虚假运动图和显示该虚 假运动图.按照本发明的其它方面，阈值处理和过滤是由用户适应性地控制 的.生成和显示视频信号和虚假运动图.依据视频信号的显示和虚假 运动图的显示调节阈值.还可以依据视频信号的显示和虚假运动图的 显示调节低通过滤器中的参数.进行这些调节以改善虚假信号的检测.确定两帧之间的差异的测量值的步骤优选地是使用差分过滤器进 行的.低通过滤器优选地是按照《=、.(1-") + ^"来实现的，其中Si是第 i个帧中经过过滤的信号，Pi是关于笫i个帧的输入，a是用户定义的参 数.按照本发明的其它方面，该方法还包括对视频信号进行归一化以 生成虚假运动图以及对虚假运动图进行扩张(dilate)以填补空白. 该方法还包括用低通过滤器对运动图进行进一步过滤.该方法此外还包括对视频信号进行处理以检测运动.按照本发明的系统包括从监视系统接收视频信号的处理器和能够 在该处理器上搮作以执行前面描述的步骤的软件应用.
图l图示虚假运动的典型类型.图2和3图示按照本发明的方法的流程图. 图4图示按照本发明生成虚假过滤器的方法的另一个方面. 图5图示允许用户配置按照本发明的各个方面的虚假过滤器中的 运动检测参数的窗口.图6和7图示本发明的系统的用户可以使用的典型窗口. 图8图示按照本发明的一个方面的监视系统.图9和10图示按照本发明的另一个方面的监视系统中的处理单元.具体实施方式
本发明的一个方面提供运动检测系统和方法.本发明的其它方面 提供与虚假过滤器有关的系统和方法. 虚假过滤器的概述本发明的过滤器被设计用来滤除虚假运动.虚假运动被定义为在 处理视频信号时在运动检测的过程中无用的杂乱无章的、重复的、抖 动，按照本发明的一个方面，新的虚假过滤器记住虚假运动的位置和 强度。它实时地依照虚假运动的强度施加合适的低通过滤强度.没有 虚假运动的常规像素不发生变化地经过这个过滤器，而具有虚假运动 的像素将会"得到平滑"，以避免被检测为噪声.对于大多数运动检测算法来说，将来自背景模型的像素值变化检 测为运动.不过，很多类型的这些运动、比如风吹之下的水上亮斑 (glint)、起伏的波浪、飘扬的旗伊、、摇戋的树枝和摆动的草叶在为了 安全目的而进行的运动检测过程期间并不是所关注的。在将这些视频信 号馈送给常规运动检测算法时，可能产生大量噪声，可能使检测输出 无用.由于虚假运动千变万化以及实时视频处理的要求，本发明的过滤器应当能够灵活配置并且在执行时是有效的.例如参见图l，图l图示 监视系统中虚假运动的各种不同来源.例如，如图所示，(分散的和 集中的)日照亮斑通常产生虚假运动.此外，风向袋和起伏的波浪也 是虚假运动的已知来源.按照本发明的一个方面，定义了代表性的虚假运动强度，并且使 用一组最少量的配置参数来涵盖千变万化的虚假运动.按照本发明的另一个方面，定义问题的范围和解决(fixing)的系统的两步法被设 计用来滤除虚假运动和用于轻松设置(easy setup)的图形表示.测试表明，本发明的过滤器足够快以用在具有3G CPU的个人计算 机上的多通道实时视频监视系统中.本发明的过滤器消除很多不同种 类的虚假运动，此外，在经过适度过滤的区域内仍然能够检测到常规 运动对象.在经过强过滤的区域内，比如在水上的日照亮斑的中心， 检测可能是徒劳的.不过，经过过滤的区域之外的运动检测丝毫不受 影响.视频监视系统中的运动检测的概述典型的视频监视系统包括图像采集模块、运动检测模块、跟踪模 块和分类模块.图像采集是非常完善的领域，其中大多数硬件能够为 了运动检测的目的而提供令人满意的视频馈送.各种不同监视系统间的差异主要来源于运动检测、跟踪和分类模 块的性能的差异.显然，运动检测是所有后续步稞的基础.它的输入是来自帧接收 器或其它视频源的原始视频.它的输出是表明运动像素处于何处的运 动图.运动被定义为与参考图像(也称背景图像)的像素值差.取决于 模拟参考图像的复杂程度，可使用一个高斯函数(背景消减)或多个 高斯函数(多高斯).使用多个函数来模拟背景将有助于消除虚假运 动，因为它基本上允许背景处于不同模式中，这些模式对于具有虚假 运动的背景像素而言接近真实.但是实验结果表明它不适合于处理现 实生活视频.存在不使用参考图像但依赖于相继桢的求差的运动检测方法。普 遍认为它们不适合于现实生活视频，因为检测暂时停止的或緩慢运动 的对象所需要的"存储器"不足.虚假运动过滤器图2和3图示按照本发明的一个方面的虚假运动过滤器的流程闺. 图4图示按照依照本发明的虚假运动过滤器的一个方面的虚假运动过 滤器的组成部分.在困4中，过滤器优选地包括差分过滤器30、阈值过 滤器32和低通过滤器34,它还包括过滤强度转换器36和第二低通过滤 器38.输入和输出优选地将虚假运动过滤器放置在处理流水线的最前端.它的输入 是原始祝频桢IO,并且将它的输出(是经过过滤的图像帧)馈送到运 动检测模块中.与输入帧相比，输出桢中虚假运动区域内的像素将更 少闪烁，而虚假运动区域之外的像素与输入帧中的相应的像素相同.虚假运动强度像素值越频繁地改变，并且变化越大，虚假运动就越强.在此指 定的过程是捕捉虚假运动的特征，这些特征是像素值在长时间段上的 一致变化.差分过滤器参照图2，步驟12中的平方差被用于拾取视频信号的变化.在图2 的步骤20中，执行两个相继帧的简单求差.为了避免符号问題和歪曲 输出来促进易于具有更显著变化的虚假运动，将差的平方发送给下一 个过滤器.这样，如图2中所示，对于相继桢中的每个像素，确定以下 计算(AI / At)2 = (Icur - Iprev)2.虽然优选的是使用差分过滤器来提取视频信号的"变化"，但是 不是必要的.这样，刚刚指定的计算可以利用能够检测帧历史和当前 帧之间的变化的任何过滤器或程序来进行.最小阈值处理为了避免将视频噪声引入到确立虚假运动强度的考虑中，从底部 对来自差分过滤器的输出进行阁值处理，如图2的步骤14中所示.这样， 在这个步骤期间，排除低于阈值的任何差分值.典型地，该阈值应该 足够大以防止将图像中的高对比度区域包含到虚假运动区域内.由于 图像噪声，高对比度区域比具有平均对比度的区域更可能表现为虚假 运动。低通过滤器虚假运动信号和常规运动信号之间的一个关键差异是，从特定像 素的角度看，虚假运动的持续时间要长得多.常规运动也会引起对虚 假运动的一些响应.但是因为它更加短暂，所以虚假运动强度不太可能升高到影响运动检测的程度.这样，在阈值处理之后，在图2的步骤 16中对经过处理的信号进行低通过滤，这个低通过滤器是依据虚假运 动强度将虚假运动与常规运动分离开来的关键步骤.低通过滤器的简单而有效的实现方式是《=、(l_a) +《.a 其中Si是第i个帧中经过过滤的信号，Pi是第i个帧的输入，"被定义为 虚假运动学习速率.它应当反映要过滤的虚假运动信号的时间特性. 虚假运动频率越高，这个学习速率应当越大.对于通用的虚假运动过 滤器来说，0. l是学习速率的好的初值。优选的是，虚假运动过滤适合于允许用户适应性地改善结果.这 样，按照本发明的另一个方面，步骤14中使用的阈值可以由用户适应 性地改变.此外，过滤步骤16中使用的值a也可以由用户适应性地改变.图5图示由监视系统中的处理系统显示的窗口，该窗口允许用户指 定步骤14中的阈值和步骤16中的"的值.用户可以调节该窗口的覆盖区 域阈值部分中的滑动条以调节处理器处理视频信号所使用的阈值.用 户还可以调节该窗口的最小过滤强度区域内的滑动条以调节"的值.用 户可以在观看虚假运动图时调节这些值，并且调节这些值，直到获得 期望的画面.虚假运动图在图3的步骤18中，生成虚假运动图，优选地通过归一化视频信号 的信号强度来生成.在步壤20中，对运动图进行扩张以填补虚假运动 图中的空白(hole),可以通过二元法或通过灰度级法来扩张运动困. 在本发明中优选的是使用灰度级法.在步骤22中，应用低通过滤器. 在步骤24中，显示滤除了虚假运动的视频信号的桢.虚假运动图是在每个像素处虚假运动强度的图像，它的像素值应 当反映虚假运动强度。例如，如果我们使用蓝色来表示虚假运动的存在，则像素越蓝， 该像素处的虚假运动就越强，为了将虚假运动强度映射为特定颜色的 饱和值，可以使用线性标度，其中最不饱和颜色与虚假运动强度的阈值相对应，并且最饱和颜色与最大虚假运动强度相对应，该最大虚假 运动强度可以是预定义的值.这个线性标度的斜率将指示在具有虚假 运动的区域内色彩明暗的分布，为了简化设置程序，最大虚假运动强度阈值可以是通过使用虚假 运动强度阈值的极值之间的预定义的简单线性关系根据最小虚假运动 强度阈值自动计算出来的.在实践中，最大值的影响明显比最小值的 影响小得多.还推荐将虚假运动图叠加到实况转播的視频图像上，以可见地实 时显示过滤器覆盖范围和运动强度分布.当设置虚假运动过滤器时， 用户需要通过调节虚假运动强度的阁值来告知系统过滤器需要復盖的 范围.当阈值非常低时，可能会将视频信号上的正态噪声认为是虚假运动；当阈值非常高时，可能会漏掉真正的虚假运动.相同类型的运 动可能在一种情形下被认为是虚假运动，而在另一种情形下被认为是 正常运动.因此，用户在定义虚假运动应当起作用的范围的时候具有 某种可视反馈是重要的. 虚假运动的模式实际上存在各种各样的虚假运动.从特定像素的角度来看，它可 以是非常显著的变化但是很少发生，比如水上的亮斑；或者是非常逐 步的变化但是持续不断地发生，比如风吹草动。由于与正常运动对象 的信号的相似性，第一种情况尤其难以滤除.因此，需要对虚假运动 图进行扩张操作来获得稳定的响应.对虚假运动强度进行低通过滤和 扩张的组合效果在3D时空空间内实现平滑效果.扩张的核心应当与虚 假运动区域中的峰值之间的典型距离的大小成比例.过滤虛假运动给定虚假运动强度，可以对各种不同程度的虚假运动施加合适的 过滤强度.例如，强度等于虚假运动强度阚值的虚假运动应当经受最 小过滤强度，而强度等于或高于最大虚假运动强度阈值的虚假运动应 当经受最大过滤强度.最小和最大过滤强度是由用户设定的，由于虚 假运动过滤器最可能在运动检测模块之前，因此在设定最小和最大过 滤强度的时候观察运动检测结果是有帮助的，最小和最大过滤强度的 典型值分别在(0， 1)和(1， 10 )之内。在步骤22，本发明将当前原始视频桢中的每个像素馈送到低通过滤器中，该低通过滤器的强度通过该像素处的虚假运动强度来控制.
步碟22中使用的低通过滤器优选地类似于获得虚假运动强度时使 用的低通过滤器
&.(卜a) +《.a 其中a是利用随后的公式与虚假运动强度关联起来的."-exp(- Ss.)， 其中S，.是该像素处的虚假运动强度.这一特定函数给出针对虚假运动 强度挑选过滤强度时的近似线性的标度.
类似于针对最小和最大虚假运动强度的程序，最大虚假运动过滤 强度可以根据最小虚假运动过滤强度自动计算出来.使用虚假运动过 滤强度的极值之间的预定义的简单线性关系由经验证明是恰当的.在 实践中，最大值的影响明显比最小值的影响小得多.
按照本发明的一个方面，所提出的方案不依赖于低通过滤器和差 分过滤器的各种不同实现方式.按照本发明的一个方面，优选的是生 成虚假运动图以有效地设置过滤器.不过，只要像素值反映虚假运动 强度，就不必以特定的方式生成该图.
图6和7图示本发明的系统显示给用户的三个窗口.在每个窗口序 列中，左边的窗口显示虚假运动.中心窗口显示运动检测，并且右边 的窗口显示视频信号.
在图6中，在左边的窗口中，围绕白色部分的较暗的区域代表波紋 和虚假运动.在本发明中，将其表示为蓝色，在观看了窗口之后，用 户调节图5中所示的窗口内的滑动器，以调节阈值和低通过滤器参数， 从而改善虚假信号的检测，如图6和7的窗口中所示。
本发明在监视系统和用于监视目的的处理系统中具有适用性，并 且能够被用在各式各样的这种系统中.为了图解说明的目的，在图8中 图示了这种系统.参照图8，按照本发明的一个方面，监视系统100可 以包括传感器系统102、网络服务器106、处理系统104和命令与控制系 统112.处理系统104包括处理子系统108和数据库110.它还包括能够 在处理系统104上进行搮作以执行在此描述的步躁的应用软件.本发明 的处理优选地在处理子系统108中被执行，处理子系统108还执行来自 监视系统的视频信号的其它已知处理。
图9和10图示按照本发明的另一个方面的视频处理单元.将视频馈 送给视频处理单元200，视频处理单元200向数据存储中心202进行馈送.数据存储中心202能够驱动各种不同的显示器和装置.参照图IO, 视频处理单元200包括归一化模块、稳定化模块和本发明的虚假运动过 滤器.如图10中所示，虚假运动过滤器从稳定化模块接收稳定化的视 频数据.将来自虚假运动过滤器的输出馈送给运动检测模块，运动检 测模块向跟踪模块和分类模块进行馈送.这样，视频处理单元200包括 处理器和实现图10中所示的在此描述的模块(包括虚假运动过滤器) 的应用软件.
本发明的处理和过滤器可以位于监视服务器或监视客户机240中. 在美国专利No. 7106333中更加详细地描述了这些系统，该美国专利以 引用的方式于此被并入.
下面的参考文献提供与本发明有关的背景信息，并且这些参考文 献以引用的方式于此被并入[1] Wren， C. R.和Porikli， F.所著的
《Waviz: Spectral Similarity for Object Detection》 (IBEE International Workshop on Performance Evaluation of Tracking & Surveillance, 2005年1月)；[2] Porikli， F.和Wren, C. R.所著 的《Change Detection by Frequency Decomposition: Wave-Back》
(Workshop on Image Analysis for Multimedia Interactive Services, 2005年4月)；和[3]R. P. Wildes和L. Wixson所著的
《Detecting Salient Motion Using Spatiotemporal filters and Optical Flow》 (Proceedings of the DARPA Image Understanding Workshop, 349-356,1998).
虽然已经按照应用于本发明的优选实施例的方式示出、描述和指 出了本发明的基本新颖特征，但是应当理解，本领域技术人员可以进 行图示装置的形式和细节方面以及它的搮作方面的各种不同的删节和 替换及改变，而不会背离本发明的精神.因此，意图是仅仅受到如所 附权利要求的范围所指示的那样的限制。
权利要求
1.一种在监视系统中过滤视频信号的方法，包括确定该视频信号中两帧之间的差异的测量值；对该视频信号施加阈值；以及用低通过滤器过滤该视频信号。
2. 按照权利要求l所述的方法，此外还包括 生成虚假运动图；以及 显示该虚假运动图.
3. 按照权利要求l所述的方法，此外还包括 显示该视频信号；生成并显示该视频信号的虚假运动图；以及 依据该视频信号的显示和该虚假运动图的显示调节阈值.
4. 按照权利要求l所述的方法，此外还包括 显示该视频信号；生成并显示该视频信号的虚假运动困；以及 依据该视频信号的显示和该虚假运动图的显示调节低通过滤器中 的参数。
5. 按照权利要求l所述的方法，此外还包括 显示该视频信号；生成并显示该视频信号的虚假运动图；依据该视频信号的显示和该虚假运动图的显示调节阈值；以及 依据该视频信号的显示和该虚假运动图的显示调节低通过滤器中 的参数。
6. 按照权利要求l所述的方法，其中确定两桢之间的差异的测量 值的步猓是使用差分过滤器进行的.
7. 按照权利要求l所述的方法，其中该低通过滤器是按照下式实 现的其中Si是笫i个帧中经过过滤的信号，Pi是关于笫i个帧的输入，"是用 户定义的参数.
8. 按照权利要求l所述的方法，此外还包括 对该视频信号进行归一化，以生成虚假运动困；以及对该虚假运动图进行扩张，以填补空白.
9. 按照权利要求8所述的方法，此外还包括用低通过滤器过滤 该运动图.
10. 按照权利要求9所述的方法，此外还包括对该视频信号进行 处理，以检测运动.
11. 一种用于处理视頻信号的监视系统，包括 处理器，该处理器接收该视频信号； 软件应用，该软件应用在该处理器上可搮作用于确定该视频信号中两帧之间的差异的测量值； 对该视频信号施加阈值；以及 用低通过滤器过滤该视频信号.
12. 按照权利要求ll所述的系统，其中该软件应用此外还可操作 用于生成虚假运动图并显示该虚假运动困.
13. 按照权利要求ll所述的系统，其中该軟件应用此外还可操作 用于显示该视频信号；生成并显示该视频信号的虚假运动困；以及 依据该视频信号的显示和该虚假运动图的显示调节阈值.
14. 按照权利要求ll所述的系统，其中该软件应用此外还可採作 用于显示该视频信号；生成并显示该视频信号的虚假运动图；以及 依据该视频信号的显示和该虚假运动图的显示调节低通过滤器中 的参数。
15. 按照权利要求ll所述的系统，其中该软件应用此外还可採作 用于显示该视频信号生成并显示该视频信号的虚假运动图；依据该视频信号的显示和该虚假运动图的显示调节阈值；以及 依据该视频信号的显示和该虚假运动图的显示调节低通过滤器中 的参数.
16. 按照权利要求ll所述的系统，其中两帧之间的差异的测量值的确定是使用差分过滤器进行的.
17. 按照权利要求ll所述的系统，其中该低通过滤器是按照下式 实现的其中Si是笫i个桢中经过过滤的信号，Pi是关于第i个桢的输入，"是用 户定义的参数.
18. 按照权利要求ll所述的系统，其中该软件应用此外还可操作 用于对该视频信号进行归一化，以生成虚假运动图；以及 对该虚假运动图进行扩张，以填补空白.
19. 按照权利要求18所述的系统，其中该软件应用此外还可操作 用于用低通过滤器过滤该运动图.
20. 按照权利要求19所述的系统，其中该软件应用此外还可操作 用于进一步处理该视频信号，以检测运动.
全文摘要
一种用于从视频图像序列中滤除虚假运动的过滤器用于视频图像信号处理中以在该视频图像序列中识别运动对象。虚假运动是图像的构成噪声并且干扰视频信号的运动检测的杂乱无章的、重复的、抖动部分。过滤器记住虚假运动的位置和强度，按照虚假运动强度实时地施加合适的低通过滤强度。没有虚假运动的常规像素将不发生变化地通过这个过滤器，而具有虚假运动的像素将“得到平滑”，以避免被检测为噪声。
文档编号H04N5/14GK101411190SQ200780010491
公开日2009年4月15日 申请日期2007年3月22日 优先权日2006年3月24日
发明者Z·范 申请人:西门子建筑技术公司