预处理视频流用于后续运动检测处理的方法、装置和系统的制作方法
【技术领域】
[0001] 本发明涉及视频流中运动检测的领域。具体地，涉及视频流的预处理以用于后续 运动检测处理。
【背景技术】
[0002] 对于自动摄像头监视的需求正在稳步增加。例如，即使在很远距离且困难的环境 下，仍期望能够检测由摄像头捕捉的图像中对象的运动。为了这个目的，市场上可以商购到 大量的用于运动检测的自动系统的运动检测引擎。
[0003] 运动检测引擎可以例如运行在网络装置（诸如服务器）上，并且一个或多个摄像 头可以经由网络使捕捉到的图像的视频流流入网络，以用于后续运动检测。由于比特率的 限制，当将图像的视频流流入网络装置时，在将其发送至网络装置之前，通常转换（诸如压 缩或转换为较低的位深度（bit depth))捕捉到的图像的视频流。换言之，在传送至运动检 测引擎之前，表示视频流中图像的比特数降低了。通过示例的方式，视频流中图像的每个像 素可以在转换之前由16比特表示并且在转换之后由8比特表示。
[0004] 由于被用来表示运动检测引擎对其进行操作的视频流中图像的比特数目有限，运 动检测引擎检测小对象的能力将是有限的。例如，在比特转换过程中，小的对象可能消失， 或者由于运动检测引擎对其进行操作的视频流中图像的低对比度或低分辨率，小的对象可 能被误认为是噪声并且因此可能被运动检测引擎去除。
[0005] UK专利申请GB 2442512A公开了一种对从摄像头接收到的图像（即，通常是已经 进行比特转换的图像）进行操作的运动检测器。所公开的运动检测器计算当前视频帧和先 前视频帧之间的差值，以便检测移动对象的边缘。与噪声相比，为了突出移动对象，将检测 到的边缘增强，使得真实移动特征的边缘远远高于随机像素变化。
[0006] 因此，GB 2442512A提出改变运动检测算法，以便与随机噪声相比增强真实的移动 对象。因此，使用这种方法，不可以使用标准的、市售的运动检测引擎。此外，这种方法受到 下述事实的影响，即，在进行运动检测之前，由于在摄像头中常常发生的比特转换，小的对 象可能被从图像中移除或消失。
[0007] 因此，期望能够使用标准的、市售的运动检测引擎，并且还能够改善关于对覆盖捕 捉到的图像中几个像素的小对象的检测的运动检测结果。
【发明内容】
[0008] 基于上述，因此本发明的目的是减少或克服上述缺点。特别地，本发明的目的是提 供允许使用标准的、市售的运动检测引擎并且还能够改善检测小对象的运动检测的结果的 方法、装置和系统。
[0009] 根据本发明的第一方面，由预处理视频流以用于后续运动检测的方法来实现上述 目的，该方法包括：
[0010] 接收图像的视频流，其中所述视频流中的每个图像由第一多个比特表示；
[0011] 对于所述视频流中的每个图像，通过下述步骤来增强所述图像的视频流：
[0012] 将所述视频流中的所述图像与至少一个先前图像进行比较，以便识别出所述视频 流中所述图像不同于与所述至少一个先前图像的像素，
[0013] 在所述视频流中所述图像不同于所述至少一个先前图像的像素中，增强所述图 像；以及
[0014] 转换增强后的图像的视频流，以便产生转换后的图像的视频流用于后续运动检测 处理，其中所述转换后的视频流中的每个图像由低于所述第一多个比特的第二多个比特表 不。
[0015] 使用这种方法，在应用运动检测处理之前对视频流进行预处理。这意味着无需对 运动检测处理进行任何修改，从而允许使用标准的、市售的运动检测引擎。代替地，所提出 的方法对视频流进行预处理以便修改随后进行运动检测处理的输入视频流。
[0016] 更具体地，在将摄像头捕捉的原始的图像的视频流转换为可能随后将进行运动检 测处理的视频流之前，所提出的方法增强了上述原始的图像的视频流。这个转换可以看作 比特减少过程，导致用于表示视频流中每个图像的比特数目减小。换言之，对包括更大量信 息（例如，与转换操作之后提供的图像数据相比具有更高对比度和/或更高质量）的图像 数据进行预处理。这使得预处理利用更大量的信息，并且基于此，增强了图像中的特征（例 如小的移动对象，否则它们将在转换操作中丢失或在转换后的视频流中难以与噪声区分）。
[0017] 更详细地，上述方法提出识别视频流中图像不同于至少一个先前图像的像素，即 可能对应于移动对象的移动边缘的像素。然后在识别出的像素中增强该图像。因为移动边 缘通常出现在移动对象的"周围"，所以增强之后的对象的尺寸将显得更大，从而使得后续 运动检测处理更容易地检测出移动对象。显而易见地，因为在转换之前在摄像头的图像流 先执行增强，所以与转换之后执行的相应增强相比，由于转换之前和转换之后图像中信息 的差异，所以转换之前的增强可能能够增强更小的移动对象。
[0018] 在由热成像摄像头（thermal camera)捕捉视频流的情形下，所提出的方法可能是 尤其有利的。热成像摄像头是大的检测器且可以被用于对远距离处和艰难状况下的对象进 行区分。它们在这方面的性能常常比视觉摄像头更好。然而，由于计算能力的限制以及通 常地热成像摄像头的较低分辨率（使得由捕捉到的图像中的较少像素覆盖对象），在诸如 运动检测的自动系统中难以利用这个检测潜力。另外，大多数运动检测引擎被优化为视觉 摄像头。然而，如上所述，使用所提出的方法，在预处理之后对象将显得更大且因此有助于 解决热成像摄像头的低分辨率问题。
[0019] 图像的视频流通常指图像的时间序列。
[0020] 增强像素中的图像通常指增大或增进（gain)该像素的值。
[0021] 如本文所使用的，如果一个图像与至少一个先前图像的强度值的差异超过阈值， 则可以说该图像与该至少一个先前图像的像素不同。
[0022] 转换视频流通常指将视频流从第一格式转换为第二格式。特别地，转换视频流指 减少视频流中表示每个图像或像素的比特数目。例如，这可以包括对图像的视频流进行视 频压缩。额外地或可替代地，转换可以包括减少视频流中图像的位深度。更具体地，视频流 中图像的每个像素可以由第一数目比特表示，并且转换增强后的图像的视频流的步骤可以 包括转换增强后的图像的视频流，使得转换后的视频流中图像的每个像素由低于第一数目 比特的第二数目比特表示。第一数目比特（即，在转换之前的位深度）可以等于16比特， 而第二数目比特（即，在转换之后的位深度）可以等于8比特。应该注意到，如本文中所使 用的，转换视频流通常不指减小空间分辨率（即，视频流的图像中的像素数目）。
[0023] 因为第一比特数目大于第二比特数目，所以在转换之前图像的视频流中图像的对 比度比转换之后高。由于更高的对比度，例如可以更容易将对象与噪声区分开，所以简化了 对小对象的检测和增强。
[0024] 在将所述视频流中的所述图像与至少一个先前图像进行比较的步骤中，可以将所 述视频流中所述图像与根据至少一个先前图像形成的图像进行比较。例如，通过形成视频 流中至少一个先前图像的平均值，可以根据视频流中的至少一个先前图像形成图像。因此， 根据至少一个先前图像形成的图像可以被看作通过时间地过滤至少一个先前图像而形成 的图像。对于待形成的图像中的不同像素，当形成平均值时可以使用不同数目的先前图像， 即，对于不同的像素，时间滤波器可以使用不同数目的先前图像。特别地，所使用的先前图 像的数目可以基于在至少一个先前图像中最近的一个中检测到的运动。通过示例的方式， 在特定像素中检测到运动的情况下，当根据至少一个先前图像形成图像时，对于该像素可 以仅仅使用至少一个先前图像中最近的一个。在特定像素中没有检测到运动的情况下，当 根据至少一个先前图像形成图像时，对于该像素可以使用至少一个先前图像中的多个。在 这种情况下，基于至少一个先前图像中的最近一个与根据上述由至少一个先前图像中的所 述最近一个之前的至少一个图像形成的图像的比较，可以检测到运动。换言之，为了能够进 行运动检测，对于图像的视频流中的每个图像帧，可以迭代地更新根据至少一个先前图像 形成的图像（即，时间地过滤后的图像）。
[0025] 可以以不同的方式来执行对在视频流中图像不同于至少一个先前图像的那些像 素中的图像的增强。例如，在增强所述图像的步骤中，可以将偏移加入所述视频流中所述图 像不同于所述至少一个先前图像的那些像素的像素值。以这种方式，增大了检测到运动的 像素中的对比度，从而使得后续运动检测处理更容易地将这些像素与噪声区分开。
[0026] 在增强图像的步骤中，还可以将所述视频流中所述图像不同于所述至少一个先前 图像的像素中的像素值乘以增益因数来增大对比度。
[0027] 如上所述，增强步骤将具有增大移动对象尺寸的效果，即，在增强之后，移动对象 将显得比增强之前更大。在增强所述图像的步骤中，还可以在所述视频流中所述图像不同 于所述至少一个先前图像的像素周围增强所述图像来增大上述效果。例如，这个周围可以 对应于将像素的帧（诸如3x3、5x5、或更一般地η X η像素帧）加入与视频流中至少一个先 前图像不同的图像中的每个像素。
[0028] 如上所进一