一种快速自适应的实时彩色背景提取方法

本发明属于计算机视觉和图像处理技术领域，特别涉及了一种彩色背景提取方法。

背景技术：

如今，随着计算机视觉和图像处理技术的发展，对视频数据的智能化管理逐步受到广泛关注。基于视频对场景进行理解与分析是一个重要的研究方向，主要体现对物体的分类、定位和事件检测上，在现实生活中有着广泛的应用，如在安全管控方面，可实现异常目标和行为的识别；在智能交通方面，可实现运动车辆的检测和分类等。目前，场景分析的方法主要包括两类，即基于深度神经网络的场景分析以及基于背景的场景分析。前者需要收集若干视频帧训练神经网络，再利用训练好的神经网络模型对场景中的异常行为或运动目标进行识别，这种分析方法的精度虽然较高，但往往仅对训练该神经网络的场景效果较好，当视频场景更换后，其效果将大大降低，故普适性较差；同时，该方法需要大量的计算，无法满足实时性要求。

基于背景的场景分析方法是通过提取视频场景的背景，分析当前视频帧与背景的差别，实现对物体的分类、定位和事件检测。相比而言，基于背景的场景分析方法在普适性和实时性两方面显示了巨大的优势。该方法不需要收集训练数据，可以适用于各种场景；同时，相比基于深度神经网络的方法，其计算速度较快，可满足实时性要求。基于背景的场景分析效果往往取决于所提取的背景的精度。然而，由于实际环境的变化，难以提取高精度的实时彩色背景；与此同时，由于背景的提取是后续场景分析的基础，故需要提高运算效率，以空余更多算力服务上层应用；更重要的是，现有的背景提取结果多为灰度背景，缺失了大量了数据信息，不利于后续的场景分析。基于此，快速提取一个实时的、高精度的彩色背景具有很重要的现实意义。

技术实现要素：

为了解决上述背景技术提到的技术问题，本发明提出了一种快速自适应的实时彩色背景提取方法。

为了实现上述技术目的，本发明的技术方案为：

一种快速自适应的实时彩色背景提取方法，其特征在于，包括以下步骤：

(1)基于实时采集的监控视频，载入当前图像并存入图像库，更新图像库的图像数量；

(2)设定当前图像的图像序号为更新的图像库所包含的图像数量；若当前图像的图像序号为设定的初始彩色背景更新频率的整数倍，转入步骤(3)，否则直接跳至步骤(5)；

(3)更新用于提取初始彩色背景的图像库；

(4)基于更新的初始彩色背景图像库，提取并更新初始彩色背景；

(5)计算当前图像与初始彩色背景的差分值；

(6)计算各个像素位置上的初始彩色背景权重及当前图像权重，提取实时彩色背景。

进一步地，在步骤(3)中，以图像序号[k-rate，k]为范围，在图像库中等间隔选取k帧图像，更新用于提取初始彩色背景的图像库，选取的图像序号n满足下式：

其中，k为更新的图像库所包含的图像数量，k＝rate×n，rate是设定的初始彩色背景的更新频率，n为正整数，k是设定的初始彩色背景图像库的图像数量，且满足k≤rate，[x]表示取不超过x的最大整数。

进一步地，在步骤(4)中，在更新的初始彩色背景图像库中，针对每一个像素位置(i，j)，计算图像的三个颜色通道的平均值

其中，分别是在像素位置(i，j)上图像的三个颜色通道值，n是图像的序号。

进一步地，在步骤(4)中，针对每一个像素位置(i，j)，将k个平均值由小至大进行排序；当k为偶数时，记录位于(k/2)位置的平均值所对应的图像序号，当k为奇数时，记录位于((k+1)/2)位置的平均值所对应的图像序号，所记录的图像序号记作ord(i，j)。

进一步地，在步骤(4)中，在更新的初始彩色背景图像库中，针对每一个像素位置(i，j)，取图像序号为ord(i，j)的图像在像素位置(i，j)上的像素值作为该像素位置(i，j)的初始彩色背景值：

其中，分别是在像素位置(i，j)上初始彩色背景的三个颜色通道值，分别是图像序号为ord(i，j)的图像在像素位置(i，j)上的三个颜色通道值。

进一步地，在步骤(5)中，当前图像与初始彩色背景的差分值如下：

其中，是当前图像与初始彩色背景的差分值；和分别是当前图像和初始彩色背景的三通道平均值：

其中，分别是在像素位置(i，j)上当前图像的三个颜色通道值；分别是在像素位置(i，j)上初始彩色背景的三个颜色通道值。

进一步地，在步骤(6)中，初始彩色背景权重及当前图像权重随着像素位置(i，j)的变化而自适应地调节：

其中，和分别是像素位置(i，j)上的初始彩色背景权重和当前图像权重，是在像素位置(i，j)上的值。

进一步地，根据权利要求1所述快速自适应的实时彩色背景提取方法，其特征在于，在步骤(6)中，若像素位置(i，j)的初始彩色背景权重满足：

则像素位置(i，j)的实时彩色背景值：

否则像素位置(i，j)的实时彩色背景值：

其中，分别是在像素位置(i，j)上实时彩色背景的三个颜色通道值。

采用上述技术方案带来的有益效果：

本发明实现了实时彩色背景的提取，并提高了背景的精度和计算速度，有利于提升视频监控场景分析的效率和准确性，具有很重要的现实意义。

附图说明

图1是本发明的方法流程图；

图2是实施例中的当前图像；

图3是图2对应的三通道示意图，其中(a)、(b)、(c)分别对应r、g、b；

图4是实施例中初始彩色背景图；

图5是图4对应的三通道示意图，其中(a)、(b)、(c)分别对应r、g、b；

图6是实施例中当前图像和初始彩色背景的三通道平均值示意图，其中(a)和(b)分别对应当前图像和初始彩色背景；

图7是实施例中当前图像与初始彩色背景差分值及二维表示图，其中(a)、(b)、(c)分别对应差分值图、横向位置二维表示、纵向位置二维表示；

图8是实施例中实时彩色背景图；

图9是图8对应的三通道示意图，其中(a)、(b)、(c)分别对应r、g、b；

图10是实施例中当前图像与实时彩色背景差分值及二维表示图，其中(a)、(b)、(c)分别对应差分值图、横向位置二维表示、纵向位置二维表示。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明设计了一种快速自适应的实时彩色背景提取方法，在本实施例中，视频帧率为30帧/秒，初始彩色背景的更新频率rate设定为900帧，初始彩色背景图像库的图像数量k设定为30帧，故仅需每15min进行一次初始彩色背景的更新，可提升技术方案的速度。为遍历所有步骤，将当前的图像库所包含的图像数量设定为2699帧。如图1所示，本实施例的步骤如下：

s1：基于实时采集的监控视频，载入当前图像并存入图像库。更新图像库的图像数量。具体如下：

当前的图像库所包含的图像数量为2699帧，载入当前图像并存入图像库后，更新的图像库所包含的图像数量为2700帧。

s2：设定当前图像的图像序号为更新的图像库所包含的图像数量。若当前图像的图像序号为设定的初始彩色背景更新频率的整数倍，转入s3，否则直接跳至s5。具体如下：

更新的图像库所包含的图像数量为2700帧，故当前图像的图像序号k为2700。当前图像的为如图2所示。为便于观察当前图像的三个颜色通道值，本具体实施方式以x轴表示像素点的横向坐标，以y轴表示像素点的纵向坐标，以z轴表示当前图像中各个像素位置(i，j)上的三个颜色通道值，建立三维直角坐标系，如图3中的(a)，(b)和(c)所示，分别为当前图像的r值g值和b值对比图3中的(a)，(b)和(c)可以发现，当前图像的三个颜色通道值有一定差距，但基本的数据趋势较为一致。

若当前图像的图像序号为初始彩色背景更新频率的整数倍，即满足式(1)时，则转入s3，否则直接跳至s5，即：

k＝rate×n(1)

式(1)中，k是当前图像的图像序号；rate是初始彩色背景的更新频率，单位为帧；n为正整数。当前图像的图像序号为2700，初始彩色背景的更新频率为900帧，故当前图像的图像序号是初始彩色背景更新频率的3倍，满足式(1)，转入s3；

s3：更新用于提取初始彩色背景的图像库。具体如下：

以图像序号[k-rate，k]为范围，在图像库中等间隔选取k帧图像，更新用于提取初始彩色背景的图像库。选取的图像序号n满足式(2)：

式(2)中，n是选取的图像序号；k是设定的初始彩色背景图像库的图像数量，单位为帧，且满足k≤rate；[x]为取整函数，取不超过实数x的最大整数。

当前图像的图像序号为2700，初始彩色背景的更新频率为900帧，初始彩色背景图像库的图像数量为30帧，故以图像序号[1800，2700]为范围，在图像库中等间隔选取30帧图像，进行初始彩色背景图像库的更新。利用式(2)，选取的图像序号为1801，1831，1861，1891，1921，1951，1981，2011，2041，2071，2101，2131，2161，2191，2221，2251，2281，2311，2341，2371，2401，2431，2461，2491，2521，2551，2581，2611，2641，2671。

s4：基于更新的初始彩色背景图像库，提取并更新初始彩色背景。具体如下：

在更新的初始彩色背景图像库中，针对每一个像素位置(i，j)，计算图像三个颜色通道的平均值，如式(3)所示：

式(3)中，以及分别是在像素位置(i，j)上，图像的三个颜色通道值及三通道平均值；n是图像在初始彩色背景图像库中的图像序号，满足式(2)。

针对每一个像素位置(i，j)，将k个平均值由小至大进行排序。当k为偶数时，记录位于(k/2)位置的平均值所对应的图像序号，记作ord(i，j)；当k为奇数时，记录位于((k+1)/2)位置的平均值所对应的图像序号。

对更新的初始彩色背景图像库中的每一帧图像，利用式(3)，计算该帧图像在各个像素位置上三个颜色通道的平均值。初始彩色背景图像库的图像数量为30帧，故在每一个各像素位置上，将30个三通道平均值由小至大进行排序。由于30为偶数，故记录第15位平均值所对应的图像序号，记作ord(i，j)。部分ord(i，j)的记录结果如表1所示：

表1部分ord(i，j)的记录结果

在更新的初始彩色背景图像库中，针对每一个像素位置(i，j)，取图像序号为ord(i，j)的图像在像素位置(i，j)的像素值作为该像素位置(i，j)的初始彩色背景值，如式(4)所示：

式(4)中，以及分别是在像素位置(i，j)上初始彩色背景的三个颜色通道值；ord(i，j)是在像素位置(i，j)上，用于选取颜色通道值的图像序号。更新的初始彩色背景表达为

结合记录的各个像素位置(i，j)对应的图像序号ord(i，j)，利用式(4)提取并更新初始彩色背景图4为初始彩色背景图5中的(a)，(b)和(c)分别为初始彩色背景的r值g值和b值对比图4和图2，从图像级的层面来看，该视频场景的彩色背景已基本提取，更新的初始彩色背景中不包含前景。但后续的场景分析需在像素级的层面进行，故需进一步从像素级的层面对初始彩色背景进行优化，以提取高精度的实时彩色背景。

s5：计算当前图像与初始彩色背景的差分值。具体如下：

进一步，所述步骤s5中，当前图像与初始彩色背景的差分值计算如式(5)所示：

式(5)中，是当前图像与初始彩色背景的差分值；和分别是当前图像和初始彩色背景的三通道平均值，计算如式(6)和式(7)所示：

式(6)中，分别是在像素位置(i，j)上，当前图像的三个颜色通道值；式(7)中，分别是在像素位置(i，j)上，初始彩色背景的三个颜色通道值；

为提取高精度的实时彩色背景，首先需要分析当前图像与初始彩色背景的差分值。利用式(6)和式(7)，分别计算当前图像和初始彩色背景的三通道平均值和如6中的(a)和(b)所示。对比图6中的(a)和(b)可以发现，当前图像和初始彩色背景的三通道平均值与其三个颜色通道值的数据趋势较为一致，三通道平均值亦可较好的描述彩色图像的轮廓。

利用式(5)计算当前图像与初始彩色背景的差分值其三维表示图7中的(a)所示。可以发现，当前图像与初始彩色背景的差别主要体现在图2中两个前景物体所在位置，但背景位置亦存在一定的差别。为进一步分析当前图像与初始彩色背景的差距，分别以x轴表示像素点的横向坐标以及纵向坐标，以y轴表示当前图像与初始彩色背景的差分值，建立二维直角坐标系，如图7中的(b)和(c)。分别从横向和纵向观察当前图像与初始彩色背景的差分值可以发现，除了两个波峰外，其余背景位置的差别也很突出。一个精度较高的彩色背景应只在前景位置与当前图像的差别较大，而在背景位置的差距较小，从这一点可以说明初始彩色背景的精度较低，构建高精度的实时彩色背景十分必要。

s6：计算各个像素位置上的初始彩色背景权重及当前图像权重，提取实时彩色背景。具体如下：

初始彩色背景权重及当前图像权重非经验值，而是随着像素位置(i，j)的变化而自适应地调节，计算如式(8)所示：

式(8)中，和分别是像素位置(i，j)的初始彩色背景权重和当前图像权重。

利用式(8)，计算各像素位置(i，j)的初始彩色背景权重及当前图像权重部分初始彩色背景权重及当前图像权重的计算结果如表2和表3所示：

表2部分初始彩色背景权重的计算结果

表3部分当前图像权重的计算结果

若像素位置(i，j)的初始彩色背景权重满足公式(9)，

则像素位置(i，j)的实时彩色背景值的计算如式(10)所示：

否则，像素位置(i，j)的实时彩色背景值的计算如式(11)所示：

式(10)及式(11)中，以及分别是在像素位置(i，j)上实时彩色背景的三个颜色通道值。更新的初始彩色背景表达为

利用式(9)，式(10)及式(11)，计算当前图像的实时彩色背景。图8为实时彩色背景图9中的(a)，(b)和(c)分别为实时彩色背景的r值g值和b值对比图8和图4，从图像级的层面来看，初始彩色背景和实时彩色背景十分相似，实时彩色背景中同样不包含前景。

为进一步从像素级的层面分析实时彩色背景的精确程度，当前图像与实时彩色背景的差分值的计算如式(12)所示：

式(12)中，是当前图像与实时彩色背景的差分值；是实时彩色背景的三通道平均值，计算如式(13)所示：

式(13)中，以及分别是在像素位置(i，j)上实时彩色背景的三个颜色通道值。

利用式(12)计算当前图像与实时彩色背景的差分值如图10中的(a)所示，其横向和纵向的差分值如图10中(b)和(c)所示。实时彩色背景与当前图像在前景位置差距较大，普遍高于30，而在背景位置与当前图像的差距较小，基本低于20。对比初始彩色背景的提取结果可以发现，初始彩色背景与当前图像在背景位置的差距较大，甚至接近40。相比于初始彩色背景，实时彩色背景的精度有了显著的提升。本发明构建的实时彩色背景只在前景位置与当前图像的差别较大，而在背景位置与当前图像的差距较小，因此，利用本发明提出的方法可以快速地获得高精度的实时彩色背景。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。