一种融合差分视频序列和卷积神经网络的抛洒物检测方法

1.本发明属于视频图像处理技术领域，涉及隧道视频监测，为一种融合差分视频序列和卷积神经网络的抛洒物检测方法。


背景技术：

2.近年随着我国经济快速发展，城市公路的体量已不满足日益增长的车辆行驶，隧道作为城市交通的补充，发挥着重要作用。隧道路面不如城市公路宽阔，且内部车辆在行驶过程中通常不可变道，若存在抛洒物遗留在路面，极易引起交通事故。通过计算机视觉技术感知隧道路面遗落的抛洒物，以自动监测代替人工监管，从海量视频中快速定位抛洒物的位置并作出预警，对提高隧道路面安全和道路信息化水平有着重要意义。
3.在实际的隧道监控环境下，人工照明和车辆灯光的干扰使得隧道内目标的轮廓阴影等特征呈现不一，而且，抛洒物样本多样，而需要先验模型的深度学习方法无法构建统一的模型来检测所有的抛洒物。在隧道这一特定环境下，抛洒物检测是一个具有挑战的问题。


技术实现要素：

4.本发明要解决的问题是：随着隧道的大量建设，隧道内视频监控数量庞大，仅依靠人工无法及时察觉路面抛洒物事件并完成清障。目前有一些方法通过对抛洒物模型的特征学习来检测，也有采用帧间差分法来检测抛洒目标。但是，一方面，隧道路面出现的抛洒物种类繁多，受到隧道内人工照明和行驶汽车灯光的照射，即使是同一位置像素点在不同时刻也会呈现出不同的特征信息，仅依靠学习训练难以囊括所有抛洒物；另一方面，通过传统帧间差分法如果无法短时间准确检测出抛洒物，则会快速融入背景，再也无法检测到已经融入背景的抛洒物，另外基于传统帧间差分法只能检测前景，对于前景中的物体还需要通过阈值或者训练模型判断，而没有海量的抛洒物数据是无法表征所有的抛洒物类别的。
5.本发明的技术方案为：一种融合差分视频序列和卷积神经网络的抛洒物检测方法，构建场景的静态背景模型，然后通过基于高斯加权的背景差分法构建差分视频序列，提取前景，再提取前景中的静止目标，并和卷积神经网络模型相结合，分析排除前景静止目标中的非抛洒物，检测出当前视频帧的抛洒物。
6.进一步的，本发明包括以下步骤：
7.step1：静态背景模型构建，采集车流量密度较小时段的监控视频，学习得到静态背景模型；
8.step2：差分视频序列的构建，获取监控视频的视频帧，逐帧与静态背景模型进行基于高斯加权的背景差分，提取出差分的前景后，得到一个连续帧数大小为n的差分视频序列；
9.step3：前景静止物体的提取，对于所获的差分视频序列，若差分视频序列中同一像素点位置为前景的概率超过设定阈值，则判定为前景中的静止目标，否则为运动目标，然后对前景进行形态学操作，再通过边缘检测获取前景静止目标的边缘，对所得边缘进行膨
胀腐蚀，将相邻边缘进行合并，最后通过轮廓检测，获取静止目标在监控视频对应视频帧中的坐标信息；
10.step4：构建目标检测卷积神经网络，对设定的非抛洒物进行预训练，得到对非抛洒物检测识别的卷积神经网络模型，将监控视频当前帧输入到卷积神经网络模型中，识别出当前帧中的的非抛洒物体；
11.step5：抛洒物分析预警，对应监控视频的视频帧设置抛洒物预警信号序列，序列初始值为0，将前景中提取的静止目标的候选框和卷积神经网络识别的非抛洒物体的候选框通过交并比进行重叠率筛选，排除掉静止目标中的非抛洒物，剩下的则判为抛洒物，若当前帧检测出抛洒物，则将当前帧对应的抛洒物预警信号序列的值更新为1，表示当前帧出现抛洒物，完成对一段差分视频序列的抛洒物检测后，统计抛洒物预警信号序列中抛洒物出现的频率，若超过设定阈值，则在当前帧中标记出抛洒物，并预警上报。
12.现有技术的背景差分算法根据绝对阈值或平均阈值进行处理，但是隧道场景具有局部区域过亮或者过暗的特点，现有技术的差分方法无法适用，不能有效提取前景。本发明针对隧道内车辆灯光和照明灯光对隧道区域的影响，增加局部区域色彩信息特征的权重，采用基于高斯加权的背景差分法，排除阴影和闪烁车灯干扰，再进行背景差分，提取出轮廓明显的前景。
13.隧道内行驶路面狭小，抛洒物从出现到落地的持续时间短暂，无法用常规帧差法检测，且隧道内行驶车辆灯光不断移动或闪烁，给道路抛洒物颜色等特征信息带来的干扰，本发明通过学习静态背景模型，构建差分视频序列，若同一像素点位置的前景出现概率在此时的差分视频序列中超过一定阈值，则检测为前景中的静止目标，以抑制车辆灯光的移动或闪烁。
14.本发明针对目前深度学习难以囊括所有的抛洒物特征问题，先根据差分视频序列的前景频率有效提取静止前景，利用卷积神经网络识别出人、车、交通锥等非抛洒物体，再与前景中的静止目标进行重叠率计算，通过设置抛洒物预警信号序列提高检测的准确率，若预警序列中抛洒物出现频率超过一定阈值，则在当前视频帧框出抛洒物，同时预警上报给工作人员及时清障。
15.本发明充分利用隧道现有监控设施，可最大限度节省硬件投入，可以自动实时监测隧道内抛洒物事件的出现，实现了隧道交通中抛洒物事件检测的道路智能化。
附图说明
16.图1为本发明融合差分视频序列和卷积神经网络的抛洒物检测流程图。
17.图2为本发明应用于真实隧道场景下的抛洒物检测实施例一。
18.图3为本发明应用于真实隧道场景下的抛洒物检测实施例二。
具体实施方式
19.本发明结合传统帧差方法与深度学习方法，可显著提高隧道内抛洒物事件的识别准确度。考虑到隧道内人工照明和汽车照明对场景的干扰，以及利用先验模型构造训练集的深度学习方法不适用于特征多样化的抛洒物检测。本发明学习静态背景模型，采用基于局部区域的高斯加权背景差分法提取前景，构造差分视频序列，通过前景像素点出现频率
分析得到前景中静止物体，利用深度学习识别人、车、椎顶等非抛洒物体，与前景中的静止目标通过交并比等参数进行重叠率计算，然后在划定的路面区域进行抛洒物预警分析，识别出隧道路面抛洒物事件并上传抛洒物预警信号。
20.本发明的流程示意图如图1所示。
21.所述的隧道抛洒物检测具体实现步骤如下：
22.step1：静态背景模型构建，采集车流量密度较小时段的监控视频，车流量较小时段一般考虑为在当前监控摄像机监控的道路，连续10秒内每一监控画面帧上显示的车辆总数不超过10辆，本发明这里没有直接采用无车辆的视频，是为了进一步提高背景模型构建的鲁棒性。对采集的监控视频每隔12帧取1帧，共取n0帧，再将这些帧根据对应的像素位置，对同一位置的像素值进行累加平均，作为静态背景对应位置的像素值，计算公式如下；
[0023][0024]
式中，n0默认为300，fi(x0，y0)为第i帧(x0，y0)位置对应的像素值，background0(x0，y0)为生成的背景模型帧(x0，y0)位置对应的像素值。
[0025]
step2：差分视频序列的构建，本发明构建了连续帧数大小为n的差分视频序列，n设置为30，即一秒内高清视频监控的画面帧率，也即一个检测周期。将静态背景模型和获取的监控视频当前帧同时采用基于局部颜色特征高斯加权二值化，再进行差分，降低人工照明和车辆灯光的干扰，获取前景。所述高斯加权二值化为：取图像任一像素点位置点(x0，y0)，向外延展成3x3的像素矩阵h，该像素点位置设为该矩阵的中心点(0，0)，向外扩充的八个点坐标则分别为(-1，1)，(0，1)，(1，1)，(-1，0)，(1，0)，(-1，-1)，(0，-1)，(1，-1)。根据距离图像块的中心越近，其权重占比越大，距离越远，权重占比越小，将其带入到高斯分布公式：
[0026][0027]
式中σ表示正态分布离散程度，这里取1.5。
[0028]
根据以上计算，获得3x3的权重矩阵，归一化后的权重矩阵设为m，将归一化后的权重矩阵m与原有的像素矩阵h按位置对应相乘，获得该区域的颜色阈值λ。遍历灰度化后的整张图像，若当前位置像素点的值大于邻近区域的颜色阈值λ，则设置为(255，255，255)，否则设置为(0，0，0)。
[0029]
构建的差分视频序列初始化时，设定的30张相同的对静态背景模型基于局部颜色特征高斯加权的二值化图像。而后，每当一帧视频图像传进来，通过对静态背景模型和当前视频帧同时于局部颜色特征高斯加权后进行差分，同时对该差分视频序列从左到后依次循环更新。
[0030]fi，pro
＝background
bin-f
i，bin
[0031]
式中background
bin
为静态背景模型的基于对局部颜色特征高斯加权的后的图像，f
i，bin
为监控视频当前第i帧的的基于局部颜色特征高斯加权后的图像，f
i，pro
为监控视频当前第i帧与静态背景模型的同时基于局部颜色特征高斯加权差分后的前景图，且同时用来从左到后依次循环更新对应的差分视频序列中的前景图。
[0032]
step3：前景静止物体的提取，对于当前帧更新后所对应的差分视频序列，若同一
像素点位置的前景出现概率在此时的差分视频序列中超过一定阈值rate，则保留为前景，否则为背景，设置rate的原因是降低车辆灯光的干扰。
[0033]
首先对差分视频序列逐一归一化，并进行累加，得到待处理的前景图像，若待处理前景图像中，某位置像素点的值大于序列大小乘rat，则更新为前景，否则更新为背景，此时得到前景中静止目标：
[0034][0035]
式中frame
i，j
为监控视频当前帧(i，j)位置的像素值，n为差分视频序列的大小，rate为前景出现概率的阈值。
[0036]
然后，先对前景进行滤波腐蚀膨胀，过滤离散的小像素，再通过边缘检测获取前景静止目标的边缘，对这些轮廓进行膨胀腐蚀，将相邻边缘进行合并，避免因为照明不足导致同一静止目标像素点出现离散情况，最后通过轮廓检测，获取实时帧前景中静止目标的坐标信息；
[0037]
step4：卷积神经网络目标检测，数据集类别包括行人、汽车、交通锥等临时出现在隧道中的非抛洒物类别，由于数据集中样本极不平衡，例如交通锥数量明显少于汽车，导致在网络训练中梯度被数量较多的类别占主导地位，导致交通锥特征无法被很好的学习。所以，通过翻转、裁剪、变换颜色等方法对数据集中样本量较少的类别进行数据增广，同时改进类别平衡损失函数：
[0038][0039]
式中，loss
cls
为类别平衡损失，j为样本序号，nm为类别m在样本集中的数量，n
pos
为所有样本中正样本的数量，n
neg
为所有样本中负样本的数量，g(nm)为类别m在损失函数中的权重，为第j个样本对应类别m的类别损失。
[0040]
接着将隧道监控视频实时帧输入到预训练好的卷积神经网络中，识别出预先训练的人、车、交通锥等非抛洒物体，获取非抛洒物体的坐标信息；
[0041]
step5：抛洒物分析预警，通过人工划定隧道路面区域，同时设置了大小为n的抛洒物预警序列，以降低车灯反射在隧道墙壁上的干扰。将前景中提取静止目标的轮廓候选框和卷积神经网络识别的非抛洒物体的候选框进行基于交并比等信息的重叠筛选，若两者重叠部分占前景静止轮廓候选框或已训练非抛洒物体候选框的百分之五十以上，亦或者两者的面积交并比超过百分之五十，则此处的前景静止物体被认定为非抛洒物，否则当前帧视为检测到抛洒物，将当前帧对应的抛洒物预警序列中的值置为1。
[0042]
最后将前景中剩余静止目标框出标记为抛洒物，统计抛洒物预警序列中抛洒物出现的频率，如果在当前帧对应的抛洒物预警序列中抛洒物出现频率超过百分之八十，则给出预警并上报给工作人员。由于行人或车辆有可能短时停留再行进，本发明通过统计抛洒物预警序列中的抛洒物频率，可以排除这类动静态结合的目标，防止误报。
[0043]
目前已有的抛洒物检测方法基本都是通过包含抛洒物的模型训练来区分抛洒物和其它物体，这样的方法不够准确，当有新的类别出现则无法准确用模型表征并准确检测。
本发明方法不需要将抛洒物加入训练模型，当将抛洒物加入训练模型时，除了会降低已有类别的检测精度，且没有海量的数据支撑，模型无法表征所有的抛洒物类别。本发明方法也没有采用更新背景的方法，隧道的监控摄像机是固定的，通过学习构建静态背景可以降低算法的计算量，以达到实时检测的性能。本发明方法通过基于局部特征的高斯加权背景差分法，可以提取较好的前景目标，对车辆灯光和阴影的干扰具有很好的鲁棒性。隧道内车辆灯光频繁闪烁，可能会造成统一位置像素点的表征不统一，本发明通过频率分析，可以增强前景表征的准确性。在最终的抛洒物判别中，本发明加入了抛洒物预警序列后，增强了抗干扰能力，即使在隧道高峰阶段依旧可以保持98％以上的抛洒物报警准确率。另外，本发明还在对非抛洒物目标训练时，对样本不均衡数据进行增广以及损失函数的改进。
[0044]
图2和图3为本发明应用于真实隧道场景下的抛洒物检测实施例，可排除车辆等非抛洒物前景的干扰。尤其图3可见本发明方法通过卷积神经网络对非抛洒物的筛除以及概率判别，可以将视频中静态的交通锥、动静态结合的行人以及运动的车辆排除，不会引起误报。