一种基于无人机的道路交叉口车辆检测方法与流程

本发明涉及交叉口车辆检测领域，更具体地，涉及一种基于无人机的道路交叉口车辆检测方法。

背景技术：

随着汽车保有量的日益增长，道路上的车辆数量迅速增加，交通压力倍增。平面交叉口是道路交通的枢纽，城市的交通问题往往突出地表现在交叉口上，因此了解平面交叉口的车流量是十分重要的。道路交叉口车流量调查的目的是通过长期连续性观测或短期间隙性和临时性观测，搜集交通量资料，获得有关交通量的实况、通行能力、流向分布、交通量变化及高峰小时交通量和交通组成等方面的资料，了解交通量在时间、空间上的变化和分布规律，为交通规划、道路建设、交通控制与管理、工程经济分析等提供必要的数据，以便对交叉口的运行效能做出准确的评价，提出交通管理、控制措施或改建、扩建方案。

目前常见的交叉口车流量调查方法有：人工计数法、机械计数法、录像法和航摄法。这些常见的方法存在适用性差、费用高等问题，近年来，随着视频处理技术与无人机的发展，越来越多的道路交通调查采用多旋翼无人机进行，特别是道路交叉口的车流量调查。要想通过视频完成交通调查。其中车辆检测是关键，后续的跟踪和流量统计都是建立在高精度的车辆检测基础上的。

常用的车辆检测算法分为两类，一类是将运动前景和背景分离的方法，获取车辆前景区域，如背景差法和帧差法，这种方法依赖于高质量的背景图像和车辆的速度等运动特征。由于无人机存在轻微的抖动、旋转等现象，导致各视频帧的拍摄范围和角度存在一定差别，很难直接从视频得到高质量的背景图像；同时交叉口附近的车辆存在大量的等红灯、转向等运动，或者车身颜色与路面很相近，导致车辆检测的精度不高。第二种是采用机器学习方法，根据车辆的颜色、角点和尺度特征，对车辆样本和非车辆样本进行计算和学习，如基于hog特征方法、基于haar特征方法等，然后直接对视频帧上的车辆进行识别。这种方法需要大量的训练才能达到高精度，对车辆周围环境也很敏感，而各个交叉口的环境恰恰各不相同，使这类算法很难用于车辆检测。

技术实现要素：

本发明为克服目前道路交叉口车辆检测方法存在的适用性差、精度低等问题，针对道路交叉口附近车辆的运动特征以及车辆检测的普适性、高精度等实际要求，提出了一种基于无人机的道路交叉口车辆检测方法。

为实现以上发明目的，采用的技术方案是：

一种基于无人机的道路交叉口车辆检测方法，包括有以下步骤：

(1)将无人机悬停在道路交叉口中心的上方，对交叉口行车区域进行垂直拍摄，获得交叉口行车区域的视频；

(2)对获得的视频进行稳像处理，去除视频各帧视频帧中的非正常偏移；

(3)对于视频中的各帧视频帧，执行以下步骤对其中的交叉口行车区域中的车辆进行检测：

s1.提取视频帧的背景图像；

s2.识别道路交叉口的行车区域；

s3.通过背景差分法获取交叉口行车区域的前景图像；

s4.排除交叉口行车区域前景图像中的非车辆目标；

s5.得到道路交叉口行车区域中车辆的影像。

与现有技术相比，本发明的有益效果是：

本发明通过无人机在道路交叉口上方采集得到的视频来对道路交叉口的车辆进行检测，不需要大量的人力和高成本，只需要设计合适的算法能在无人机拍摄的到的视频中提取出车辆的前景影像，实现车辆检测。本发明有效降低检测成本和操作复杂度，是一种便捷、适用性强的检测方法。

附图说明

图1为方法的流程示意图。

图2为方法的具体实施示意图。

图3为经历过稳像处理的视频图像的示意图。

图4为使用背景差法进行前景提取和车辆识别的示意图。

图5为对前景图像进行去噪处理，以及根据车辆图斑大小阈值进行筛选，得到的车辆识别结果图。

图6为实际被检测出车辆的示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

如图1所示，本发明涉及一种基于无人机的道路交叉口车辆检测方法，包括有以下步骤：

(1)将无人机悬停在道路交叉口中心的上方，对交叉口行车区域进行垂直拍摄，获得交叉口行车区域的视频；

(2)对获得的视频进行稳像处理，去除视频各帧视频帧中的非正常偏移；

(3)对于视频中的各帧视频帧，执行以下步骤对其中的交叉口行车区域中的车辆进行检测：

s1.提取视频帧的背景图像；

s2.识别道路交叉口的行车区域；

s3.通过背景差分法获取交叉口行车区域的前景图像；

s4.排除交叉口行车区域前景图像中的非车辆目标；

s5.得到道路交叉口行车区域中车辆的影像。

实施例2

本实施例提供了一种基于无人机的道路交叉口车辆检测方法，如图2所示，其包括有以下步骤：

(1)利用无人机悬停在道路交叉口的中心上方，对交叉口范围进行垂直拍摄，获取交叉口车辆等运动目标的视频。

如上所述的无人机的拍摄高度应在能够拍到清晰路面信息的范围内，以便于得到清晰的交叉口信息，从而提取出道路交叉口车流量信息。

(2)利用susan快速角点检测算法对视频各帧视频帧中的特征点进行检测，然后利用光流法基于检测到的特征点进行运动矢量的计算，利用得到的相邻邻视频帧的偏移量x,y对相邻的视频帧进行运动补偿，获得稳定的输出序列。采用光流法消除视频的旋转、平移等现象，实现视频稳像。

其中，所述利用susan快速角点检测算法对视频各帧视频帧中的特征点进行检测的具体过程如下：

s21.以核点像素(x,y)为中心做半径为r的圆，用圆形模板遍历图像；

s22.使用相似比较函数计算模板中各像素点与核点像素的相似度：

其中c(r,r0)为相似比较函数；i(r0)为核点像素的灰度值；i(r)为圆形模板区域内其他像素点的灰度值；t为susan的阈值；

s23.由相似比较函数的计算可以得到每个像素的usan区域大小，其表达式为

s24.以不同的核点像素为中心做半径为r的圆，对视频帧图像进行遍历，然后按照步骤s22～23的方式计算每个核点像素的usan区域大小；

s25.得到每个核点像素的usan区域大小后，再由角点响应函数产生候选角点，最后使用非极大值抑制得到特征点：

式中，g为几何阈值，

而光流法计算运动矢量并进行运动补偿的具体过程如下：

s12.对于视频中相邻的视频帧，以前一帧作为参考帧，后一帧为当前帧，建立光流约束方程：

ixu+ixv+it＝0

式中，u,v为x,y方向的2个速度分量，ix,iy,it为灰度对于x方向、y方向和时间的偏导，

s13.根据l－k局部平滑假设的条件可知在小范围内光流是一致的，从而得到光流的能量函数为:

ω为光流一致的邻域范围；w(x)为该邻域范围内不同特征点的权值，令v＝(u,v)^t，通过最小二乘法求得方程解如下:

v＝[a^tw²a]^-1a^tw²b

公式中，w＝diag[w(x1),…w(xn)]，b＝-[it(x1),…it(xn)]^t；

对求解到的u,v去模，即可得到特征点在相邻视频帧的偏移量x,y；

s14.利用得到的相邻邻视频帧的偏移量x,y对相邻的视频帧进行运动补偿，获得稳定的输出序列。

视频拍摄期间无人机存在旋转抖动等现象。如图3所示，由于进行了稳像处理，那些没有像素值的区域全部补0，所以图像周围存在一定的黑边现象，但不影响后续车辆识别。

(3)进行背景建模，利用建立的高斯混合模型提取视频帧的背景图像。

所述高斯混合模型中，视频帧中的每一个像素点按不同的权值的多个高斯分布的叠加来建模，每种高斯分布对应像素点一个可能产生的颜色状态，对于随机变量x的观测数据集{x1,x2,…,xn}，xt为t时刻像素点的灰度值，xt出现的概率为：

ωi,t表示在t时刻像素点的混合高斯模型中第i个高斯分布的权重，且是像素在t时刻的gb彩色向量；n取3；k表示高斯分布的数量，和分别表示t时刻第i个高斯分布的均值向量和协方差矩阵，σ表示标准差，in表示单位矩阵。

视频内容变化会导致像素点发生变化，高斯混合模型需要根据新的像素值不断地学习更新。更新的方法是将混合高斯模型中的k个高斯分布按照由大到小排序，当有新的图像帧到来时，将其中每个像素的彩色向量值xt与该像素已存在的k个高斯分布逐一匹配检验，如果满足则定义xt与高斯混合模型中第i个高斯分布相匹配，反之则不匹配；对匹配的第i个高斯参数的参数按下式更新：

μi，t＝(1-ρi，t)μi，t-1+ρi，txt

其中α是用户自己定义的学习速率，ρi,t为参数学习速率，且如果构建该像素的所有高斯分布中不存在与xt相匹配的高斯分布，那么将xt作为均值赋给权重最小的高斯分布，并对该高斯分布重新赋以较小的权重和较大的方差；匹配检验后，按下式更新同一个像素的各个高斯分布的权重：ωi,t＝(1-α)ωi,t-1+αmi,t

上式中，如果第i个高斯分布与xt匹配，则mi,t取1，否则取0；更新完成后，各高斯分布的权值被归一化。

全部像素点的高斯混合模型建成后，模型中每个高斯分布按照的值进行排序，然后将前b个高斯分布被选作背景模型，即：

其中t是背景高斯分布在整个概率分布中所占的最小比例，需要不断调整t的值才能获得更好的分布。如果选择一个数值较小的t，则背景模型通常是单峰。如果是这种情况，只使用最可能的分布可以减少处理过程。如果t数值比较大，通过重复的背景运动引起的多模态分布可能会导致一个以上的颜色被包括在背景模型。这将导致透明度效果，允许背景接受两个或多个单独的颜色。

(4)利用等高线法对交叉口的斑马线进行识别，因为道路交叉口一般有斑马线标志的人行横道，各个斑马线首尾连接，围成的区域就是交叉口行车区域。在交叉口行车区域，车辆一般是运动的，只考虑行车区域内的情形，这对背景差法识别车辆非常有利。

等高线法识别斑马线的过程如下：等高线法是一种边缘检测算法，其输入是二值图像，即高斯混合模型背景建模得到的背景图像的二值化。输出是各种地物的轮廓多边形，其中包括斑马线各个条带的多边形。然后根据斑马线的面积特征、形状特征和等间距特征，将其他多边形过滤掉，剩下的基本是斑马线条带的多边形，这样斑马线就识别出来了。由于车辆或行道树遮挡等因素，不能正确识别所有的斑马线条带，需要对斑马线识别结果进一步处理。一般地，斑马线朝向交叉口部分遮挡因素少，多边形形状清晰整齐，所以可以提取各个多边形最靠近交叉口的坐标，再分别对各条斑马线的坐标采用霍夫变换变换进行直线拟合，再对斜率相近的交叉直线进行融合，使每条斑马线只有一条直线。最后对各个直线顺序求交，则以交点为顶点围成的凸多边形就是交叉口行车区域。

(5)通过背景差分法获取交叉口行车区域的前景图像，示意图如图4所示。

所述背景差分法获取前景图像的具体过程如下：

其中fb(x,y)表示视频帧的背景图像，fk(x,y)表示视频帧，dk(x,y)为前景图像，t为阈值。

(6)使用腐蚀膨胀操作去除交叉口行车区域前景图像里面的细小密集的噪声点，同时保证车辆形状较为完好，使用中值滤波进一步处理去除剩余的噪声，然后使用二值化操作加强目标效果。具体如图5所示。

(7)设定需要识别的目标大小的范围，将非车辆目标和其他因素排除，非机动车、人力三轮车、行人等干扰，得到的目标就是车辆的影像，将它们的范围用矩形标示出来，得到车辆识别结果，如图6所示。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。