一种低复杂度无人空基道路异常识别方法

1.本发明属于无人系统运用及计算机视觉技术领域，具体是一种低复杂度无人空基道路异常识别方法。


背景技术：

2.道路是保证现代交通的重要工具；然而，车祸或自然灾害等意外发生后，所引发的道路塌方以及异物堵塞等情况可能会导致道路交通中断，为货物运输、抢险救灾等工作造成了巨大障碍。
3.为了提高交通运输工作的效率和质量，需要及时掌握道路的通断及损毁程度等信息，这是指导后续工作的重要依据。而无人机由于其灵活机动，能全天候执行任务，高度自主的特点使其能较好的适应道路异常检测的应用场景。
4.在无人机道路异常检测方面，现有的工作重点大多集中于应用模式识别，首先对道路异常区域的先验知识图片进行训练，无人机航拍完成后，直接对航拍获取到的图片进行测试分类，筛选出存在道路异常的图片，进而标记该异常，此方法具有较高的识别率。然而，其对道路图片进行边缘特征提取时，由于要对整张图片(包含各种环境信息)进行处理，因而使得检测算法具有较高的复杂度。同时，由于道路异常的成因复杂、情况多种多样，使得无法穷举所有的道路异常情况，从而难以满足实际情况下模式识别对先验知识的要求。
5.一般而言，道路的两条边沿线具有典型的平行线特征，根据几何光学的透视原理，该平行线在三维世界中向在二维平面投影时会相交于一点，交点即消失点。而消失点是否存在偏差则反映了道路平行线的特征是否发生改变，消失点偏差可由消失点的图像坐标反推的相机坐标系下的位姿反映。即在图像坐标系范围内，由每一时刻消失点在图像的位置坐标，可以通过坐标变换估计无人机搭载的相机的位姿信息(偏航角和俯仰角)，若实测该时刻相机位姿与前一时刻所测相机位姿不重合，则可反过来说明图像坐标下消失点存在偏差。
6.在实际情况中，若道路出现车辆堵塞、障碍物阻挡以及道路断裂等情况时，道路平行线特征将会被破坏，从而导致无人机检测系统所检测的消失点在一段时间内，反复在二维图像中的一个区域周边偏差，即消失点抖动。消失点的抖动程度反映了道路的平行线特征是否发生明显变化，若发生明显变化即认为道路存在异常。


技术实现要素：

7.为了解决上述无人机执行道路异常检测任务时，现有模式识别算法的复杂度偏高、道路异常情况的先验知识不足的问题，本发明提出一种低复杂度无人空基道路异常识别方法，结合计算机视觉高识别率，通过检测消失点抖动程度来判定道路平行线特征是否发生变化，进而判断道路是否存在异常，降低了算法复杂度。
8.所述的低复杂度无人空基道路异常识别方法，具体步骤如下：
9.步骤一、针对具有平行线结构的道路，按照连续时间序列采集道路图像；
10.步骤二、对每帧图像均经过边缘特征提取，对处理后的目标道路区域进行边缘直线提取得到若干直线，计算所有非共线直线的交点坐标中值，得到道路目标区域在该帧图像上的消失点o及其在图像坐标系中的坐标
11.步骤三、通过第n帧图像的消失点坐标，结合相机的内参矩阵推导出当前时刻无人机的估计俯仰角和估计偏航角，并将二者定义为无人机的估计姿态角；
12.首先，根据消失点坐标定义第n帧图像的消失点向量
13.然后，根据相机标定的内参矩阵i计算旋转矩阵rn的第三列:
14.最后，将旋转矩阵的第三列代入，得到第n帧图像所对应时刻下无人机俯仰角αn和偏航角βn；
[0015][0016]
计算公式为：
[0017][0018][0019]
为用于表达第n帧图像包含俯仰角和偏航角信息的中间向量。
[0020]
步骤四、将当前时刻第n帧图像推导出的估计姿态角，与无人机实际测量的姿态角作比较，判断是否满足如果是则更新估计姿态角为并计算道路目标区域在第n帧图像的消失点抖动对应的无人机姿态角偏差δθn；否则，直接计算δθn；
[0021]
当前时刻推导出无人机的估计姿态角为
[0022]
当前时刻角度传感器实际测得的无人机姿态角为
[0023]
为阈值，用于判定无人机姿态角的测量值与估计值是否有明显偏差，偏差过大则认为该时刻消失点抖动的原因是无人机抖动所引起。
[0024]
无人机姿态角偏差δθn计算公式为：
[0025][0026]
步骤五、将整体采集时间按间隔i个时间段进行分割，每个时间段再按间隔k个时间段进行分割，将每连续的k个姿态角偏差δθn以及对应时间构成偏差-时间集，每个偏差-时间集对应一段道路检测单元；
[0027]
第i个道路检测单元对应的k个姿态角偏差组成偏差-时间集ui为：
[0028]
[0029]
步骤六、在每一个道路检测单元中，判断各图像对应的无人机姿态角偏差δθi的模值是否超设定的距离阈值如果是，将该偏差所对应的图像标记为异常；否则，对该图像不予处理；
[0030]
步骤七、记录每个偏差-时间集中标记为异常的图像个数，判断异常的个数是否小于设定阈值n，如果是，则认为该段道路检测单元无异常，继续对下一个道路检测单元进行判断；否则，进入步骤八；
[0031]
步骤八、在异常图像个数超出阈值n的道路检测单元中，选出所有异常图像，计算每一对相邻的异常图像的姿态角偏差的差值和对应时刻的时间差δt，进而计算姿态角偏差差和时间差的均值e(δt)；
[0032]
步骤九、继续判断偏差差和时间差的均值e(δt)是否分别小于各自的阈值和t
δt
，如果是，则认为该道路检测单元无异常；否则当任一均值大于或等于相应的阈值时，则认为该道路检测单元存在异常，报警并输出该异常检测单元所对应的序号及其包含的所有帧图像。
[0033]
和t
δt
分别代表了无人机姿态角的偏差及对应时刻达到临界稳定时e(δt)的数值；
[0034]
本发明的优点在于：
[0035]
1)本发明一种低复杂度无人空基道路异常识别方法，相比于传统的异常检测方法，极大降低了无人机道路异常检测系统的工作量和对数据存储量的要求，节约了无人机执行道路异常检测任务的时间。
[0036]
2)本发明一种低复杂度无人空基道路异常识别方法，将道路异常定义为：由于不可抗因素使得正常道路线平行线结构被破坏，从而导致交通受阻的客观道路场景；通过消失点抖动来检测道路是否存在异常，检测过程不依赖人力参与，为道路异常检测提供了一种新的思路。
[0037]
3)本发明一种低复杂度无人空基道路异常识别方法，通过传感器实测的无人机姿态角与消失点估计的无人机姿态角比较，排除由于无人机自身晃动所导致的消失点抖动；通过阈值判别法判定无人机姿态角异常在角度偏差和时间上集中程度，排除由于道路拐弯处及外界环境异物迅速通过相机镜头而造成的消失点抖动。
附图说明
[0038]
图1是本发明一种低复杂度无人空基道路异常识别方法流程图；
[0039]
图2是本发明单帧图像消失点检测方法的流程图；
[0040]
图3是本发明降低道路异常检测虚警率方法流程图。
具体实施方式
[0041]
下面将结合附图和实施例对本发明的具体实施方式做进一步的详细说明。以下实施例或者附图用于说明本发明，但不用来限制本发明的范围。
[0042]
本发明以使道路平行线结构发生明显变化的异常情况为检测目标的约束条件，结合了计算机视觉的高识别率和利用消失点抖动检测道路异常的算法的低复杂度的优点，给出了一种无人空基道路异常检测方法。
[0043]
本发明所涉及的新的道路异常定义为：由于不可抗因素使得正常道路的平行线结构被破坏，从而导致交通受阻的客观道路场景。
[0044]
本发明所述的低复杂度无人空基道路异常识别方法，基于以下装置：
[0045]
一架无人机：作为执行道路异常识别任务的移动平台。
[0046]
中央处理器：作为处理道路异常检测算法及传感器数据的核心单元。
[0047]
一个相机(已标定)：需刚性连接到无人机机身上，并保持镜头与机头朝向一致，负责拍摄道路场景，处理成图片作为道路异常检测系统的输入。
[0048]
一个角度传感器：负责测量无人机(或相机)的姿态角信息(偏航角及俯仰角)，规定机身水平飞行时俯仰角为0
°
；消失点位于图像坐标系纵轴时偏航角为0
°
。
[0049]
本发明主要涉及三个坐标系之间的转换：
[0050]
1)相机坐标系，其原点在相机镜头光心处，z轴为光轴方向，x、y的方向通过右手定则来确定，本方法仅涉及相机镜头的俯仰角及偏航角，因此用(α，β)表示；
[0051]
2)像素坐标系，通常以成像平面左上角为原点，以第0行和第0列为两坐标轴，该坐标系为二维坐标系，常用(u，v)表示；
[0052]
3)图像坐标系，该坐标系的原点在光轴与成像平面的交点处，x、y轴则与像素坐标系中的u、v轴方向一致，该坐标系用(x，y)表示。
[0053]
该方法首先是，针对具有平行线结构的道路，按照连续时间序列采集道路图像，对每帧图像均经过边缘特征提取，对处理后的目标道路区域图像进行边缘直线提取得到若干直线，计算所有非共线直线的交点坐标中值，得到道路目标区域在图像上的消失点坐标；接着，推导出当前时刻无人机的估计姿态角，与无人机实际传感器测量的姿态角作比较以消除人机抖动对估计姿态角的影响，进而计算消失点抖动对应的姿态角偏差；通过分割检测时间，对应道路检测单元；找出无人机姿态角偏差超过阈值的图像标记为异常；找出异常图像个数超出阈值的道路检测单元，并计算每一对相邻的异常图像的姿态角偏差差值和时间差，当偏差均值或时间差均值大于等于阈值时，该道路检测单元存在异常，报警并输出。
[0054]
所述的低复杂度无人空基道路异常识别方法，如图1所示，具体步骤如下：
[0055]
步骤一、在无人机上搭载相机，针对具有平行线结构的道路，按照连续时间序列采集道路图像；
[0056]
首先组合装置，将角度传感器安装至无人机机体；相机安装至机头或机身底部，镜头保持与机头朝向一致。
[0057]
无人机飞行时应使其与地面得相对高度保持在一固定值；
[0058]
步骤二、对每帧道路图片均进行语义分割，得到道路的分割掩码图；
[0059]
语义分割模型，如bisenet v2模型；之所以采用经过语义分割处理后的掩码图作为用于检测的输入图片，可以屏蔽很多背景干扰，降低漏检和误检的情况。
[0060]
步骤三、将掩码图经过高斯滤波器和中值滤波器进行平滑，计算掩码图梯度(如利用canny算子)，对每个像素的梯度方向进行阈值化处理，形成一幅编码梯度方向的二值化图像；
[0061]
步骤四、利用霍夫变换提取图像的直线特征，得到检测直线，计算所有非共线直线的交点中值，得到该帧图像消失点o及其在图像坐标系中的坐标
[0062]
道路的两条边沿线具有典型的平行线特征，根据几何光学的透视原理，该平行线
在三维世界中向在二维平面投影时会相交于一点，交点即消失点。
[0063]
其中，单帧图像消失点检测算法流程如图2所示，本实施例中操作过程简述为：先将图片经过高斯滤波器和中值滤波器(有利于去除椒盐噪声)进行平滑；
[0064]
然后利用canny算子计算图片梯度；设置阈值；在计算出每个像素的梯度方向并进行阈值化处理之后，可以形成一幅编码梯度方向的二值化图像，之后便可利用霍夫变换提取直线特征，提取特征后需要进行阈值判断，阈值的作用是为了设定主导直线的斜率范围，排除一些不太可能出现在某些斜率范围内的目标直线，降低算法计算量；在霍夫空间中对变换点进行投票；对投票点逆变换可以得到检测直线，进而求得图像消失点及其图像坐标。
[0065]
步骤五、通过第n帧图像的消失点坐标，结合相机的内参矩阵推导出当前时刻无人机的估计俯仰角和估计偏航角；
[0066]
首先，根据消失点坐标定义第n帧图像的消失点向量
[0067]
然后，根据相机标定的内参矩阵i计算旋转矩阵rn的第三列：
[0068][0069]
此旋转矩阵的第三列为：
[0070][0071]
最后，将旋转矩阵的第三列代入，得到第n帧图像所对应时刻下无人机俯仰角αn和偏航角βn；
[0072][0073][0074]
为用于表达第n帧图像包含俯仰角和偏航角信息的中间向量。
[0075]
通过第n帧图像中消失点的图像坐标推导出了第n帧图像所对应时刻下无人机的俯仰角和偏航角；
[0076]
如图3所示，步骤六到步骤十一为降低道路异常检测虚警率方法的流程；
[0077]
步骤六、将当前时刻第n帧图像推导出的估计姿态角，与无人机实际测量的姿态角作比较，判断是否满足如果是则更新估计姿态角为并计算道路目标区域在第n帧图像的消失点抖动对应的无人机姿态角偏差δθn；否则，直接计算δθn；
[0078]
当前时刻推导出无人机的估计姿态角为
[0079]
当前时刻角度传感器实际测得的无人机姿态角为
[0080]
为阈值，用于判定无人机姿态角的测量值与估计值是否有明显偏差，偏差过大则认为该时刻消失点抖动的原因是无人机抖动所引起。
[0081]
无人机姿态角偏差δθn计算公式为：
[0082][0083]
步骤七、将整体采集时间按间隔i个时间段进行分割，每个时间段再按间隔k个时间段进行分割，将每连续的k个姿态角偏差δθn以及对应时间构成偏差-时间集，每个偏差-时间集对应一段道路检测单元；
[0084]
如假设整个图像采集过程得到m帧照片，整体采集时间为t，将整体采集时间t等间隔分割为i个时间段，那么每个时间段包含k帧图像(对应k个姿态角偏差)，它们之间满足i
×
k＝m，即t/i为该道路检测单元对应的时间段，k为该时间段内的图像帧数(姿态角偏差数)。
[0085]
第i个道路检测单元对应的k个姿态角偏差组成偏差-时间集ui为：
[0086][0087]
步骤八、在每一个道路检测单元中，判断各无人机姿态角偏差δθi的模值是否超设定的阈值即距离数值大于等于如果是，将该偏差所对应的图像元素际记为异常；否则，对该图像不予处理；
[0088]
步骤九、记录每个偏差-时间集中标记为异常的图像个数，判断异常的个数是否小于设定阈值n，如果是，则认为该段道路检测单元无异常，继续对下一个道路检测单元进行判断；否则，进入步骤十；
[0089]
步骤十、在异常图像个数超出阈值n的道路检测单元中，选出所有异常图像，计算每一对相邻的异常图像的姿态角偏差的差值和对应时刻的时间差δt，进而计算偏差差和时间差的均值e(δt)，作为衡量异常元素在角度偏差和时间上集中程度的统计量；
[0090]
假设删去道路检测单元中正常的元素所对应的偏差-时间数据后，剩下p个异常元素所对应的偏差-时间数据，计算每一对相邻的异常元素的时间差，得到p-1个偏差差和时间差集合(δt1，δt2，......，δt
p-1
)，从而计算这些距离差均值：
[0091][0092]
时间差的均值为：
[0093][0094]
(5)式可作为衡量异常元素在距离上集中程度的统计量；(6)式可作为衡量异常元素在时间上集中程度的统计量。
[0095]
步骤十一、继续判断偏差差和时间差的均值e(δt)是否分别小于各自的阈值和t
δt
，如果是，则认为该道路检测单元无异常；否则当任一均值大于或等于相应的阈值时，则认为该道路检测单元存在异常，报警并输出该异常检测单元所对应的序号及其包含的所有帧图像。
[0096]
和t
δt
分别代表了无人机姿态角的偏差及对应时刻达到临界稳定时e(δt)的数值；
[0097]
本步骤重点关注异常元素的个数大于或等于阈值对的道路检测单元，需要注意的是，此时不能简单地将该道路检测单元判定为异常。因为如果在此检测单元所在的时间内，无人机正飞过道路弯曲程度较高的区域，也可能导致异常的元素的个数超过阈值。因此，依据代表道路弯曲程度较高区域的图像异常元素在偏差和时间上分布较均匀的特性，以及代表道路真实异常区域的图像异常元素在距离或时间上分布不均匀的特性，可将道路“假性”异常和真实异常区分开来。
[0098]
进一步，本发明所述语义分割模型不局限于bisenet v2模型，任何可识别道路的语义分割模型均适用于本发明所述无人空基道路线异常检测方法。同理，计算图像梯度不限于使用canny算子，任何可求得图像梯度的算子均适用于本发明所述无人空基道路线异常检测方法。
[0099]
本发明消失点检测方法目前主要分为三类，即使用霍夫变换来检测消失点、使用ransac的方法来检测消失点及一种涉及到对于未知实体进行穷举搜索的过程的方法检测消失点，以上三种方法在不同场景下各有利弊，本发明采用但并不局限于使用霍夫变换法来实现对道路掩码图的消失点检测。
[0100]
本发明所述道路异常检测方法着重强调但不局限于对一般道路的异常检测，任何满足具有平行线特征的交通路径(如隧道、铁路、河堤、公路、管道等)若出现本发明所定义的异常情况，均适用于发明所述低复杂度无人空基道路异常识别方法。