1.本发明涉及计算机视觉领域，具体涉及一种全天候自主道路缺陷检测方法及系统。
背景技术：
2.随着基建的快速发展，车辆的增多，道路状况随车辆的反复作用及环境条件的变化会逐渐变坏，出现道路缺陷现象，对道路缺陷状况的检测与维护显得越来越重要。目前虽然有很多检测道路缺陷的方案，如破地预埋式检测方式，存在安装费时费力，维护和施工成本高的问题；固定相机监测方式，存在探测范围有限，若大范围部署成本昂贵的问题；人工巡逻方式，当前主流方式，需要消耗大量人力物力巡逻，存在人力和物力成本高的问题，都不是最佳选择。
3.在现有技术中，通常在车辆上安装rgb相机进行道路缺陷检测，采用嵌入式ai芯片，深度学习神经网络算法，在白天可视条件下，通过视觉算法对画面道路进行实时缺陷检测识别，当确认发生较大缺陷类型时，触发车载gps信号进行上报，由专业人士识别确认，但在面临动态光线变化时，受帧率约束，响应速度较低，无法捕获高速行驶运动目标的完整轨迹；检测动态范围较低，如在面临逆光时，易受光照强烈变化影响；在面临夜晚暗光等低光照场景下信息捕获能力较差；难以捕获极高速运动目标，如在穿越树木时，车辆快速行驶时存在运动画面模糊的现象，存在道路缺陷的探测感知准确率低下的问题。
技术实现要素：
4.为了克服现有技术中道路缺陷的探测感知准确率低下的技术问题，本发明提供了基于计算机视觉的一种道路缺陷检测方法及系统，通过利用rgb丰富的纹理细节特性，又结合dvs视觉低光和动态光线变化时响应灵敏特性，提高了道路缺陷的探测感知准确率。
5.为了实现上述目的，本发明是通过以下技术方案实现：一种全天候自主道路缺陷检测方法，包括以下步骤：s1、利用动态视觉的基于框架模式，与传统视觉画面进行时空配准校正，得到混合视觉；s2、所述混合视觉对离散异步脉冲数据进行编码表征得到网格数据，并与传统视觉的数据融合,作为网络输入；s3、网络输入通过车道线识别算法，判断道路缺陷类型及发生道路缺陷类型的具体位置，网络输出标签与坐标；s4、对动态视觉的画面进行预检测，提取出轮廓变化明显区域，计算此区域内图像的高频信息含量；s5、将高频信息含量与设定阈值比较，若高频信息含量大于设定阈值，则进行s6，否则，返回s4；s6、判断 iou是否大于0.5，若是，则结果确认，否则，返回s2。
6.作为优选，所述传统视觉为传统rgb视觉，所述动态视觉为dvs脉冲视觉，利用所述dvs脉冲视觉的frame-based模式，与所述传统rgb视觉的画面进行时空配准校正，得到所述混合视觉。
7.作为优选，所述s2中，配准后的所述混合视觉，对离散异步脉冲dvs脉冲视觉数据进行编码表征，将（, , , ）格式的脉冲串通过频率编码成3维体素网格数据（, ,）,并与传统rgb视觉的三维数据（, , ）融合成（, , ）作为所述网络输入；其中，表示脉冲事件的发生位置，对应图像中像素点坐标，代表事件极性，代表当前事件发生的时间；表征后, 分别表示图像长宽，为dvs的通道数，默认为征服双通道=2，为rgb的通道数，默认为rgb彩色=3；dvs相机采集的数据：（, , , ），通过统计一个时间窗内脉冲的数量来表示信息：， 。
8.作为优选，所述s3中，所述车道线识别算法，采用dvs脉冲视觉表征后的体素网格数据融合rgb视觉数据作为感知输入，定义常见道路缺陷类型；对rgb和dvs画面的融合处理后，输入到检测识别网络，判断是否为常见道路缺陷类型，以及发生缺陷类型的具体位置；若是，将此位置对应的gps信号上传，完成上报过程。
9.作为优选，所述s4中，输入shape为[w,h,c1+c2]；输出识别置信度最大的label，及对应的location；与此同时为降低误报，利用dvs对轮廓边缘响应敏感，对dvs的画面进行预检测，从提取出轮廓变化明显区域，计算此区域内图像的高频信息含量v1。
[0010]
作为优选，所述s5中，区域内图像的高频信息含量v1大于设定阈值t判断此区域具备丰富的纹理细节，具备道路缺陷的特征，若v1含量小于阈值t判断此区域内较平滑，不具备道路缺陷的特征，以此判断结合网络识别结果作为最终二次确认。
[0011]
作为优选，所述s6中，计算并判断 iou是否大于0.5，若是，则结果确认，否则，返回s2。
[0012]
作为优选，所述s3中，所述道路缺陷包括沉陷、裂缝、坑洞、拱起。
[0013]
一种全天候自主道路缺陷检测系统，包括混合视觉传感器，用于设在无人小车上进行全天候自主道路缺陷检测，所述混合视觉传感器上设有计算单元。
[0014]
作为优选，所述计算单元，用于运行混合视觉道路缺陷识别和定位算法；所述无人小车搭载混合视觉传感器中的混合视觉包括传统rgb视觉和dvs脉冲视觉，所述传统rgb视觉用于检测道路的纹理细节特性，所述dvs脉冲视觉用于检测高速行驶状态下的道路异常事件。与现有技术相比，本发明的优点是：通过利用rgb丰富的纹理细节特性，又结合dvs视觉低光和动态光线变化时响应灵敏特性，提高了道路缺陷的探测感知准确率；
实时异步响应，不受帧率约束，可以捕获高速行驶运动目标的完整轨迹，具有高灵敏响应速度，等效帧率1000帧；具有高动态范围，不受光照强烈变化影响，适应光线变化范围10lux-10klux的动态光线；具有低光照场景下信息捕获能力，传统rgb在光强小于50lux时纹理特征不清晰，而dvs具备最低10lux下清晰的轮廓显示能力；减少运动模糊现象：脉冲事件跟随光强变化产生，具有极高时间分辨率，因此可以捕获极高速运动目标，从而减少运动模糊现象，解决了车辆快速行驶时画面模糊现象。
附图说明
[0015]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0016]
图1为本发明一实施例的检测方法流程图。
具体实施方式
[0017]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0018]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0019]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0020]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0021]
参见图1，为本发明一种道路缺陷检测方法及系统的实施例，在该实施例中，一种全天候自主道路缺陷检测方法，包括以下步骤：s1、利用动态视觉的基于框架模式，与传统视觉画面进行时空配准校正，得到混合视觉；s2、所述混合视觉对离散异步脉冲数据进行编码表征得到网格数据，并与传统视觉的数据融合,作为网络输入；
s3、网络输入通过车道线识别算法，判断道路缺陷类型及发生道路缺陷类型的具体位置，网络输出标签与坐标；s4、对动态视觉的画面进行预检测，提取出轮廓变化明显区域，计算此区域内图像的高频信息含量；s5、将高频信息含量与设定阈值比较，若高频信息含量大于设定阈值，则进行s6，否则，返回s4；s6、判断 iou是否大于0.5，若是，则结果确认，否则，返回s2。所述 iou为高频信息含量与设定阈值的重叠程度。
[0022]
本实施例中，所述传统视觉为传统rgb视觉，所述动态视觉为dvs脉冲视觉，利用所述dvs脉冲视觉的frame-based模式，与所述传统rgb视觉的画面进行时空配准校正，得到所述混合视觉。
[0023]
本实施例中，所述s2中，配准后的所述混合视觉，对离散异步脉冲dvs脉冲视觉数据进行编码表征，将（, , , ）格式的脉冲串通过频率编码成3维体素网格数据（, ,）,并与传统rgb视觉的三维数据（, , ）融合成（, , ）作为所述网络输入；其中，表示脉冲事件的发生位置，对应图像中像素点坐标，代表事件极性（光强变强时输出正极性1，光强变暗时输出负极性-1），代表当前事件发生的时间；表征后, 分别表示图像长宽，为dvs的通道数，默认为征服双通道=2，为rgb的通道数，默认为rgb彩色=3；dvs相机采集的数据：（, , , ），通过统计一个时间窗内脉冲的数量来表示信息：， 。
[0024]
本实施例中，所述s3中，所述车道线识别算法，采用dvs脉冲视觉表征后的体素网格数据融合rgb视觉数据作为感知输入，定义常见道路缺陷类型；对rgb和dvs画面的融合处理后，输入到检测识别网络，判断是否为常见道路缺陷类型，以及发生缺陷类型的具体位置；若是，将此位置对应的gps信号上传，完成上报过程；所述检测识别网络为经典的yolov5-s版本。
[0025]
本实施例中，所述s4中，输入shape为[w,h,c1+c2]，这里为：[640,640,5]；输出识别置信度最大的label，及对应的location；与此同时为降低误报，利用dvs对轮廓边缘响应敏感，对dvs的画面进行预检测，从提取出轮廓变化明显区域region，计算此区域内图像的高频信息含量v1。
[0026]
本实施例中，所述s5中，区域内图像的高频信息含量v1大于设定阈值t判断此区域具备丰富的纹理细节，具备道路缺陷的特征，若v1含量小于阈值t判断此区域内较平滑，不具备道路缺陷的特征，以此判断结合网络识别结果作为最终二次确认。
[0027]
本实施例中，所述s6中，计算并判断 iou是否大于0.5，若是，则结果确认，否则，返回s2。
[0028]
本实施例中，所述s3中，所述道路缺陷包括沉陷、裂缝、坑洞、拱起。
[0029]
一种全天候自主道路缺陷检测系统，包括混合视觉传感器，用于设在无人小车上进行全天候自主道路缺陷检测，所述混合视觉传感器上设有计算单元。
[0030]
本实施例中，所述计算单元，采用nvidia jetson xavier nx芯片，用于运行混合视觉道路缺陷识别和定位算法；所述无人小车搭载混合视觉传感器中的混合视觉包括传统rgb视觉和dvs脉冲视觉，所述传统rgb视觉用于检测道路的纹理细节特性，所述dvs脉冲视觉用于检测高速行驶状态下的道路异常事件。
[0031]
本实施例中，通过利用rgb丰富的纹理细节特性，又结合dvs视觉低光和动态光线变化时响应灵敏特性，提高了道路缺陷的探测感知准确率；实时异步响应，不受帧率约束，可以捕获高速行驶运动目标的完整轨迹，具有高灵敏响应速度，等效帧率1000帧；具有高动态范围，不受光照强烈变化影响，适应光线变化范围10lux-10klux的动态光线；具有低光照场景下信息捕获能力，传统rgb在光强小于50lux时纹理特征不清晰，而dvs具备最低10lux下清晰的轮廓显示能力；减少运动模糊现象：脉冲事件跟随光强变化产生，具有极高时间分辨率，因此可以捕获极高速运动目标，从而减少运动模糊现象，解决了车辆快速行驶时画面模糊现象。
[0032]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0033]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。