基于图像与振动数据分析的桥梁接缝高差识别方法与系统与流程

1.本发明涉及道路异常检测相关技术领域，具体是基于图像与振动数据分析的桥梁接缝高差识别方法与系统。


背景技术：

2.伸缩接缝是道路桥梁的重要附属设施，其设置在梁端构造薄弱部位，直接承受车轮荷载的反复冲击，且长期暴露在大自然中，所处环境比较恶劣，因此伸缩接缝容易产生损坏，通常情况下，由于两侧支座产生的变形不一致，及接缝两侧的基础出现不均匀沉降，容易导致伸缩接缝两侧出现高差，导致车辆经过时会产生跳车，影响行车安全；且伸缩接缝出现高差时，车轮也会给接缝带来较大的冲击荷载，导致接缝劣化破损进一步加深，接缝两侧高差进一步扩大，甚至可能出现大的坑洞，严重影响行车安全；不少伸缩接缝在出现明显破损后，维修人员只是做了应急修补，将坑洞填平，但并未对两侧高差进行修补，伸缩接缝修补后因为两侧高差依旧存在，在车辆荷载和环境的作用下，很快又再次出现劣化。
3.现有技术的日常巡查中，巡查方式主要依靠人工观测，巡查人员乘坐巡查车辆对路面状况进行巡查，巡查时车速较快，巡查人员无法直接测量伸缩接缝的高差，只能够对较为严重的部分进行相应记录修补，因此，目前的桥梁接缝高差基本依赖年度的专项检测，由人工徒步测量进行。
4.人工徒步检测主要是通过三米直尺等工具对桥梁伸缩接缝高差进行测量，测量速度慢，效率低，为了保障测量人员的安全，测量作业时可能需要封闭或半封闭交通，影响道路通行，且徒步测量的频次低，无法及时发现接缝处的高差问题，此外，由于徒步测量依赖较多的人工，测量的成本较高，无法实现大范围、高频次的检测，在偏远地区以及很多低等级道路，伸缩接缝高差的检测常常被忽略，在环境及冲击荷载的作用下，伸缩接缝处容易产生损坏。


技术实现要素：

5.本发明的目的在于提供基于图像与振动数据分析的桥梁接缝高差识别方法与系统，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：基于图像与振动数据分析的桥梁接缝高差识别方法，包含以下步骤：以预设的时间间隔采集并生成图像信息，并通过预设的神经网络算法对所述图像信息进行识别判定，并生成判定结果，所述识别判定用于判断车辆是否经过桥梁的伸缩接缝，当车辆经过所述伸缩接缝时，生成判定结果；响应所述判定结果，记录所述车辆经过所述伸缩接缝的开始时间t
i-strat
以及结束时间t
i-end
，并获取对应时间段的三轴传感数据，所述三轴传感数据包括z轴加速度数据acci；根据所述开始时间t
i-start
以及所述结束时间t
i-end
对所述三轴传感数据进行预处
理，以计算生成车辆振动比ri，并根据预设的判定阈值对所述车辆振动比ri进行判定，若超出，则判定该所述伸缩接缝存在需要进行高差修复的异常高差；记录所述伸缩接缝的所述异常高差到相关数据进行存储，并通过云端服务器进行同步。
7.作为本发明的进一步方案：所述根据所述开始时间t
i-start
以及所述结束时间t
i-end
对所述三轴传感数据进行预处理，以计算生成车辆振动比ri的步骤包括：对所述开始时间t
i-strat
到所述结束时间t
i-end
时间段内的所有所述z轴加速度数据acci进行零均值化，得到acc
i’；计算所述acc
i’的平均均方根，获得rmsi，所述rmsi用于表征所述开始时间t
i-strat
到所述结束时间t
i-end
过程中车辆的平均振动情况；通过预设的窗函数对所述acc
i’进行处理，获得包含ceil((n-w+1)/s)个数的数组rms
i_list
，其中所述w为窗的大小，所述窗的大小w≤50，所述s为步长，所述步长s＜5，所述的ceil为向上取整函数；取所述rms
i_list
中最大的数值rms
i_w_max
，并计算车辆振动比ri=rms
i_w_max
/rmsi，所述rms
i_w_max
用于表征所述开始时间t
i-strat
到所述结束时间t
i-end
时间段内车辆短时振动的最大情况；根据预设的阈值r
threshold
对所述车辆振动比ri进行判定，若超过所述阈值r
threshold
，则判定所述伸缩接缝处有需要进行修复的所述异常高差。
8.作为本发明的再进一步方案：所述三轴传感器的数量为一对，分别用于生成r
i_left
、r
i_right
，当所述r
i_left
与所述r
i_right
中任一超过所述阈值r
threshold
时，则判定所述伸缩接缝处有需要进行修复的所述异常高差，所述r
i_left
与所述r
i_right
分别用于表征汽车左右车轮所承受的振动颠簸情况。
9.作为本发明的再进一步方案：所述相关数据对具体内容包括：与所述伸缩接缝相对应的所述开始时间t
i-strat
、所述结束时间t
i-end
，以及与时间相对应的所述车辆所处的经纬信息，与时间对应所采集到的所述图像信息、车辆的行驶速度以及航向角。
10.作为本发明的再进一步方案：所述三轴传感数据的采样频率≥250hz，精确度≥0.1g，所述三轴传感数据还包括x轴加速度数据以及y轴加速度数据，所述x轴加速度数据的方向与车辆前进方向一致，所述z轴加速度数据acci垂直于车辆所在平面。
11.本发明实施例旨在提供基于图像与振动数据分析的桥梁接缝高差识别系统，包括：图像触发模块，用于以预设的时间间隔采集并生成图像信息，并通过预设的神经网络算法对所述图像信息进行识别判定，并生成判定结果，所述识别判定用于判断车辆是否经过桥梁的伸缩接缝，当车辆经过所述伸缩接缝时，生成判定结果；数据预备模块，用于响应所述判定结果，记录所述车辆经过所述伸缩接缝的开始时间t
i-start
以及结束时间t
i-end
，并获取对应时间段的三轴传感数据，所述三轴传感数据包括z轴加速度数据acci；运算判定模块，用于根据所述t
i-start
以及所述t
i-end
对所述三轴传感数据进行预处理，以计算生成车辆振动比ri，并根据预设的判定阈值对所述车辆振动比ri进行判定，若超出，则判定该所述伸缩接缝存在需要进行高差修复的高差；
同步记录模块，用于记录所述伸缩接缝的所述异常高差到相关数据进行存储，并通过云端服务器进行同步。
12.作为本发明的进一步方案：所述运算判定模块包括：预处理单元，用于对所述开始时间t
i-strat
到所述结束时间t
i-end
时间段内的所有所述z轴加速度数据acci进行零均值化，得到acc
i’，计算所述acc
i’的平均均方根，获得rmsi，所述rmsi用于表征所述开始时间t
i-strat
到所述结束时间t
i-end
过程中车辆的平均振动情况，通过预设的窗函数对所述acc
i’进行处理，获得包含ceil((n-w+1)/s)个数的数组rms
i_list
，其中所述w为窗的大小，所述窗的大小w≤50，所述s为步长，所述步长s＜5，所述的ceil为向上取整函数；计算单元，用于取所述rms
i_list
中最大的数值rms
i_w_max
，并计算车辆振动比ri=rms
i_w_max
/rmsi，所述rms
i_w_max
用于表征所述开始时间t
i-strat
到所述结束时间t
i-end
时间段内车辆短时振动的最大情况；判断单元，用于根据预设的阈值r
threshold
对所述车辆振动比ri进行判定，若超过所述阈值r
threshold
，则判定所述伸缩接缝处有需要进行修复的所述异常高差。
13.与现有技术相比，本发明的有益效果是：在执行效率上，相较于现有的日常巡查及徒步检测方法，本专利对伸缩接缝的高差评估更客观，在日常巡查中即可快速对伸缩接缝进行高差评估，可及时发现伸缩接缝的高差问题，帮助养护单位今早发现可能损坏的伸缩接缝；依托高频次的巡查及高精度定位，可对伸缩接缝的高差预估进行长期的跟踪，评估伸缩接缝维修后是否再次出现高差，是否会再次引起破损，方便维修人员评估接缝维修措施是否合理；此外，本专利提到的系统无需人员进行专项操作，巡查员只需专注于驾驶即可，相较于人工徒步巡查，规避了巡查人员的安全风险；在经济效益上，本专利提到的方法和系统主要依赖于智能化算法和轻量化传感设备，大大提高巡查频次的同时，在现有日常巡查的基础上投入设备费用，即可对伸缩接缝高差进行评估，可免去专项检测的相关费用；社会效益上，本专利提到的方法和系统可让维修人员快速、及时定位可能要出现损坏的接缝，避免接缝处出现大的损坏，提高行车安全；同时维修人员可尽早发现可能有问题的伸缩接缝，在伸缩接缝出现明显的损坏之前就对伸缩接缝的高差进行修复，避免围封交通式维修，保障道路的通行能力。
附图说明
14.图1为基于图像与振动数据分析的桥梁接缝高差识别方法对实施方式图。
15.图2为基于图像与振动数据分析的桥梁接缝高差识别方法的原理实现图。
具体实施方式
16.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
17.以下结合具体实施例对本发明的具体实现方式进行详细描述。
18.为本发明一个实施例提供的基于图像与振动数据分析的桥梁接缝高差识别方法，包括以下步骤：以预设的时间间隔采集并生成图像信息，并通过预设的神经网络算法对所述图像信息进行识别判定，并生成判定结果，所述识别判定用于判断车辆是否经过桥梁的伸缩接缝，当车辆经过所述伸缩接缝时，生成判定结果。
19.响应所述判定结果，记录所述车辆经过所述伸缩接缝的开始时间t
i-strat
以及结束时间t
i-end
，并获取对应时间段的三轴传感数据，所述三轴传感数据包括z轴加速度数据acci。
20.根据所述开始时间t
i-start
以及所述结束时间t
i-end
对所述三轴传感数据进行预处理，以计算生成车辆振动比ri，并根据预设的判定阈值对所述车辆振动比ri进行判定，若超出，则判定该所述伸缩接缝存在需要进行高差修复的异常高差。
21.记录所述伸缩接缝的所述异常高差到相关数据进行存储，并通过云端服务器进行同步。
22.本实施例中，图像信息以及三轴传感数据分别是有车载的车载相机和三轴加速度传感器所实现采集的，对于数据段预处理以及计算判断等则是由在车辆上设置的中央工控机所实现（如图1）在使用时，系统启动后，车辆在前进的过程中，相机采集图像（这里采集图像信息的预设时间间隔，不仅可以是预设时间，也可以是定距离拍摄，也可以是根据车速调整采集频率），中央工控机中的深度卷积神经网络分析采集的图像，判断图像中是否由桥梁伸缩接缝，记录车辆经过桥梁伸缩接缝的开始时间和结束时间，提取该段时间范围内的z轴加速度数据，计算z轴加速度数据的异常颠簸指标，当异常颠簸指标超过某一阈值时，判定桥梁伸缩接缝存在明显的高差，需要进行修复进一步的，对于图像信息的采集，其图像采集频次调整有2种形式：一是采集软件通过定位模块，获取车辆的实时车速，并根据车速的大小动态调整图像采集的频次，二是中央工控机连接安装在车轮上的旋转编码器，车辆前进过程中每前进一定距离，旋转编码器给车载相机发送指令采集图像；利用图像和振动数据结合分析，可以实现快速、准确、实时感知桥梁伸缩接缝是否存在异常高差，在日常巡查中，巡查车辆只需要启动系统，在较高车速行驶的条件下，即可对所经过的伸缩接缝高差进行评估，当引起车辆颠簸超过一定阈值时，判定伸缩接缝存在一定的高差，并且直接将经过伸缩接缝的前后图像、前后时间、前后经纬度、车速、航向角、车辆振动比等数据记录到本地，并上传至云端系统。
23.作为本发明另一个优选的实施例，所述根据所述开始时间t
i-start
以及所述结束时间t
i-end
对所述三轴传感数据进行预处理，以计算生成车辆振动比ri的步骤包括：对所述开始时间t
i-strat
到所述结束时间t
i-end
时间段内的所有所述z轴加速度数据acci进行零均值化，得到acc
i’。
24.计算所述acc
i’的平均均方根，获得rmsi，所述rmsi用于表征所述开始时间t
i-strat
到所述结束时间t
i-end
过程中车辆的平均振动情况。
25.通过预设的窗函数对所述acc
i’进行处理，获得包含ceil((n-w+1)/s)个数的数组rms
i_list
，其中所述w为窗的大小，所述窗的大小w≤50，所述s为步长，所述步长s＜5，所述的ceil为向上取整函数；取所述rms
i_list
中最大的数值rms
i_w_max
，并计算车辆振动比ri=rms
i_w_max
/rmsi，所
述rms
i_w_max
用于表征所述开始时间t
i-strat
到所述结束时间t
i-end
时间段内车辆短时振动的最大情况。
26.根据预设的阈值r
threshold
对所述车辆振动比ri进行判定，若超过所述阈值r
threshold
，则判定所述伸缩接缝处有需要进行修复的所述异常高差。
27.本实施例中，如图2所示，对数据的预处理、计算以及最后的判定级进行了详细的说明，需要补充的是，对于开始时间t
i-strat
和结束时间t
i-end
的生成方式：在中央工控机上运行目标检测深度卷积神经网络，分析采集的每一张图像，当识别到图像中有桥梁伸缩接缝时，记录图片的采集时间t
i，
并根据t
i，
往前、往后推断一定的时间δt，得到t
i-strat
和t
i-end
，这里的δt，一般可通过经验判定设置为固定值，例如1.5秒；也可以根据实际的车速进行动态调整，车速越大，则δt越小，这里的acci是一个包含n个数字的数组，一般首先需要进行滤波处理，将其中的异常值除去，acci可以是未经过修正的加速度数据，也可以是经过车速修正后的加速度数据（车速修正的方式为，将acci*speed0/speedi，其中speed0为指定的行车速度，如30km/h，speedi为开始时间t
i-strat
和结束时间t
i-end
之间的平均速度；w一般由经验设定，一般设置为50，步长s根据经验设置，一般设定为1。
28.作为本发明另一个优选的实施例，所述三轴传感器的数量为一对，分别用于生成r
i_left
、r
i_right
，当所述r
i_left
与所述r
i_right
中任一超过所述阈值r
threshold
时，则判定所述伸缩接缝处有需要进行修复的所述异常高差，所述r
i_left
与所述r
i_right
分别用于表征汽车左右车轮所承受的振动颠簸情况。
29.进一步的，所述相关数据对具体内容包括：与所述伸缩接缝相对应的所述开始时间t
i-strat
、所述结束时间t
i-end
，以及与时间相对应的所述车辆所处的经纬信息，与时间对应所采集到的所述图像信息、车辆的行驶速度以及航向角。
30.再者，所述三轴传感数据的采样频率≥250hz，精确度≥0.1g，所述三轴传感数据还包括x轴加速度数据以及y轴加速度数据，所述x轴加速度数据的方向与车辆前进方向一致，所述z轴加速度数据acci垂直于车辆所在平面。
31.本实施例中，这里对相关的内容进行了进一步的补充说明和限定，从而使得方法能够具有更高的检测精度和检测覆盖范围，其中相关数据的上传为了应对车辆巡查过程中的网络波动，采用断点续传的方式进行传输，数据上传到云端后，将会记录到数据库中，并推送至对应的可视化平台及业务系统，上传步骤由在车辆中设置的中央工控机实现，其包含gpu处理单元，神经网络程序可借助gpu处理单元实现预测加速，中央工控机由车载供电，设有4g/5g移动互联网模块用于上传数据，有高精度定位模块用于获取车辆的经纬信息。
32.本发明还提供了基于图像与振动数据分析的桥梁接缝高差识别系统，其包括：图像触发模块，用于以预设的时间间隔采集并生成图像信息，并通过预设的神经网络算法对所述图像信息进行识别判定，并生成判定结果，所述识别判定用于判断车辆是否经过桥梁的伸缩接缝，当车辆经过所述伸缩接缝时，生成判定结果。
33.数据预备模块，用于响应所述判定结果，记录所述车辆经过所述伸缩接缝的开始时间t
i-start
以及结束时间t
i-end
，并获取对应时间段的三轴传感数据，所述三轴传感数据包括z轴加速度数据acci。
34.运算判定模块，用于根据所述t
i-start
以及所述t
i-end
对所述三轴传感数据进行预处理，以计算生成车辆振动比ri，并根据预设的判定阈值对所述车辆振动比ri进行判定，若超
出，则判定该所述伸缩接缝存在需要进行高差修复的高差。
35.同步记录模块，用于记录所述伸缩接缝的所述异常高差到相关数据进行存储，并通过云端服务器进行同步。
36.作为本发明另一个优选的实施例，所述运算判定模块包括：预处理单元，用于对所述开始时间t
i-strat
到所述结束时间t
i-end
时间段内的所有所述z轴加速度数据acci进行零均值化，得到acc
i’，计算所述acc
i’的平均均方根，获得rmsi，所述rmsi用于表征所述开始时间t
i-strat
到所述结束时间t
i-end
过程中车辆的平均振动情况，通过预设的窗函数对所述acc
i’进行处理，获得包含ceil((n-w+1)/s)个数的数组rms
i_list
，其中所述w为窗的大小，所述窗的大小w≤50，所述s为步长，所述步长s＜5，所述的ceil为向上取整函数。
37.计算单元，用于取所述rms
i_list
中最大的数值rms
i_w_max
，并计算车辆振动比ri=rms
i_w_max
/rmsi，所述rms
i_w_max
用于表征所述开始时间t
i-strat
到所述结束时间t
i-end
时间段内车辆短时振动的最大情况。
38.判断单元，用于根据预设的阈值r
threshold
对所述车辆振动比ri进行判定，若超过所述阈值r
threshold
，则判定所述伸缩接缝处有需要进行修复的所述异常高差。
39.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
40.本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
41.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。