一种基于深度学习神经网络的高速护栏识别方法及系统与流程

1.本发明涉及公路工程技术领域，具体是一种基于深度学习神经网络的高速护栏识别方法及系统。


背景技术：

2.护栏是高速公路重要的交通安全设施之一，是一种由主柱支撑、以波纹钢护板相互拼接而成的连续结构。高速公路发生事故导致车辆碰撞护栏时，护栏将吸收车辆的碰撞动能，对车辆及乘客起保护作用。我国高速公路使用时长的增加及常年累月的车辆剐蹭碰撞和雨雪腐蚀，使护栏及易出现锈蚀、变形、缺失等不同程度的损坏，这将导致防撞系数和防护效果下降。如果不及时更换损坏的护栏，会影响高速公路的使用性能，并因车辆碰撞护栏时无法吸收足够的碰撞动力带来较大的交通安全隐患。此外，严重损毁的护栏断面十分锋利，容易对碰撞护栏的车辆造成危害。目前护栏的损坏检测，基本依赖于人工的日常检查、定期检查和事故车辆自主汇报，极大的缺少及时性、效率性和全面性。


技术实现要素：

3.本发明的目的在于提供一种基于深度学习神经网络的高速护栏识别方法及系统，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：一种基于深度学习神经网络的高速护栏识别方法，所述方法包括：向车载摄像装置发送图像采集指令，接收车载摄像装置采集到的道路图像；其中，所述道路图像为rgb图像，所述车载摄像装置基于预设的图像采集频率采集道路图像；基于训练好的识别模型从所述道路图像中识别并提取护栏区域图像；对所述护栏区域图像进行预处理，将预处理后的护栏区域图像输入训练好的分类模型，根据所述分类模型判定护栏状态；根据所述护栏状态生成护拦数据，将护栏数据上传至云端服务器；其中，所述识别模型和所述分类模型均为深度神经网络模型。
5.作为本发明进一步的方案：所述车载摄像装置中的图像采集频率基于车速调整，基于车速调整图像采集频率的步骤为采集系统通过定位模块获取车辆的实时车速，根据实时车速动态调控图像采集频率。
6.作为本发明进一步的方案：所述车载摄像装置中的图像采集频率基于中央工控机发出的采集信号调整，基于中央工控机发出的采集信号调整图像采集频率的步骤为中央工控机连接安装在车轮上的旋转编码器，所述编码器根据车辆行进的确定距离值，向车载摄像装置发送含有图像采集频率的图像采集指令。
7.作为本发明进一步的方案：所述基于训练好的识别模型从所述道路图像中识别并提取护栏区域图像的步骤包括：基于深度神经网络提取所述道路图像的特征；
根据所述特征识别出高速公路的护栏区域图像；所述的深度神经网络至少包括深度卷积网络和基于注意力机制的神经网络。
8.作为本发明进一步的方案：所述对所述护栏区域图像进行预处理的步骤包括：对所述护栏区域图像进行归一化处理；对归一化处理后的护栏区域图像进行均光处理；所述归一化理的步骤为对所述护栏区域图像进行尺寸操作，使得区域尺寸为w
×
h，其中，所述w和h均为预设的固定尺寸；所述尺寸操作包括尺寸填充和尺寸拉伸；所述均光处理的步骤包括基于同态滤波均光算法对归一化处理后的护栏区域图像进行预处理。
9.作为本发明进一步的方案：所述护栏状态标签至少包括健康、变形、缺损和锈蚀；所述护栏数据至少包括护栏区域图像、高速公路护栏损坏的类型、检测车辆的经纬度、检测车辆的行驶车速和航向角。
10.本发明技术方案还提供了一种基于深度学习神经网络的高速护栏识别系统，所述系统包括：交互模块，用于向车载摄像装置发送图像采集指令，接收车载摄像装置采集到的道路图像；其中，所述道路图像为rgb图像，所述车载摄像装置基于预设的图像采集频率采集道路图像；区域识别模块，用于基于训练好的识别模型从所述道路图像中识别并提取护栏区域图像；状态判定模块，用于对所述护栏区域图像进行预处理，将预处理后的护栏区域图像输入训练好的分类模型，根据所述分类模型判定护栏状态；存储模块，用于根据所述护栏状态生成护拦数据，将护栏数据上传至云端服务器；其中，所述识别模型和所述分类模型均为深度神经网络模型。
11.作为本发明进一步的方案：所述区域识别模块包括：特征提取单元，用于基于深度神经网络提取所述道路图像的特征；处理执行单元，用于根据所述特征识别出高速公路的护栏区域图像；所述的深度神经网络至少包括深度卷积网络和基于注意力机制的神经网络。
12.作为本发明进一步的方案：所述状态判定模块包括：第一处理单元，用于对所述护栏区域图像进行归一化处理；第二处理单元，用于对归一化处理后的护栏区域图像进行均光处理；所述归一化理的步骤为对所述护栏区域图像进行尺寸操作，使得区域尺寸为w
×
h，其中，所述w和h均为预设的固定尺寸；所述尺寸操作包括尺寸填充和尺寸拉伸；所述均光处理的步骤包括基于同态滤波均光算法对归一化处理后的护栏区域图像进行预处理。
13.与现有技术相比，本发明的有益效果是：本发明可以高效快捷地判断高速公路的护栏状态，及时发现和报告防护效果下降的损坏护栏，为及时更换损坏护栏打下坚实基础，降低高速公路养护费用，提高高速公路的养护效率和行车安全。
附图说明
14.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
15.图1为基于深度学习神经网络的高速护栏识别系统的设备关系图。
16.图2为高速公路护栏损坏判定流程图。
17.图3为基于深度学习神经网络的高速护栏识别系统的架构图。
18.图4为基于深度学习神经网络的高速护栏识别方法的流程框图。
19.图5为基于深度学习神经网络的高速护栏识别系统的组成结构框图。
具体实施方式
20.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
21.实施例1图4为基于深度学习神经网络的高速护栏识别方法的流程框图，本发明实施例中，一种基于深度学习神经网络的高速护栏识别方法，所述方法包括步骤s100至步骤s400：步骤s100：向车载摄像装置发送图像采集指令，接收车载摄像装置采集到的道路图像；其中，所述道路图像为rgb图像，所述车载摄像装置基于预设的图像采集频率采集道路图像；步骤s200：基于训练好的识别模型从所述道路图像中识别并提取护栏区域图像；步骤s300：对所述护栏区域图像进行预处理，将预处理后的护栏区域图像输入训练好的分类模型，根据所述分类模型判定护栏状态；步骤s400：根据所述护栏状态生成护拦数据，将护栏数据上传至云端服务器；其中，所述识别模型和所述分类模型均为深度神经网络模型。
22.请参阅图1和图3，在车辆上安装车载摄像装置、中央工控机，预备云端服务器，其中：1）车载摄像装置为车载高清单目相机，该相机通过中央工控机或车载供电，相机像素大于两百万像素。在检查车辆行进过程中画质清晰，用于采集高速公路护栏图像。其可安装于车内或者车外。图像采集频率可基于车速调整，也可基于中央工控机发出的采集信号调整。具体来说，基于车速的调整是采集系统通过定位模块获取车辆的实时车速，根据车速值动态调控图像采集频率；基于中央工控机的调整是利用中央工控机连接安装在车轮上的旋转编码器。该编码器根据车辆行进的确定距离值，向车载摄像装置发送采集图像的指令。
23.2）中央工控机安装于车辆内部，为车载供电。其具有第四代（4g）或第五代（5g）移动通信技术，高精度定位系统和采集信息系统。可以向车载摄像装置发送采集图像的指令，并不间断地接受、处理、上传采集的数据。此外，中央工控机内也可以包含微型图像处理器（graphics processing unit，gpu），深度学习神经网络算法可利用gpu加速图像处理。
24.本发明技术方案中，步骤s100至步骤s400是相对于上述中央工控机而言的，默认
的主语是上述中央工控机。
25.作为本发明技术方案的一个优选实施例，所述基于训练好的识别模型从所述道路图像中识别并提取护栏区域图像的步骤包括：基于深度神经网络提取所述道路图像的特征；根据所述特征识别出高速公路的护栏区域图像；所述的深度神经网络至少包括深度卷积网络和基于注意力机制的神经网络。
26.进一步的，所述对所述护栏区域图像进行预处理的步骤包括：对所述护栏区域图像进行归一化处理；对归一化处理后的护栏区域图像进行均光处理；所述归一化理的步骤为对所述护栏区域图像进行尺寸操作，使得区域尺寸为w
×
h，其中，所述w和h均为预设的固定尺寸；所述尺寸操作包括尺寸填充和尺寸拉伸；所述均光处理的步骤包括基于同态滤波均光算法对归一化处理后的护栏区域图像进行预处理。
27.具体的，所述护栏状态标签至少包括健康、变形、缺损和锈蚀；所述护栏数据至少包括护栏区域图像、高速公路护栏损坏的类型、检测车辆的经纬度、检测车辆的行驶车速和航向角。
28.如图2所示，高速公路护栏损坏情况的识别方法为：启动系统后，利用摄像装置采集道路的rgb图像，基于深度神经网络从道路图像中识别并提取护栏区域的高清图像，并对护栏图像进行预处理。随后将预处理后的护栏图像输入深度神经网络分类模型，利用深度学习神经网络判定护栏状态（是否健康、变形、缺损、锈蚀），记录损坏护栏并上传云端。其中：1）所述的基于深度学习神经网络从道路图像中识别提取护栏区域图像的方法是，利用深度神经网络提取道路图像的特征，并据此识别出高速公路的护栏区域。所述的深度神经网络不限于深度卷积网络或基于注意力机制的神经网络。
29.2）所述的护栏图像预处理的方法是，根据图像内容对图像尺寸归一化处理和均光处理。经过第一步提取护栏区域图像，由于护栏位置等差异将得到大小不完全等同、光照条件相异的图像。对于尺寸差异，首先对所得图片进行尺寸填充或拉伸，让图像的尺寸为w
×
h，其中w、h为固定的尺寸，一般通过大量实验确定。另一方面，由于光照条件的变化，车载摄像设施采集图像时，得到的护栏图像大概率存在光照不均的问题，这对深度学习神经网络模型的效果将产生一定影响。因此需要使用同态滤波均光算法对图像进行预处理。
30.3）所述的利用深度神经网络判断护栏状态的方法是，利用深度神经网络提取护栏图像特征，并使用分类神经网络将护栏分类为健康、变形、缺损、锈蚀等情况。
31.中央工控机将记录的损坏护栏数据上传到云端服务器，包括：采集和护栏图像、高速公路护栏损坏的类型、检测车辆的经纬度、检测车俩的行驶车速、航向角等信息。本专利采用断点续传的方式处理车辆巡查过程中出现网络波动情况。护栏损坏数据上传至云端服务器后，数据库将详细记录该数据，并推送到相关可视化平台和业务系统，为及时修复损毁护栏打下坚实基础。
32.在本发明技术方案的一个实例中，本发明利用图像数据和先进的深度学习技术，可快速、准确、及时、全面地发现和上报高速公路的护栏损坏情况。在高速公路的日常巡查
中，安装识别系统的巡查车辆只需要启动系统便可识别护栏损毁情况，可保持一定车速连续行驶，不需要降低车速或停车观测。当系统识别出损坏护栏，将损坏护栏图像、损坏类型、车辆经纬度、车辆速度和航向角等信息记录本地，并上传云端服务器。其技术效果有：在养护效益方面，相对于现有的人工巡查，本专利提到的基于深度学习神经网络的识别方法和系统能更高效、快捷、客观地识别护栏损坏情况，且具有操作简便和及时上报的优点。检查人员只需驾驶装有检测系统的车辆，打开识别系统后保持特定车速行驶即可及时发现护栏损坏情况。因此该系统可以帮助高速公路养护单位高效快捷的发现出现损坏的高速护栏。此外，依托高频次的检查和收集了全面数据的云端服务器，可利用大数据对护栏损坏情况长期跟踪，对事故点进行聚合分析，为预测维修后护栏是否及何时会再次出现损坏打下坚实基础。
33.在经济效益方面，本专利提出的识别系统依托于先进的深度学习算法和轻量化车载设备，可显著提高巡查频率和效率，且一次性投入设备费用后，便可持续对高速公路护栏损坏情况进行评估，可免去后期持续投入的检测费用。
34.在社会效益上，本专利提出的系统只需要检测人员专注驾驶，这降低了检测人员的安全风险。此外，该系统可让维修人员及时、快速地根据云端数据库中的护栏信息定位损坏护栏，若及时维修可避免护栏出现严重损坏、提高高速公路行车安全性。
35.实施例2图5为基于深度学习神经网络的高速护栏识别系统的组成结构框图，本发明实施例中，一种基于深度学习神经网络的高速护栏识别系统，所述系统10包括：交互模块11，用于向车载摄像装置发送图像采集指令，接收车载摄像装置采集到的道路图像；其中，所述道路图像为rgb图像，所述车载摄像装置基于预设的图像采集频率采集道路图像；区域识别模块12，用于基于训练好的识别模型从所述道路图像中识别并提取护栏区域图像；状态判定模块13，用于对所述护栏区域图像进行预处理，将预处理后的护栏区域图像输入训练好的分类模型，根据所述分类模型判定护栏状态；存储模块14，用于根据所述护栏状态生成护拦数据，将护栏数据上传至云端服务器；其中，所述识别模型和所述分类模型均为深度神经网络模型。
36.进一步的，所述区域识别模块12包括：特征提取单元，用于基于深度神经网络提取所述道路图像的特征；处理执行单元，用于根据所述特征识别出高速公路的护栏区域图像；所述的深度神经网络至少包括深度卷积网络和基于注意力机制的神经网络。
37.具体的，所述状态判定模块13包括：第一处理单元，用于对所述护栏区域图像进行归一化处理；第二处理单元，用于对归一化处理后的护栏区域图像进行均光处理；所述归一化理的步骤为对所述护栏区域图像进行尺寸操作，使得区域尺寸为w
×
h，其中，所述w和h均为预设的固定尺寸；所述尺寸操作包括尺寸填充和尺寸拉伸；所述均光处理的步骤包括基于同态滤波均光算法对归一化处理后的护栏区域图
像进行预处理。
38.所述基于深度学习神经网络的高速护栏识别方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述基于深度学习神经网络的高速护栏识别方法。
39.处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器（read-only memory，rom），所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
40.示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
41.本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
42.所称处理器可以是中央处理单元（central processing unit，cpu），还可以是其他通用处理器、数字信号处理器 （digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列 （field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
43.上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据（比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（smart media card， smc），安全数字（secure digital， sd）卡，闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
44.终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储
器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。
45.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
46.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。