一种车载式道路标志标线巡检系统的制作方法

本发明涉及机器视觉，尤其涉及一种车载式道路标志标线巡检系统。

背景技术：

1、现阶段我国对道路上的交通标志和交通标线进行日常巡检主要是通过人工的方式进行，由工作人员按照交通标志的卫星定位坐标进行导航，通过汽车等交通工具到达交通标志牌处对交通标志牌的正常与否状态进行判定，并在行进过程中对道路交通标线的正常与否状态进行判定，并通过手机应用程序将巡检结果上传到服务器。

2、但是现有的人工巡检方式主要存在以下几个问题：1、效率低、成本高、漏检率高，一组工作人员每天的巡检里程仅能达到100km，对于大城市而言，完成每月的道路巡检任务需要设置多个巡检小组，由于巡检的辖区范围太大，巡检人员如果对巡检路线不熟悉，容易造成交通标志漏检；2、存在交通安全风险，工作人员需要下车进行交通标志标线的检查，该操作存在出现交通事故的风险；3、巡检数据实时性、安全性和可靠性差，由于巡检由人工完成，故而巡检在上传服务器这一过程中需要人工参与，容易造成巡检人员上传的数据有误，同时系统后台无法有效的记录巡检人员的巡检里程和实时动态。

3、需要说明的是，在上述背景技术部分公开的信息只用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的在于克服现有技术的缺点，提供了一种车载式道路标志标线巡检系统，解决了现有巡检方式存在的不足。

2、本发明的目的通过以下技术方案来实现：一种车载式道路标志标线巡检系统，它包括web服务器、pc智能视觉模块和手机app；所述web服务器用于对交通标志和交通标线的台账数据进行维护，并对pc智能视觉模块和手机app上传的数据进行汇总以及综合检测结果的展示与导出；

3、所述pc智能视觉模块包括传感器端和ipc端，ipc端从传感器端获取传感器数据，并对传感器端中的相机进行控制，所述ipc端包括数据采集控制与显示端和视觉分析与计算端；所述数据采集控制与显示端用于采集传感器端传输的gps、距离、速度和图像数据，根据图像的亮度通过pid算法对相机曝光度进行调节，根据曝光度进行符合图像拖影限制的车辆行驶速度计算，并将交通标志标线相机数据实时打包发送到视觉分析与计算端，并根据视觉分析与计算端的结果进行检测结果显示；所述视觉分析与计算端用于交通标线检测识别、定位与分析，以及交通标志检测识别、跟踪、择优和匹配分析；

4、所述手机app用于交通标志信息的录入并上传到web服务器后以台账的形式下发到pc智能视觉模块。

5、所述视觉分析与计算端对交通标线检测识别具体包括通过相机采集交通标线的图像，对图像进行去水雾、去逆光和图像亮度调整的预处理，通过深度学习网络对交通标线进行识别和定位，以及现交通标线完整程度分割检测，最后通过opencv视觉算法在深度学习的基础上完成对单位距离内交通标线上标线部分面积、裂纹和脏污面积的计算。

6、所述视觉分析与计算端对交通标志的检测识别具体包括以下内容：

7、对相机采集的交通标志图像进行图像长宽调整、图像暗通道去雾、图像亮度调整、图像归一化和图像通道调整的预处理，并将指路和组合交通标志划分为第一类交通标志，将禁令、警告和指示交通标志划分为第二类交通标志；

8、将经过预处理后的第一类交通标志图像输入到a网络模型进行推理检测，并对检测结果进行非极大抑制处理，同时剔除位于图像边缘的检测结果；

9、计算a网络模型检测结果之间的交并比，对一个标志牌出现在另一个标志牌内部的情况进行抑制，得到处理后的指路交通标志的检测结果big和组合交通标志的检测结果big_c；

10、将经过预处理后的第二类交通标志图像输入到b网络模型进行推理检测，并对检测结果进行非极大抑制处理，同时剔除位于图像边缘的检测结果，得到处理后的检测结果small；

11、计算b网络模型的检测结果small与a网络模型检测结果big和big_c之间的交并比，过滤掉检测结果big和big_c中出现检测结果small的情况；

12、对检测结果small进行截图，并将截图后的图像经过图像长宽调整、图像归一化和图像通道调整的预处理后输入到c网络模型进行推理检测，对检测结果进行非极大抑制处理，得到处理后的警告标志的检测结果warning、禁令标志的检测结果ban和指示标志的检测结果tndicate；

13、输出最后的检测结果big、big_c、warning、ban和indicate。

14、所述视觉分析与计算端对交通标志的择优具体包括以下内容：

15、检测结果big与big_c类别出现在道路上方，在图像采集过程中，标志牌从图像下半部分进入视野，消失在图像上半部分，将检测结果big与big_c择优分为3个优先级，图像高度为h，图像宽度为w，第1优先级为图像中间高度范围部分，该部分按时间顺序有m张图像出现则选择出第m/2张图像作为择优图；第2优先级为图像下端高度部分，按时间顺序进入该部分的第一张为择优图；第3优先级为图像中上端高端部分，按时间顺序进入该部分的最后一张图为择优图；

16、检测结果warning、ban和indicate出现在道路上方与侧方的概率相等，则通过长宽比和尺寸择优，选择长宽比在1-1.4之间，且面积最大的图像作为择优图。

17、所述视觉分析与计算端对交通标志的匹配分析具体包括以下内容：

18、gps坐标匹配：将择优后的标志牌图像中带有的检测到其时刻的gps坐标gps_s，台账数据中每一条台账带有gps坐标gps_l，与系统中处于激活状态的台账进行gps坐标匹配，计算gps_s与gps_l之间的距离dis_ls，如果dis_ls不大于预设距离，则该标志牌视为gps_l对应台账的候选标志牌，进入台账的数据缓冲区；

19、文字语义匹配：对台账数据缓冲区中的每个图像进行ocr提取和识别，得到文字特征识别结果为chars_img，比较台账中的文字char_ledger与每个图像得到的chars_img的相似度chars_score，如果第n个chars_img对应的相似度chars_score大于或等于第n-1个chars_img对应的相似度chars_score，则第n个chars_img对应的图像为文字语义匹配结果，相似度标记为chars_score_max，如果chars_score_max大于等于0.5，则表示文字语义匹配成功，进入异常判定程序，否则匹配失败，生成检测视频并上传。

20、如果台账中没有提取到文字特征就进行图像语义匹配，图像语义匹配包括big_c图像语义匹配、warning图像语义匹配、ban图像语义匹配、indicate图像语义匹配，线性诱导标志牌i_2图像语义匹配和标记行车标志牌bjcd图像语义匹配，如果匹配成功则进入异常判定程序，否则生成检测视频并上传。

21、所述big_c图像语义匹配具体包括以下内容：

22、对台账数据缓冲区的每个图像进行图像语义特征提取，通过b网络模型进行small标志牌检测；

23、如果检测的图像缓冲区中small标志牌的数量与台账中small标志牌数量一致且图像数量为1，则将该图像作为匹配图像，进入异常判定程序，并执行后续步骤，同时将图像标记为small_c，如果图像数量为0，则视为图像语义匹配失败，生成检测视频并上传；

24、对small_c进行图像特征提取，并通过c网络进行small标志牌分类，分类结果标记为small_c_bwi；

25、选择图像缓冲区中small_c_bwi特征与台账中的small_c_bwi特征一致且最后进入图像缓冲区的图像作为匹配图像，并进入异常判定程序，否则视为图像语义匹配失败，生成检测视频并上传。

26、所述线性诱导标志牌i_2图像语义匹配具体包括以下内容：

27、对台账数据缓冲区的每个图像进行图像语义特征提取，通以efficientnet为主干的网络模型c_i_2对图像进行识别判定其是否符合线性诱导标志牌i_2类别的特征；

28、选择图像缓冲区中符合线性诱导标志牌i_2类别特征且最后进入图像缓冲区的图像作为匹配图像，并进入异常判定程序，否则是让图像语义匹配失败，生成检测视频并上传；

29、所述标记行车标志牌bjcd图像语义匹配具体包括以下内容：

30、对台账数据缓冲区的每个图像进行图像语义特征提取，通过以resnet为主干的网络模型c_bjcd对图像进行识别判定其是否符合标记行车标志牌bjcd类别的特征；

31、选择图像缓冲区中符合标记行车标志牌bjcd类别特征且最后进入图像缓冲区的图像作为匹配图像，并进入异常判定程序，否则视为图像语义匹配失败，生成检测视频并上传。

32、所述ban图像语义匹配具体包括以下内容：

33、对台账数据缓冲区的每个图像进行图像语义特征提取，通过以resnet为主干的网络模型c_ban对图像进行识别，得到18种识别结果，如果台账中有标志牌特征存在数字，则通过ocr网络模型提取数字，如果不存在数字则标记为-1，最后得到结果标记为cf_ban；

34、选择图像缓冲区中cf_ban特征与台账中的cf_ban特征一致且最后进入图像缓冲区的图像作为匹配图像，并进入异常判定程序，否则视为图像语义匹配失败，生成检测视频并上传；

35、所述warning图像语义匹配具体包括以下内容：

36、对台账数据缓冲区的每个图像进行图像语义特征提取，通过以resnet为主干的网络模型c_ban对图像进行识别，得到35种识别结果，如果台账中有标志牌特征存在数字，则通过ocr网络模型提取数字，如果不存在数字则标记为-1，最后得到结果标记为cf_warning；

37、选择图像缓冲区中cf_warning特征与台账中的cf_warning特征一致且最后进入图像缓冲区的图像作为匹配图像，并进入异常判定程序，否则视为图像语义匹配失败，生成检测视频并上传；

38、所述indicate图像语义匹配具体包括以下内容：

39、对台账数据缓冲区的每个图像进行图像语义特征提取，通过以resnet为主干的网络模型c_ban对图像进行识别，得到10种识别结果，如果台账中有标志牌特征存在数字，则通过ocr网络模型提取数字，如果不存在数字则标记为-1，最后得到结果标记为cf_indicate；

40、选择图像缓冲区中cf_indicate特征与台账一致且最后进入图像缓冲区的图像作为匹配图像，并进入异常判定程序，否则视为图像语义匹配失败，生成检测视频并上传。

41、本发明具有以下优点：一种车载式道路标志标线巡检系统，效率高，成本低，漏检率低，据统计这种车载式智能巡检方案能将效率提高200%，综合成本降低50%，漏检率降低30%；安全风险低。操作人员无需下车面对复杂的交通状况；数据实时性，安全性，可靠性高。在整个数据链条中，没有人工参与，极大降低了由人员不规范操作导致数据异常的概率。