基于深度学习及多视角的CIM井盖状态视觉检测系统的制作方法

本发明涉及智慧城市技术领域，具体涉及一种基于深度学习及多视角的cim井盖状态视觉检测系统。

背景技术：

近年来，由于不法分子的猖獗，城市道路上的井盖频频丢失。这对道路安全造成了严重的影响。特别是在夜间，环境光照昏暗的情况下，道路上正常通过的车辆和行人由于观察不到井盖的缺失，极易发生安全事故。由于某些单位施工管理不规范，井盖还可能会发生移位，形成一个不易观察的隐患。因此井盖缺失和破损对正常的行车造成了巨大安全隐患。

有些方案采用在井盖底部安装多个传感器来监测井盖状态。此方法一方面需要对传感器进行额外供电，另一方面，传感器易受坏境影响且造价高昂，不适合在城市中大规模应用。

有些方案采用单个摄像头对井盖进行检测或者定位，一方面单个摄像头易被大树、小鸟等遮挡造成检测失败。另一方面，单个摄像头的数据过于单一，很容易对井盖造成误判。

因此，现有井盖状态检测技术存在成本高、容易造成误判的问题。

技术实现要素：

本发明提供了一种基于深度学习及多视角的cim井盖状态视觉检测系统，实现了井盖状态检测，降低了系统所需成本，提高了井盖状态判断准确率。

一种基于深度学习及多视角的cim井盖状态视觉检测系统，该系统基于井盖城市信息模型mccim实现井盖状态视觉检测，井盖城市信息模型mccim包括井盖的地理位置信息、井盖状态、井盖属性信息、附近交通信号灯地理位置信息，该系统包括感知单元、透视变换单元、井盖定位单元、井盖状态判断单元、交通灯控制单元、可视化管理管单元，其中，

感知单元，用于利用不同视角的摄像头采集井盖区域图像；

透视变换单元，用于基于单应矩阵对每个摄像头拍摄到的图像进行透视变换，将其变换至俯视图；

井盖定位单元，用于采用基于深度学习的目标检测循环卷积神经网络定位井盖所在位置；

井盖状态判断单元，用于判断井盖状态，包括预训练模块、权重更新模块：

预训练模块，用于根据井盖定位单元获取的井盖所在位置以及井盖状态标注，对分类神经网络模型进行预训练；

权重更新模块，用于基于扩充的样本集，固定的时间间隔对分类神经网络模型进行训练，更新网络权重；

交通灯控制单元，用于当井盖移位或缺失时，根据井盖城市信息模型mccim中井盖地理位置信息确定附近交通信号灯地理位置信息，向该交通信号灯发出控制信号，限制井盖所在道路方向的车辆通行；

可视化管理单元，用于根据井盖城市信息模型mccim显示城市的井盖分布以及井盖状态，便于管理员监管。

目标检测循环卷积神经网络采用fasterrcnn，锚框尺寸设置为64、128、256。

井盖状态判断单元还包括：样本扩充模块，用于基于多个视角井盖图像的网络输出结果对标注结果进行校正，将校正后的标注结果与井盖图像作为新增样本，对样本集进行扩充。

样本扩充模块的对标注结果进行校正包括：针对同一井盖的多视角图像的网络输出结果中多数为井盖缺失时，认定井盖缺失为正确结果，将少数判断错误的图像的网络输出结果修改为缺失，以此作为样本标注结果；针对同一井盖的多视角图像的网络输出结果中少数为井盖移位时，认定井盖移位为正确结果，将多数判断错误的图像的样本输出结果修改为移位，以此作为样本标注结果。

可视化管理单元包括：

数据获取模块，用于获取井盖状态并传送至井盖城市信息模型mccim；

显示模块，用于结合webgis与cim技术对井盖城市信息模型mccim进行渲染，并将井盖状态以及附近交通信号灯控制状态展示在前台web页面。

本发明的有益效果在于：

1、本发明对摄像头采集的井盖区域图像进行分析，获得井盖状态，相比于传统的传感器检测，系统所需成本降低，日常只需对摄像头进行维护，同时降低了设备维护成本。

2、本发明结合计算机视觉技术与机器学习技术对图形进行分析，获得井盖状态，相比于传统的传感器检测，具有更高的检测精度。

3、本发明设置多个视角的摄像头对井盖区域进行图像采集，一方面多视角检测本身可以获得更丰富的数据，增强了检测系统的抗遮挡性和鲁棒性，提高井盖状态检测精度，另一方面，可以利用多个视角图像的分析结果进行样本输出结果校正，自动生成分类网络所需的标注样本，免去了人工标注的繁琐，利用校正后的结果与图像对样本集进行扩充，提高神经网络模型的精度，进一步提高井盖状态判断结果精度。

4、本发明构建井盖城市信息模型mccim，结合webgis和cim技术对实现整个城市井盖状态的实时监视，实现智能的、实时的井盖状态集中管理。

5、本发明利用判断得到的井盖状态，利用井盖城市信息模型中记载的交通信号灯位置以及控制方法，对井盖缺失或移位的道路附近的交通信号灯进行控制，提高了城市交通的安全性，同时对智能辅助驾驶具有很高的应用价值。

附图说明

图1为本发明系统框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于深度学习及多视角的cim井盖状态视觉检测系统，系统框架图如图1所示。下面通过具体实施例来进行说明。

实施例一：

基于深度学习及多视角的cim井盖状态视觉检测系统，基于井盖城市信息模型mccim实现井盖状态可视化监督。cim(cityinformationmodeling)即城市信息模型，是能够有效组织海量城市信息的模型，是bim技术的进一步升级，能够结合gis技术实时呈现城市各种信息状态。井盖城市信息模型mccim(manholecovercityinformationmodeling)包括：井盖地理位置信息、井盖状态、井盖属性信息、附近交通信号灯地理位置信息。井盖属性信息包括井盖id、井盖类型、井盖品牌、井盖使用年限、井盖破损信息等。系统包括感知单元、井盖定位单元、井盖状态判断单元、交通灯控制单元、可视化管理单元。

为了得到能够呈现井盖状态的图像，摄像头的设置很重要。设置位于井盖正上方的呈俯视视角的摄像头，无疑能够得到最佳的呈现井盖状态的图像。然而，井盖通常位于马路上，因此，基于城市规划考量，设置位于井盖正上方的摄像头几乎是不可能的。而单一视角的摄像头通常难以准确感知到井盖移位状态。并且，路边的多个井盖所处的街景相对复杂，单个摄像头可能会存在目标物遮挡的情况，造成检测失败。因此，本发明采用不同视角的摄像头采集井盖区域图像。一种较佳的实施例是，不同视角的摄像头能够覆盖到井盖周围360度的环境信息。为了有效利用资源，摄像头可以利用周围商店、道路监控的摄像头，并在此基础上根据需求设置额外的摄像头以全面覆盖井盖周围的环境。本发明利用不同视角的摄像头采集到的井盖区域图像，基于多视图几何的方法，将多个摄像头在各个角度的感知信息通过特定的方法融合起来，使其拥有相互关联的特性。基于多视图几何的方法，即使在某个相机出现遮挡，或者某个相机停止工作时，系统仍旧能够正常运行，不会出现检测失败的情况发生。同时，基于多视图几何的方法还可以自动生成分类样本，扩充样本集，避免人工标注。

透视变换单元，用于基于单应矩阵对每个摄像头拍摄到的图像进行透视变换，将其变换至俯视图模式。

由于系统中的摄像头可能不是正对着井盖区域，为了保证图像的统一性，本发明需要对每个摄像头拍摄到的图像进行透视变换，根据单应矩阵的坐标变换公式可知：

其中，(u,v)是摄像头拍摄到的图像中的像素位置，(u′,v′)是经透视变换后的像素位置，是单应矩阵，表示相机坐标系与俯视图模式之间的变换关系。一个相机对应一个单应矩阵。单应矩阵可以根据相机坐标系、相机位姿参数之间的映射关系获得。

变换后的图像是基于相机平面的俯视图，其中含有大量的街景元素，例如树、天空、行人等。需要在复杂街景中将井盖区域定位出来，去除掉复杂街景对井盖状态判断的影响。因此，本发明包括井盖定位单元。

井盖定位单元，用于采用基于深度学习的目标检测循环卷积神经网络定位井盖所在位置。

具体地，本发明采用fasterrcnn对井盖区域进行定位。实施者应该知道，类似的目标检测算法还有很多，例如ssd、yolo等。实施者可根据速度和精度要求自主选择目标检测算法。

由于原始的fasterrcnn框架中，锚框anchor的尺寸初始设置为128，256，512，而井盖区域在整张图片中占比较小，所以本发明为了检测小目标，同时兼顾算法速度的要求，将本发明增加一个尺寸为64的anchor，去掉一个尺寸为512的anchor，即最终anchor尺寸变为64，128，256。修改过后的anchor更加贴合真实数据特征分布，经过实验改进后的召回率和准确率都要高于原始版本。

基于井盖定位单元，可以成功准确定位到井盖所在位置。进一步地，需要根据得到的井盖所在位置对井盖当前状态进行分类。

井盖状态判断单元，用于判断井盖状态，包括预训练模块、权重更新模块。

预训练模块，用于根据井盖定位单元获取的井盖所在位置以及井盖状态标注，对分类神经网络模型进行预训练。

本发明中该预训练分类神经网络是依靠分类框架vgg16训练获得的。首先，构建卷积神经网络模型vgg16，vgg16网络模型包括13个卷积层，5个池化层，3个全连接层。原始的vgg16最后一个全连接层的输出是1000，代表预测imagenet中1000类物品。本发明将最后一个全连接层的输出改为3，输出ok和ng两大类结果，其中，ok表示井盖状态正常，ng包含移位或者缺失两种判断结果，可以分别记为ng1、ng2。本发明基于以下损失函数进行训练：其中，i为训练集中训练样本对应的索引，yi为预测值，ti为目标值。在实施过程中，首先采集井盖图像样本，并对样本进行标注，将样本集及其标注作为输入，对分类神经网络模型进行训练，即获得初始神经网络。

由于一开始使用的预训练网络模型无法适用于多种工况下，必然会在每个视角的检测结果之间出现不一致情况，此处实施者应当知道，预训练模型的精度直接关系到本发明系统的可用程度，应当尽可能保证多个视角的输出大都为正确的，例如4个视角的相机观测并检测的结果可以是三个正确、一个错误，而更差的情况仅占一日内的少数，否则会影响自动标注的可靠性。

根据多个相机的感知信息检测到的结果，可以同时获得多张井盖区域图像。本发明基于多个视角的摄像头图像进行网络训练和井盖状态判断，可以基于多个视角井盖图像的网络输出结果对样本输出结果进行校正。因此，为了提升模型的预测效果，本发明采用基于多视角觉的自动生成标注样本的方式，对样本集进行扩充。

样本扩充模块，用于基于多个视角井盖图像的网络输出结果对标注结果进行校正，将校正后的标注结果与井盖图像作为新增样本，对样本集进行扩充。

假设当前井盖状态为缺失状态，由于其对应特征较为明显，则多个视角的相机根据预训练模型，会正确判断当前井盖状态。与此同时，少数相机会对当前井盖状态判断错误。此时，将少数判断错误的相机所采集的当前帧图像标注为“缺失”，并将图像和对应的标注信息加入到样本集中。

假设当前井盖状态为移位状态，由于其对应特征较为模糊，多个视角的相机会错误判断当前的井盖状态。与此同时，少数相机则会正确判断井盖状态。此时将多数判断错误的相机采集的图像标注为“移位”，也将其图像和对应的标注信息加入到样本集中。

随着时间的推移，每一次的预测都会自动产生出带标签的样本，以此进行样本集扩充，这样既保证了模型对于样本数量的需求，也省去了大量的人工标注，节约了大量的标注成本。

权重更新模块，用于基于扩充的样本集，固定的时间间隔对分类神经网络模型进行训练，更新网络权重。

样本集更新时机可以根据实施情况而定。实施者可以采集一段时间的样本，时间间隔可由实施者根据模型更新频率自行决定。每次分类模型更新需要根据收集到的样本，按比例分为训练集、验证集、测试集。一种实施例是，采集20000张样本，将样本按照8：1：1的比例，分为训练集、验证集、测试集。

本发明采用随机梯度下降法对分类神经网络模型的参数进行优化，目标误差为0.00001，初始学习率为0.001，为防止模型靠近局部极小值，学习率需要按照每100个迭代降低10倍的方式进行递减。实施者适时观察网络收敛情况，以及在验证集上的预测准确率，在合适的节点停止训练。每隔一段时间，实施者可以对之前时间积累的样本进行一次训练，更新模型参数，提高分类准确率。

本发明对更新的具体时间不做要求，实施者可根据实际情况以及所采用的硬件平台计算速度，选择合适的时间间隔更新模型。

进一步地，实施者可以编写用于自动化训练的脚本，而无需手动观察和判断收敛情况，即设定合适的早停止策略，由于早停止的具体方法是多样的且众所周知的，因此具体方法不在本发明保护内容内。

实施者应该知道，分类算法还可以采用mobilenet、alexnet等网络来实现，实施者可根据速度和精度要求灵活选择。

井盖缺失以及移位，对行人以及马路上行驶的车辆会造成很大的安全隐患。一方面，可以在摄像头中集成语音预警模块，当井盖缺失以及移位时，通过语音提醒车辆以及行人注意绕行。然而，针对马路上的井盖，由于行车环境嘈杂，仅通过语音提醒是不够的。因此，当出现井盖移位或缺失，应结合井盖城市信息模型对附近的交通灯信号进行控制。本发明设置交通灯控制单元对井盖附近的交通信号灯进行控制。

交通灯控制单元，用于当井盖移位或缺失时，根据井盖城市信息模型mccim中井盖地理位置信息确定附近交通信号灯地理位置信息，向该交通信号灯发出控制信号，限制井盖所在道路方向的车辆通行。

在实施过程中，可以根据交通信号灯与井盖的位置，控制交通信号灯。具体地，在井盖城市信息模型mccim中，可以针对每个井盖记录关联的交通灯位置以及井盖状态非正常时交通信号灯应作出如何反应。例如，若井盖位于十字交叉路口附近，其关联的交通信号灯至少包括四个，记录每个交通信号灯的位置，并记录每个交通灯应当作出的应急反应。例如，若井盖所在位置位于交通信号灯左侧，则限制左转通行，即左转信号灯为红色。

为了直观地呈现当前区域的井盖状态，使用户直观地获取当前区域的井盖状态，使管理员更加直观地监管井盖状态，提供预警信息和道路交通安全保障，本发明结合webgis可视化技术，将上述mccim信息模型通过webgis技术在web进行展示。

可视化管理单元，用于显示区域的井盖分布以及井盖状态，便于管理员监管，可视化管理单元包括：

数据获取模块，用于获取井盖状态并传送至井盖城市信息模型mccim；

显示模块，用于结合webgis与cim技术对井盖城市信息模型mccim进行渲染，并将井盖状态以及附近交通灯控制状态展示在前台web页面。

同时，本发明的系统还保留输出的数据接口，市政、消防等城市管理人员可以通过该接口，接入mccim，访问当前系统中的某个区域的井盖状态信息，以便于及时发布预警信息和指导实施修复工作，保证道路交通安全和人民财产安全。

本发明对摄像头采集的井盖区域图像进行分析，获得井盖状态，相比于传统的传感器检测，系统所需成本降低，克服环境不稳定对算法的影响，日常只需对摄像头进行维护，同时降低了设备维护成本。本发明结合计算机视觉技术与机器学习技术对图形进行分析，获得井盖状态，相比于传统的传感器检测，具有更高的检测精度。本发明设置多个视角的摄像头对井盖区域进行图像采集，一方面多视角检测本身可以获得更丰富的数据，增强了检测系统的抗遮挡性和鲁棒性，提高井盖状态检测精度，另一方面，可以利用多个视角图像的分析结果进行样本输出结果校正，自动生成分类网络所需的标注样本，免去了人工标注的繁琐，利用校正后的结果与图像对样本集进行扩充，提高神经网络模型的精度，进一步提高井盖状态判断结果精度。本发明构建井盖城市信息模型mccim，结合webgis和cim技术对实现整个城市井盖状态的实时监视，实现智能的、实时的井盖状态集中管理。本发明利用判断得到的井盖状态，利用井盖城市信息模型中记载的交通信号灯位置以及控制方法，对井盖缺失或移位的道路附近的交通信号灯进行控制，提高了城市交通的安全性，同时对智能辅助驾驶具有很高的应用价值。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。