一种基于摄像头巡检路径的视觉监测方法与流程

1.本发明涉及机器视觉技术、数字图像处理技术及模式识别技术领域，特别涉及一种面向输电塔及其周围事物巡检的实时检测方法，即一种基于摄像头巡检路径的视觉监测方法。


背景技术：

2.电力是现代社会最重要的能源之一，我国幅员辽阔，能源分布极不均衡，电力运输需要依靠输电塔和高压输电线，对于输电线路的巡检是保证电网正常运作的重要一环，及时更换达到使用寿命的零部件，保证输电线路和输电塔周围无异物是极其重要的。提前预防，避免发生重大事故。受到各种条件限制，输电塔和输电线路通常是翻山越岭，远离城市地方，这就对输电线路的日常检测有很大的挑战，目前，我国对输电线路的日常检测还是依靠人力去完成的，巡线工人经常要在荒郊野外进行爬塔作业，这不仅耗时耗力，而且具有一定的危险性。
3.为解决上述缺陷，研究人员将目光投入到了机器学习，并提出了有效的检测方法，目前基于卷积神经网络的检测方法被广泛使用，基于卷积神经网络的方法优点在于它是一种端到端学习损伤特征的方法，而不是依赖于提取的特征。在此基础上还提出了一种快速的基于区域的卷积神经网络的多重损伤检测的方法。研究结果表明，基于一种快速的基于区域的卷积神经网络的快速检测方法在自动识别和定位多重损伤时，其性能要优于卷积神经网络。
4.在本研究中，提出了一种基于快速的基于区域的卷积神经网络的输电塔防及其周围事物的检测方法，这种通过摄像头+人工智能配合人工巡检，将极大的改变日常巡检的工作模式，保障工作人员的生命安全，提高工作效率。


技术实现要素：

5.本发明的目的在于提供一种基于摄像头巡检路径的视觉监测方法，以适应于输电塔监测摄像头的日常使用，主要对输电塔、输电塔线路及输电塔周边事物的监测检测，在保证预警率的同时降低误检率。摄像头处于规定的巡检路线之上，拍摄实时图像，本发明方法采用深度学习卷积网络架构，对巡检摄像头采集的图像帧序列提特定场景的供检测服务。
6.为了实现上述目的，本发明的一种基于摄像头巡检路径的视觉监测方法，包括如下步骤：步骤s1，对摄像头进行巡检路径的编程，使其可以在相应的时间中完成对输电线路、输电塔和输电塔周边三条巡检路径的巡检。
7.步骤s2，对于每一条巡检路径进行视频数据采集，保证在一天内的各个时段都能获得符合要求的数据资料。前期将采集到的数据输入步骤s3，进行深度学习卷积神经网络的训练。一段时间后，训练模型训练完成后，步骤s2采集的数据输入步骤s5，完成日常的巡检任务。
8.步骤s3，对步骤s2输入的视频数据进行图像抽帧处理，筛选满足条件的图像数据，根据相应的规范，建立输电线路，输电塔和输电塔周围事物异常情况数据集。将获得的数据集输入步骤s4进行模型训练。
9.步骤s4，利用深度学习卷积神经网络进行特征值模型的训练。本方法采用的算法主网络为vgg16，主要包括：特征提取网络、区域建议网络、特征金字塔网络以及目标区域池化层、分类和回归层。建立特征值数据模型。
10.步骤s5，输入数据为步骤s2采集所获得的数据和步骤s4建立的特征值训练模型，将数据输入模型中，输出结果为输电塔及其周边事物的异常检测结果，并将结果输入步骤s6。
11.步骤s6，通过步骤s5的输出结果，对存在异常的信息进行文本记录，对管理人员进行预警。
12.本发明方法与现有技术相比，具有以下优势和积极效果：（1）本发明方法提供单帧图像的输电塔及其周边事物的异常检测。现有输电塔巡检方案，以人工检测为主，巡检工作费时费力，对于异常情况不能及时发现并处理，本发明方法通过对样本集和异常情况检测框架的设计，能够通过对视频流抽帧的方法实现对监控视频的实时处理对存在的异常情况进行判别，满足了摄像头在输电塔巡检过程中的工作场景要求。
13.(2)本发明方法采用卷积神经网络快速提取图像的深度特征。建立数据库，不再依赖巡检人员的单一经验，而是通过在大量数据中学习，通过显著特征，实现自动识别，同时，卷积神经网络模型通过结合局域感受野、权值共享与降采样等技术，对图像中光照变化、位移、缩放和扭曲等方面，具有一定的鲁棒性。
14.(3)本发明方法利用深度学习卷积神经网络计算的特征来代替传统人工经验来判断异常的相关信息，具有高精度、高可靠性和鲁棒性强的优点，适用于面向输电塔及其周围事物异常情况的实时监测应用需求。
附图说明
15.图1是本发明的流程图。
具体实施方式
16.参见图1，一种基于摄像头巡检路径的视觉监测方法，首先对摄像头的巡检路线进行编程设计，规划三条巡检路径，输电线路方向；输电塔方向；输电塔塔基方向。每十分钟更换一次巡检路径，保证在一天的各个时段中，都能对输电塔及其周围事物做到监测。将拍摄得到的数据，经过卷积神经网络模型，输出检测结果，做到对视频图像的实时处理，判断是否存在异常情况。本发明可以有效地完成视觉上对巡检路径上的异常情况检测问题，提高来巡检的准确性和高效性。
17.本发明实施例的一种基于摄像头巡检路径的视觉监测方法，分为如下步骤s1～s6来说明。
18.步骤s1，对摄像头进行巡检路径的编程，使其可以在相应的时间中完成对输电线路、输电塔和输电塔周边三条巡检路径的巡检。
19.步骤s2，对于每一条巡检路径进行视频数据采集，保证在一天内的各个时段都能获得符合要求的数据资料。将采集到的数据输入步骤s5，利用已训练好的卷积神经网络模型进行判断。
20.其中卷积神经网络模型由步骤s3和s4来说明。通过步骤s2采集到的视频数据进行图像抽帧处理，当间隔帧数较短时，即相当于对视频的实时处理。筛选满足条件的图像数据，根据相应的规范，建立输电线路，输电塔和输电塔周围事物异常情况数据集。将获得的数据集输入步骤s4进行模型训练。利用深度学习卷积神经网络进行特征值模型的训练。本方法采用的算法主网络为vgg16，主要包括：特征提取网络、区域建议网络、特征金字塔网络以及目标区域池化层、分类和回归层。建立特征值数据模型。模型准确率达95%以上。
21.步骤s5，输入数据为步骤s2采集所获得的数据和步骤s4建立的特征值训练模型，将数据输入模型中，输出结果为输电塔及其周边事物的异常检测结果，并将结果输入步骤s6。
22.步骤s6，通过步骤s5的输出结果，对存在异常的信息进行文本记录，对管理人员进行预警。
23.上面描述，只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制。


技术特征：
1.一种基于摄像头巡检路径的视觉监测方法，对输电塔上的摄像头在固定巡检路线中拍摄的图像进行输电塔及其周围事物的实时监测，其特征在于，监测步骤包括：步骤s1，对摄像头进行巡检路线的设置，包括沿输电线方向，输电塔方向和输电塔周围三条摄像头巡检路线；步骤s2，在三条摄像头的巡检路线上，进行图像数据采集，对采集到的图像进行预处理，评估图像的清晰度，将满足清晰度条件的图像，统一图像尺寸，前期数据输入步骤s3，在获得足够多的图像帧数据后，数据输入步骤s5；步骤s3，从步骤s2的视频数据中，按一定时间间隔获取图像帧数据，建立输电塔及其周围事物的数据集；将数据集输入步骤s4；步骤s4，利用深度卷积网络提取的特征值训练模型；其中，训练模型采用深度学习卷积网络vgg 16算法主网络，提取数据库中图片特征图，形成特征值金字塔；步骤s5，将步骤s2采集到的数据利用步骤s4训练好的模型进行识别；将候选区域映射到特征图，输出候选区域的检测结果；网络的输入为步骤s2输出的图像，输出为检测后的图像信息，及输电塔及其周围事物检测结果，将结果输入步骤s6；步骤s6，通过规范对检测结果进行分析，判断其危险程度，对危险信号及时发出预警，并反馈于管理人员。2.根据权利要求1所述的基于摄像头巡检路径的视觉监测方法，其特征在于，所述的步骤s1中，摄像头的巡检路线可以根据需求进行编程，可以自主设定巡检路线和每条线路的巡检时间，灵活可变。3.根据权利要求1所述的基于摄像头巡检路径的视觉监测方法，其特征在于，所述的步骤s2、s3中，可根据具体的需要设定采集图像的间隔，采用视频图像抽帧的方式，实现对监控视频的实时分析。4.根据权利要求1所述的基于摄像头巡检路径的视觉监测方法，其特征在于，所述的步骤s4中，深度卷积网络包括特征提取网络、区域建议网络、特征金字塔网络以及目标区域池化层、分类和回归层；特征提取网络卷积神经网络采用resnet101残差网络结构，其中包括卷积层、激活层和池化层。5.根据权利要求1所述的基于摄像头巡检路径的视觉监测方法，其特征在于，所述的步骤s6中，可实现对监测结果的实时记录，出现异常结果可及时报警反馈。

技术总结
本发明提出了一种基于摄像头巡检路径的视觉监测方法，包括：设置摄像头固定巡检路线，对每一路径采集图像帧数据，进行预处理，挑选满足条件的图像数据；利用已训练的深度卷积网络模型提取预处理后图像的特征值，对数据进行训练识别；分析数据，对危险信号进行预警，并将结果反馈于管理人员。本发现提出的基于摄像头巡检路径的视觉监测方法可以有效的完成视觉上对输电塔及其周围事物进行监测，提高输电线路巡检的高效性和安全性。本发明利用深度学习卷积网络计算的特征来代替传统人工巡检，具有高精度、高可靠性和鲁棒性强的优点，降低人力和物力成本。适用于面向输电塔线路巡检摄像头实时监测输电塔及其周围事物任务的应用需求。实时监测输电塔及其周围事物任务的应用需求。实时监测输电塔及其周围事物任务的应用需求。


技术研发人员：褚建伟 马骏 王宝健 王雷 丁宇 沈忠禹 杨红柳 张博 张玉婷 王万鑫
受保护的技术使用者：国网吉林省电力有限公司通化供电公司
技术研发日：2022.05.17
技术公布日：2022/8/12