一种巡检机器人的异常预警方法及系统与流程

1.本发明涉及电力设备巡检技术领域，特别是一种巡检机器人的异常预警方法及系统。


背景技术：

2.随着社会与经济的快速发展，居民与工业用电需求不断攀升。输电线路的安全状态会直接影响到电网的稳定运行与国家的经济发展。携带高清深度相机的巡检机器人作为一种新型、高效、智能的线上巡检设备，正在逐渐替代传统人工巡检的方式，提升线上巡检的工作效率以及巡检精度。但是机器人在高压线上巡检时，往往会遇到例如大棚薄膜，废弃塑料袋，干枯秸秆等各种障碍物的干扰，这些异物一般体积较小，人工巡检很难直接观察到。一旦缠绕在输电线路上，轻则阻塞机器人行走轮的滚动，影响正常的巡检工作，重则导致线路短路，引发周围片区大面积停止供电，造成较大的经济损失。在现有的技术中有能够对巡检线路上异物进行识别的机器人，但是由于在巡检线路上存在有防震锤等电路设备，导致在机器人在识别时容易误识别，从而影响到巡检的效率。


技术实现要素：

3.针对上述缺陷，本发明的目的在于提出一种巡检机器人的异常预警方法及系统，提高机器人识别精准度，减少异物误判的情况发生。
4.为达此目的，本发明采用以下技术方案：一种巡检机器人的异常预警方法，包括如下步骤：
5.步骤s1：收集巡检机器人在巡检线路上包含有异物或者参照物的图片，分离提取出所述图片中线路、异物与参照物，得到包含有线路、异物与参照物的参数数据集；
6.步骤s2：制作第一卷积神经网络，并采用标注工具对参数数据集中的线路、异物与参照物进行标注，将线路标记为直线段标签，将异物与参照物标记为非直线段标签，将直线段标签与非直线段标签代入第一卷积神经网络中进行训练得到第一识别模型；
7.步骤s3：制作第二卷积神经网络，并采用标注工具对参数数据集中异物与参照物进行标注，将异物标记为第一标签，将参照物标记为第二标签，将第一标签与第二标签代入第二卷积神经网络中进行训练得到第二识别模型；
8.步骤s4：将第一识别模型与第二识别模型存储于巡检机器人硬盘内，并设置巡检机器人的识别距离，当所述巡检机器人使用第一识别模型在识别距离内识别到非直线段时，采用第二识别模型对非直线端进行识别，判断非直线段是否为异物，若是，则巡检机器人停止运作，并向工作人员发送预警信息。
9.优选的，所述巡检机器人采用双目深度相机进行图像获取。
10.优选的，所述步骤s4设置巡检机器人的识别距离前还需要进行如下步骤：
11.对双目深度相机进行标定，得到两个相机的内参数、外参数与单应矩阵，并使用双目深度相机进行拍摄得到原始图像；
12.根据标定结果以及内参数和外参数对原始图像进行校正，校正后的两张图像位于同一平面且互相平行；
13.对校正后的两张图像进行像素点匹配，得到匹配结果；
14.根据匹配结果计算每个像素的深度，从而获得深度图。
15.优选的，在进行步骤s2前需要对参数数据集执行如下步骤:
16.剔除障碍物比例小于阈值的异常数据，对参数数据集做统一的归一化处理；
17.将处理后的参数数据集按比例划分为参数数据集以分训练集和验证集。
18.优选的，所述步骤s4包括如下步骤：
19.步骤s41：所述巡检机器人在识别距离内识别到非直线段时，对视频流截帧获取，得到含有非直线段的画面，并将截取到的含有非直线段的画面存储在机器人的硬盘；
20.步骤s42：获取当前巡检机器人的网络带宽，当网络带宽达到阈值时将所述硬盘内含有非直线段的画面上传至云端；
21.步骤s43：云端调用第一识别模型与第二识别模型，对含有非直线段的画面进行识别，并对第一识别模型与第二识别模型进行更新。
22.一种巡检机器人的异常预警系统，包括：采集模块、训练模块、安装模块和预警模块；
23.所述采集模块包括训练集采集模块，所述训练集采集模块用于收集巡检机器人在巡检线路上包含有异物或者参照物的图片，分离提取出所述图片中线路、异物与参照物，得到包含有线路、异物与参照物的参数数据集；
24.所述训练模块包括第一训练模块与第二训练模块，所述第一训练模块包含第一卷积神经网络，所述所述第一训练模块用于采用标注工具对参数数据集中的线路、异物与参照物进行标注，将线路标记为直线段标签，将异物与参照物标记为非直线段标签，将直线段标签与非直线段标签代入第一卷积神经网络中进行训练得到第一识别模型；
25.所述第二训练模块包含第二卷积神经网络，所述第二训练模块用于采用标注工具对参数数据集中异物与参照物进行标注，将异物标记为第一标签，将参照物标记为第二标签，将第一标签与第二标签代入第二卷积神经网络中进行训练得到第二识别模型；
26.所述安装模块用于将将第一识别模型与第二识别模型存储于巡检机器人硬盘内；
27.所述预警模块用于调用第一识别模型与第二识别模型识别巡检线路上的异物，若发现异物，则巡检机器人停止运作，并向工作人员发送预警信息。
28.优选的，所巡检机器人的异常预警系统采用双目深度相机进行图像获取。
29.优选的，还包括图像深度获取模块，所述图像深度获取模块用于对双目深度相机进行标定，得到两个相机的内参数、外参数与单应矩阵，并使用双目深度相机进行拍摄得到原始图像；
30.根据标定结果以及内参数和外参数对原始图像进行校正，校正后的两张图像位于同一平面且互相平行；
31.对校正后的两张图像进行像素点匹配，得到匹配结果；
32.根据匹配结果计算每个像素的深度，从而获得深度图。
33.优选的，还包括数据处理模块，所述数据处理模块用于剔除障碍物比例小于阈值的异常数据，对参数数据集做统一的归一化处理；
34.将处理后的参数数据集按比例划分为参数数据集以分训练集和验证集。
35.优选的，所述采集模块还包括更新数据采集模块，所述更新数据采集模块用于所述巡检机器人在识别距离内识别到非直线段时，对视频流截帧获取，得到含有非直线段的画面，并将截取到的含有非直线段的画面存储在机器人的硬盘；
36.获取当前巡检机器人的网络带宽，当网络带宽达到阈值时将所述硬盘内含有非直线段的画面上传至云端；
37.云端调用第一识别模型与第二识别模型，对含有非直线段的画面进行识别，并对第一识别模型与第二识别模型进行更新。
38.本技术方案的有益效果：1.分别训练两个模型，能够提高单独模型识别的精准度，提高巡检机器人在识别时对于异物的识别率。
39.2.巡检机器人并不会直接同时调用两个识别模型，在巡线时，所述巡检机器人会优先使用第一识别模型进行识别，只有当第一识别模型识别出非直线段后，才会调用第二识别模型。该使用方案能够合理运用巡检机器人内部有限的计算内存，提高识别效率。
附图说明
40.图1是巡检机器人的异常预警方法的流程示意图；
41.图2是巡检机器人的异常预警系统的结构示意图；
42.图3是双目深度相机获取图像的示意图。
具体实施方式
43.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
44.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
45.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
46.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
47.如图1～3所示，一种巡检机器人的异常预警方法，包括如下步骤：
48.步骤s1：收集巡检机器人在巡检线路上包含有异物或者参照物的图片，分离提取出所述图片中线路、异物与参照物，得到包含有线路、异物与参照物的参数数据集；
49.步骤s2：制作第一卷积神经网络，并采用标注工具对参数数据集中的线路、异物与参照物进行标注，将线路标记为直线段标签，将异物与参照物标记为非直线段标签，将直线段标签与非直线段标签代入第一卷积神经网络中进行训练得到第一识别模型；
50.步骤s3：制作第二卷积神经网络，并采用标注工具对参数数据集中异物与参照物进行标注，将异物标记为第一标签，将参照物标记为第二标签，将第一标签与第二标签代入第二卷积神经网络中进行训练得到第二识别模型；
51.步骤s4：将第一识别模型与第二识别模型存储于巡检机器人硬盘内，并设置巡检机器人的识别距离，当所述巡检机器人使用第一识别模型在识别距离内识别到非直线段时，采用第二识别模型对非直线端进行识别，判断非直线段是否为异物，若是，则巡检机器人停止运作，并向工作人员发送预警信息。
52.在现有的技术中，大多数的识别模型仅仅只是识别直线段与非直线段，导致了在实际运作中容易将防震锤等电路设备识别为异物。为此本技术设置有两个识别模型，分别为第一识别模型与第二识别模型。所述第一识别模型用于识别直线段与非直线段，既用于识别在巡检线路上的线路与线路的物体。由于在训练的过程中，第一卷积神经网络对于直线与非直线的识别任务简单，所在在训练后得出的第一识别模型在实际工作中的识别精度会非常高。而第二识别模型用于识别异物与参照物，所述参照物可以为防震锤、绝缘子等电路设备，所述异物可以为废弃塑料袋、大棚薄膜、干枯秸秆等，在第二卷积神经网络训练中由于剔除了大量的直线段标签数据，所述第二识别模型的训练参数量得以大大下降，从而集中训练区分异物与参照物，最终大大提高异物与参照物的识别效率与精准度。
53.在巡检机器人的使用前，应当将第一识别模型与第二识别模型上传至巡检机器人内，并在实验室内布置巡检场景将巡检机器人放置在巡检场景内进行测试训练，判断第一识别模型和第二识别模型是否能够起到识别作用。另外由于巡检机器人的工作环境限制，导致其通讯不稳定，无法通过云端调用所述第一识别模型与第二识别模型。在本技术中的巡检机器人是在巡检线路上运动，而为了保证巡检机器人的正常巡检，必须严格控制巡检机器人的自身重量，所以无法在巡检机器人上安装过多的运算设备，受限于其计算能力，巡检机器人并不会直接同时调用两个识别模型，在巡线时，所述巡检机器人会优先使用第一识别模型进行识别，只有当第一识别模型识别出非直线段后，才会调用第二识别模型。该使用方案能够合理运用巡检机器人内部有限的计算内存，提高识别效率。
54.另外本技术在巡检机器人的使用前还会调整巡检机器人的识别距离，由于巡检机器人在实际使用过程中是通过相机实时获取图像，然后使用第一识别模型将获取到的图像进行识别，当巡检机器人的识别距离过长时，相机容易截取到天空、杆塔、树木、山坡、房屋信息，容易造成误判等，当巡检机器人的识别距离过短时，巡检机器人与异物在识别时的距离将会变短，减少了巡检机器人的反应时间。优选的，所述识别距离为3-5m，而且在调整识别距离时应当同时将相机的识别中心对准线路，以减少不必要物体的摄入，减少巡检机器人识别量，提高巡检机器人的识别效率与精准度。
55.本技术的一个实施例中，第一卷积神经网络与第二卷积神经网络采用改进的yolo_v4_tiny算法，批大小batch_size＝128，输入网络的图像宽高width＝height＝256，动量momentum＝1.9，学习率learning_rate＝0.00275。根据设置的batch_size与epoch，训练迭代次数为30000次以上，损失函数大概在迭代11100次时已经不再下降，使loss值达到
0.0975时，训练在默认迭代次数33300处停止，第一识别模型与第二识别模型收敛，得到高精准识别度的第一识别模型与第二识别模型。
56.优选的，所述巡检机器人采用双目深度相机进行图像获取。
57.由于巡线机器人是使用于室外巡线工作，在室外容易受到受光照角度、强度以及阴影的影响，而所述双目深度相机可以通过多次调节改变拍照角度，获取图像的最佳中心区域克服了上述问题，而且在训练第一识别模型与第二识别模型时可以放弃对于照角度、强度以及阴影的考虑，提高巡线机器人在实际运用中对于识别异物的精准度。若在一个实施例中使用了单目相机，在第一识别模型与第二识别模型训练时还需要对其光照角度、强度多变的影响代入训练的过程中，这样无疑会提高训练的难度与模型的准确性。
58.优选的，所述步骤s4设置巡检机器人的识别距离前还需要进行如下步骤：
59.对双目深度相机进行标定，得到两个相机的内参数、外参数与单应矩阵，并使用双目深度相机进行拍摄得到原始图像；
60.根据标定结果以及内参数和外参数对原始图像进行校正，校正后的两张图像位于同一平面且互相平行；
61.对校正后的两张图像进行像素点匹配，得到匹配结果；
62.根据匹配结果计算每个像素的深度，从而获得深度图。
63.基于双目立体视觉的深度相机和基于tof、结构光的深度相机原理不同，其类似于人的双眼，不对外主动投射光源，完全依靠两个相机的视差，即拍摄的两张图片(灰度图或rgb彩图)来计算深度。调整深度相机角度为最佳采样角度40-80度，并获取深度图像的示意图如下图3所示。下方线条上三个不同远近的点，会被下方相机投影在同一个位置，因此仅靠单目相机无法分辨成像到底是远的那个点还是近的那个点。但是这三个点在上方相机的投影却位于三个不同的位置，因此结合两个相机的信息，便可以确定要找的到底是哪一个点。若在一个实施例中使用了单目相机，则需要另外加装额外的感应器来检测识别的距离。
64.优选的，在进行步骤s2前需要对参数数据集执行如下步骤:
65.剔除障碍物比例小于阈值的异常数据，对参数数据集做统一的归一化处理；
66.将处理后的参数数据集按比例划分为参数数据集以分训练集和验证集。
67.障碍物比例较小的异常数据可以为小鸟、昆虫等，像这种数据在实际巡检机器人巡检的过程中会自动离开，并不会影响巡检机器人的巡检，当剔除这些异常数据后，非直线段标签的训练数量得以大大下降，提高非直线段与直线段之间的识别效率。当处理完异常数据后，将参数数据集做统一的归一化处理，能够加快第一识别模型与第二识别模型的收敛速度。
68.另外由于在训练前的数据都是采用人工控制巡检机器人收集图像，然后在进行手动打标签，其训练的数量不是特别的多，为了让训练集所占比例更大一些，最终训练更充分一些，所述训练集和验证集的划分比例可以选取9:1至8：1，而在制作第一识别模型与第二识别模型时会制作多个，所述训练集中的数据用于模型学习输入与输出的关系，而配置验证集用来估计模型的训练水平，可以根据验证集上的表现选择最好的模型。
69.优选的，所述步骤s4包括如下步骤：
70.步骤s41：所述巡检机器人在识别距离内识别到非直线段时，对视频流截帧获取，得到含有非直线段的画面，并将截取到的含有非直线段的画面存储在机器人的硬盘；
71.步骤s42：获取当前巡检机器人的网络带宽，当网络带宽达到阈值时将所述硬盘内含有非直线段的画面上传至云端；
72.步骤s43：云端调用第一识别模型与第二识别模型，对含有非直线段的画面进行识别，并对第一识别模型与第二识别模型进行更新。
73.由于在训练是非直线段标签为人为打标，而且训练的数量有限，在巡检机器人实际巡检的过程中可能会遇到新的障碍物(非直线段)，而由于识别模型中没有出现过该类型的训练数据记录，巡检机器人无法判断该新的障碍物是参照物或者是异物，所以巡检机器人会在此时对视频流截帧获取，得到含有非直线段的画面，另外受限于巡检机器人的网络环境，机器人无法及时将含有非直线段的画面上传至云端对第一识别模型与第二识别模型进行更新，所以只能将含有非直线段的画面保存在硬盘中；待有一定的带宽后再次上传云端。工作人员可以在云端下载该图片，判断巡检机器人是否可以继续前进，并将该画面的非直线段打标签代入第一卷积神经网络与第二卷积神经网络进行训练并更新。本技术兼顾了后期运行对模型的更新，提高了巡检机器人的实用性与识别的准确性。
74.一种巡检机器人的异常预警系统，包括：采集模块、训练模块、安装模块和预警模块；
75.所述采集模块包括训练集采集模块，所述训练集采集模块用于收集巡检机器人在巡检线路上包含有异物或者参照物的图片，分离提取出所述图片中线路、异物与参照物，得到包含有线路、异物与参照物的参数数据集；
76.所述训练模块包括第一训练模块与第二训练模块，所述第一训练模块包含第一卷积神经网络，所述所述第一训练模块用于采用标注工具对参数数据集中的线路、异物与参照物进行标注，将线路标记为直线段标签，将异物与参照物标记为非直线段标签，将直线段标签与非直线段标签代入第一卷积神经网络中进行训练得到第一识别模型；
77.所述第二训练模块包含第二卷积神经网络，所述第二训练模块用于采用标注工具对参数数据集中异物与参照物进行标注，将异物标记为第一标签，将参照物标记为第二标签，将第一标签与第二标签代入第二卷积神经网络中进行训练得到第二识别模型；
78.所述安装模块用于将将第一识别模型与第二识别模型存储于巡检机器人硬盘内；
79.所述预警模块用于调用第一识别模型与第二识别模型识别巡检线路上的异物，若发现异物，则巡检机器人停止运作，并向工作人员发送预警信息。
80.优选的，所巡检机器人的异常预警系统采用双目深度相机进行图像获取。
81.优选的，还包括图像深度获取模块，所述图像深度获取模块用于对双目深度相机进行标定，得到两个相机的内参数、外参数与单应矩阵，并使用双目深度相机进行拍摄得到原始图像；
82.根据标定结果以及内参数和外参数对原始图像进行校正，校正后的两张图像位于同一平面且互相平行；
83.对校正后的两张图像进行像素点匹配，得到匹配结果；
84.根据匹配结果计算每个像素的深度，从而获得深度图。
85.优选的，还包括数据处理模块，所述数据处理模块用于剔除障碍物比例小于阈值的异常数据，对参数数据集做统一的归一化处理；
86.将处理后的参数数据集按比例划分为参数数据集以分训练集和验证集。
87.优选的，所述采集模块还包括更新数据采集模块，所述更新数据采集模块用于所述巡检机器人在识别距离内识别到非直线段时，对视频流截帧获取，得到含有非直线段的画面，并将截取到的含有非直线段的画面存储在机器人的硬盘；
88.获取当前巡检机器人的网络带宽，当网络带宽达到阈值时将所述硬盘内含有非直线段的画面上传至云端；
89.云端调用第一识别模型与第二识别模型，对含有非直线段的画面进行识别，并对第一识别模型与第二识别模型进行更新。
90.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
91.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。