一种基于计算机视觉的输电线路安全监控预警方法及系统与流程

本发明涉及计算机视觉追踪，具体涉及一种基于计算机视觉的输电线路安全监控预警方法及系统。

背景技术：

1、随着城市化进程的加快，许多建筑活动已在输电线路附近进行。塔吊、水泥浇筑车、挖掘机、自卸车等大型施工设备的作业，威胁着电力设施的安全运行。因此，电力行业迫切需要能够在线识别和响应动态异常目标的工具。动态异常目标具有很强的机动性，其运动轨迹难以预测，会对输电线路和铁塔造成意想不到的破坏。因此，异常检测和识别需要快速准确，以便在必要时及时采取行动。

2、目前输电通道异常检测通常集中在静态目标检测，按照检测方式分类大约分为人工巡检或者摄像头巡检。人工巡检通常由专业人员乘坐电力运维车辆或者直升机，沿输电线路进行机动并进行目视监测，根据个人经验判断输电通道内是否有植物，建筑物所覆盖范围侵入输电通道。摄像头巡检分为固定摄像头巡检和移动摄像头巡检，固定摄像头巡检指安装在特定杆塔上的监控摄像头按一定时间间隔对所在输电通道进行取景，将取景图片回传数据存储中心，并由线路运维人员对图片进行分析判断通道安全状况。移动摄像头通常指安装有监控摄像头的无人驾驶飞行器沿输电线路进行巡航把巡航视频回传操控人员，由操控人员判断线路安全状况。如cn106932688a公开一种输电线检测仪及基于无人机的输电线检测系统，该输电线检测仪包括：壳体、设置于壳体外壁上的摄像头以及设置于壳体内部的图像预处理器、直线检测器和输电线识别器；其中，摄像头用于采集目标区域的图像信息；图像预处理器用于对图像信息进行处理；直线检测器用于在处理后的图像信息上标记检测到的直线；输电线识别器用于在标记直线后的图像信息上标记识别到的输电线，输出标记输电线后的图像信息；该输电线检测仪还包括通信模块，用于将接收到的标记输电线后的图像信息无线传送至关联终端。可以较为准确地从复杂的背景环境下检测到输电线路，为相关电力工作人员带来便利，提高电力巡检的有效性和可靠性。然而无论是人工巡检还是摄像头巡检，都无法对输电通道进行实时不间断的在线监控和安全判别，导致现有技术无法应用对现场动态目标的监测预警。

3、动态异常检测的主要挑战如下。大规模的电网输电通道自主监控需要有算法能够适应输电场景多样性，现场天气复杂性，并且自动界定输电通道。还需要有算法支持对动态目标进行追踪，判别其动态轨迹和运行状态，以避免误判和漏判。

4、因此，如何提供一种适用不同输电场景的动态目标追踪，并具有较高识别和预警精确度的输电线路监控方法是本领域亟待解决的问题。

技术实现思路

1、针对上述现有技术中存在的缺陷，本发明提供了一种基于计算机视觉的输电线路安全监控预警方法及系统。可以提高输电线路安全预警的准确性。

2、第一方面，本发明提供一种基于计算机视觉的输电线路安全监控预警方法，包括：

3、采集输电线路的现场图片；

4、对现场图片进行输电通道区域和动态目标的识别；

5、基于输电通道区域和动态目标的识别结果，确定动态目标与输电通道区域的干涉结果；

6、基于干涉结果确定报警信息。

7、进一步的，对现场图片进行输电通道区域的识别，包括：

8、对现场图片进行边缘处理，得到属于直线段的边缘信息；

9、对直线段的边缘信息进行筛选处理，给出输电线路；

10、对给出的输电线路进行对地映射形成输电通道区域。

11、进一步的，对现场图片进行边缘处理，得到属于直线段的边缘信息，包括：

12、将现场图片转化为灰度图片并进行边缘检测，得到边缘信息；

13、基于灰度阈值，对边缘信息进行划分，得到划分后的边缘信息；

14、对划分后的边缘信息进行二进制灰度转换，得到二进制灰度图片；

15、对二进制灰度图片进行霍夫变换处理，给出边缘信息的极坐标；

16、对边缘信息的极坐标进行筛选，给出满足预定条件的多组边缘信息；

17、将同一组的边缘信息作为一个直线段的边缘信息；

18、其中，预定条件为同一组的边缘信息数量不小于预定数量，且同一组内所有边缘信息的极坐标在极坐标系中形成一条直线段。

19、进一步的，对二进制灰度图片进行霍夫变换处理，给出边缘信息的极坐标，包括：

20、

21、式中，（x，y）为二进制灰度图片中直线段在直角坐标系中的坐标，a为直线段的斜率，b为直线段的截距，（r，θ）为进行霍夫变换处理后直线段在极坐标系中的极坐标，r为原点到直线段的距离，θ为r与直角坐标系中横轴的夹角。

22、本发明通过将二进制灰度图片进行霍夫变换形成极坐标，可以筛选出二进制灰度图片中存在的直线段，对于筛选出的直线段在直角坐标系中进行拼接。

23、进一步的，对直线段的边缘信息进行筛选处理，给出输电线路，包括：

24、将直线段中具有相同斜率的直线段划分为同一类；

25、将每一类中存在重叠点的两个直线段的首尾进行衔接形成一个直线段；

26、基于衔接后的每一类直线段，得到所有直线段的长度；

27、将每一类中直线段长度与长度阈值进行比对，给出大于长度阈值的直线段；

28、将同一类中大于长度阈值的直线段作为同一位置区域的输电线；

29、整合所有位置区域的输电线，给出输电线路。

30、进一步的，将直线段中具有相同斜率的直线段划分为同一类，包括：

31、将所有直线段的斜率进行两两相减，给出斜率差值结果；

32、基于斜率差值阈值，对所有斜率差值结果进行筛选，给出位于斜率差值阈值内的斜率差值结果，具体为：

33、

34、式中，k1、k2为两条直线段的斜率，α为斜率差值阈值，α为0.2；

35、根据筛选出的斜率差值结果，将每个斜率差值结果对应的两条直线划分为同一类。

36、进一步的，将每一类中存在重叠点的两个直线段的首尾进行衔接形成一个直线段，包括：

37、获取每一类中所有直线段的端点坐标；

38、将每一类中任意两条直线段的端点坐标进行求解端点距离；

39、基于距离阈值，对求解的所有端点距离进行筛选，给出位于距离阈值内的端点距离，具体为：

40、

41、式中，x1，y1分别为其中一条直线段的端点坐标，x2，y2分别为另一条直线段的端点坐标，β为距离阈值，β为20像素；

42、将所有给出的端点距离对应的两条直线段划分为存在重叠点的两条直线段，并将对应的两个端点进行连接。

43、进一步的，对给出的输电线路进行对地映射形成输电通道区域，包括：

44、基于霍夫变换，对给出的输电线路进行识别，得到每一位置区域中位于外侧的两条输电线的端点；

45、将所有位置区域内位于外侧的两条输电线的端点连接，得到与位置区域对应的外包络子区域；

46、整合所有外包络子区域形成输电线路的外包络区域；

47、基于连接的端点坐标，得到外包络区域的边界坐标；

48、将外包络区域的边界坐标沿现场图片的横轴对称映射，形成输电通道区域。

49、进一步的，得到每一位置区域中位于外侧的两条输电线的端点之后，包括：

50、获取所有位置区域内位于外侧的两条输电线的端点坐标；

51、将每一位置区域中位于外侧的两条输电线，确定每条输电线位于上方的端点和位于下方的端点；

52、将每一位置区域中位于下方的两个端点纵坐标以及位于上方的两个端点纵坐标分别进行坐标差值处理；

53、将所有坐标差值处理结果与端点差值阈值进行比对，给出超过端点差值阈值的坐标差值处理结果；

54、基于给出的坐标差值处理结果，得到与其匹配对应的两条输电线的端点；

55、基于匹配对应的两条输电线的端点，计算该端点对应的两条输电线的长度，将长度较小的输电线沿其匹配对应的端点增加与自身斜率相同且具有一定长度的线段；其中，增加的线段长度等于两条输电线的长度差值。

56、进一步的，坐标差值处理为两个端点纵坐标的差值绝对值，端点差值阈值为200像素。

57、进一步的，对现场图片进行动态目标的识别，包括：

58、基于预先构建的目标检测模型对现场图片进行目标检测，给出现场图片中所有目标的检测框、目标类型及位置信息；

59、获取相对当前现场图片前一次采集的现场图片的目标检测结果；

60、结合当前现场图片和前一次采集的现场图片的目标检测结果，给出动态目标当前的轨迹信息；

61、获取动态目标的历史轨迹信息，并结合动态目标当前的轨迹信息，得到动态目标的轨迹信息。

62、进一步的，结合当前现场图片和前一次采集的现场图片的目标检测结果，给出动态目标当前的轨迹信息，包括：

63、将当前现场图片中所有检测框与前一次采集的现场图片中所有检测框进行重叠比对，给出重叠比对结果；

64、基于重叠比对结果，将当前现场图片中每一检测框与前一次采集的现场图片中存在重叠的检测框作为一组检测框；

65、基于重叠阈值对每组检测框进行筛选，剔除前一次采集的现场图片中与当前现场图片检测框的重叠比对结果小于重叠阈值的检测框；

66、将每组检测框内剩余的前一次采集的现场图片中检测框的几何中心与当前现场图片中检测框的几何中心进行比对，给出与当前现场图片中检测框的几何中心距离最近的前一次采集的现场图片中的一个检测框；

67、将每组检测框内当前现场图片中检测框的几何中心与给出的前一次采集的现场图片中的一个检测框的几何中心连接，得到当前现场图片中检测框对应目标的轨迹信息。

68、进一步的，将当前现场图片中所有检测框与前一次采集的现场图片中所有检测框进行重叠比对，给出重叠比对结果，具体为：

69、

70、式中，为重叠比对结果，为前一次采集的现场图片中的检测框，为当前现场图片中的检测框。

71、进一步的，将每组检测框内当前现场图片中检测框的几何中心与给出的前一次采集的现场图片中的一个检测框的几何中心连接之前，还包括：

72、获取当前现场图片中重叠比对结果为不存在重叠的检测框；

73、计算不存在重叠的检测框几何中心与前一次采集的现场图片中所有检测框几何中心的距离，给出前一次采集的现场图片中与不存在重叠的检测框距离最小的检测框；

74、并将不存在重叠的检测框和给出的距离最小的检测框划分为一组。

75、进一步的，结合当前现场图片和前一次采集的现场图片的目标检测结果，给出动态目标当前的轨迹信息，还包括：

76、根据当前现场图片中所有目标的轨迹信息，给出所有目标轨迹信息在预设报警时间内对应的重叠比对结果，以及在预设报警时间内当前现场图片中检测框的几何中心与前一次采集的现场图片中对应的一个检测框的几何中心的距离；

77、基于动态重叠阈值和动态距离阈值，对所有目标轨迹信息对应的重叠比对结果和几何中心的距离进行筛选，给出动态目标的轨迹信息，包括：

78、剔除在预设报警时间内重叠比对结果大于动态重叠阈值且几何中心的距离小于动态距离阈值的目标轨迹信息，并将剩余目标的轨迹信息作为动态目标的轨迹信息。

79、进一步的，基于动态重叠阈值和动态距离阈值，对所有目标轨迹信息对应的重叠比对结果和几何中心的距离进行筛选，满足以下关系为：

80、

81、式中，a为当前现场图片对应时刻与其之前时刻相隔预设报警时间的时间段，n为预设报警时间内现场图片的帧数，为时间段a内第n帧现场图片中的检测框，为时间段a内第n帧现场图片中检测框几何中心的横坐标，为时间段a内第n帧现场图片中检测框几何中心的纵坐标，μ为动态重叠阈值，τ为动态距离阈值。

82、进一步的，动态重叠阈值为95%，动态距离阈值为10像素。

83、进一步的，基于输电通道区域和动态目标的识别结果，确定动态目标与输电通道区域的干涉结果，包括：

84、将动态目标的轨迹信息与输电通道区域进行重叠对比，给出重叠结果；

85、基于重叠结果，筛选出轨迹信息与输电通道区域重叠的动态目标。

86、进一步的，基于干涉结果确定报警信息，包括：

87、根据当前现场图片中所有目标的位置信息和输电通道区域，并结合轨迹信息与输电通道区域重叠的动态目标，给出位于输电通道区域内的动态目标；

88、基于预定时间内的历史报警信息，给出已报警的历史动态目标；

89、将位于输电通道区域内的动态目标和已报警的历史动态目标进行匹配，给出未成功匹配的动态目标；

90、基于未成功匹配的动态目标生成报警信息。

91、进一步的，基于未成功匹配的动态目标生成报警信息，包括：

92、根据未成功匹配的动态目标的轨迹信息得到其在不同时刻的检测框几何中心；

93、根据不同时刻的检测框几何中心得到未成功匹配的动态目标的像素点变化值；

94、将得到的像素点变化值和像素点变化阈值进行比对，得到位于像素点变化阈值范围内的动态目标；

95、根据位于像素点变化阈值范围内的动态目标，获取包含该动态目标的历史现场图片；

96、根据位于像素点变化阈值范围内的动态目标的历史现场图片和当前现场图片，给出该动态目标与输电通道区域边界距离最小的历史现场图片或当前现场图片；

97、基于距离最小的历史现场图片或当前现场图片，给出对应的目标采集起始时刻；

98、根据目标采集起始时刻和当前现场图片对应的采集时刻，给出动态目标进入输电通道区域的干涉时间；

99、基于干涉时间和预设报警时间，给出干涉时间不小于预设报警时间的动态目标；

100、根据干涉时间不小于预设报警时间的动态目标，生成与其对应的报警信息。

101、第二方面，本发明还提供一种基于计算机视觉的输电线路安全监控预警系统，采用上述的基于计算机视觉的输电线路安全监控预警方法，所述系统包括：

102、数据采集模块，其用于采集输电线路的现场图片；

103、图片识别模块，其用于对现场图片进行输电通道区域和动态目标的识别；

104、干涉判断模块，其用于基于输电通道区域和动态目标的识别结果，确定动态目标与输电通道区域的干涉结果；

105、预警确定模块，其用于基于干涉结果确定报警信息。

106、进一步的，图片识别模块还用于：

107、对现场图片进行边缘处理，得到属于直线段的边缘信息；

108、对直线段的边缘信息进行筛选处理，给出输电线路；

109、对给出的输电线路进行对地映射形成输电通道区域。

110、进一步的，图片识别模块还用于：

111、将现场图片转化为灰度图片并进行边缘检测，得到边缘信息；

112、基于灰度阈值，对边缘信息进行划分，得到划分后的边缘信息；

113、对划分后的边缘信息进行二进制灰度转换，得到二进制灰度图片；

114、对二进制灰度图片进行霍夫变换处理，给出边缘信息的极坐标；

115、对边缘信息的极坐标进行筛选，给出满足预定条件的多组边缘信息；

116、将同一组的边缘信息作为一个直线段的边缘信息。

117、进一步的，图片识别模块还用于：

118、将直线段中具有相同斜率的直线段划分为同一类；

119、将每一类中存在重叠点的两个直线段的首尾进行衔接形成一个直线段；

120、基于衔接后的每一类直线段，得到所有直线段的长度；

121、将每一类中直线段长度与长度阈值进行比对，给出大于长度阈值的直线段；

122、将同一类中大于长度阈值的直线段作为同一位置区域的输电线；

123、整合所有位置区域的输电线，给出输电线路。

124、进一步的，图片识别模块还用于：

125、基于预先构建的目标检测模型对现场图片进行目标检测，给出现场图片中所有目标的检测框、目标类型及位置信息；

126、获取相对当前现场图片前一次采集的现场图片的目标检测结果；

127、结合当前现场图片和前一次采集的现场图片的目标检测结果，给出动态目标当前的轨迹信息；

128、获取动态目标的历史轨迹信息，并结合动态目标当前的轨迹信息，得到动态目标的轨迹信息。

129、进一步的，干涉判断模块还用于：

130、将动态目标的轨迹信息与输电通道区域进行重叠对比，给出重叠结果；

131、基于重叠结果，筛选出轨迹信息与输电通道区域重叠的动态目标。

132、进一步的，预警确定模块还用于：

133、根据当前现场图片中所有目标的位置信息和输电通道区域，并结合轨迹信息与输电通道区域重叠的动态目标，给出位于输电通道区域内的动态目标；

134、基于预定时间内的历史报警信息，给出已报警的历史动态目标；

135、将位于输电通道区域内的动态目标和已报警的历史动态目标进行匹配，给出未成功匹配的动态目标；

136、基于未成功匹配的动态目标生成报警信息。

137、进一步的，预警确定模块还用于：

138、根据当前现场图片中所有目标的位置信息和输电通道区域，并结合轨迹信息与输电通道区域重叠的动态目标，给出位于输电通道区域内的动态目标；

139、基于预定时间内的历史报警信息，给出已报警的历史动态目标；

140、将位于输电通道区域内的动态目标和已报警的历史动态目标进行匹配，给出未成功匹配的动态目标；

141、基于未成功匹配的动态目标生成报警信息。

142、进一步的，预警确定模块还用于：

143、根据未成功匹配的动态目标的轨迹信息得到其在不同时刻的检测框几何中心；

144、根据不同时刻的检测框几何中心得到未成功匹配的动态目标的像素点变化值；

145、将得到的像素点变化值和像素点变化阈值进行比对，得到位于像素点变化阈值范围内的动态目标；

146、根据位于像素点变化阈值范围内的动态目标，获取包含该动态目标的历史现场图片；

147、根据位于像素点变化阈值范围内的动态目标的历史现场图片和当前现场图片，给出该动态目标与输电通道区域边界距离最小的历史现场图片或当前现场图片；

148、基于距离最小的历史现场图片或当前现场图片，给出对应的目标采集起始时刻；

149、根据目标采集起始时刻和当前现场图片对应的采集时刻，给出动态目标进入输电通道区域的干涉时间；

150、基于干涉时间和预设报警时间，给出干涉时间不小于预设报警时间的动态目标；

151、根据干涉时间不小于预设报警时间的动态目标，生成与其对应的报警信息。

152、第三方面，本发明还提供一种基于计算机视觉的输电线路安全监控预警装置，包括输电通道识别单元、动态目标识别单元和预警信息生成单元；

153、输电通道识别单元用于采集输电线路的现场图片；

154、动态目标识别单元用于对现场图片进行输电通道区域和动态目标的识别；

155、预警信息生成单元用于基于输电通道区域和动态目标的识别结果，确定动态目标与输电通道区域的干涉结果；还用于基于干涉结果确定报警信息。

156、本发明提供的一种基于计算机视觉的输电线路安全监控预警方法及系统，至少包括如下有益效果：

157、（1）可以提供用于判别危险的输电通道区域。还可以对动态目标的识别，从而实现针对运动状态下的目标生成报警信息，提高输电线路安全预警的准确性。

158、（2）可以自动对输电杆塔附近的输电通道区域进行界定，大大减少了线路监控人员对输电通道人为定义的工作负荷，提高了算法大范围应用的适用性。

159、（3）通过对运动目标进行防抖处理，轨迹分析处理，速度分析处理，有效筛选掉静态目标以及无危胁动态目标，大大减少了误报警率，提高了后台监控人员的工作效率。