基于边缘计算的输电线异物监测方法与流程

1.本发明属于输电线监测方法技术领域，具体涉及基于边缘计算的输电线异物监测方法。


背景技术：

2.在输电线路，特别是高压输电线缆通电工作时，其周围区域将形成强电磁场。如异物进入到输电线路的安全防护距离内，将使输电线路的强电磁场放电，继而造成输电线路损毁、大面积断电事故。
3.为防止因异物进入到输电线路的安全防护距离内产生的断电事故和伤亡事故，现已有采用图像采集监测技术和提示技术结合的输电线路防护监测装置。这一监测装置包括图像采集模块、图像内容分析模块和报警模块；图像内容分析模块根据图像采集模块相对于输电线路的位置关系和输电线路的安全防护距离确定防护区，具体的防护区多为以输电线路为中心、以安全防护距离为半径的圆周防护区域或弧形防护区域；考虑到大多数情况下异物是从地面侧靠近输电线路(也就是从高压输电线缆下侧靠近输电线路)，防护区多设置在输电线路的下侧。防护监测过程中，图像内容分析模块通过对图像采集模块采集的图像进行特征提取，根据提取的特征位置判定是否有异物进入到防护区范围内，并在判定有异物在防护区范围内时启动报警模块报警。
4.但是，这样的输电线路防护监测装置对监测区域的背景环境有较高要求，以保证图像采集模块采集的图像具有较好的对比度和清晰度。而在雨雾和夜晚等能见度较低的环境下，因图像采集模块采集的图像中异物特征不明显、背景噪声较大，图像内容分析模块判定结果和防护区内异物状况并不一样，误判概率很高而无法使防护监测装置达到有效的提示报警效果，甚至使防护监测装置无法正常工作。
5.现有的技术较多考虑的是对采集到的数据进行检测处理，较少考虑数据传输过程中的网络负载问题以及传输时延导致的实时性问题等，现有技术中也又此类问题的研究及解决方法，但是其都存在一定的问题及不足。


技术实现要素：

6.本发明的目的在于针对现有技术中存在的问题提供一种基于边缘计算的变电站输电线异物监测方法，使用该方法能够极大的降低网络中大量数据传输造成的时延，满足实际应用中的实时性需求。
7.本发明的技术方案是：
8.基于边缘计算的变电站输电线异物监测方法，包括如下步骤：
9.s1.将设置在高压输电线缆和杆塔上的摄像设备预设soc芯片；
10.s2.采用yolov5网络结构，通过大量数据集进行训练得到带有权重的目标检测网络模型并部署到soc芯片中；
11.s3.摄像设备获取视频数据，通过设置在摄像设备soc芯片获取视频数据并对当前
视频帧序列提取关键帧图像；
12.s4.对步骤s3提取的关键帧图像进行图像预处理操作，首先对提取的关键帧图像采用中值滤波做平滑去噪处理，然后对去噪后图像进行拉普拉斯锐化处理，提高图像对比度，增强图像中目标边缘信息；
13.s5.将s4处理后的图像传入soc芯片，作为卷积神经网络的输入，通过训练好的网络模型进行识别检测，并将识别结果传输至后台；
14.s6.根据检测结果在后台展示并在有异物时进行预警。
15.具体的，所述的步骤s3中提取关键帧图像包括对相邻两帧做差分计算，记录当前视频帧与前帧之间的差值s，考虑环境的自然变动，设置阈值t(threshold),当差值d《t时，跳过此帧；当d》＝t时，将此帧作为关键帧图像进行后续处理。
16.具体的，所述的差分计算过程包括如下步骤：
17.s1.记视频序列中第n帧和第n-1帧图像为fn和f
n-1
；
18.s2.对图像做灰度处理，记对应像素点的灰度值为fn(x，y)和f
n-1
(x，y)；
19.s3.对其灰度值做归一化处理，
20.s4.将两幅图像对应像素灰度值相减求其绝对值，dn(x，y)＝|f’n
(x，y)-f’n-1
(x，y)|；
21.s5.对所有像素点差值绝对值求和，d＝∑dn(x，y)；
22.s6.通过差值绝对值之和d表现图像变动情况，并与阈值t对比，判断是否可做为关键帧。
23.具体的，所述的yolov5网络结构的输入端采用了mosaic数据增强方式，将图像随机缩放、随机裁剪、随机排布，进行拼接；输出端采用了giou_loss作为bounding box的损失函数。
24.适用于边缘计算的输电线异物监测，旨在通过在边缘设备(网络摄像机)中适配具有计算能力的soc芯片，并部署其神经网络模型以实现对变电站输电线异物的实时监测。目前有许多关于变电站输电线异物识别的问题未得到有效解决：(1)未考虑数据传输过程中的网络负载问题，数据采集端采集的数据均需要传输回后台进行处理，海量数据的传输、处理、反馈势必会造成较大的时延，难以满足实时性的需求。(2)目前大部分专利采用的均是传统的卷积神经网络模型，体积较大，很难做到检测速度和精度的平衡。本发明针对以上问题，提出了一种适用于边缘计算的输电线异物监测改进方法，选取检测速度和精度有较好平衡的神经网络模型，通过大量数据集训练之后，结合soc芯片部署到边缘设备中，此方法能够极大的降低网络中大量数据传输造成的时延，满足实际应用中的实时性需求。
25.随着人工智能和边缘计算的发展，通过在输电线上及周边部署智能监控，实时监测输电线异物已成为可能，环境保护和治理也受到越来越多的重视。智能监控的大量部署就面临海量的数据处理，通过传输到后台处理的方式对后台数据处理能力也是一种挑战，还会造成一定网络时延问题。通过边缘计算打破这一传统数据处理方式的同时，对于神经网络模型的选取也将更多的考虑模型大小和速度精度之间的平衡。
26.本发明根据这些问题，提出了一种适用于边缘计算的输电线异物监测改进方法，与已有的专利相比，本专利的有益效果在于以下几个方面：1.通过在网络摄像头内部署具
有一定算力的soc芯片，将采集到的数据流直接在前端进行实时计算处理，只用将检测结果返回给后台查看，通过边缘计算将海量的数据处理分布到每个边缘设备上，减少数据传输，能够有效缓解后台大量数据处理压力，确保监测的实时性；2.针对输电线路这一特定环境采取中值滤波去噪以及拉普拉斯锐化突出目标边缘信息来进行图像预处理，能有效的提升检测精度；3还考虑了神经网络模型对边缘计算的适配问题，边缘设备的计算力具有一定局限性，选用的yolov5网络模型在之前版本的基础之上做出改进，可以很好的平衡计算速度与检测精度，从而提高整体稳定性在采用边缘计算的方式下，更多的考虑了模型体积、检测精度、检测速度之间的平衡。
附图说明
27.图1是本发明的处理流程示意图；
28.图2是本发明的数据传输处理模式示意图。
具体实施方式
29.下面结合附图及具体实施方式对本发明的技术方案进行详细的描述。
30.如图1所示为基于边缘计算的变电站输电线异物监测方法的处理流程示意图，具体包括如下步骤：
31.s1.将设置在高压输电线缆和杆塔上的摄像设备预设soc芯片，本实施例中soc芯片采用的是海思hi35191a v100集成了强大的可编程神经网络推理引擎和矢量dsp，支持多种智能算法的应用，具有2.0 tops计算性能，完整的api和工具链-人脸检测/识别、目标检测/跟踪等多种应用，也可使用高通、博通、联发科、瑞昱、华为海思、美满、英特尔；
32.s2.采用yolov5网络结构，通过大量数据集进行训练得到带有权重的目标检测网络模型并部署到soc芯片中；
33.s3.摄像设备获取视频数据，通过设置在摄像设备soc芯片获取视频数据并对当前视频帧序列提取关键帧图像，主要针对河面异物检测，关键帧的选取可反映河道可疑异物的增加、减少、位移、变化等情况，提取关键帧图像包括对相邻两帧做差分计算，记录当前视频帧与前帧之间的差值s，考虑环境的自然变动，设置阈值t(threshold)，当差值d＜t时，跳过此帧；当d＞＝t时，将此帧作为关键帧图像进行后续处理；s4.对步骤s3提取的关键帧图像进行图像预处理操作，首先对提取的关键帧图像采用中值滤波做平滑去噪处理，去噪的同时又能保护图像中目标边缘信息，然后对去噪后图像进行拉普拉斯锐化处理，提高图像对比度，增强图像中目标边缘信息，更有利于卷积神经网络的识别；
34.s5.将s4处理后的图像传入soc芯片，作为卷积神经网络的输入，通过训练好的网络模型进行识别检测，并将识别结果传输至后台；
35.s6.根据检测结果在后台展示并在有异物时进行预警。
36.步骤s3中所述的差分计算过程包括如下步骤：
37.s1.记视频序列中第n帧和第n-1帧图像为fn和f
n-1
；
38.s2.对图像做灰度处理，记对应像素点的灰度值为fn(x，y)和f
n-1
(x，y)；
39.s3.对其灰度值做归一化处理，
40.s4.将两幅图像对应像素灰度值相减求其绝对值，dn(x，y)＝|f’n
(x，y)-f’n-1
(x，y)|；
41.s5.对所有像素点差值绝对值求和，d＝∑dn(x，y)；
42.s6.通过差值绝对值之和d表现图像变动情况，并与阈值t对比，判断是否可做为关键帧。
43.所述的yolov5网络结构的输入端采用了mosaic数据增强方式，将图像随机缩放、随机裁剪、随机排布，进行拼接，能够有效提升对小目标的检测效果，自适应锚框计算，设定初始长宽的锚框，在训练过程中，在初始锚框的基础上输出预测框，并与真实框进行对比，计算二者差值，反向更新，迭代网络参数。
44.backbone：focus结构采用切片操作，将原始608
×
608
×
3的图像切片成304
×
304
×
12的特征图，再经过32次卷积操作，变成304
×
304
×
32的特征图。
45.neck：采用了fpn+pan的结构，fpn层自顶向下传达强语义特征，而含有两个pan结构的特征金字塔则自底向上传达强定位特征，从不同的主干层对不同的检测层进行特征融合。
46.yolov5网络结构的输出端：采用了giou_loss作为bounding box的损失函数，有效解决了yolov4的diou_loss损失函数中的预测框和目标框不相交时，损失函数不可导的问题以及两个预测框大小相同，两个iou相同，iou_loss无法区分相交情况的不同的问题。
47.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。