基于掩膜记忆传播的电力设备巡检分割跟踪方法

本发明属于电力巡检维护领域，具体涉及一种基于掩膜记忆传播的电力设备巡检分割跟踪方法。

背景技术：

1、随着我国电力需求的不断增长，电力系统中的设备越来越多，为了提高电力设备的稳定性运行，必须对其持续监测。通常地采用大规模的无人机、机器人、ptz摄像机等智能化终端代替人眼对设备进行24小时实时监测。通过基于深度学习的计算机视觉技术，对这些智能化终端监测到的图像进行目标检测和目标跟踪等视觉方面的计算，从而准确、实时地监测出电力设备是否存在异常。

2、近年来，由于基于孪生网络的分割跟踪算法提高了视频目标分割和跟踪任务的准确性和稳定性。虽然很有效，但目标外观和背景杂波的突变仍然会影响分割的准确性，进而影响跟踪的性能。这就导致在实际的跟踪环境中，仍然导致潜在的跟踪失败。因此，亟需提出一种能有效保证定位准确和鲁棒性高的跟踪方法。

技术实现思路

1、为解决现有技术中存在的不足，本发明目的在于，基于孪生网络的分割跟踪算法在面对目标外观和背景杂波的突变上仍然会影响分割准确性的问题，提出一种基于记忆传播自适应掩膜注意力决策网络的电力设备分割跟踪方法。

2、本发明采用如下的技术方案。

3、一种基于掩膜记忆传播的电力设备巡检分割跟踪方法，具体步骤如下：

4、步骤s1：根据所述电力设备的位置信息，分别提取所述目标模板图像、邻帧目标区域与当前帧图像的深度特征作为目标模板、邻帧目标区域和当前帧搜索区域的特征。

5、步骤s2：通过掩膜传播的注意力模块，将被跟踪设备的目标模板与邻帧目标区域的深度特征和掩膜存储得到内存库。

6、步骤s3：使用当前帧搜索区域特征分别与内存库运算得到相似性矩阵。

7、步骤s4：使用目标模板掩膜与邻帧目标掩膜分别与相似性矩阵做矩阵乘法得到注意力图；

8、注意力图的计算为：mi＝si*vi，其中si是相似性矩阵，vi代表内存库中邻帧目标区域掩膜和目标模板掩膜，*代表矩阵乘法。

9、步骤s5：将注意力图与当前帧搜索区域特征做逐元素乘法得到亲和特征，随后与目标模板特征做深度互相关计算获得响应图。

10、步骤s6：将响应图中的最大响应通道抽取输入到注意力细化通路，获得两个不同的掩膜。

11、步骤s7：输入到掩膜评估融合机制，计算出最终目标掩膜，同时反馈到步骤s2更新内存库，根据最终掩膜得到被跟踪电力设备的位置。

12、进一步地，步骤s1具体为：

13、步骤s11：根据电力设备在视频序列第i帧图像(i＝1)中截取固定大小的目标区域，利用预先训练好的resnet-50网络提取深度特征作为目标模板的特征；

14、步骤s12：读取电力设备在视频序列的第j-1帧图像(i<j)并裁剪出邻帧目标区域，利用预先训练好的resnet-50网络提取邻帧目标区域的深度特征，得到邻帧目标区域的特征

15、步骤s13：读取电力设备在视频序列的第j帧图像(i<j)并裁剪出当前帧搜索区域，利用预先训练好的resnet-50网络提取当前帧搜索区域的深度特征，得到当前帧搜索区域的特征。

16、进一步地，步骤s3具体为：

17、步骤s31：相似性矩阵计算为：si＝softmax(r(ft)*r(ai))，其中ft和ai分别是当前帧搜索区域特征和内存库中的存储特征，ai表示内存库中的邻帧目标区域特征和目标模板特征，*为矩阵乘法，r(ft)和r(ai)代表重塑当前帧搜索区域特征和内存库中存储特征的维度。

18、步骤s32：将相似性矩阵si进行softmax归一化将矩阵的实数域表示映射到[0，1]表示概率分布的有效实数空间。

19、进一步地，步骤s5具体为：

20、步骤s51：亲和特征的计算为：其中mi是注意力图，ft代表当前帧搜索区域的特征，代表逐元素积；

21、步骤s52：响应图的计算为：其中f't和f0分别代表两个亲和特征和目标模板特征，代表深度互相关操作；

22、进一步地，步骤s6具体为：

23、步骤s61：将17×17×256响应图中的最大响应抽取获得1×1×256响应条，将其压平反卷积操作获得特征e1尺寸为15×15×32后输入到注意力细化通路中。

24、步骤s62：注意力细化通路由三个细化模块组成，其中细化模块由多个上采样层和跳跃连接组成，合并不同的分辨率特性以生成相应的掩膜；

25、步骤s63：每个细化模块中另外包括一个高效通道注意力模块对低分辨率特征进行增强编码，通过计算注意权重更关注边缘细节敏感的低阶特征，最终进一步细化分割轮廓；

26、步骤s64：高效通道注意力模块中利用快速1d卷积来实现局部跨通道交互，其中卷积核大小决定了跨通道交互的程度从而对特征通道增强编码。核尺寸的自适应选择计算为：其中通道数c与核大小k之间存在映射关系。b和γ是设置为1和2的超参数；

27、步骤s64：最终经过sigmoid激活函数生成两张不同的掩膜，分别是“模板传播掩膜”和“邻帧传播掩膜”。

28、进一步地，步骤s7具体为：

29、步骤s71：将成对的目标模板rgb图像和掩膜、成对的邻帧目标区域rgb图像和掩膜共同输入到质量评价网络中；

30、步骤s72：质量评价网络由共享权重的resnet-18神经网络和全连接层组成；

31、步骤s73：将两对输入经过resnet-18神经网络中提取特征获得对应的feature1、freture2，逐元素相加后获得feature合并后进入全连接层；

32、步骤s74：feature送入全连接层后输出两个质量分数，分别对应两对输入的质量。质量分数作为后续的掩膜融合权重，其掩膜融合计算方式在于：maskt＝s1×mask1+s2×mask2，其中s1和s2是质量分数。

33、本发明的有益效果在于，与现有技术相比，本发明具有以下优点：

34、(1)本发明设计了一种掩膜传播方法应用于分割跟踪网络中，通过学习每帧之间的内在相关性从而挖掘历史帧的掩膜信息，通过检索存储特征和历史帧掩膜的内存库，生成目标注意图来突出框架特征上的目标区域，从而抑制背景杂波的不利影响。

35、(2)本发明设计了注意力细化通路来进一步细化掩膜生成过程中的分割轮廓。引入轻量级注意机制计算底层特征的权值，更多地关注对边缘细节敏感的底层特征，从而获得更好的分割结果。

36、(3)本发明提出了一种掩膜融合机制来提高掩膜的精度。通过质量评估网络和掩膜感知融合获得比矩形框更精确的跟踪结果，提升了目标的定位精度。

技术特征：

1.一种基于掩膜记忆传播的电力设备巡检分割跟踪方法，其特征在于，具体步骤如下：

技术总结
一种基于掩膜记忆传播的电力设备巡检分割跟踪方法。首先，构造一个基于掩膜传播的注意力模块。通过学习每帧之间的内在相关性从而挖掘历史帧的掩膜信息。通过检索存储特征和历史帧掩膜的内存库，生成目标注意图来突出框架特征上的目标区域，从而抑制背景杂波的不利影响。其次，设计了注意力细化通路来进一步细化掩膜生成过程中的分割轮廓。引入轻量级注意机制计算底层特征的权值，更多地关注对边缘细节敏感的底层特征，从而获得分割结果。最后，提出了一种掩膜融合机制来提高掩膜的精度。本发明通过掩膜感知和质量评估融合获得比框表示更精确的目标表示，提升了目标的定位精度。

技术研发人员：张焕龙,杨向博,李福生,赵彦春,周斌,沈冯立,唐荣江,吴静静,智鹏鹏,王勇
受保护的技术使用者：电子科技大学长三角研究院（湖州）
技术研发日：
技术公布日：2024/2/25