一种保护屏端子排目标检测和巡检方法与流程

本发明涉及计算机视觉目标检测和电力领域保护屏端子排领域，更具体涉及一种保护屏端子排目标检测和巡检方法。

背景技术：

1、在继电保护柜日常维护和巡检过程中，会采集保护屏端子排的图像，判断端子排是否存在缺陷，常见的端子排缺陷有：端子缺失、端子歪斜等。

2、计算机视觉中关于图像识别有三大类应用：

3、(1)分类-classification：给定一张图片或一段视频判断里面包含什么类别的目标；

4、(2)检测-detection：定位出这个目标的位置并且知道目标是什么；

5、(3)分割-segmentation：分为实例分割(instance-level)和语义分割(scene-level)，分割是像素级操作。

6、传统目标检测的方法一般分为三个步骤:首先在给定的图像上选择一些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。基于深度学习的目标检测算法主要分为两类：twostage和onestage，常见的towstage目标检测算法有：r-cnn、fastr-cnn、fasterr-cnn等，常见的onestage目标检测算法有：yolov1、yolov2、yolov3、ssd和retinanet等，one-stage目标检测算法可以在一个stage直接产生物体的类别概率和位置坐标值，相比于two-stage的目标检测算法不需要regionproposal阶段，整体流程较为简单，two-stage目标检测算法可以看作是进行两次one-stage检测，第一个stage初步检测出物体位置，第二个stage对第一个阶段的结果做进一步的精化，对每一个候选区域进行one-stage检测；通常twostage算法检测的精度相比于one stage算法要高一些，检测速度要慢一些。

7、目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域。如何将其应用于保护屏日常维护和巡检领域，提高维护和巡检的智能化水平，提高工作效率，是现今研究的重点。

技术实现思路

1、本发明的目的在于克服现有保护屏端子排目标检测和巡检的缺点，提供一种保护屏端子排目标检测和巡检方法，实现了将维护和巡检的智能化水平得到提高，工作效率也得到了提高。

2、为解决上述技术问题，本发明采用的技术方案是：一种保护屏端子排目标检测和巡检方法，包括通信连接的视频识别系统和uwb定位系统，视频识别系统设有自训练的保护屏端子排检测模型、保护屏端子排关键点检测模型和缺陷检测模型，uwb定位系统用于检测保护屏端子排的位置信息；

3、uwb定位系统将保护屏端子排的位置信息检测出来，然后通过视频识别系统对所述保护屏端子排进行检测，并进行记录。

4、优选地，uwb定位系统包括多个uwb基站、主控制器、dtu模块、后台服务器，所述多个uwb基站、主控制器、dtu模块、后台服务器顺次电连接；

5、uwb定位系统检测保护屏端子排的位置的具体方法为：巡检人员的手持终端设置有定位标签，作业现场设置多个uwb基站，uwb基站实时捕获巡检人员的手持终端上的定位标签的坐标并发送给主控制器，主控制器计算设置在手持终端上的定位标签与多个uwb基站的距离和角度，并将实时捕获的定位标签的坐标及角度通过dtu模块上传到后台服务器存储，生成巡检轨迹记录。

6、优选地，多个uwb基站至少包含一个主基站和多个从基站，主基站会发射脉冲信号并接收从基站返回的信号，每个从基站都会发射一个响应信号以响应主基站的脉冲信号，并将这些信号返回给主基站，主基站通过测量每个响应信号的到达时间来计算从基站之间的时差，并根据这些时差计算目标物体的位置。

7、优选地，uwb定位系统能够生成目标物体的定位轨迹是因为其能够通过对目标物体进行多次定位，不断更新目标物体的位置信息，从而绘制出其运动轨迹。

8、优选地，视频识别系统在获得保护屏端子排矩形框坐标信息之后，根据坐标信息，截取端子排的图像区域，调用保护屏端子排关键点检测算法，获取端子排的关键点坐标，同时可获得端子排的关键点数量，对保护屏端子排矩形框内的关键点数量进行统计分析，可判断端子是否缺失。

9、优选地，视频识别系统根据端子排的关键点坐标信息，计算端子排姿态，判断端子排是否歪斜，其方法如下：对端子排的上下或者左右两端的关键点计算拟合直线，然后用计算该拟合曲线的所有关键点坐标与拟合直线计算直线距离，当距离超过设定阈值，则判断端子排歪斜，进而做出提示记录。

10、优选地，视频识别系统根据端子排的关键点坐标信息，计算端子排姿态，判断端子排是否歪斜，其方法如下：

11、(1)关键点检测：首先通过特定的关键点检测算法在图像中检测出关键点。

12、(2)计算关键点旋转角度：对于每个关键点，需要确定其在图像中的旋转角度，使用主方向估算，在关键点周围的邻域内计算梯度方向直方图，然后选择它的峰值方向作为关键点的旋转角度。

13、(3)计算邻域特征向量(描述子)：使用检测到的每个关键点，计算它周围区域的特征向量，称为描述子，描述子包含多个特征点和其方向，这些特征点用于计算关键点旋转角度的矩阵变换。

14、(4)计算歪斜角度：对于每个关键点，将其邻域特征向量进行相似变换，调整其方向匹配初始方向，然后计算变换后的特征点偏移量，通过这些偏移量可以计算该关键点邻域的歪斜角度，在进行相似变换时，将关键点的旋转角度设为0，使其度量与水平车道方向的夹角。

15、(5)判断是否歪斜：如果计算得到的歪斜角度大于设定的阈值，则可以认为该关键点所处的区域存在歪斜。

16、优选地，视频识别系统在判断保护屏端子排是否姿态歪斜之前，会对其进行预处理；通过直连usb或者mipi摄像头采集目标图像，局域网内可通过摄像头sdk或者rtsp获取摄像头的视频，或者通过推流服务器将摄像头视频编码推流到后台服务器进行处理；对输入采集或者解码后的图像数据进行预处理，进行图像质量检测，剔除黑屏、花屏、模糊、过曝的图像。

17、优选地，在预处理之后，将图像输入到预先训练的保护屏端子排检测模型中，保护屏端子排检测模型会输出端子排的矩形框坐标和分数。

18、优选地，视频识别系统根据设置的阈值，将保护屏端子排检测模型返回的目标信息进行过滤，筛出低置信度的检测框，获得保护屏端子排的矩形框坐标信息和矩形框数量，在目标检测算法中，阈值被用来确定模型预测的目标是否存在，当模型输出的分数或概率低于阈值时，算法会将其视为目标不存在。

19、与现有技术相比，本发明的有益效果是：

20、本发明通过通过网络获取安装在现场作业的实时视频，实现视频的远程传输，同时算法可以实时集中管理多台摄像头,且uwb硬件结合图像算法的方式，能记录巡检的实时轨迹，在发生违规操作或者事故等需要溯源的时候，可获得巡检的历史轨迹进行分析，可极大提高维护和巡检的智能化水平，提高工作效率。