基于机器视觉的电力设备部件松动识别系统及方法与流程

1.本发明涉及机器视觉分析算法及应用领域，尤其涉及基于机器视觉的电力设备部件松动识别系统及方法。


背景技术：

2.在大型或者重型电力设备，通常使用大型紧固件来承载负荷设备，这些大型紧固件属于使用预紧力紧固的安装工件，在长时间运行中，因为振动、冲击、疲劳、摩擦等因素的作用，大型紧固件会出现滑动、分离甚至脱落等现象，从而改变大型紧固件的连接状态，大型紧固件连接状态的改变会破坏结构的完整性以及危害结构的功能性和安全性；除此之外，在一些中小型电力设备的连接处，比如接头松动、接触不良等都容易引起火灾，还会造成供给用电器功率不足或者不稳定，影响用电器的使用和寿命，因此，为了预防大型电力设备中紧固件松动造成的损伤，和预防中小型电力设备中接头松动引起的火灾，对电力设备部件松动的监测和分析至关重要。
3.在现有技术中，电力设备大多采用在紧固件与被连接件之间安装压力检测元件或者是电流电压检测元件，用来监测固件在使用过程中压力大小的变化或者电流、电压的变化。然而，在使用压力检测元件时，存在二个问题：一、紧固件和被连接件之间负荷大，要求压力检测元件具有极大的抗压强度；二、改变了原有结构的强度和结构，其强度薄弱点反而集中到压力检测元件上。而在使用电流电压检测元件时，存在成本高，接线繁杂的缺点，另外，还常使用热成像或者带有红外功能的检测设备监测电力设备，但其造价太高，无法普及。


技术实现要素：

4.本发明所解决的技术问题在于提供基于机器视觉的电力设备部件松动识别系统及方法，以克服现有技术使用压力检测元件存在的抗压要求高和改变了原有结构和强度的问题，同时还避免了使用热成像或红外功能的检测设备带来的造价高，无法普及等问题。
5.本发明提供的基础方案：基于机器视觉的电力设备部件松动识别系统，包括：
6.监控系统：用于采集电力设备场景的实时拍摄图像；
7.分析服务器：储存预先建立的电力设备部件场景图像，通过与监控系统采集的实时拍摄图像进行比对，分析得到电力设备部件松动结果，将得到的电力设备部件松动结果生成数据码流；
8.其中，所述分析服务器包括电力设备部件识别模块和电力设备部件运动轨迹模块，所述电力设备部件识别模块用于识别监控系统采集的实时拍摄图像中的电力设备部件场景图像，所述电力设备部件运动轨迹模块存储有预先建立的电力设备部件初始场景图像，所述电力设备部件运动轨迹模块用于将实时拍摄图像中的电力设备部件场景图像与电力设备部件初始场景图像进行运动轨迹变化的比对，生成电力设备部件运动轨迹结果。
9.本发明的原理及优点在于：监控系统将采集到的图像画面传输给电力设备识别模
块，电力设备识别模块对图像画面中的场景进行部件类型识别，再传输给电力设备部件运动轨迹模块，电力设备部件运动轨迹模块通过图像画面中的电力设备部件场景图像与电力设备部件初始场景模型提箱进行运动轨迹的变化比对，就可以得出电力设备部件是否有松动。因此，本发明优点是：(1)可以实现对电力设备部件松动的实时监测和分析；(2)通过对部件运动轨迹的监测，避免了在部件的连接处安装压力检测元件，没有改变原有的结构和强度，也没有抗压强度的要求；(3)避免了使用热成像或者红外功能的检测设备，降低了成本，同时普及性高。
10.进一步，所述监控系统包括监控摄像设备和输入设备，所述监控摄像设备与输入设备连接，所述监控摄像设备用于拍摄需要监测和分析电力设备的画面，并将拍摄画面以直播流形式对外提供码流服务，所述输入设备用于将监控摄像设备的码流拉取回来，并将码流拆为逐帧画面，发送到分析服务器上。通过监控摄像设备将电力设备部件松动的场景拍摄下来，并通过输入设备进行逐帧拆分，有利于使电力设备部件松动识别更准确。
11.进一步，所述电力设备初始场景图像为根据预设的电力设备图像以及接收的若干个电力设备场景图像进行训练得到。通过图像处理和训练的融合，让电力设备运动轨迹模块变得更智能化。
12.进一步，所述分析服务器还包括人体行为识别模块，所述人体行为识别模块用于识别实时拍摄图像中的人体行为；其中，若识别到行人对电力设备进行检修、更换或者新增，保存当前实时拍摄图像中的电力设备场景图像，并将当前电力设备场景图像替换当前电力设备的初始场景图像。通过识别运维人员对电力设备的检修、更换或者新增行为，可以避免误判的结果产生。
13.进一步，还包括预警系统，所述预警系统用于接收分析服务器生成的数据码流，并对电力设备部件松动结果进行识别，若识别到电力设备部件发生松动，则发出预警信号；若未识别到电力设备部件发生松动，则不发出预警信号。预警系统给操作者发出预警信号，起到提醒的作用。
14.进一步，所述预警系统包括预警器和主机，所述预警器与主机连接，所述预警器用于生成预警信号，所述主机与分析服务器连接，所述主机用于从分析服务器获取的数据码流进行解码和显示服务，所述主机还用于在发出预警信号的同时，在实时拍摄图像中用标注框框出电力设备部件松动位置，并生成带有标注框的预警画面，所述主机还用于存储预警画面并为用户提供历史预警画面的回放服务，所述主机与监控系统连接，所述主机还用于配置监控系统。通过主机来控制监控系统、预警器，并生成预警画面的显示和回放，可以更有利于检修工对电力设备部件松动的识别。
15.进一步，基于机器视觉的电力设备部件松动识别的方法，包括：
16.s1：采集电力设备场景的实时拍摄图像；
17.s2：储存预先建立的电力设备场景模型，对s1中的实时拍摄图像进行电力设备松动识别，并将电力设备松动识别结果生成数据码流；
18.其中，s2包括：
19.s2
‑
1：识别实时拍摄图像中的电力设备类型，生成电力设备模型；
20.s2
‑
2：根据预先建立的电力设备场景模型与实时拍摄图像的电力设备模型进行多次运动轨迹比对，得到比对结果；其中，s2
‑
2包括：
21.s2
‑2‑
1：若比对结果中电力设备的众多图像中90％的比对结果中显示有运动轨迹变化，将判断结果以坐标形式输出，通过输出的坐标结果结合实时拍摄图像进行标注框框出电力设备部件运动轨迹变化位置，融合图像，生成预警画面，并生成数据码流；若比对结果中60％的比对结果中显示电力设备部件没有运动轨迹变化，则删除本次实时拍摄图像。有利于实现电力设备部件松动的实时监测和分析，同时避免在每一个部件中加入感应元件，节省成本。
22.进一步，所述s1包括：
23.s1
‑
1：拍摄电力设备场景的实时拍摄图像，并将实时拍摄图像以直播流形式对外提供码流服务；
24.s1
‑
2：拉取s1
‑
1中的码流，并将码流拆分为逐帧画面。从逐帧画面中对电力设备部件进行松动检测，提升了准确性。
25.进一步，所述s2还包括：
26.s2
‑
3：识别实时拍摄图像中的检修行为；其中，s2
‑
3包括：
27.s2
‑3‑
1：若识别到检修工对电力设备进行检修行为，则将检修后的电力设备部件图像替换当前电力设备的初始图像。可以减少维修操作造成的误判。
28.进一步，还包括s3：根据s2的电力设备松动识别结果，发出预警信号，并显示和存储预警画面。可以为操作者提供预警信号，同时还可以提供预警画面的播放，便于操作者进行维修工作。
附图说明
29.图1为本发明实施例一的原理框图；
30.图2为本发明实施例一的流程图；
31.图3为本发明实施例二的原理框图。
具体实施方式
32.下面通过具体实施方式进一步详细说明：
33.说明书附图中的标记包括：监控摄像设备101、输入设备102、分析服务器103、电力设备部件识别模块1031、电力设备部件运动轨迹模块1032、人体行为识别模块1033、主机104、预警器105、存储模块106、评估模块107。
34.实施例基本如图1和图2所示：本发明基于机器视觉的电力设备松动识别系统，包括监控系统、分析服务器103和预警系统，其中监控系统包括监控摄像设备101和输入设备102，监控摄像设备101用于拍摄需要监测和分析电力设备松动场景的画面，并将拍摄的画面以直播流形式对外提供码流服务，在本实施例中，监控摄像设备101为工业相机，其型号为mv
‑
e2900m/c，该工业相机帧率最高可达4帧/秒，分辨率为6576x4384像素，单个的像素尺寸5.5μmx5.5μm，适用于本发明的高精度检测，检测的精度达到了μm级，可以有效的进行光电转换，同时可以克服人眼无法检测的问题；输入设备102用于将监控摄像设备101的码流拉取回来，并将码流拆分为逐帧画面，发送到分析服务器103上，在本实施例中，通过工业相机mv
‑
e2900m/c的自带相关的功能模块，即输入设备102集成在工业相机上，在本技术的其他实施例中，可以采用独立的输入设备102实现。
35.分析服务器103包括电力设备部件识别模块1031、电力设备部件运动轨迹模块1032和人体行为识别模块1033，输入设备102将拆分的逐帧画面传输给电力设备部件识别模块1031，电力设备部件识别模块1031提取出逐帧画面中电力设备模型，电力设备部件运动轨迹模块1032存储有电力设备的初始模型，即将电力设备的最初状态的图像通过卷积神经网络进行深度学习，包括电力设备的大小、类型和功能，深度学习属于现有技术，这里就不做过多赘述，同时在新装电力设备时，电力设备部件运动轨迹模块1032都会进行模型扩充，基于不断的深度学习，电力设备部件运动轨迹模块1032变得更智能化，电力设备部件运动轨迹模块1032接收到电力设备部件识别模块1031提取的电力设备模型，与初始模型进行运动轨迹变化比对，即判断电力设备部件是否有松动的情况出现，在本实施例中，设定一个松动阀值一和松动阀值二，松动阀值一为0.9，松动阀值二为0.6，当比对逐帧画面中电力设备部件的比对分数在0.9以上，在本实施例中，比对分数为0.95，则判断电力设备出现部件松动，电力设备部件运动轨迹模块1032将符合电力设备部件松动的判断结果以坐标形式输出，坐标的来源为电力设备的初始模型中各部件的坐标位置，通过坐标结果结合监控摄像设备101拍摄的画面进行标注框标注，框出电力设备部件在实时拍摄图像上的松动位置，将标注的图像画面作为预警画面，传输至预警系统并发出预警信号；当比对逐帧画面中电力设备部件比对分数在0.6以下，在本实施例中，比对分数为0.5，则判断电力设备没有出现松动；当比对逐帧画面中电力设备部件比对分数在0.6
‑
0.9之间，在本实施例中，比对分数为0.8，则针对电力设备部件与运动轨迹的相关逻辑位置再次进行判断，即排除电力设备整体移动导致的部件运动轨迹变化或者外界风向或地震引起的电力设备晃动等情况，将符合部件松动的结果输出，判断为电力设备部件出现松动，向预警系统发出预警信号。
36.人体行为识别模块1033用于识别逐帧画面中的人体行为，具体为当输入设备102传输的逐帧画面中出现人体时，人体行为识别模块1033则判断出该场景中有人体行为，其中人体行为包括对电力设备进行检修、对电力设备进行更换、增加新的电力设备以及人体无任何动作，当人体离开该场景中时，人体行为识别模块1033再次识别该场景中的电力设备图像，判断当前电力设备图像与当前电力设备的初始图像的差异值，在本实施例中，设定一个差异阀值，差异阀值为0.6，若当前电力设备部件差异值为0.6以上，在本实施例中，差异值为0.8，则判定该设备为新装电力设备或经过检修后的电力设备，就将当前电力设备图像替换当前电力设备初始图像，并删除当前电力设备初始图像，同时判定当前电力设备没有出现部件松动；若当前电力设备部件差异值为0.6以下，在本实施例中，差异值为0.5，则判定该设备没有经过检修或更换，再将该逐帧画面传输给电力设备部件运动轨迹模块1032进行运动轨迹的比对，即比对该场景中的电力设备部件是否出现运动轨迹的变化，根据比对结果判定当前电力设备部件是否出现松动。
37.本实施例中的电力设备部件识别模块1031、电力设备部件运动轨迹模块1032和人体行为识别模块1033相互连接来进行电力设备松动的判定，避免了外界风向或自然灾害引起的误判，同时避免了检修或更换新的电力设备造成的误判，本发明的识别过程具有准确性高、识别精准的优点。
38.预警系统包括预警器105和主机104，预警器105和主机104相连接，在本实施例中，主机104为客户端系统，即在pc设备中安装本发明的客户端软件，作为主机104使用，预警器105为pc设备自带的喇叭，因此，将监控系统中的监控摄像设备101与主机104连接，分析服
务器103安装在主机104中，即安装在客户端软件中，通过主机104对监控摄像设备101进行配置，将监控摄像设备101的ip地址与码流地址与分析服务器103进行绑定与配对，同时主机104启动分析服务器103的分析功能，即启动电力设备部件识别模块1031、电力设备部件运动轨迹模块1032和人体行为识别模块1033的运作，配置完成后，操作者不必像普通监控一样，一直盯着监控画面屏幕，当分析服务器103发现电力设备部件松动时，通过主机104对预警器105发出预警命令，预警器105接收到主机104传输的预警命令立即发出语音预警通知，即通过喇叭发出语音预警通知，操作者接收到语音预警后，主机104可将接收的预警画面显示给操作者观看，同时主机104还会存储每一次的预警画面，作为历史库存，以便操作者对历史预警进行回放。
39.在本实施例中，主机104作为客户端系统，可安装在移动pc端或者固定pc端上，适应不同操作环境。
40.本发明基于机器视觉的电力设备部件松动识别方法，包括：
41.s1:采集电力设备场景的实时拍摄图像；其中，s1包括：
42.s1
‑
1:拍摄电力设备场景的实时拍摄图像，并将实时拍摄图像以直播流形式对外提供码流服务；
43.s1
‑
2：拉取s1
‑
1中的码流，并将码流拆分为逐帧画面。
44.s2：储存预先建立的电力设备场景模型，对s1中的实时拍摄图像进行电力设备松动识别，并将电力设备松动识别结果生成数据码流；
45.s2
‑
2：根据预先建立的电力设备场景模型与实时拍摄图像的电力设备模型进行多次运动轨迹比对，得到比对结果；其中，s2
‑
2包括：
46.s2
‑2‑
1：若比对结果中电力设备的众多图像中90％的比对结果中显示有运动轨迹变化，将判断结果以坐标形式输出，通过输出的坐标结果结合实时拍摄图像进行标注框框出电力设备部件运动轨迹变化位置，融合图像，生成预警画面，并生成数据码流；若比对结果中60％的比对结果中显示电力设备部件没有运动轨迹变化，则删除本次实时拍摄图像。
47.s2
‑
3:识别实时拍摄图像中的检修行为；其中，s2
‑
3包括：
48.s2
‑3‑
1：若识别到检修工对电力设备进行检修行为，则将检修后的电力设备图像替换当前电力设备的初始模型。
49.s3：根据s2的电力设备松动识别结果，发出预警信号，并显示和存储预警画面。
50.实施例二：
51.如图3所示，实施例二与实施例一的不同之处在于，实施例二中，主机104还设有存储模块106和评估模块107，存储模块106和评估模块107均与主机连接，存储模块106中存储有电力设备的安装日期、编号和预估维修日期，主机104还用于根据分析服务器103的数据调取存储模块106中电力设备的编号、预估维修日期和安装日期，并传输给评估模块107，评估模块107预设有运维方案，评估模块107根据主机104调取的数据比对当前电力设备的预估维修日期，同时将同一安装日期的电力设备的编号和运维方案传输至主机。具体为，维修人员根据运维方案做好物资和工具的准备，针对同一安装日期的电力设备进行逐步排查，可以避免其他设备也有同样情况发生时却缺少维修物资的情况出现。
52.以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通
技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本技术给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本技术的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。