一种基于虚实匹配的变电站视觉智能巡检方法

1.本发明涉及变电站巡检领域，具体地涉及一种基于虚实匹配的变电站视觉智能巡检方法。


背景技术：

2.巡检质量与变电站安全生产密切相关，当前变电站巡检方式正向智能化和少人化(无人化)方向发展。传统的基于人工方式的变电站巡检存在劳动强度大、效率低下、难以应对恶劣自然环境等不足。为了使用自动化的设备解决大型电站中的巡检难题，变电站智能巡检机器人应运而生。这些机器人通常搭载可见光相机、红外热像仪、拾音器等检测设备，通过人工设置任务点的方式，辅助或代替人工开展变电设备状态的自动检测与预警。
3.近年来，基于高清摄像头的视觉巡检方案开始在大型变电站场景中大规模部署。通过直接在巡检任务的关键位置(如主变等变电核心设备)部署摄像头的方式，一定程度上能够解决巡检机器人任务点的动态规划难题，但这一方式仍然存在诸多不足。首先，当前的智能装备(机器人、高清摄像头等)主要采用固定的巡检路线或巡检点，这一简单的工作方式难以应对大型变电站中复杂多样的设备类型和环境变化；其次，当前的智能巡检系统仅仅完成了针对特定种类图像缺陷的识别，而难以对这些缺陷进行精准定位，导致系统的智能程度仍不能满足完全替代人工的需求；最后，当前基于深度学习的缺陷检测算法需要高清图像作为输入，往往难以应对由光照、降雨带来的图像模糊或远距离拍摄带来的物体不清晰等问题。


技术实现要素：

4.本发明实施例的目的是提供一种基于虚实匹配的变电站视觉智能巡检方法，该方法构建了真实变电站的数字孪生变电站，可以大幅度提高变电站的自动化运维水平，能够有效提高变电站缺陷检测的效率和准确率。
5.为了实现上述目的，本发明实施例提供一种基于虚实匹配的变电站视觉智能巡检方法，所述方法包括：
6.获取真实变电站场景布局和设备分布模型；
7.根据获取的所述真实变电站场景布局和设备分布模型生成数字孪生变电站的虚拟基础模型；
8.将所述数字孪生变电站的虚拟基础模型中的设备与所述真实变电站的设备对应并更新，以得到精确的所述数字孪生变电站；
9.获取所述真实变电站中的监控摄像头分布情况；
10.将所述数字孪生变电站中与所述真实变电站中的监控摄像头对应的位置添加为虚拟巡检点；
11.在所述虚拟巡检点获取与所述真实变电站中的监控摄像头获取的真实场景图像的一致的虚拟场景图像；
12.将获取到的所述虚拟场景图像保存，并根据与所述真实变电站的设备的对应关系生成虚拟场景解析图像；
13.获取所述真实变电站中的监控摄像头获取的所述真实场景图像；
14.根据图像匹配算法将所述虚拟场景图像与所述真实场景图像进行匹配；
15.根据所述虚拟场景图像至所述真实场景图像的匹配结果将虚拟场景解析图像转化得到真实场景解析图像；
16.确定需要检测的所述真实变电站的设备；
17.在所述真实场景解析图像中获取包含需要检测的所述真实变电站的设备的最小矩形区域；
18.获取与所述真实场景解析图像中得到的包含需要检测的所述真实变电站的设备的所述最小矩形区域对应的所述真实场景图像；
19.将对应的所述真实场景图像进行剪裁，以得到包含需要检测的所述真实变电站设备的真实场景图像的最小矩形区域；
20.对剪裁后的所述真实场景图像进行设备类型关联的缺陷检测，以得到需要检测的所述真实变电站的设备的缺陷检测结果。
21.可选地，所述方法包括：
22.获取所述缺陷检测结果；
23.保存所述缺陷检测结果；
24.发送所述缺陷检测结果，以供工作人员查看。
25.可选地，将所述数字孪生变电站的虚拟基础模型中的设备与所述真实变电站的设备对应并更新，以得到精确的数字孪生变电站包括：
26.获取所述真实变电站的天气和光照环境条件；
27.根据获取的所述真实变电站的天气和光照环境条件对所述数字孪生变电站的场景进一步更新以得到更加精准的所述数字孪生变电站。
28.可选地，将所述数字孪生变电站的虚拟基础模型中的设备与所述真实变电站的设备对应并更新，以得到精确的数字孪生变电站包括：
29.获取所述真实变电站中的场景布局和设备；
30.对获取的所述真实变电站中的场景布局和设备进行分类，以判断所述场景布局和所述设备的数量是否大于第一预设阈值；
31.将小于所述第一预设阈值的所述场景布局和所述设备更加精准的还原到所述数字孪生变电站对应的位置；
32.将大于所述第一预设阈值的所述场景布局和所述设备随机的还原到所述数字孪生变电站对应的位置。
33.可选地，根据图像匹配算法将所述虚拟场景图像与所述真实场景图像进行匹配包括：
34.获取所述真实变电站中的监控摄像头获取的真实场景图像和与所述真实场景图像一致的虚拟场景图像；
35.对所述真实场景图像和所述虚拟场景图像进行数据预处理，以得到所述真实场景图像和所述虚拟场景图像的深度图；
36.筛选深度图小于第二预设阈值的所述真实场景图像和所述虚拟场景图像中的近景部分；
37.保留深度图小于所述第二预设阈值的所述真实场景图像和所述虚拟场景图像中的近景部分；
38.获取筛选后的所述真实场景图像和所述虚拟场景图像的图像特征；
39.对所述真实场景图和所述虚拟场景图的图像特征进行区域划分；
40.通过随机抽样一致算法对所述虚拟场景图像的区域和与所述虚拟场景图像的区域对应的所述真实场景图像的区域的图像特征进行匹配，以将图像特征对应的所述虚拟场景图像和所述真实场景图像进行匹配。
41.可选地，根据图像匹配算法将所述虚拟场景图像与所述真实场景图像进行匹配包括：
42.获取匹配后的每个区域的所述虚拟场景图像和所述真实场景图像；
43.将匹配后的所述虚拟场景图像和所述真实场景图像送到特征提取网络中，以提取所述虚拟场景图像和所述真实场景图像的特征；
44.将提取后的所述虚拟场景图像和所述真实场景图像的特征送入相关性网络中，以计算匹配后的所述虚拟场景图像与所述真实场景图像的相似度，以得到所述虚拟场景图像与所述真实场景图像的相似度得分矩阵；
45.将所述相似度得分矩阵送入光流估计网络中以得到所述虚拟场景图像和所述真实场景图像细对齐的变换的光流场；
46.将所述相似度得分矩阵送入掩码计算网络以得到匹配度掩码；
47.判断每个区域的所述匹配度掩码是否大于第三预设阈值；
48.将小于第三预设阈值的所述虚拟场景图像的区域和与所述虚拟场景图像对应的所述真实场景图像的区域作为新的所述虚拟场景图像和真实场景图像，并返回执行对所述真实场景图和所述虚拟场景图的图像特征进行区域划分的步骤，直到每个区域的所述虚拟场景图像和所述真实场景图像的匹配度掩码大于所述第三预设阈值；
49.融合多个所述光流场以完成所述虚拟场景图像对所述真实场景图像的最终匹配。
50.可选地，在所述真实场景解析图像中获取包含需要检测的所述真实变电站的设备的最小矩形区域包括：
51.获取需要检测的包含所述真实变电站的设备的真实场景解析图像；
52.将所述真实场景解析图像转化为灰度图像；
53.对所述灰度图像使用cv2内置函数求取连通域；
54.对每个所述连通域计算包含所述设备的最小包围矩形的顶点坐标；
55.对所述顶点坐标包含的区域进行剪裁以得到包含需要检测的所述真实变电站的设备的最小矩形区域；
56.在对应的所述真实场景解析图像上剪裁对应的所述最小矩形区域。
57.可选地，对剪裁后的所述真实场景图像进行设备类型关联的缺陷检测，以得到需要检测的所述真实变电站的设备的缺陷检测结果包括：
58.获取剪裁后的所述真实场景图像；
59.判断需要检测的所述真实变电站的设备符合设备全部位置缺陷检测或设备固定
位置缺陷检测；
60.在判断需要检测的所述真实变电站的设备符合设备全部位置缺陷检测的情况下，使用训练好的目标检测网络对剪裁后的所述真实场景图像进行缺陷位置和类型进行检测，并得到缺陷检测结果。
61.可选地，判断需要检测的所述真实变电站的设备符合设备全部位置缺陷检测或设备固定位置缺陷检测包括：
62.在判断需要检测的所述真实变电站的设备符合设备固定位置缺陷检测的情况下，获取需要检测的所述真实变电站的设备的子设备；
63.获取剪裁后的与包含所述子设备的真实场景解析图像对应的真实场景图像；
64.使用imagenet预训练的resnet18网络作为教师网络，使用随机初始化的resnet18网络作学生网络；
65.训练所述学生网络使得所述学生网络对相同输入图像的输出预测特征与所述教师网络的输出预测特征相似；
66.将所述真实场景图像输入至所述学生网络和所述教师网络；
67.获取在所述学生网络和在所述教师网络中的中间层的特征图和最后的特征图；
68.分别计算所述学生网络和教师网络的中间层的特征图和最后的特征图的余弦相似度；
69.将三个所述特征图的余弦相似度值加权相加，以得到包含需要检测的子设备的真实场景图像的异常值；
70.判断所述异常值是否大于所述第四预设阈值；
71.在判断所述异常值大于所述第四预设阈值的情况下，确定包含需要检测的子设备的真实场景图像的所述子设备出现异常。
72.可选地，将获取到的虚拟场景图像保存，并根据与真实变电站的设备的对应关系生成虚拟场景解析图像包括：
73.获取所述真实变电站的设备；
74.将所述真实变电站的不同设备对应不同的语义颜色；
75.将所述虚拟场景图像中的设备与所述真实变电站的设备进行对应；
76.将所述虚拟场景图像中的设备设置成与其对应的语义颜色以得到虚拟场景解析图像。
77.通过上述技术方案，本发明提供的一种基于虚实匹配的变电站视觉智巡检方法通过获取的真实场景变电站的场景布局和设备分布情况生成与真实变电站场景一致的数字孪生变电站。在获取真实变电站的真实场图像后获取与其对应的虚拟场景图像，并且经过进一步的计算得到虚拟场景解析图像和与其对应的真实场景解析图像。将需要检测的设备进行分类，然后对分类后的对应的真实场景图像进行相应的检测，并将检测结果发送出去，以提醒工作人员，该方法能够大幅度的提升变电站的自动化运维水平，且能够有效提高变电站缺陷检测的效率和准确率。
78.本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
79.附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
80.图1是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的流程图；
81.图2是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的部分流程图；
82.图3是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的将天气和光照加入数字孪生变电站的流程图；
83.图4是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的进一步生成数字孪生变电站的流程图；
84.图5是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的将虚拟场景图像和真实场景图像匹配的流程图；
85.图6是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的确定最小矩形区域的流程图；
86.图7是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的缺陷检测的流程图；
87.图8是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的生成虚拟场景解析图像的流程图；
88.图9是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的变电站的真实场景图像(左)、虚拟场景图像(中)和虚拟场景解析图像(右)。
具体实施方式
89.以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
90.图1是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的流程图。图9是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的变电站的真实场景图像(左)、虚拟场景图像(中)和虚拟场景解析图像(右)。该巡检方法可以包括：
91.在步骤s1中，获取真实变电站场景布局和设备分布模型。
92.在步骤s2中，根据真实变电站场景布局和设备分布模型生成数字孪生变电站的虚拟基础模型。
93.在步骤s3中，将数字孪生变电站的虚拟基础模型中的设备与真实变电站的设备对应并更新，以得到精确的数字孪生变电站。
94.在步骤s4中，获取真实变电站中的监控摄像头分布情况。
95.在步骤s5中，将数字孪生变电站中与真实变电站中的监控摄像头对应的位置添加为虚拟巡检点。
96.在步骤s6中，在虚拟巡检点获取与真实变电站中的监控摄像头获取的真实场景图
像一致的虚拟场景图像。
97.在步骤s7中，将获取到的虚拟场景图像保存，并根据本与真实变电站的设备的对应关系生成虚拟场景解析图像。
98.在步骤s8中，获取真实变电站中的监控摄像头获取的真实场景图像；
99.在步骤s9中，根据图像匹配算法将虚拟场景图像与真实场景图像进行匹配；
100.在步骤s10中，根据虚拟场景解析图像至真实场景解析图像的匹配结果将虚拟场景解析图像转化得到真实场景解析图像。
101.在步骤s11中，确定需要检测的真实变电站的设备。
102.在步骤s12中，在真实场景解析图像中获取需要检测的真实变电站的设备的最小矩形区域。
103.在步骤s13中，获取与真实场景解析图像中得到的包含需要检测的真实变电站的设备的最小矩形区域对应的真实场景图像。
104.在步骤s14中，将对应的真实场景图像进行剪裁，已得到包含需要检测的真实变电站设备的真实场景图像的最小矩形区域。
105.在步骤s15中，对剪裁后的真实场景图像进行设备类型关联的缺陷检测，以得到需要检测的真实变电站的设备的缺陷检测结果。
106.在需要对变电站的设备进行检测时，需要获取真实变电站的场景布局和设备分布，然后根据真实变电站的情况生成数字孪生变电站。在生成数字孪生变电站后，可以将数字孪生变电站中的设备与真实变电站中的设备进一步对应并更新，以生成更加精确的数字孪生变电站。在该数字孪生变电站中，需要重点检测的设备的各个点与真实变电站中的设备的各个点都一一对应。在更新好数字孪生变电站后，可以获取真实变电站中的监控摄像头的分布情况，然后根据在真实变电站中的监控摄像头的分布情况在数字孪生变电站中的对应的位置添加为虚拟巡检点。在添加虚拟巡检点后，可以根据监控摄像头的角度变化调整虚拟巡检点的朝向获取与监控摄像头获取的真实场景图像一致的虚拟场景图像。在获取到虚拟场景图像后，可以将该虚拟场景图像保存并且可以根据该虚拟场景图像与真实场景图像的对应关系生成虚拟场景解析图像。真实变电站中的不同的设备可以对应不同的语义颜色，然后将其反映到虚拟场景解析图像中。在获取虚拟场景解析图像后，可以获取该真实变电站中的监控摄像头获取的真实场景图像。上述得到的虚拟场景图像和真实场景图像对应，但是，在获取虚拟场景图像时，该虚拟场景图像和真实场景图像会有一些偏差，因此，需要通过图像匹配算法将虚拟场景图像和真实场景图像进行匹配。虚拟场景解析图像和真实场景解析图像的对应关系与虚拟场景图像和真实场景图像的对应关系是一致的，因此在将虚拟场景图像和真实场景图像匹配后，可以根据虚拟场景图像和真实场景图像的关系和结果，将虚拟场景解析图像转换得到真实场景解析图像。在得到真实场景解析图像后，可以确定需要检测的真实变电站的设备。在确定需要检测的真实变电站的设备后，可以在真实场景解析图像中获取包含该需要检测的设备的最小矩形区域，然后将该最小矩形区域对应到真实场景图像中，然后对该真实场景图像进行剪裁，以得到包含该需要检测的设备的真实场景图像的最小矩形区域。剪裁得到包含需要检测的设备的真实场景图像后，对该图像进行设备类型关联的缺陷检测，以得到该需要检测的真实变电站的设备的缺陷检测结果。
107.在本发明的一个实施方式中，图2是根据本发明的一个实施方式的一种基于虚实
匹配的变电站视觉智能巡检方法的部分流程图。该方法可以包括：
108.在步骤s16中，获取缺陷检测结果。
109.在步骤s17中，保存缺陷检测结果。
110.在步骤s18中，发送缺陷检测结果，以供工作人员查看。
111.在得到需要检测的真实变电站的设备的缺陷检测结果后，可以将该缺陷检测结果保存并发送给工作人员查看。在将该缺陷检测结果保存后，就可以便于进行巡检过程可视化或者巡检结果查询等后续任务。
112.在本发明的一个实施方式中，图3是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的将天气和光照加入数字孪生变电站的流程图。在将天气和光照等条件加入到数字孪生变电站可以包括：
113.在步骤s19中，获取真实变电站的天气和光照环境条件。
114.在在步骤s20中，根据获取的真实变电站的天气和光照环境条件对数字孪生变电站的场景进一步更新以得到更加精准的树脂字孪生变电站。
115.在构建数字孪生变电站时，如果不考虑真实变电站的天气和光照等环境因素的影响，则在生成数字孪生变电站时，该数字孪生变电站的虚拟场景和真实变电站的真实场景会有偏差，进而影响后续的对齐效果。因此，在构建数字孪生变电站时，获取当前的真实变电站的天气和光照等环境条件，然后根据获取的天气和光照等环境条件对该数字孪生变电站进一步的进行渲染，使得该数字孪生变电站的的虚拟场景尽可能贴合真实变电站中的监控摄像头内的真实场景，使得该数字孪生变电站的更加的贴合该真实的变电站，以便于后续的对齐工作。
116.在本发明的一个实施方式中，图4是根据本发明的一个实施方式的一种基于虚实匹配的变电站视觉智能巡检方法的进一步生成数字孪生变电站的流程图。生成该数字孪生变电站可以包括：
117.在步骤s21中，获取真实变电站中的场景布局和设备。
118.在步骤s22中，对获取的真实变电站中的场景布局和设备进行分类，以判断场景布局和设备的数量是否大于第一预设阈值。
119.在步骤s23中，将小于第一预设阈值的场景布局和设备更加精准的还原到数字孪生变电站对应的位置。
120.在步骤s24中，将大于第一预设阈值的场景布局和设备随机的还原到数字孪生变电站对应的位置。
121.在生成数字孪生变电站时，可以根据真实变电站的设备和场景布局的不同属性，将其精确或者模糊的对应到数字孪生变电站中。在将真实变电站1:1还原到数字孪生变电站中时，可以将真实变电站中的场景布局和设备等对象按照材质属性进行分类，如土地、道路、树木、变压箱等。该场景布局可以是土地，树木等数量多，重复性大的物体。对于不同属性的对象可以采用不同的构建方法。当获取的场景布局和设备的数量和重复性小于第一预设阈值，说明该获取的场景布局和设备应该是变电站设备这类数量少、重复性低的对象，可以通过创建顶点、绘制三角形、绘制颜色贴图、创建模型材质、添加光影等步骤，精确构建出该真实变电站的设备的三维模型，使得每个对象都有一个精确的还原的虚拟三维模型。当获取的场景布局和设备的数量和重复性大于第一预设阈值，说明该获取的场景布局和设备
应该是土地、树木等数量多且随机性较大的对象，因此，在对其构建虚拟三维模型时，可以在该数字孪生变电站的对应的位置上随机生成，该随机属性可以包括旋转、缩放、小幅位移等。
122.在本发明的一个实施方式中，如图5所示，将虚拟场景图像和真实场景图像进行匹配可以包括：
123.在步骤s25中，获取真实变电站中的监控摄像头获取的真实场景图像和与与真实场景图像一致的虚拟场景图像。
124.在步骤s26中，对真实场景图像和虚拟场景图像进行数据预处理，以得到真实场景图像和虚拟场景图像的深度图。
125.在步骤s27中，筛选深度图小于第二预设阈值的真实场景图像和虚拟场景图像中的近景部分。
126.在步骤s28中，保留深度图小于第二预设阈值的真实场景图像和虚拟场景图像中的近景部分。
127.在步骤s29中，获取筛选后的真实场景图像和虚拟场景图像的图像特征。
128.在步骤s30中，对真实场景图像和虚拟场景图像的图像特征进行区域划分。
129.在步骤s31中，通过随机抽样一直算法对虚拟场景图像的区域和与虚拟场景图像的区域对应的真实场景图像的区域的图像特征进行匹配，以将图像特征对应的虚拟场景图像和真实场景图像进行匹配。
130.虽然可以获取真实场景图像和与该真实场景图像一致的虚拟场景图像，但是因为在真实变电站中的摄像头角度偏移等问题，该真实场景图像和虚拟场景图像可能会有偏差，并且需要获取虚拟场景图像和真实场景图像的匹配关系，因此，需要将虚拟场景图像和真实场景图像进行匹配。在进行匹配的过程中，可以将获取的真实场景图像和虚拟场景图像进行数据预处理，以得到关于该真实场景图像和虚拟场景图像的深度图。然后筛选深度图信息小于第二预设阈值的真实场景图像和虚拟场景图像中的近景部分。根据该第二预设阈值可以将该虚拟场景场景图像和真实场景图像划分为近距离的近景部分和远距离的背景部分，然后将虚拟场景图像和真实场景图像中的背景部分去除，以避免过远处的无意义的场景内容干扰匹配结果。获取筛选后的真实场景图像和虚拟场景图像后，再次获取该真实场景图像和虚拟场景图像的图像特征，然后对真实场景图像和虚拟场景图像中的图像特征进行区域划分。通过随机抽样一致算法对划分区域后的虚拟场景图像的图像特征和真实场景图像的图像特征进行匹配，以将图像特征对应的虚拟场景图像和真实场景图像进行匹配。以便于后续对匹配后的虚拟场景图像和真实场景图像进一步的分析。
131.在本发明的一个实施方式中，如图5所示，在步骤s31后，还可以包括：
132.在步骤s32中，获取匹配后的每个区域的真实场景图像和虚拟场景图像。
133.在步骤s33中，将匹配后的真实场景图像和虚拟场景图像送到特征提取网络中，以提取真实场景图像和虚拟场景图像的特征。
134.在步骤s34中，将提取后的真实场景图像和虚拟场景图像的特征送入相关性网络中，以计算匹配后的真实场景图像和虚拟场景图像的相似度，以得到关于真实场景图像和虚拟场景图像的相似度得分矩阵。
135.在步骤s35中，将相似度得分矩阵送入光溜估计网络中以得到虚拟场景图像和真
实场景图像细对齐的变换的光流场。
136.在步骤s36中，将相似度得分矩阵送入掩码计算网络以得到匹配度掩码。
137.在步骤s37中，判断每个区域的匹配度掩码是否大于第三预设阈值。
138.在步骤s38中，将小于第三预设阈值的虚拟场景图像的区域和与虚拟场景图像对应的真实场景图像的区域作为新的虚拟场景图像和真实场景图像，并且返回到步骤s30中，知道每个区域的虚拟场景图像和真实场景图像的匹配度掩码大于第三预设阈值。
139.在步骤s39中，融合多个光流场以完成虚拟场景图像和真实场景图像的最终匹配。
140.在步骤s31后，虚拟场景图像和真实场景图像已经完成匹配，但是此时虚拟场景图像和真实场景图像还是属于粗匹配，此时虚拟场景图像和真实场景图像的匹配效果还是不够，因此需要将匹配后的虚拟场景图像和真实场景图像再次进行细对齐。将匹配后的虚拟场景图像和真实场景图像送入到特征提取网络中，以得到虚拟场景图像和真实场景图像的特征。将虚拟场景图像和真实场景图像的特征送入到相关性网络中，计算匹配后的虚拟场景图像与真实场景图像的相似度，以得到虚拟场景图像与真实场景图像的相似度得分矩阵。将该相似度得分矩阵送入光流估计网络中可以得到虚拟场景图像和真实场景图像细对齐的变换的光流场。将该相似度得分矩阵送入掩码计算网络中以得到匹配度掩码。该匹配度掩码可以衡量每个区域的虚拟场景图像和真实场景图像经过细对齐后的效果是否满足要求。如果一个区域的匹配度掩码小于第三预设阈值，则该区域的虚拟场景图像和真实场景图像的对齐效果较差，则需要将该区域的虚拟场景图像和真实场景图像作为新的虚拟场景图像和真实场景图像再次送会到步骤s30中循环，直到每个区域的虚拟场景图像和真实场景图像的匹配度掩码大于第三预设阈值，说明每个区域的虚拟场景图像和真实场景图像经过细对齐后，其效果已经满足要求，此时将经过细对齐后的每个区域光流场进行融合，以完成虚拟场景图像和真实场景图像的最终匹配。
141.在将光流场融合后，可以将该光流场作用于虚拟场景解析图像，从而可以将该虚拟场景解析图像转换得到真实场景解析图像。
142.在本发明的一个实施方式中，如图6所示，获取最小矩形区域可以包括：
143.在步骤s40中，获取需要检测的包含真实变电站的设备的真实场景解析图像。
144.在步骤s41中，将真是场景解析图像转化为灰度图像。
145.在步骤s42中，对灰度图像使用cv2内置函数求取连通域。
146.在步骤s43中，对每个连通域计算包含设备的最小包围矩形的顶点坐标。
147.在步骤s44中，对顶点坐标包含的区域进行剪裁以得到包含需要检测的真实变电站的设备的最小矩形区域。
148.在步骤s45中，在对应的真实场景解析图像上剪裁对应的最小矩形区域。
149.在对变电站的设备进行缺陷检测时，需要在虚拟场景图像中确定待检测的设备，然后在虚拟场景解析图像里确定对应的设备，并通过虚拟场景解析图像和真实场景解析图像的转换关系确定在真实场景解析图像里对应的设备。然后将包含该设备的真实场景解析图像转化为灰度图像，并对该灰度图像使用cv2内置函数cv2.connectedcomponents求取连通域。对该连通域进行一系列的计算，得到包含待检测的设备的最小矩形区域，并且在真实场景解析图像上剪裁得到对应的最小矩形区域。
150.在本发明的一个实施方式中，如图7所示，对真实变电站的设备的缺陷检测可以包
括：
151.在步骤s46中，获取剪裁后的真实场景图像。
152.在步骤s47中，判断剪裁后的真实场景图像符合设备全部位置缺陷检测或设备固定位置缺陷检测。
153.在步骤s48中，在判断剪裁后的真实场景图像符合设备全部位置缺陷检测的情况下，使用训练好的目标检测网络对缺陷位置进行检测，并得到缺陷检测结果。
154.在得到剪裁后的真实场景图像后，判断需要检测的变电站的设备的符合设备全部位置缺陷检测或者设备固定位置缺陷检测。在需要检测的变电站的设备符合设备全部位置缺陷检测的情况下，表明该缺陷可能出现在设备的全部位置，该缺陷可能是锈蚀、油污和鸟窝等，此时可以将预先已经训练好的目标检测网络如yolox对该真实场景图像进行缺陷位置和类型检测，并得到检测的结果。
155.在本发明的一个实施方式中，如图7所示，对真实变电站的设备的缺陷检测还可以包括：
156.在步骤s49中，在判断需要检测的真实变电站的设备符合设备固定位置缺陷检测的情况下，获取需要检测的真实变电站的设备的子设备。
157.在步骤s50中，获取剪裁后的与包含子设备的真实场景解析图像对应的真实场景图像。
158.在步骤s51中，使用imagenet预训练的resnet18网络作为教师网络，使用随机初始化的resnet18网络作学生网络。
159.在步骤s52中，训练学生网络使得学生网络对相同输入图像的输出预测特征与教师网络的输出预测特征相似。
160.在步骤s53中，将真实场景图像输入至学生网络和教师网络。
161.在步骤s54中，获取在学生网络和在教师网络中的中间层的特征图和最后的特征图的余弦相似度。
162.在步骤s55中，将三个特征图的余弦相似度值加权相加，以得到包含需要检测的子设备的真实场景图像的异常值。
163.在步骤s56中，判断异常值是否大于第四预设阈值。
164.在步骤s57中，在判断异常值大于第四预设阈值的情况下，确定包含需要检测的子设备的真实场景图像的子设备出现异常。
165.在判断需要检测的真实变电站的设备符合设备全部位置缺陷检测的情况下，表明该缺陷可能出现在设备的固定位置，如表盘进水，绝缘子破损等。因此可以使用imagenet识别设备固定位置的子设备。将包含子设备的真实场景图像输入进教室网络和学生网络，并根据教师网络和学生网络输出的特征与判断子设备是否出现异常。将三个特征图的余弦相似度值加权相加，使得需要检测的子设备的缺陷可以评判，因此将三个余弦相似度值加权相加可以得到包含需要检测的子设备的真实场景图像的异常值，并对该异常值进行判断。在判断该异常值大于第四预设阈值的情况下，说明该子设备出现异常。
166.在本发明的一个实施方式中，如图8所示，生成虚拟场景解析图像可以包括：
167.在步骤s58中，获取真实变电站的设备。
168.在步骤s59中，将真实变电站的不同设备对应不同的颜色。
169.在步骤s60中，将虚拟场景图像中的设备与真实变电站的设备进行对应。
170.在步骤s61中，将虚拟场景图像中的设备设置成与其对应的颜色以得到虚拟场景解析图像。
171.在缺设备进行缺陷检测前，需要在虚拟场景解析图像内确定需要检测的对象，然后根据与虚拟场景解析图像的对应关系在真实场景解析图像中确定需要检测设备，因此，需要首先得到虚拟场景解析图像。在生成数字孪生变电站时，真实变电站中的各个设备都设有编号，因此，可以通过获取不同的编号以获取真实变电站中的不同的设备，然后将变电站中的不同的设备设置不同的语义颜色。将在虚拟场景图像中不同的设备设置为不同的语义颜色，以得到场景解析图像，因此，当需要检测变电站中的设备时，可以通过寻找虚拟场景解析图像中与设备对应的语义颜色来实现。
172.通过上述技术方案，本发明提供的一种基于虚实匹配的变电站视觉智巡检方法通过获取的真实场景变电站的场景布局和设备分布情况生成与真实变电站场景一致的数字孪生变电站。在获取真实变电站的真实场图像后获取与其对应的虚拟场景图像，并且经过进一步的计算得到虚拟场景解析图像和与其对应的真实场景解析图像。将需要检测的设备进行分类，然后对分类后的对应的真实场景图像进行相应的检测，并将检测结果发送出去，以提醒工作人员，该方法能够大幅度的提升变电站的自动化运维水平，且能够有效提高变电站缺陷检测的效率和准确率。
173.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
174.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。