变电站设备表面油污图像数据生成方法及装置与流程

本发明涉及变电站的视觉识别技术领域，具体地涉及一种变电站设备表面油污图像数据生成方法及装置。

背景技术：

电力系统是当前经济社会稳定发展的前提和保障，我国目前多采用人工巡检的方式对变电站进行检查，这种方式人工成本高昂，工作环境危险性大，且工作强度就大、工作条件艰苦。随着体力劳动者适龄人口的锐减和人口结构老龄化，必然要快速引进自动化设备以替代劳动力的不足，“机器换人”的趋势必将不可逆转。随着中国智能化电网建设的逐渐深入，基于视觉图像数据的变电站巡检机器人、高清视频巡检等开始得到广泛应用，既解决了电网规模持续增长与运检人员数量无法同步增长的矛盾，又能更显著地提高设备巡检质量与工作效率，减少操作人员的工作量与工作强度，利用机器人代替人工巡检已是不争的发展趋势。

变电站的设备巡检一直以来都是整个变电站在运检过程中的核心工作。变电站内大部分电气设备是充油设备，在长期的运行过程中，随着运行环境和方式的变化，充油设备会出现不同程度的渗漏油现象，轻微的渗漏油会降低充油设备的绝缘水平，限制其供电能力，渗漏油严重时则影响设备安全，危害电网稳定运行。因此，在对渗漏油的日常巡视维护中，设备渗漏油检查就显得尤为重要。

通常情况下，开发巡检机器人的渗漏油检查算法需要大量的带有标注的设备表面油污图像数据。但是，由于电力行业设备众多，复杂多变。同时，获取的数据大部分取自现场拍摄，存在一定的环境局限性，这为表面油污的智能识别模型构建带来了很大的挑战。

随着计算机视觉技术的不断突破，很多基于深度学习的方法在变电站智能巡检任务上得到了应用。研究和实践表明，深度学习算法的性能严重依赖于训练数据的质量和规模，因此基于深度学习的设备表面油污检测需要大量的优质图像数据。考虑到设备表面油污检测识别的需求，设备表面油污图像数据的规模除了要尽可能大以外，一般还需要满足：(1)设备表面油污数据应覆盖全面，对于可能出现的情况都需要尽可能的覆盖到；(2)设备表面油污数据应包含各种极端情况，如暴雨、大雪等天气下的数据，用于提升算法在极端天气下的检测能力；(3)设备表面油污数据应具有准确的标注，且标注内容应尽量丰富，如精细化标注油污区域、严重情况等，以支撑各类设备表面油污检测算法的设计。

目前常用的用来构建设备表面油污数据集的方法是基于人工采集标注的方法，即通过人工、机器人、监控相机等获取真实的设备表面油污数据。在变电站内，一般是利用固定的采集摄像头对设备进行采集并判断异常情况，或者通过手持相机直接采集由于出现表面油污而被替换下的设备，这样获得的数据虽真实有效，但是无法大量获取，覆盖范围狭隘，采集效率较低，同时仍需要人工标注，费时费力。

技术实现要素：

本发明实施方式的目的是提供一种变电站设备表面油污图像数据生成方法及装置，该方法及装置能够克服现有技术中依赖人为现场采集设备油污图像数据的技术缺陷。

为了实现上述目的，本发明实施方式提供一种变电站设备表面油污图像数据生成方法，所述方法包括：

根据在变电站内采集的设备以及设备表面油污的图像，分别进行高仿真建模以得到表示所述变电站的第一三维模型和表示所述设备表面油污的第二三维模型；

采用物体网格匹配的方法将所述第二三维模型加入所述第一三维模型中以得到表示带有设备表面油污的变电站的第三三维模型；

基于点面匹配的方法在所述第三三维模型中选择多个目标视角；

根据所述多个目标视角获取所述设备表面油污的图像部分；

在所述第三三维模型中的每个所述设备和所述设备表面油污分别渲染不同的像素值，并以语义分割图的形式表示；

将所述语义分割图作为标注部分和所述图像部分组合以合成所述变电站的设备表面油污合成数据。

可选地，所述方法进一步包括：

在生成所述第三三维模型时，针对预设的不同的天气类型渲染所述第三三维模型。

可选地，所述采用物体网格匹配的方法将所述第二三维模型加入所述第一三维模型中以得到表示带有设备表面油污的变电站的第三三维模型具体包括：

确定所述第二三维模型中每种所述设备表面油污的油污贴图的第一网格面积；

确定所述第一三维模型中每种设备的外部表面的第二网格面积；

根据所述第一网格面积和所述第二网格面积的大小关系搜索所述设备表面油污以得到可能出现所述设备表面油污的外部表面；

针对任一所述外部表面，在所述第二网格面积大于所述第一网格面积的情况下，确定所述第一网格面积对应的设备表面油污可能出现在所述第二网格面积对应的所述外部表面上。

可选地，所述基于点面匹配的方法在所述第三三维模型中选择多个目标视角具体包括：

针对所述第三三维模型中的所述外部表面，选择多个视角以拍摄所述外部表面的图片；

确定所述图片中是否包括其他的所述设备；

在所述图片中包括其他的所述设备的情况下，删除对应的所述视角；

在所述图片中不包括其他的所述设备的情况下，保留对应的所述视角；

组合所有保留的所述视角以构成所述多个目标视角。

可选地，所述方法进一步包括：

在生成所述语义分割图时，将所述设备表面油污的类型、标注框、设备的类型、当前的视角、距离、光照以及天气进行编码并加入所述语义分割图中。

第二方面，本发明还提供一种变电站设备表面油污图像数据生成装置，所述装置包括处理器，所述处理器用于被机器读取以使得所述机器执行如上述所述的方法。

第三方面，本发明还提供一种变电站设备的机器视觉识别方法，所述识别方法包括：

采用如上述任一所述的方法生成变电站的设备表面油污合成数据；

基于所述设备表面油污合成数据训练预设的神经网络；

采用训练完成的所述神经网络识别所述变电站的设备。

第四方面，本发明还提供一种变电站设备的机器视觉识别装置，所述识别装置包括处理器，所述处理器用于执行如上述所述的识别方法。

第五方面，本发明还提供一种存储介质，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的方法。

通过上述技术方案，本发明提供的变电站设备表面油污图像数据生成方法及装置能够克服现有技术中由于依赖人为现场采集变电站的设备表面油污图像而导致的数据集获取难度大的技术缺陷，使得在仅投入少量的采集工作的情况下，通过三维建模的方式也能够获得大量的数据集。本发明提供的变电站设备的机器视觉识别方法及装置通过采用前述的方法及装置所生成的设备表面油污合成数据，在保证训练集和测试集足够庞大的情况下，提高了神经网络的训练效率以及后续的识别精度。

本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：

图1是根据本发明的一个实施方式的变电站设备表面油污图像数据生成方法的流程图；

图2是根据本发明的一个实施方式的物体网格匹配方法的流程图；

图3是根据本发明的一个实施方式的点面匹配的方法的流程图；以及

图4是根据本发明的一个示例的语义分割图和三维图的示例图。

具体实施方式

以下结合附图对本发明实施方式的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施方式，并不用于限制本发明实施方式。

在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。

另外，若本发明实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

如图1所示是根据本发明的一个实施方式的变电站设备表面油污图像数据生成方法的流程图。在图1中，该方法可以包括：

在步骤s10中，根据在变电站内采集的设备以及设备表面油污的图像，分别进行高仿真建模以得到表示变电站的第一三维模型和表示设备表面油污的第二三维模型。其中，对于该第一三维模型，可以是基于变电站的设备的标准图纸，对变电站的各个设备进行高仿真建模。然后根据各个设备在变电站的位置分布，组合各个设备以构成该第一三维模型。对于第二三维模型，则可以是结合油污的渗透原理和视觉特效，针对油污在设备表面的各种状态，从而得到各种逼真的油污样式，即表示设备表面油污的第二三维模型。

在步骤s11中，采用物体网格匹配的方法将第二三维模型加入第一三维模型中以得到表示带有设备表面油污的变电站的第三三维模型。对于物体网格匹配方法，可以是例如图2中所示的步骤。在图2中，该物体网格匹配方法可以包括：

在步骤s20中，确定第二三维模型中每种设备表面油污的油污贴图的第一网格面积。

在步骤s21中，确定第一三维模型中每种设备的外部表面的第二网格面积。

在步骤s22中，根据第一网格面积和第二网格面积的大小关系搜索设备表面油污以得到可能出现设备表面油污的外部表面。

在步骤s23中，针对任一外部表面，在第二网格面积大于第一网格面积的情况下，确定第一网格面积对应的设备表面油污可能出现在第二网格面积对应的外部表面上。

在图2所示出的方法中，由于变电站的特殊环境，变电站的设备上的每个平整的外部表面，都可能会出现设备表面油污。但是，在渲染第三三维模型时，考虑到有些外部表面的面积可能会小于设备表面油污。这种情况下强行将该设备表面油污渲染至该外部表面上，显然会导致所生成的第三三维模型难以满足要求。因此，在步骤s20至步骤s23中，针对每个设备表面油污的网格面积，分别搜索每个外部表面，从而避免出现第二网格面积大于第一网格面积的情况。

进一步地，由于变电站不同设备的外部条件不同。对于一些设备，只可能出现一部分的设备表面油污。在这样的背景下，如果继续采用随机分布的方式来填充设备表面油污，就会生成较多的无意义的第三三维模型。因此，如图2中所示出的物体网格匹配方法也可以进一步包括针对不同的设备选择对应的设备表面油污的步骤。具体地，可以是例如先根据不同设备的条件确定对应可能出现的设备表面油污，然后再针对执行如图2中所示出的方法。针对每个设备表面油污，分别搜索对应的外部表面以判断第一网格面积和第二网格面积的大小关系。最终确定每个外部表面可能出现的设备表面油污的类型及样式。

在步骤s12中，基于点面匹配的方法在第三三维模型中选择多个目标视角。由于本发明要解决的技术问题是现有技术中由于依赖人为现场采集变电站的设备表面油污图像而导致的数据集获取难度大。通过如图1中所示的方法，可以在仅采用少量的采集工作的前提下，利用计算机三维建模的方法得到大量的数据集。但是，与现场人为采集的不同之处在于：现场人为采集图像时，可以人为实时判断，从而避免出现所采集的图像中出现其他设备或者干扰因素；但是在本发明的方法中，由于采用的是计算机建模，图像的采集自然也只能是计算机来完成，这样就很难去确定所拍摄的图像中是否出现其他设备或干扰因素。因此，在该步骤s12中，可以是基于点面匹配的方法选择多个目标视角来拍摄。具体地，该点面匹配的方法可以是例如图3中所示。在图3中，该点面匹配的方法可以包括：

在步骤s30中，针对第三三维模型中的外部表面，选择多个视角以拍摄外部表面的图片(图像)。

在步骤s31中，确定图片中是否包括其他的设备。

在步骤s32中，在图片中包括其他的设备的情况下，删除对应的视角。

在步骤s33中，在图片中不包括其他的设备的情况下，保留对应的视角。

在步骤s34中，组合所有保留的视角以构成多个目标视角。

通过如图3中所示出的方法，提前对拍摄的视角进行筛选，避免出现所拍摄的图像不满足要求的情况出现，从而克服了计算机建模拍摄图像取代现有技术人为拍摄所出现的技术问题。

在步骤s13中，根据多个目标视角获取设备表面油污的图像部分。

在步骤s14中，在第三三维模型中的每个设备和设备表面油污分别渲染不同的像素值，并以语义分割图的形式表示。另外，在生成语义分割图时，也将设备表面油污的类型、标注框、设备的类型、当前的视角、距离、光照以及天气进行编码并加入语义分割图中，这样可以便于在后续进行神经网络训练的过程中，神经网络快速识别，从而提高了整体的训练效率。在本发明的一个示例中，发明人采用虚拟引擎中的airsim插件进行场景图像中物体掩膜的渲染。在每生成一张设备表面油污的同时，对场景内天空、地面、变电站设备、设备上不同样式的油污区域进行不同颜色的渲染并保存，以语义分割图表示。然后分析获取的语义分割图，根据图中各部分的连通域和像素值生成对应的标注框以及油污样式种类等信息，生成的标注效果示意如图4所示。图中右边是渲染得到的设备表面油污图像数据和对应的语义分割图，对于不同的模型进行了不同的像素值的渲染，油污样式种类等信息则通过左下角的小色块的像素值进行标记，根据该像素值的数值和连通域分析，可以基于该语义分割图获取用于检测和分类等任务的标注内容。

在步骤s15中，将语义分割图作为标注部分和图像部分组合以合成变电站的设备表面油污合成数据。

考虑到后续的机器识别算法在工作的过程中，可能会碰到变电站的各种天气的影响。因此，在本发明的一个实施方式中，在生成表示带有设备表面油污的第三三维模型时，可以针对预设的不同的天气类型渲染第三三维模型。其中，该天气类型可以是例如白天、中午和夜晚的不同光照条件，以及雨天、晴天、雪天、雾天和沙尘暴的不同天气类型。具体渲染方式可以是采用虚拟引擎进行渲染。

第二方面，本发明还提供一种变电站设备表面油污图像数据生成装置，该装置可以包括处理器，该处理器可以用于被机器读取以使得所述机器执行如上述所述的方法。

第三方面，本发明还提供一种变电站设备的机器视觉识别方法，该识别方法可以是例如先采用如上述任一所述的方法生成变电站的设备表面油污合成数据；再基于设备表面油污合成数据训练预设的神经网络；最后采用训练完成的神经网络识别变电站的设备。

第四方面，本发明还提供一种变电站设备的机器视觉识别装置，该识别装置可以包括处理器，该处理器可以用于执行如上述所述的识别方法。

第五方面，本发明还提供一种存储介质，该存储介质可以存储有指令，该指令可以用于被机器读取以使得所述机器执行如上述任一所述的方法。

通过上述技术方案，本发明提供的变电站设备表面油污图像数据生成方法及装置能够克服现有技术中由于依赖人为现场采集变电站的设备表面油污图像而导致的数据集获取难度大的技术缺陷，使得在仅投入少量的采集工作的情况下，通过三维建模的方式也能够获得大量的数据集。本发明提供的变电站设备的机器视觉识别方法及装置通过采用前述的方法及装置所生成的设备表面油污合成数据，在保证训练集和测试集足够庞大的情况下，提高了神经网络的训练效率以及后续的识别精度。

以上结合附图详细描述了本发明例的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个可以是单片机，芯片等或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施方式的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。