一种输电线路图像样本对抗学习增广方法及系统与流程

1.本技术涉及输电线路巡检技术领域，尤其涉及一种输电线路图像样本对抗学习增广方法及系统。


背景技术：

2.随着科技的不断革新与进步，无人机器人被广泛应用到各个领域中，在危险作业中，逐渐取代作业人员。尤其是在输电线路巡检领域中，基于输电线路的覆盖面广的特点，作业人员很难快速的对输电线路进行巡检，就充分发挥了无人机器人例如无人机在输电线路巡检中的作用，通过无人机能够快速的对输电线路进行巡检。
3.而无人机在对输电线路进行巡检时，需要准确的识别出检测目标，在现有技术中，通常对无人机的神经网络进行训练，使无人机能够准确的识别出输电线路中的检测目标。而对无人机的神经网络进行训练时，就需要较多的图像样本，但目前采用拍照采集的方式获取图像样本的方法不仅耗时耗力，而且，图像中的特征也较少。


技术实现要素：

4.本技术提供了一种输电线路图像样本对抗学习增广方法及系统，用于解决现有技术获取图像样本耗时耗力且特征较少的技术问题。
5.有鉴于此，本技术第一方面提供了一种输电线路图像样本对抗学习增广方法，包括以下步骤：
6.获取输电线路的巡检视频，所述巡检视频包含检测目标；
7.将所述影像视频解帧处理，获得多个解帧图像；
8.提取所述多个解帧图像中包含有所述检测目标的局部位置的图像以作为原始图像；
9.将所述原始图像进行分组，从而得到多组所述原始图像；
10.根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
11.基于对抗网络构建数据生成模型，通过所述数据生成模型对所述图像样本集进行增广处理，得出增广图像样本集。
12.优选地，所述提取所述多个解帧图像中包含有所述检测目标的局部位置的图像以作为原始图像的步骤具体包括：
13.基于python软件中的gdal模块对所述多个解帧图像进行切割，从而得到多个切割图像；
14.基于labelme软件标注所述多个切割图像中包含有所述检测目标的切割图像，将标注有所述检测目标的局部位置的切割图像作为所述原始图像。
15.优选地，所述根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集的步骤具体包括：
16.基于图像处渲染技术向多组所述原始图像分别添加不同的环境条件，而得到具有不同的环境条件的图像样本集。
17.优选地，所述根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集的步骤之后包括：
18.对所述图像样本集中的图像进行变形处理，其变形处理的方式包括水平翻转、垂直翻转、随机角度旋转、90
°
旋转、180
°
旋转、270
°
旋转、随机缩放、扭曲变形中的一种方式或多种方式组合。
19.优选地，所述对抗网络包括生成器和判别器；所述生成器用于将所述图像样本集生成扩展图像样本；所述判别器用于根据所述扩展图像样本生成相应的真实高质量图像样本。
20.优选地，所述生成器包括依次连接的第一全连接层、第一转置卷积层、第一残差块、第二残差块、第二转置卷积层、第三残差块、第四残差块、第三转置卷积层、第五残差块、第六残差块、第四转置卷积层、第七残差块、第八残差块、第五转置卷积层和第六转置卷积层，其中，所述第六转置卷积层包括有第六卷积子层和第六激活子层，所述第六卷积子层的卷积核大小为1，其步长为1，所述第六激活子层为tanh激活子层。
21.第二方面，本发明还提供了一种输电线路图像样本对抗学习增广系统，包括：
22.获取模块，用于获取输电线路的巡检视频，所述巡检视频包含检测目标；
23.解帧模块，用于将所述影像视频解帧处理，获得多个解帧图像；
24.提取模块，用于提取所述多个解帧图像中包含有所述检测目标的局部位置的图像以作为原始图像；
25.分组模块，用于将所述原始图像进行分组，从而得到多组所述原始图像；
26.环境添加模块，用于根据预设的环境添加规则向多组所述原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
27.增广模块，用于基于对抗网络构建数据生成模型，还用于通过所述数据生成模型对所述图像样本集进行增广处理，得出增广图像样本集。
28.优选地，所述提取模块具体包括切割子模块和标注子模块；
29.所述切割子模块，用于基于python软件中的gdal模块对所述多个解帧图像进行切割，从而得到多个切割图像；
30.所述标注子模块，用于基于labelme软件标注所述多个切割图像中包含有所述检测目标的切割图像，将标注有所述检测目标的局部位置的切割图像作为所述原始图像。
31.优选地，所述环境添加模块具体用于基于图像处渲染技术向多组所述原始图像分别添加不同的环境条件，而得到具有不同的环境条件的图像样本集。
32.优选地，本系统还包括变形模块，用于对所述图像样本集中的图像进行变形处理。
33.从以上技术方案可以看出，本发明具有以下优点：
34.本发明通过获取包含检测目标的巡检视频，并将巡检视频解帧获取较大基数的解帧图像，提高了获取图像的效率，将解帧图像中包含检测目标的局部位置的图像作为原始图像，从而能够减少不具有检测目标的图像对后续对抗网络构建数据生成模型的干扰，提高了训练的精度，同时，将原始图像进行分组，并附加不同的环境条件，能够提高图像样本的多样性，增加了图像样本的特征量，也减少环境条件对后续对抗网络构建数据生成模型
的干扰。通过基于对抗网络构建的数据生成模型对图像样本进行增广处理，进一步提高了图像样本的数量，从而可以快速地获取大量的图像样本。
附图说明
35.图1为本技术实施例提供的一种输电线路图像样本对抗学习增广方法的流程图；
36.图2为本技术实施例提供的生成器的网络结构图；
37.图3为本技术实施例提供的一种输电线路图像样本对抗学习增广系统的结构示意图。
具体实施方式
38.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
39.为了便于理解，请参阅图1，本技术提供的一种输电线路图像样本对抗学习增广方法，包括以下步骤：
40.s1、获取输电线路的巡检视频，巡检视频包含检测目标；
41.s2、将影像视频解帧处理，获得多个解帧图像；
42.s3、提取多个解帧图像中包含有检测目标的局部位置的图像以作为原始图像；
43.s4、将原始图像进行分组，从而得到多组原始图像；
44.s5、根据预设的环境添加规则向多组原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
45.需要说明的是，工作人员可以根据工作需求或应用场景预先设定环境添加规则，如阴天、晴天、雨天、雪天、雾天天气环境下，则需要向多组原始图像分别添加相应的环境条件。
46.s6、基于对抗网络构建数据生成模型，通过数据生成模型对图像样本集进行增广处理，得出增广图像样本集。
47.本发明通过获取包含检测目标的巡检视频，并将巡检视频解帧获取较大基数的解帧图像，提高了获取图像的效率，将解帧图像中包含检测目标的局部位置的图像作为原始图像，从而能够减少不具有检测目标的图像对后续对抗网络构建数据生成模型的干扰，提高了训练的精度，同时，将原始图像进行分组，并附加不同的环境条件，能够提高图像样本的多样性，增加了图像样本的特征量，也减少环境条件对后续对抗网络构建数据生成模型的干扰。通过基于对抗网络构建的数据生成模型对图像样本进行增广处理，进一步提高了图像样本的数量，从而可以快速地获取大量的图像样本。
48.以下为本发明提供的输电线路图像样本对抗学习增广方法的详细描述。
49.本发明提供的一种输电线路图像样本对抗学习增广方法，包括以下步骤：
50.s100、获取输电线路的巡检视频，巡检视频包含检测目标；
51.需要说明的是，输电线路由线路杆塔、导线、绝缘子、线路金具、拉线、杆塔基础、接地装置等装置构成，将上述装置作为检测目标。
52.其获取视频可以通过摄像机、摄像头、手机、数码相机等摄像设备获取包含检测目标的巡检视频，在一般示例中，将摄像设备设置在无人机上，设定无人机的飞行路线或工作人员操控无人机，使无人机沿输电线路飞行，在阴天天气光线均匀的环境下录制具有检测目标的影像视频。在阴天天气光线均匀的环境下录制视频，能够便于后续对图像的处理，便于向图像上施加环境条件。
53.s200、将影像视频解帧处理，获得多个解帧图像；
54.具体地，假如巡检视频的时长为300秒，视频的帧率为10帧/秒，即可将300秒的巡检视频解帧为3000张解帧图像。
55.s300、提取多个解帧图像中包含有检测目标的局部位置的图像以作为原始图像；
56.具体地，步骤s300包括：
57.s301、基于python软件中的gdal模块对多个解帧图像进行切割，从而得到多个切割图像；
58.其中，python软件也即语言编程软件，其中，gdal模块即开放源代码的栅格空间数据处理包，其是python软件中的图像功能接口，能够实现图像批量处理。
59.在本实施例中，使用python软件中的gdal模块对解帧图像进行无缝切割，将3000张解帧图像切割为15000张尺寸一致的切割图像，切割图像的大小为解帧图像的1/10
‑
1/5。
60.s302、基于labelme软件标注多个切割图像中包含有检测目标的切割图像，将标注有检测目标的局部位置的切割图像作为原始图像。
61.其中，labelme软件也即数据标注软件。
62.在本实施例中，在15000张切割图像中，有5000张切割图像中包括有检测目标的局部位置，则将该5000张切割图像作为原始图像。
63.其中，包含有整体检测目标或局部检测目标即为检测目标的局部位置。
64.s400、将原始图像进行分组，从而得到多组原始图像；
65.在本实施例中，将原始图像5000张原始图像均分为5组，分别为第一组图像、第二组图像、第三组图像、第四组图像、第五组图像，每组包括有1000张原始图像。
66.s500、向多组原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
67.具体地，基于图像处渲染技术向多组原始图像分别添加不同的环境条件，而得到具有不同的环境条件的图像样本集。
68.在本实施例中，第一组图像不进行处理，即模拟为在阴天天气光线均匀的环境下获取的图像；对第二组图像进行处理，增加第二组图像的亮度，将第二组图像模拟为在晴朗天气光线较亮的环境下获取的图像；对第三组图像进行处理，向第三组图像中添加细小的透明圆点，将第三组图像模拟为在雨天天气的环境下获取的图像；对第四组图像进行处理，向第四组图像中添加细小的白色圆点，将第四组图像模拟为在下雪天气的环境下获取的图像；对第五组图像进行处理，对第五组图像进行渲染，获取雾化的效果，将第五组图像模拟为在雾天天气的环境下获取的图像。
69.由第一组图像、处理后的第二组图像、处理后的第三组图像、处理后的第四组图像和处理后的第五组图像组成具有不同的环境条件的图像样本集。即5000张包括有阴天、晴天、雨天、雪天、雾天天气下获取的附加环境图像。从而提高附加环境图像的天气覆盖范围，
能够增加图像样本的特征量，获取更加准确的训练结果。
70.s600、对图像样本集中的图像进行变形处理，其变形处理的方式包括水平翻转、垂直翻转、随机角度旋转、90
°
旋转、180
°
旋转、270
°
旋转、随机缩放、扭曲变形中的一种方式或多种方式组合。
71.在本实施例中，对5000张附加环境图像进行变形，由此，即可获得50000张附加环境和变形的图像，进而能够增加图像样本的特征量，提供样本多样性，获取更加准确的训练结果。
72.s700、基于对抗网络构建数据生成模型，通过数据生成模型对图像样本集进行增广处理，得出增广图像样本集。
73.其中，对抗网络包括生成器和判别器；生成器用于将图像样本集生成扩展图像样本；判别器用于根据扩展图像样本生成相应的真实高质量图像样本。
74.进一步地，如图2所示，生成器包括依次连接的第一全连接层、第一转置卷积层、第一残差块、第二残差块、第二转置卷积层、第三残差块、第四残差块、第三转置卷积层、第五残差块、第六残差块、第四转置卷积层、第七残差块、第八残差块、第五转置卷积层和第六转置卷积层。
75.进一步地，第一全连接层包括依次连接的第一连接子层、第一标准化子层、第一激活子层，第一激活子层为relu激活层。
76.其中，relu全称为rectified linear units，也即修正线性单元。
77.进一步地，第一转置卷积层、第二转置卷积层、第三转置卷积层、第四转置卷积层和第五转置卷积层均包括依次连接的第二卷积子层、第二标准化子层、第二激活子层，第二激活子层为relu激活层。
78.进一步地，第六转置卷积层包括有第六卷积子层和第六激活子层，第六卷积子层的卷积核大小为1，其步长为1，第六激活子层为tanh激活子层。
79.在本实施例中，图像样本集输入到第一全连接层，由第一全连接层对图像样本的维度进行扩展，然后输入到第一转置卷积层，通过第一转置卷积层处理后转化为特征矩阵，然后使用第一残差块、第二残差块进行处理，以此来提高生成器的表征能力，与后续的卷积层和残差块结合，以渐进的方式扩展图像样本的分辨率，避免图像样本中信息的丢失和学习到错误的特征。经过多个转置卷积层和残差块后，由最后的卷积核大小为1，步长为1的卷积层输出扩展后的图像样本，最后的卷积层减少上述处理过程中产生的重叠，从而提高图像的质量，最后输出扩展图像样本。
80.生成器输出的扩展图像样本输入到判别器中，通过判别器中的卷积层提取特征信息、残差块加深网络深度，从而生成相应的真实高质量图像样本，提高图像的质量。
81.以上为本发明提供的一种输电线路图像样本对抗学习增广方法的实施例的详细描述，以下为本发明提供的一种输电线路图像样本对抗学习增广系统的实施例的详细描述。
82.为了方便理解，请参阅图3，本发明提供的一种输电线路图像样本对抗学习增广系统，包括：
83.获取模块10，用于获取输电线路的巡检视频，巡检视频包含检测目标；
84.需要说明的是，输电线路由线路杆塔、导线、绝缘子、线路金具、拉线、杆塔基础、接
地装置等装置构成，将上述装置作为检测目标。
85.其获取视频可以通过摄像机、摄像头、手机、数码相机等摄像设备获取包含检测目标的巡检视频，在一般示例中，将摄像设备设置在无人机上，设定无人机的飞行路线或工作人员操控无人机，使无人机沿输电线路飞行，在阴天天气光线均匀的环境下录制具有检测目标的影像视频。在阴天天气光线均匀的环境下录制视频，能够便于后续对图像的处理，便于向图像上施加环境条件。
86.解帧模块20，用于将影像视频解帧处理，获得多个解帧图像；
87.提取模块30，用于提取多个解帧图像中包含有检测目标的局部位置的图像以作为原始图像；
88.分组模块40，用于将原始图像进行分组，从而得到多组原始图像；
89.在本实施例中，将原始图像5000张原始图像均分为5组，分别为第一组图像、第二组图像、第三组图像、第四组图像、第五组图像，每组包括有1000张原始图像。
90.环境添加模块50，用于根据预设的环境添加规则向多组原始图像分别添加不同的环境条件，从而得到具有不同的环境条件的图像样本集；
91.需要说明的是，工作人员可以根据工作需求或应用场景预先设定环境添加规则，如阴天、晴天、雨天、雪天、雾天天气环境下，则需要向多组原始图像分别添加相应的环境条件。
92.增广模块60，用于基于对抗网络构建数据生成模型，还用于通过数据生成模型对图像样本集进行增广处理，得出增广图像样本集。
93.其中，对抗网络包括生成器和判别器；生成器用于将图像样本集生成扩展图像样本；判别器用于根据扩展图像样本生成相应的真实高质量图像样本。
94.生成器包括依次连接的第一全连接层、第一转置卷积层、第一残差块、第二残差块、第二转置卷积层、第三残差块、第四残差块、第三转置卷积层、第五残差块、第六残差块、第四转置卷积层、第七残差块、第八残差块、第五转置卷积层和第六转置卷积层。
95.进一步地，第一全连接层包括依次连接的第一连接子层、第一标准化子层、第一激活子层，第一激活子层为relu激活层。
96.进一步地，第一转置卷积层、第二转置卷积层、第三转置卷积层、第四转置卷积层和第五转置卷积层均包括依次连接的第二卷积子层、第二标准化子层、第二激活子层，第二激活子层为relu激活层。
97.进一步地，第六转置卷积层包括有第六卷积子层和第六激活子层，第六卷积子层的卷积核大小为1，其步长为1，第六激活子层为tanh激活子层。
98.在本实施例中，图像样本集输入到第一全连接层，由第一全连接层对图像样本的维度进行扩展，然后输入到第一转置卷积层，通过第一转置卷积层处理后转化为特征矩阵，然后使用第一残差块、第二残差块进行处理，以此来提高生成器的表征能力，与后续的卷积层和残差块结合，以渐进的方式扩展图像样本的分辨率，避免图像样本中信息的丢失和学习到错误的特征。经过多个转置卷积层和残差块后，由最后的卷积核大小为1，步长为1的卷积层输出扩展后的图像样本，最后的卷积层减少上述处理过程中产生的重叠，从而提高图像的质量，最后输出扩展图像样本。
99.生成器输出的扩展图像样本输入到判别器中，通过判别器中的卷积层提取特征信
息、残差块加深网络深度，从而生成相应的真实高质量图像样本，提高图像的质量。
100.本发明通过获取包含检测目标的巡检视频，并将巡检视频解帧获取较大基数的解帧图像，提高了获取图像的效率，将解帧图像中包含检测目标的局部位置的图像作为原始图像，从而能够减少不具有检测目标的图像对后续对抗网络构建数据生成模型的干扰，提高了训练的精度，同时，将原始图像进行分组，并附加不同的环境条件，能够提高图像样本的多样性，增加了图像样本的特征量，也减少环境条件对后续对抗网络构建数据生成模型的干扰。通过基于对抗网络构建的数据生成模型对图像样本进行增广处理，进一步提高了图像样本的数量，从而可以快速地获取大量的图像样本。
101.进一步地，提取模块具体包括切割子模块和标注子模块；
102.切割子模块，用于基于python软件中的gdal模块对多个解帧图像进行切割，从而得到多个切割图像；
103.标注子模块，用于基于labelme软件标注多个切割图像中包含有检测目标的切割图像，将标注有检测目标的局部位置的切割图像作为原始图像。
104.进一步地，环境添加模块具体用于基于图像处渲染技术向多组原始图像分别添加不同的环境条件，而得到具有不同的环境条件的图像样本集。
105.在本实施例中，第一组图像不进行处理，即模拟为在阴天天气光线均匀的环境下获取的图像；对第二组图像进行处理，增加第二组图像的亮度，将第二组图像模拟为在晴朗天气光线较亮的环境下获取的图像；对第三组图像进行处理，向第三组图像中添加细小的透明圆点，将第三组图像模拟为在雨天天气的环境下获取的图像；对第四组图像进行处理，向第四组图像中添加细小的白色圆点，将第四组图像模拟为在下雪天气的环境下获取的图像；对第五组图像进行处理，对第五组图像进行渲染，获取雾化的效果，将第五组图像模拟为在雾天天气的环境下获取的图像。
106.由第一组图像、处理后的第二组图像、处理后的第三组图像、处理后的第四组图像和处理后的第五组图像组成具有不同的环境条件的图像样本集。即5000张包括有阴天、晴天、雨天、雪天、雾天天气下获取的附加环境图像。从而提高附加环境图像的天气覆盖范围，能够增加图像样本的特征量，获取更加准确的训练结果。
107.进一步地，还包括变形模块，用于对图像样本集中的图像进行变形处理。
108.在本实施例中，对图像样本集中的图像进行变形处理，其变形处理的方式包括水平翻转、垂直翻转、随机角度旋转、90
°
旋转、180
°
旋转、270
°
旋转、随机缩放、扭曲变形中的一种方式或多种方式组合。
109.在本实施例中，对5000张附加环境图像进行变形，由此，即可获得50000张附加环境和变形的图像，进而能够增加图像样本的特征量，提供样本多样性，获取更加准确的训练结果。
110.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
111.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
112.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
113.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read
‑
only memory，英文缩写：rom)、随机存取存储器(英文全称：randomaccess memory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
114.以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。