基于背景分类与迁移学习的绝缘子检测方法与流程

1.本发明涉及电力巡检图像处理技术领域，尤其涉及一种基于背景分类与迁移学习的绝缘子检测方法。


背景技术：

2.配网线路巡检是保障电力系统安全可靠运行的有效手段。在配网线路中，绝缘子是一种广泛使用的设备，具有电气绝缘和机械支撑的双重功能，绝缘子的状态监测是输电线路巡检中最重要也是最困难的任务之一。传统的人工巡检费时费力，可以用无人机巡检代替，实现更加自动化、高效的巡检。然而，无人机的航拍图像包含杂乱的背景和各种类型的绝缘子，视角的变化、不同的光照条件、部分遮挡等外界的干扰因素都使得绝缘子检测非常困难。现有的检测方法主要是通过图像处理的手段提取航拍图像的特征，将绝缘子从复杂背景中区分出来，如颜色、形状和纹理特征等，但是，绝缘子检测的准确率大大降低。


技术实现要素：

3.本发明提供了一种基于背景分类与迁移学习的绝缘子检测方法，解决了降低绝缘子检测的准确率的技术问题。
4.有鉴于此，本发明提供了一种基于背景分类与迁移学习的绝缘子检测方法，包括以下步骤：
5.步骤一、获取若干张配网巡检线路图像，利用labelme软件在每张配网巡检线路图像上用矩形框标注绝缘子所在的位置，并生成标注文件，构成绝缘子检测数据集，所述标注文件包括目标位置坐标和类别信息；
6.步骤二、对所述绝缘子检测数据集进行预处理，所述预处理的方式包括直方图均衡化算法、图像滤波算法和图像锐化；
7.步骤三、利用单阶段目标检测器对预处理后的绝缘子检测数据集进行迁移学习训练，得到初始绝缘子检测模型，所述单阶段目标检测器以resnest卷积网络作为骨干网络，并以特征金字塔bifpn作为特征提取网络，所述resnest卷积网络在imagenet深度学习网络中进行预训练得到；
8.步骤四、将所述绝缘子检测数据集按背景类别划分为多个数据集，在每个数据集标注相应的背景类别；
9.步骤五、利用所述初始绝缘子检测模型分别对各个数据集进行迁移学习训练，以得到不同背景类别下的绝缘子目标检测模型；
10.步骤六、计算不同背景类别下的绝缘子目标检测模型检测相应的数据集检测的准确率，若准确率低于预设的准确率阈值，则对相应背景类别下的绝缘子目标检测模型的网络参数进行更新，并执行步骤五，直至绝缘子目标检测模型的准确率均达到预设的准确率阈值，输出最佳的绝缘子目标检测模型。
11.优选地，步骤一具体包括：
12.基于无人机获取若干张配网巡检线路图像；
13.利用labelme软件设定加载配网巡检线路图像，利用矩形框对所述配网巡检线路图像中的绝缘子进行框选标注，生成标注文件，构成绝缘子检测数据集。
14.优选地，利用直方图均衡化算法对所述绝缘子检测数据集进行预处理的过程具体为：
15.根据直方图均衡化前的配网巡检线路图像的像素个数和灰度级深度，计算直方图均衡化后的配网巡检线路图像的频率密度为，
[0016][0017]
式中，hb(d)表示直方图均衡化后的配网巡检线路图像的频率密度，a0表示直方图均衡化前的配网巡检线路图像的像素个数，l表示直方图均衡化前的配网巡检线路图像的灰度级深度；
[0018]
设直方图均衡化前的配网巡检线路图像a的灰度值da通过灰度值变换函数映射为直方图均衡化后的配网巡检线路图像中的灰度值db，即db＝f(da)，f(da)表示灰度值变换函数，则灰度值da在[0,da]内的像素个数与灰度值db在[0,db]内的像素个数相等，即
[0019][0020]
对上式求解得到灰度值变换函数f(da)为，
[0021][0022]
将灰度值变换函数f(da)离散化，得到离散化灰度值变换函数f
′
(da)，将直方图均衡化前的配网巡检线路图像a中的每个像素输入至所述离散化灰度值变换函数f
′
(da)中，得到直方图均衡化后的配网巡检线路图像b的灰度值db，从而实现对所述绝缘子检测数据集中每张配网巡检线路图像进行直方图均衡化，其中，灰度值db为，
[0023][0024]
优选地，利用图像滤波算法对所述绝缘子检测数据集进行预处理的过程具体为：
[0025]
基于中值滤波器对绝缘子检测数据集中的配网巡检线路图像进行滤波，设所述配网巡检线路图像中第i行第j列的像素值为p(i,j)，则经中值滤波器滤波得到该位置的像素值为，
[0026]
med({p(i+x,j+y)|x∈{-1,0,1},y∈{-1,0,1}})
[0027]
式中med(
·
)为取集合元素中位数的函数，p(i+x,j+y)为经中值滤波器滤波后的像素值；
[0028]
利用高斯滤波器对中值滤波器滤波后配网巡检线路图像进行滤波去噪，经高斯滤波后的像素值为
[0029]
[0030]
式中，σ为给定的像素值标准差。
[0031]
优选地，利用图像锐化对所述绝缘子检测数据集进行预处理的过程具体为：
[0032]
计算绝缘子检测数据集中的配网巡检线路图像的像素值的二阶偏导数为，
[0033][0034][0035]
式中，p0(i,j)为拉普拉斯算子作用于配网巡检线路图像的像素点前的图像第i行第j列像素点的灰度值；
[0036]
计算拉普拉斯算子作用于配网巡检线路图像的像素点后的灰度值为，
[0037][0038]
计算图像锐化后的配网巡检线路图像的像素值为
[0039][0040]
式中，k为扩散效应的系数。
[0041]
优选地，本方法还包括：
[0042]
将resnest卷积网络的输入x沿输入通道的维度划分为k组基数单元，将每组基数单元划分为r组子基数，将输入通道划分为g组子通道，g＝kr；
[0043]
基于resnest卷积网络，将每组子通道依次经过1
×
1卷积层和3
×
3卷积层进行特征提取，得到特征为uz，uz∈rh×w×c,z＝1,2,
…
,g，h、w、c分别为uz的三个维度；
[0044]
计算第k组基数单元内的各组子基数所提取的特征之和为
[0045]
沿输入通道的维度使用均值池化得到均值特征sk，其中，特征sk的第c个分量为，
[0046][0047]
计算第k组基数单元内第i组子基数的第c个分量的权重为,
[0048][0049]
式中，表示根据第k组基数单元的特征sk构造的第i组分割第c个分量的权重；
[0050]
将每个基数单元内的各组子基数所提取的特征进行加权求和，以得到基数单元的特征，则第k个基数单元的特征的第c个分量为，
[0051][0052]
将各基数单元的特征拼接，并与输入x相加，得到resnest卷积网络提取的特征y为，
[0053]
v＝concat{v1,v2,
…
，vk}
[0054][0055]
式中，concat{
·
}表示拼接操作，表示使输入x的通道数与v一致的卷积层和池化层的变换。
[0056]
优选地，本方法还包括：
[0057]
利用所述配网巡检线路图像的所述标注文件构建绝缘子目标检测模型的损失函数为，
[0058]
fl(p
t
)＝-(1-p
t
)
γ
log(p
t
)
[0059][0060]
式中，a为检测目标的类别标签，a＝1表示检测物体为绝缘子，a＝0表示非绝缘子，p为检测物体为绝缘子的概率，γ为给定的focusing参数。
[0061]
从以上技术方案可以看出，本发明具有以下优点：
[0062]
本发明通过构建绝缘子检测数据集，对绝缘子检测数据集进行预处理。利用单阶段目标检测器对预处理后的绝缘子检测数据集进行迁移学习训练，得到初始绝缘子检测模型，将绝缘子检测数据集按按背景类别划分为多个数据集，在每个数据集标注相应的背景类别，利用初始绝缘子检测模型分别对各个数据集进行迁移学习训练，以得到不同背景类别下的绝缘子目标检测模型，实现各背景下绝缘子的精确检测，计算不同背景类别下的绝缘子目标检测模型检测相应的数据集检测的准确率，若准确率低于预设的准确率阈值，则对相应背景类别下的绝缘子目标检测模型的网络参数进行更新，并进行迁移学习直到各背景下绝缘子检测的准确率均达到设定值，从而提高了绝缘子检测的准确率。
附图说明
[0063]
图1为本发明实施例提供的一种基于背景分类与迁移学习的绝缘子检测方法的流程图。
具体实施方式
[0064]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0065]
为了便于理解，请参阅图1，本发明提供的一种基于背景分类与迁移学习的绝缘子检测方法，包括以下步骤：
[0066]
步骤一、获取若干张配网巡检线路图像，利用labelme软件在每张配网巡检线路图像上用矩形框标注绝缘子所在的位置，并生成标注文件，构成绝缘子检测数据集，标注文件包括目标位置坐标和类别信息。
[0067]
步骤二、对绝缘子检测数据集进行预处理，预处理的方式包括直方图均衡化算法、图像滤波算法和图像锐化。
[0068]
步骤三、利用单阶段目标检测器对预处理后的绝缘子检测数据集进行迁移学习训练，得到初始绝缘子检测模型，单阶段目标检测器以resnest卷积网络作为骨干网络，并以特征金字塔bifpn作为特征提取网络，resnest卷积网络在imagenet深度学习网络中进行预训练得到。
[0069]
可以理解的是，通过特征金字塔bifpn作为特征提取网络，可以提取绝缘子的多尺度特征，从而提高检测绝缘子的准确性。
[0070]
步骤四、将绝缘子检测数据集按背景类别划分为多个数据集，在每个数据集标注相应的背景类别。
[0071]
其中，背景类别可以按照亮度强弱进行划分，以模拟多个情景，如黑夜、雨天和白天等。
[0072]
步骤五、利用初始绝缘子检测模型分别对各个数据集进行迁移学习训练，以得到不同背景类别下的绝缘子目标检测模型。
[0073]
本实施例中，通过对各个数据集进行迁移学习训练，可以得到针对不同背景类别的绝缘子目标检测模型，以提高相应的背景类别下的目标检测准确性。
[0074]
步骤六、计算不同背景类别下的绝缘子目标检测模型检测相应的数据集检测的准确率，若准确率低于预设的准确率阈值，则对相应背景类别下的绝缘子目标检测模型的网络参数进行更新，并执行步骤五，直至绝缘子目标检测模型的准确率均达到预设的准确率阈值，输出最佳的绝缘子目标检测模型。
[0075]
在一个具体实施例中，步骤一具体包括：
[0076]
基于无人机获取若干张配网巡检线路图像；
[0077]
利用labelme软件设定加载配网巡检线路图像，利用矩形框对配网巡检线路图像中的绝缘子进行框选标注，生成标注文件，构成绝缘子检测数据集。
[0078]
在一个具体实施例中，利用直方图均衡化算法对绝缘子检测数据集进行预处理的
过程具体为：
[0079]
根据直方图均衡化前的配网巡检线路图像的像素个数和灰度级深度，计算直方图均衡化后的配网巡检线路图像的频率密度为，
[0080][0081]
式中，hb(d)表示直方图均衡化后的配网巡检线路图像的频率密度，a0表示直方图均衡化前的配网巡检线路图像的像素个数，l表示直方图均衡化前的配网巡检线路图像的灰度级深度；
[0082]
设直方图均衡化前的配网巡检线路图像a的灰度值da通过灰度值变换函数映射为直方图均衡化后的配网巡检线路图像中的灰度值db，即db＝f(da)，f(da)表示灰度值变换函数，则灰度值da在[0,da]内的像素个数与灰度值db在[0,db]内的像素个数相等，即
[0083][0084]
对上式求解得到灰度值变换函数f(da)为，
[0085][0086]
将灰度值变换函数f(da)离散化，得到离散化灰度值变换函数f
′
(da)，将直方图均衡化前的配网巡检线路图像a中的每个像素输入至离散化灰度值变换函数f
′
(da)中，得到直方图均衡化后的配网巡检线路图像b的灰度值db，从而实现对绝缘子检测数据集中每张配网巡检线路图像进行直方图均衡化，其中，灰度值db为，
[0087][0088]
可以理解的是，将灰度值变换函数f(da)离散化，从而对灰度值变换函数进行取整处理，以方便对配网巡检线路图像a中的每个像素进行处理。
[0089]
在一个具体实施例中，利用图像滤波算法对绝缘子检测数据集进行预处理的过程具体为：
[0090]
基于中值滤波器对绝缘子检测数据集中的配网巡检线路图像进行滤波，设配网巡检线路图像中第i行第j列的像素值为p(i,j)，则经中值滤波器滤波得到该位置的像素值为，
[0091]
med({p(i+x,j+y)|x∈{-1,0,1},y∈{-1,0,1}})
[0092]
式中med(
·
)为取集合元素中位数的函数，p(i+x,j+y)为经中值滤波器滤波后的像素值；
[0093]
利用高斯滤波器对中值滤波器滤波后配网巡检线路图像进行滤波去噪，经高斯滤波后的像素值为
[0094][0095]
式中，σ为给定的像素值标准差。
[0096]
在一个具体实施例中，利用图像锐化对绝缘子检测数据集进行预处理的过程具体为：
[0097]
计算绝缘子检测数据集中的配网巡检线路图像的像素值的二阶偏导数为，
[0098][0099][0100]
式中，p0(i,j)为拉普拉斯算子作用于配网巡检线路图像的像素点前的图像第i行第j列像素点的灰度值；
[0101]
计算拉普拉斯算子作用于配网巡检线路图像的像素点后的灰度值为，
[0102][0103]
计算图像锐化后的配网巡检线路图像的像素值为
[0104][0105]
式中，k为扩散效应的系数。
[0106]
在一个具体实施例中，本方法还包括：
[0107]
将resnest卷积网络的输入x沿输入通道的维度划分为k组基数单元，将每组基数单元划分为r组子基数，将输入通道划分为g组子通道，g＝kr；
[0108]
基于resnest卷积网络，将每组子通道依次经过1
×
1卷积层和3
×
3卷积层进行特征提取，得到特征为uz，uz∈rh×w×c,z＝1,2,
…
,g，h、w、c分别为uz的三个维度；
[0109]
计算第k组基数单元内的各组子基数所提取的特征之和为
[0110]
沿输入通道的维度使用均值池化得到均值特征sk，其中，特征sk的第c个分量为，
[0111][0112]
计算第k组基数单元内第i组子基数的第c个分量的权重为，
[0113][0114]
式中，表示根据第k组基数单元的特征sk构造的第i组分割第c个分量的权重；
[0115]
将每个基数单元内的各组子基数所提取的特征进行加权求和，以得到基数单元的特征，则第k个基数单元的特征的第c个分量为，
[0116][0117]
将各基数单元的特征拼接，并与输入x相加，得到resnest卷积网络提取的特征y为，
[0118]
v＝concat{v1,v2,
…
，vk}
[0119][0120]
式中，concat{
·
}表示拼接操作，表示使输入x的通道数与v一致的卷积层和池化层的变换。
[0121]
在一个具体实施例中，本方法还包括：
[0122]
利用配网巡检线路图像的标注文件构建绝缘子目标检测模型的损失函数，
[0123]
fl(p
t
)＝-(1-p
t
)
γ
log(p
t
)
[0124][0125]
式中，a为检测目标的类别标签，a＝1表示检测物体为绝缘子，a＝0表示非绝缘子，p为检测物体为绝缘子的概率，γ为给定的focusing参数。
[0126]
其中，使用adam算法优化，多尺度特征输入到全连接神经网络中，该神经网络的输出层只有一个单元，该单元的值即为图像对应的检测物体为绝缘子的概率。
[0127]
本发明提供的一种基于背景分类与迁移学习的绝缘子检测方法，通过构建绝缘子检测数据集，对绝缘子检测数据集进行预处理。利用单阶段目标检测器对预处理后的绝缘子检测数据集进行迁移学习训练，得到初始绝缘子检测模型，将绝缘子检测数据集按按背景类别划分为多个数据集，在每个数据集标注相应的背景类别，利用初始绝缘子检测模型分别对各个数据集进行迁移学习训练，以得到不同背景类别下的绝缘子目标检测模型，实现各背景下绝缘子的精确检测，计算不同背景类别下的绝缘子目标检测模型检测相应的数据集检测的准确率，若准确率低于预设的准确率阈值，则对相应背景类别下的绝缘子目标检测模型的网络参数进行更新，并进行迁移学习直到各背景下绝缘子检测的准确率均达到设定值，从而提高了绝缘子检测的准确率。
[0128]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0129]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0130]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0131]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0132]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。