一种基于深度学习的线路覆冰检测方法

本发明涉及图像处理，特别是设计一种线路覆冰检测方法。

背景技术：

1、覆冰灾害是生活中常见的自然灾害之一，严重时会导致输电线路闪络断电、杆塔倒塌等事故，对电网等关键基础设施的安全稳定运行构成威胁。目前的覆冰检测的方法主要可分为实际现场测试和远程图像检测两类。实际的现场测量主要包括直接测量法、称重法等，而这些方法几乎都依赖巡线人员对线路覆冰厚度等信息进行人工测量，或者需要在监测设施上安装拉力传感器等额外装置。这些方法基本普遍存在工作量大、成本高以及操作复杂等问题，因此在实际环境中难以灵活应用于线路覆冰状态监测工作。

2、基于图像的覆冰检测方法则通过在杆塔或其他监测设施上安装图像采集设备，采集和分析覆冰图像来判断线路的覆冰状态。其中，存在着利用无人机获取多视角下的线路覆冰图像对覆冰厚度进行测量的方法，虽然可以灵活运用无人机以获取更多视角的线路覆冰状态，但实施成本高，且难以实现全天候实时监测；还有对线路覆冰图像采用小波变换与形态边缘检测的方法提取线路边缘信息，从而确认覆冰状态的方法，但这种方法容易受到环境背景的干扰；此外，采用中值滤波与图像增强技术提高图像质量，再用canny边缘检测算法识别线路边缘的方法，虽然能改善一些情况，但依然难以完全避免复杂背景噪声的干扰。

3、在基于深度学习的线路覆冰检测任务中，基于语义分割模型识别检测覆冰图像中覆冰区域，在排除背景噪声干扰的性能上要显著优于边缘检测等算法。而且，大多数基于图像来获取覆冰厚度信息的方法，都未能考虑不同类型覆冰密度带来的影响，而不同的覆冰类型拥有相同的覆冰厚度对线路所产生的影响显著不同，充分利用覆冰密度信息对于实际环境中的应用至关重要。基于深度学习的卷积神经网络模型能够很好地判断图像中的覆冰类型，从而为覆冰厚度的计算提供重要的密度信息，而通过不同视角获取不同角度的覆冰厚度能够更好地推算环绕线路的均匀覆冰厚度。因此，充分利用深度学习模型能够显著提升线路覆冰厚度检测的性能。

技术实现思路

1、本发明所要解决的问题是针对背景技术的不足提供一种线路覆冰检测方法，包括覆冰类型的识别，利用语义分割技术计算线路的等效覆冰厚度，同时还针对夜间以及旁视角线路不可见状态等下的线路覆冰厚度计算方法进行了优化调整，可以实现复杂环境下的线路覆冰检测。

2、本发明为解决上述技术问题采用以下技术方案：

3、一种基于深度学习的线路覆冰检测方法，具体包括以下步骤：

4、步骤s1、获取覆冰监测设备拍摄线路的原始覆冰图像，并制作相关数据集；

5、步骤s2、利用直方图均衡化增强原始覆冰图像中的亮度特征，将增强后的图像作为亮度特征图，并获取其平均亮度值和亮度标准差，分别编码为与亮度特征图维度一致的特征张量，与亮度特征图在通道维度上拼接，得到复合亮度特征图；

6、步骤s3、利用水平局部二值模式h-lbp处理原始覆冰图像，获取其粗糙度纹理特征图，并利用灰度共生矩阵获取原始覆冰图像的对比度和同质性信息，分别编码为与粗糙度纹理特征图维度一致的特征张量，与粗糙度纹理特征图在通道维度上拼接，得到复合粗糙度特征图；

7、步骤s4、构建多分支线路覆冰类型识别模型icenet-t，包括主干分支、亮度分支和粗糙度分支，将原始覆冰图像输入主干分支，将复合亮度特征图输入亮度分支，将复合粗糙度特征图输入粗糙度分支，融合多分支提取特征，得到覆冰类型识别结果；

8、步骤s5、利用语义分割模型sctnet检测分割原始覆冰图像中的线路覆冰区域，并结合多尺度条件随机场mscrf优化模型的分割结果，提升分割精度；其中，mscrf为multi-scale conditional random field；

9、步骤s6、根据语义分割模型对原始覆冰图像中主视角和旁视角线路的分割结果，分别推算水平覆冰厚度和垂直覆冰厚度，同时结合覆冰类型识别结果得出覆冰密度，利用等效面积法推算出当前线路的等效覆冰厚度，其中包括对旁视角可见、旁视角不可见以及夜间低光等环境状态的优化计算；其中，水平覆冰厚度为长径 a；垂直覆冰厚度为短径 b。

10、作为本发明一种基于深度学习的线路覆冰检测方法的进一步优选方案，在步骤s2中，获取复合亮度特征图，具体包括以下步骤：

11、步骤s2.1、使用直方图均衡化的方法增强原始覆冰图像中的亮度特征图，增强公式如下：；其中，是均衡化后图像中位置处的像素灰度值，是原始覆冰图像中位置处的像素灰度值， l是灰度级数，其中，对于 b位图像， l=2 b，是原始覆冰图像中灰度值为的像素数， n是图像的总像素数，是原始覆冰图像中灰度值小于或等于的像素的累计分布函数；

12、计算原始覆冰图像的平均亮度值和亮度标准差，公式如下：；其中，表示平均亮度值，表示亮度标准差， h、w和 c是输入图像的高、宽和通道数，表示输入图像中位置对应的亮度值；

13、步骤s2.2、构建由平均亮度值和亮度标准差组成的特征张量，即将这两个数值扩展为与图像大小相同的矩阵，与原图像数据在通道维度上拼接，公式如下：；其中，表示与原图维度一致的平均亮度值特征张量，表示与原图维度一致的亮度标准差特征张量，表示元素全为1的矩阵，将扩展维度后的平均亮度值特征张量和亮度标准差特征张量与亮度特征图在通道维度上拼接，公式如下：其中，表示最终得到的复合亮度特征张量，concat表示通道维度拼接函数，分别表示增强后的亮度特征图、扩展维度后的平均亮度值的特征张量、亮度标准差的特征张量。

14、作为本发明一种基于深度学习的线路覆冰检测方法的进一步优选方案，在步骤s3中，获取复合粗糙度特征图，具体包括以下步骤：

15、步骤s3.1、使用水平局部二值模式h-lbp处理原始覆冰图像获得其粗糙度纹理特征图，水平局部二值模式专注于水平方向上的纹理信息，公式如下：其中，表示位置处的h-lbp计算结果，表示图像中位置处的像素值， p是水平邻域范围，是二值化函数，即：；

16、h-lbp公式由两部分组成，在加号的左边是对目标像素点和左侧水平邻域像素的比较，加号的右边是目标像素点和右侧水平邻域像素的比较，比较的结果分别二值化后被赋予权重，从而将结果编码为一个二进制数字，h-lbp的结果是一个代表水平纹理模式的整数，最终一张 h×w大小的图像所计算出的h-lbp特征图 t可表示为：；

17、步骤s3.2、复合粗糙度纹理特征图中除了包含由h-lbp获取的粗糙度纹理特征图，还包括了使用灰度共生矩阵推算出的对比度和同质性经扩展形成的特征张量，其中，对比度可表征覆冰图像的粗糙程度，同质性可表征覆冰图像的平滑程度，具体计算公式如下：；其中， contrast为对比度即 ct， homogeneity为同质性即 hg， l表示灰度级数，为灰度共生矩阵，表示灰度值为 x和 y的像素对在一定距离和方向上的联合出现概率；

18、步骤s3.3、得到粗糙度纹理特征图 t以及原始覆冰图像的对比度 ct和同质性 hg后，需要将 ct和 hg扩展到与 t相同的维度，以便与其在通道维度上进行拼接，扩展公式如下：；其中， h和 w为粗糙度纹理特征图 t的高、宽尺寸，表示扩展维度后的对比度特征张量，表示扩展维度后的同质性特征张量，为元素全为1的矩阵，将粗糙度纹理特征图与编码扩展后的对比度和同质性特征张量在通道维度上拼接，公式如下：；其中，表示生成的复合粗糙度特征图，concat为通道维度拼接函数，拼接后的可增强图像的纹理特征表达能力。

19、作为本发明一种基于深度学习的线路覆冰检测方法的进一步优选方案，在步骤s4中，针对步骤s2、s3提取得到的复合亮度特征图和复合粗糙度特征图，结合原始覆冰图像，构建了一个三分支覆冰类型识别模型icenet-t，提取融合三分支结果得到最终的覆冰类型识别结果，具体包括以下步骤：

20、步骤s4.1、将原始覆冰图像输入主干分支，主干分支由深度学习迁移模型的主体特征提取网络构成，并通过微调其输出层结构，使其适应覆冰类型识别任务，将原始覆冰图像输入主干分支，提取全局的覆冰特征，提取过程可用如下公式表示：

21、；其中， i表示输入的原始覆冰图像，表示迁移模型进行主体网络特征提取过程，表示替换原迁移模型的全连接输出层，为新的偏置项，表示relu激活函数，最终得到主干分支提取出的全局特征；

22、步骤s4.2、将复合亮度特征图和复合粗糙度特征图分别输入亮度分支与粗糙度分支，两个分支除了为适应各自接收的复合特征图维度而做出参数调整外，特征提取部分采用的网络结构相似，均由1个初始化模块、4个主体特征提取模块和1个分类器组成，具体的特征提取过程可用如下公式表示：其中，表示复合亮度特征图，表示复合粗糙度特征图， init表示初始化模块， m表示主体特征提取模块，每个主体特征提取模块中都包含了一个se通道注意力层， classifier表示分类器，下标表示各自所属分支，上标表示不同模块，最终亮度分支和粗糙度分支分别得到特征图和；其中，se为squeeze-and-excitation；

23、步骤s4.3、得到三分支的提取结果、和后，通过加权求和的方法，将不同分支提取的特征融合到一起，用如下公式表示：其中，表示三分支融合后的特征，分别表示主干分支、亮度分支和粗糙度分支的权重参数，且权重和为1， result表示融合特征由softmax函数转换得到的一个概率分布结果，其中概率最大者即为最终的覆冰类型识别结果。

24、作为本发明一种基于深度学习的线路覆冰检测方法的进一步优选方案，在步骤s5中，为优化语义分割结果而使用的多尺度条件随机场mscrf，具体包括以下步骤：

25、步骤s5.1、根据sctnet的网络结构，从其编码器和解码器的多层网络中提取出不同尺度的语义分割特征图，mscrf通过结合多尺度特征图的空间和颜色信息，对分割结果进行细化和优化；语义分割模型不同卷积层提取出的多尺度特征图具有不同的维度，需要经过预处理将这些特征图调整到统一的尺寸，然后连同目标特征图一起输入mscrf中进行迭代优化，预处理过程可用如下公式表示：其中，为调整后的多尺度特征图，resize是对不同尺度的特征图进行维度调整的函数， h和 w为目标尺寸的高和宽， n为需要处理的特征图数量，最终的多尺度特征图可表示为集合：；

26、步骤s5.2、mscrf对输入的需要优化的目标特征图和多尺度特征图 p，通过最小化一个能量函数，使目标特征图在具有相似颜色和位置区域内相邻像素之间标签一致，通过多次迭代更新，优化目标特征图的分割结果，迭代优化公式如下：其中， u表示 unary，即需要优化的目标特征图，表示不同尺度的特征图， n表示需要处理的特征图数量，和分别表示空间高斯权重和双边高斯权重，可分别表征特征图中的空间信息和颜色信息，softmax函数用于将权重进行归一化处理，通过 k次迭代后，最终输出的优化特征图为：其中，concat函数将不同尺度特征图的迭代结果在通道维度拼接，reshape函数将拼接后的迭代结果重新调整，使其通道维度和原输入目标特征图 u相同，得到最终的优化结果。

27、作为本发明一种基于深度学习的线路覆冰检测方法的进一步优选方案，步骤s6中，使用等效面积法推算线路的等效覆冰厚度，包括以下步骤：

28、步骤s6.1、利用语义分割模型对原始覆冰图像中的主视角和旁视角线路进行分割，得到线路的分割区域，同一视角下同一线路的覆冰区域面积与其水平覆冰厚度存在如下关系：；已知该视角下裸线的直径，由语义分割得到裸线的像素面积和覆冰状态下的像素面积，可使用如下公式推算出覆冰状态下的水平覆冰厚度：其中，即为等效面积法中所需的长径参数 a，同理，可借助原始覆冰图像中旁视角线路的分割结果求得其垂直方向的覆冰厚度，即为等效面积法中所需的短径参数 b；

29、步骤s6.2、等效面积法将覆冰线路的不规则横截面等效为一个具有相同面积的标准圆，利用该标准圆的半径减去裸线半径，得到线路的等效均匀覆冰厚度，首先将不规则覆冰横截面为一个规则的椭圆，并通过增加调节参数来使得该椭圆的面积接近原不规则横截面积，进一步将该椭圆等效为具有相同横截面积的标准圆，最后求得等效均匀覆冰厚度，该过程可用如下公式表示：其中，为需要求的等效均匀覆冰厚度， r为裸线半径，为覆冰密度， a为长径参数， b为短径参数，等式左边表示等效标准圆面积减去裸线横截面积，等式右边括号内为椭圆面积减去裸线横截面积，表示裸线外的规则覆冰横截面，通过覆冰密度与一个常数参数来调节误差，从而得到如下的等效均匀覆冰厚度计算公式：其中，覆冰密度可根据覆冰类型的识别结果进行推算；

30、步骤s6.3、针对夜间因光线低暗而导致的旁视角线路难以观测的情况，对等效覆冰厚度计算公式做出优化调整，利用相同线路在同一天中白天最后时刻主视角和旁视角的覆冰状态来推断该线路后续的夜间旁视角覆冰状态，进而推算出夜间的短径参数；

31、推算白天最后时刻的长短径参数比例：；其中，为白天最后时刻的长径参数；为白天最后时刻的短径参数；

32、根据夜间主视角线路覆冰状态可得到夜间的长径参数，再结合白天最后时刻的长短径参数比，进一步推算出夜间的短径参数：；

33、由白天最后时刻的长短径参数比和夜间的长径参数得到优化后的夜间等效覆冰厚度计算公式：；

34、步骤s6.4、针对因线路布局导致旁视角线路几乎不可见或难以提取有效信息的情况，通过大量统计观测旁视角可见状态下长短径之间存在的线性关系，利用多项式函数关系描述旁视角可见状态下长短径之间的关系，从而由基于主视角的覆冰状态推算出旁视角的覆冰状态，收集大量旁视角可见状态下的长短径参数数据集，其中 n为样本数量，多项式函数定义如下：其中，表示旁视角可见状态下的短径参数，表示旁视角可见状态下的长径参数， n表示多项式的阶数，表示各项式的系数；通过最小二乘法确定多项式的系数，使该函数接近数据点；利用大量的数据拟合出规律函数，再根据旁视角不可见状态下检测计算得到的长径参数，推算出其短径参数：由规律函数和长径参数得到旁视角不可见状态下的等效覆冰厚度优化计算公式：。

35、作为本发明一种基于深度学习的线路覆冰检测方法的进一步优选方案，包含线路覆冰检测系统，所述线路覆冰检测系统包括：预处理模块、覆冰类型识别模块、覆冰分割模块和等效覆冰厚度计算模块；

36、预处理模块，用于获取覆冰监测设备拍摄到的原始覆冰图像，并经过亮度预处理模块和粗糙度预处理模块分别得到复合亮度特征图和复合粗糙度特征图；

37、覆冰类型识别模块，是一个包括主干分支、亮度分支和粗糙度分支的三分支卷积神经网络icenet-t，用于将原始覆冰图像输入主干分支，预处理获得的复合亮度特征图和复合粗糙度特征图分别输入亮度分支和粗糙度分支，融合三分支提取出的覆冰特征，得到覆冰类型识别结果；

38、覆冰分割模块，用于利用标注好的数据集训练语义分割模型sctnet，并通过分割结果优化模块segboost中的多尺度条件随机场mscrf对覆冰分割结果进行优化获得更精准的覆冰区域，提取出其中的主视角覆冰区域和旁视角覆冰区域的像素面积；

39、等效覆冰厚度计算模块，用于根据覆冰类型识别结果得到覆冰密度参数，再根据覆冰分割模块识别出的主视角和旁视角覆冰区域像素面积，推算出等效覆冰计算公式所需的长短径参数，进而计算出均匀的等效覆冰厚度，针对夜间、旁视角线路不可见对覆冰厚度计算公式进行优化调整，最终得到不同环境条件下的等效覆冰厚度计算结果。

40、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

41、本发明线路覆冰检测方法，使用多分支卷积神经网络模型对多种覆冰特征进行提取融合，亮度分支可以关注于图像中的光照变化和整体亮度模式，有助于识别不同覆冰类型的反射特性，粗糙度分支则能够捕捉到表面纹理的细节，反映不同覆冰类型的物理质地，这种多分支方式确保了特征提取的全面性，提高了对覆冰类型的辨别能力；

42、本发明线路覆冰检测方法，使用语义分割技术对图像中的覆冰区域进行分割提取，并使用多尺度条件随机场mscrf提取分割过程中的多尺度空间、色彩等特征信息，对分割结果进行优化，这种方法能够细致地捕捉覆冰的细微变化，提高检测结果的精度，在不增加模型训练成本的情况下提升其性能，从而可以更准确地提取覆冰区域的像素面积，进而准确计算出等效覆冰厚度；

43、本发明线路覆冰检测方法，除了能够计算常规情况下的线路等效覆冰厚度外，还通过利用白天的覆冰规律实现了夜间的等效覆冰厚度计算，从而保证能够对线路的覆冰状态进行全天24小时的监测；此外，针对只能观测到单根线路的旁视角不可见状态下的等效覆冰厚度计算，本发明通过统计分析旁视角可见状态下的水平覆冰厚度（长径 a）和垂直覆冰厚度（短径 b）之间的线性关系，利用所得线性关系推算旁视角不可见状态下的线路的垂直覆冰状态，进而能够顺利推算出该状态下的等效覆冰厚度，且该方法还能够借助旁视角的覆冰状态推算主视角的覆冰状态，可根据实际的覆冰监测设备拍摄情况做出灵活调整。