基于改进的YOLOv8模型的风力涡轮机表面损伤和腐蚀检测方法

本发明涉及机器视觉检测的，尤其涉及到基于改进的yolov8模型的风力涡轮机表面损伤和腐蚀检测方法。

背景技术：

1、在全球能源结构转型与环境保护的双重推动下，风力发电作为一种清洁、可再生的能源方式，得到了快速的发展。风力涡轮机作为风力发电的核心设备，其运行效率和安全性直接影响到风电场的发电效率和经济效益。风力涡轮机在运行过程中，受到风速、气候和环境因素的影响，其表面可能会出现各种损伤，如裂纹、腐蚀或磨损等。这些损伤若不及时发现和处理，可能会导致涡轮机效率下降，甚至出现安全事故。

2、目前，风力涡轮机表面损伤的检测主要依靠人工巡检或传统的监测设备。人工巡检工作量大、成本高且效率低，而且在恶劣气候条件下难以进行。传统监测设备虽然可以实现自动化监测，但通常设备成本高昂，且在复杂或遥远的风电场地理位置上的应用受限。

3、近年来，无人机技术因其灵活性高、成本相对较低并能够覆盖广阔的地理区域而在各种工业应用中显示出巨大的潜力。特别是在风力涡轮机表面损伤检测中，无人机可以搭载高分辨率摄像头和其他传感器，通过飞行获取涡轮机表面的高清图像，从而进行损伤检测。此外，结合先进的图像处理和深度学习技术，可以进一步提高损伤检测的准确性和实时性。

4、然而，尽管无人机和图像识别技术为风力涡轮机表面损伤检测提供了新的解决方案，但现有技术仍面临如下诸多挑战：

5、1、低分辨率图像中小尺度目标检测难度大的问题：由于无人机拍摄的距离较远且受到风力涡轮机本身的尺寸限制，损伤如裂纹或腐蚀的图像特征在整个图像中占的比例非常小。此外，因为无人机的运动和拍摄角度的多变性，所获得的图像可能存在一定的模糊，使得损伤的边缘和形态难以清晰识别。这种情况下，传统的目标检测算法可能在检测小目标的损伤上遇到困难。

6、2、复杂光照条件下小尺度目标检测难度大的问题：涡轮机表面复杂的光照条件下，特别是在强烈的光照下，光线可能会在涡轮机表面形成强烈的高光或反射，这些高光区域在图像中可能与实际的损伤特征如裂纹或腐蚀相似，使得图像处理算法难以区分是光照效果还是真实的损伤。此外，如果涡轮机表面部分被阴影覆盖，那么这些阴影区域可能会隐藏或变形实际的损伤特征，使得算法在这些区域误判损伤的存在或忽略真正的损伤。这进一步增加了传统目标检测算法识别损伤特征的困难。

7、3、无人机与地面设备协同性问题：在现代的风力涡轮机表面损伤检测中，无人机的作用日益凸显，其高效的数据采集和实时监控功能，为表面损伤的早期发现和及时维护提供了有力支持。但伴随其应用，一些关键的技术难题也随之浮现，尤其是无人机与地面设备之间的协同性问题。

8、因此，提供一种更为高效、准确的风力涡轮机表面损伤、腐蚀检测方法，能够有效提高风电场的运维效率和安全水平，具有重要的实际意义和广泛的市场需求。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于改进的yolov8模型的风力涡轮机表面损伤和腐蚀检测方法，即使在图像分辨率低、光照条件复杂的环境中，也可以增强对风力涡轮机表面损伤的实时和准确检测。

2、为实现上述目的，本发明所提供的技术方案为：

3、基于改进的yolov8模型的风力涡轮机表面损伤和腐蚀检测方法，包括：

4、收集并筛选风力涡轮机表面损伤和腐蚀数据；

5、构建改进的yolov8模型；

6、利用筛选后的风力涡轮机表面损伤和腐蚀数据对改进的yolov8模型进行训练；

7、将训练完成的改进的yolov8模型部署至无人机上；

8、无人机飞抵风力涡轮机表面附近采集风力涡轮机表面的视频图像；

9、将风力涡轮机表面的视频图像输入至无人机上部署的改进的yolov8模型中，通过改进的yolov8模型对风力涡轮机表面的损伤和腐蚀进行实时检测。

10、进一步地，改进的yolov8模型包括backbone部分、neck部分、head部分；

11、backbone部分包括若干个卷积层、c2f结构、sppf结构、用于多尺度细节增强的msde-se注意力机制模块；

12、neck部分包括若干综合多重注意力机制模块、concat连接层、upsamp l e上采样层、gsconv卷积层；

13、head部分包括detect检测模块。

14、进一步地，改进的yolov8模型通过msde-se注意力机制模块，采用并行方式根据不同尺度的池化窗口对特征通道执行信息压缩，并按照小尺度池化结果权重大、大尺度池化结果权重小的原则进行加权融合，融合后的结果作为每个特征通道的特征信息。

15、进一步地，所述msde-se注意力机制模块不设特征通道升维和降维操作，维持通道维度保持不变。

16、进一步地，所述msde-se注意力机制模块的数学表达式如下：

17、amsdese(xdiv)＝σ(wc(fmsgap(xdiv)))

18、

19、式中，amsdese表示多尺度细节增强的se注意力机制模块，xdiv表示输入，fmsgap表示多尺度加权融合池化，wc表示矢量化过程，σ表示将原始特征图乘以矢量的标度算子，xrefine表示加权特征图。

20、进一步地，所述综合多重注意力机制模块通过使用三个并行分支分别捕捉输入张量的通道-高度、通道-宽度和高度-宽度维度之间的跨维交互来计算注意力权重；通过串联每个维度上的平均池化特征，平均池化层将张量的第零维度缩减为一个。

21、进一步地，平均池化层的公式如下：

22、avg-pool(x)＝[avgpool0d(x)]

23、其中,0d表示第零维度，模块通过平均值池化将张量x的维度缩减为一个维度。

24、进一步地，gsconv卷积层的操作过程如下：

25、a1、输入进行一个普通卷积的下采样；

26、a2、对上一步的输出使用dwconv深度卷积；

27、a3、将两个conv的结果拼接起来；

28、a4、进行洗牌操作。

29、进一步地，训练完成的改进的yolov8模型具体部署至无人机边缘计算设备rk3588开发板中，该rk3588开发板搭载ubuntu操作系统，采用darknet环境进行编译。

30、进一步地，进行实时检测时，将无人机机载摄像头的实时视频图像传输至rk3588开发板，通过rk3588开发板搭载的改进的yolov8模型来实现无人机视频图像的实时检测。

31、与现有技术相比，本技术方案原理及优点如下：

32、1、在backbone部分引入用于多尺度细节增强的msde-se注意力机制模块，可有效地处理多尺度的图像特征，通过不同尺度的池化窗口对特征通道执行信息压缩，并依据不同尺度压缩结果的重要性进行加权融合，其特别适合在低分辨率图像中提高小尺度目标(如表面损伤和腐蚀)的检测准确率。

33、2、msde-se注意力机制模块移除了传统se注意力机制中的特征通道升维和降维步骤，维持通道维度不变，可提高特征通道间的信息捕获能力，同时降低模型的计算复杂性和负担。

34、3、在neck部分引入综合多重注意力机制模块(i ntegrated-mu l t i)，综合多重注意力机制模块通过三个并行分支独立捕获输入张量的不同维度间的交互(通道-高度、通道-宽度、高度-宽度)，再通过平均池化，从多个角度提取原始图像更综合的特征表示。这种结构不仅可优化信息的层次性传递，提升特征识别能力，而且还可通过减少张量深度来优化计算效率。

35、4、在neck部分，将gsconv卷积层(全局稀疏卷积)代替conv卷积层，用于实现全局稀疏性的特征聚合，只在选定的稀疏位置进行卷积计算，可显著减少计算需求和模型参数，提高特征表达的效率。尤其适合在计算资源受限的环境(如无人机)中部署，支持实时视频流图像的高效处理。