风力发电机组的塔架设备质量控制系统及其方法与流程

1.本技术涉及新能源领域，且更为具体的涉及一种风力发电机组的塔架设备质量控制系统及其方法。


背景技术：

2.风力发电早已经从“补充能源”向“战略替代能源”的方向转变，是推动能源转型的重要力量。随着中高风速的优质风电资源越来越少，风力发电技术的快速发展，低风速区风电场的开发越来越大。
3.为了提高风资源利用率，发电机组越来越大型化，支撑风力发电机组的塔架越来越高，目前高塔架在160m以上已经也应用。同时，随着风力发电技术的快速发展进步，在“平价时代”成本的倒逼，支撑风力发电机组的塔架，风电塔架设计裕度和安全系系数也越来越小。风力发电机组塔架是支撑数百吨重机组的关键设备，不仅对机组起支撑作用，而且吸收机组震动，受力复杂，这些都对风力发电机组塔架提出了很高要求。
4.因此，期待一种风力发电机组的塔架设备质量控制方案，以确保风机的塔架质量满足预定标准。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种风力发电机组的塔架设备质量控制系统及其方法，其通过对由摄像头采集的待检测塔架的图像进行处理，获取焊接区域的焊接隐藏特征信息，并基于待检测焊接区域的焊接特征与其他焊接区域的焊接特征之间的对比来判断待检验区域的焊接质量是否满足预定要求。通过这样的方式，可以对于风机塔架的材料焊接质量进行控制，以确保成型后的风机塔架质量满足预定标准。特别地，考虑到向量的局部和非局部邻域来进行向量的特征值间的相关性的修复，以补偿图像区域的位置信息所带来的位置相关性的损失，进而提高分类的准确性。
6.根据本技术的一个方面，提供了一种风力发电机组的塔架设备质量控制系统，其包括：
7.监控数据采集模块，用于获取由摄像头采集的待检测塔架的图像；
8.焊接目标区域检测模块，用于将所述待检测塔架的图像通过目标检测网络以得到多个焊接感兴趣区域；
9.焊接特征提取模块，用于将所述多个焊接感兴趣区域中各个焊接感兴趣区域分别通过具有多个全连接层的焊接特征编码器以得到多个焊接特征向量；
10.特征校正模块，用于分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到多个校正后焊接特征向量，其中，所述统计特征为所述焊接特征向量的均值和方差；
11.待检验区域提取模块，用于从所述多个校正后焊接特征向量中提取待检验焊接区域的校正后焊接特征向量；
12.差异量化模块，用于计算所述待检验焊接区域的校正后焊接特征向量与所述校正后多个焊接特征向量中其他校正后焊接特征向量之间的协方差矩阵以得到多个协方差矩阵；
13.差异间特征提取模块，用于将所述多个协方差矩阵排列为三维输入张量后通过作为特征提取器的卷积神经网络模型以得到分类特征图；以及
14.质量检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检验焊接区域的焊接质量是否满足预定要求。
15.在上述风力发电机组的塔架设备质量控制系统中，所述摄像头为部署于无人机的摄像头。
16.在上述风力发电机组的塔架设备质量控制系统中，所述焊接目标区域检测模块，包括：浅层特征提取单元，用于将所述待检测塔架的图像通过所述目标检测网络的多层卷积层以得到塔架浅层特征图；以及，感兴趣区域锚定单元，用于使用所述目标检测网络以如下公式对所述塔架浅层特征图进行处理以得到所述多个焊接感兴趣区域，其中，所述公式为：
17.dets＝h(ψ
det
,b)＝(cls(χ
det
,b)，regr(ψ
det
,b))
18.其中ψ
det
表示所述塔架浅层特征图，b表示锚框，cls(
·
,
·
)表示分类，regr(
·
,
·
)表示回归。
19.在上述风力发电机组的塔架设备质量控制系统中，所述浅层特征提取单元，进一步用于：所述目标检测网络的多层卷积层的各层在层的正向传递中对输入数据进行卷积处理、池化处理和激活处理以由所述目标检测网络的多层卷积层的最后一层生成所述塔架浅层特征图，其中，所述目标检测网络的多层卷积层的第一层的输入为所述待检测塔架的图像。
20.在上述风力发电机组的塔架设备质量控制系统中，所述焊接特征提取模块，进一步用于：使用所述焊接特征编码器的多个全连接层以如下公式对所述多个焊接感兴趣区域中各个焊接感兴趣区域进行全连接编码以提取出所述多个焊接感兴趣区域中各个焊接感兴趣区域中各个位置的特征值的高维隐含特征，其中，所述公式为：其中x是所述多个焊接感兴趣区域中各个焊接感兴趣区域，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘。
21.在上述风力发电机组的塔架设备质量控制系统中，所述特征校正模块，进一步用于：以如下公式分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到所述多个校正后焊接特征向量；其中，所述公式为：
[0022][0023]
其中v表示所述多个焊接特征向量中各个焊接特征向量，∑表示所述多个焊接特征向量中各个焊接特征向量的自协方差矩阵，所述自协方差矩阵的每个位置的值是所述多个焊接特征向量中各个焊接特征向量的每两个位置的特征值之间的方差，μ和σ分别是所述多个焊接特征向量中各个焊接特征向量的全局均值和方差，||
·
||1表示特征向量的二范数，表示按位置差分，表示矩阵相乘，exp(
·
)表示向量的指数运算，所述向量的指数
运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
[0024]
在上述风力发电机组的塔架设备质量控制系统中，所述差异间特征提取模块，进一步用于：所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述分类特征图，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述三维输入张量。
[0025]
在上述风力发电机组的塔架设备质量控制系统中，所述质量检测结果生成模块，进一步用于：所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：
[0026]
softmax{(wn,bn):
…
:(w1,b1)|project(f)}，其中project(f)表示将所述分类特征图投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵。
[0027]
根据本技术的另一方面，还提供了一种风力发电机组的塔架设备质量控制方法，其包括：
[0028]
获取由摄像头采集的待检测塔架的图像；
[0029]
将所述待检测塔架的图像通过目标检测网络以得到多个焊接感兴趣区域；
[0030]
将所述多个焊接感兴趣区域中各个焊接感兴趣区域分别通过具有多个全连接层的焊接特征编码器以得到多个焊接特征向量；
[0031]
分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到多个校正后焊接特征向量，其中，所述统计特征为所述焊接特征向量的均值和方差；
[0032]
从所述多个校正后焊接特征向量中提取待检验焊接区域的校正后焊接特征向量；
[0033]
计算所述待检验焊接区域的校正后焊接特征向量与所述校正后多个焊接特征向量中其他校正后焊接特征向量之间的协方差矩阵以得到多个协方差矩阵；
[0034]
将所述多个协方差矩阵排列为三维输入张量后通过作为特征提取器的卷积神经网络模型以得到分类特征图；以及
[0035]
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检验焊接区域的焊接质量是否满足预定要求。
[0036]
在上述风力发电机组的塔架设备质量控制方法中，所述摄像头为部署于无人机的摄像头。
[0037]
在上述风力发电机组的塔架设备质量控制方法中，所述将所述待检测塔架的图像通过目标检测网络以得到多个焊接感兴趣区域，包括：将所述待检测塔架的图像通过所述目标检测网络的多层卷积层以得到塔架浅层特征图；以及，使用所述目标检测网络以如下公式对所述塔架浅层特征图进行处理以得到所述多个焊接感兴趣区域，其中，所述公式为：dets＝h(ψ
det
,b)＝(cls(ψ
det
,b)，regr(ψ
det
,b))，其中ψ
det
表示所述塔架浅层特征图，b表示锚框，cls(
·
,
·
)表示分类，regr(
·
,
·
)表示回归。
[0038]
在上述风力发电机组的塔架设备质量控制方法中，所述将所述待检测塔架的图像通过所述目标检测网络的多层卷积层以得到塔架浅层特征图，包括：使用所述目标检测网
络的多层卷积层的各层在层的正向传递中对输入数据进行卷积处理、池化处理和激活处理以由所述目标检测网络的多层卷积层的最后一层生成所述塔架浅层特征图，其中，所述目标检测网络的多层卷积层的第一层的输入为所述待检测塔架的图像。
[0039]
在上述风力发电机组的塔架设备质量控制方法中，所述将所述多个焊接感兴趣区域中各个焊接感兴趣区域分别通过具有多个全连接层的焊接特征编码器以得到多个焊接特征向量，包括：使用所述焊接特征编码器的多个全连接层以如下公式对所述多个焊接感兴趣区域中各个焊接感兴趣区域进行全连接编码以提取出所述多个焊接感兴趣区域中各个焊接感兴趣区域中各个位置的特征值的高维隐含特征，其中，所述公式为：其中x是所述多个焊接感兴趣区域中各个焊接感兴趣区域，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘。
[0040]
在上述风力发电机组的塔架设备质量控制方法中，所述分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到多个校正后焊接特征向量，包括：以如下公式分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到所述多个校正后焊接特征向量；其中，所述公式为：
[0041][0042]
其中v表示所述多个焊接特征向量中各个焊接特征向量，∑表示所述多个焊接特征向量中各个焊接特征向量的自协方差矩阵，所述自协方差矩阵的每个位置的值是所述多个焊接特征向量中各个焊接特征向量的每两个位置的特征值之间的方差，μ和σ分别是所述多个焊接特征向量中各个焊接特征向量的全局均值和方差，||
·
||2表示特征向量的二范数，表示按位置差分，表示矩阵相乘，exp(
·
)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
[0043]
在上述风力发电机组的塔架设备质量控制方法中，所述将所述多个协方差矩阵排列为三维输入张量后通过作为特征提取器的卷积神经网络模型以得到分类特征图，包括：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述分类特征图，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述三维输入张量。
[0044]
与现有技术相比，本技术提供的风力发电机组的塔架设备质量控制系统及其方法，其通过对由摄像头采集的待检测塔架的图像进行处理，获取焊接区域的焊接隐藏特征信息，并基于待检测焊接区域的焊接特征与其他焊接区域的焊接特征之间的对比来判断待检验区域的焊接质量是否满足预定要求。通过这样的方式，可以对于风机塔架的材料焊接质量进行控制，以确保成型后的风机塔架质量满足预定标准。特别地，考虑到向量的局部和非局部邻域来进行向量的特征值间的相关性的修复，以补偿图像区域的位置信息所带来的位置相关性的损失，进而提高分类的准确性。
附图说明
[0045]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0046]
图1图示了根据本技术实施例的风力发电机组的塔架设备质量控制系统的应用场景图。
[0047]
图2图示了根据本技术实施例的风力发电机组的塔架设备质量控制系统的框图。
[0048]
图3图示了根据本技术实施例的风力发电机组的塔架设备质量控制系统的系统架构图。
[0049]
图4图示了根据本技术实施例的风力发电机组的塔架设备质量控制系统中焊接目标区域检测模块的框图。
[0050]
图5图示了根据本技术实施例的风力发电机组的塔架设备质量控制方法的流程图。
[0051]
图6图示了根据本技术实施例的风力发电机组的塔架设备质量控制方法中得到多个焊接感兴趣区域的流程图。
具体实施方式
[0052]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0053]
申请概述
[0054]
本技术考虑到风机塔架由多块钢板材料焊接而成，而对风力发电机组的塔架设备的质量控制过程，核心是对所述多块钢板材料的焊接质量进行控制以确保成型后的风机塔架质量满足预定标准。并且，本技术还考虑到在对于焊接质量进行判断时，大部分的焊接区域质量都能够满足预设标准，而焊接的质量可以根据各个焊接区域的质量对比来进行差别区分，进而更为容易对于焊接质量不满足预设标准的区域进行判断。因此，在本技术的技术方案中，基于待检测焊接区域的焊接特征与其他焊接区域的焊接特征之间的对比来判断待检验区域的焊接质量是否满足预定要求。
[0055]
具体地，在本技术的技术方案中，首先，通过部署于无人机的摄像头采集待检测塔架的图像。应可以理解，由于考虑到在对于所述风机塔架的钢板焊接质量进行监测控制时，应该更着重关注于焊接区域的焊接隐藏特征信息，并过滤掉周围的无用背景等特征信息。因此，进一步将所述待检测塔架的图像通过所述目标检测网络的多层卷积层中进行特征提取，以提取出所述待检测塔架的图像中关于所述待检测塔架的浅层特征信息，也就是所述待检测塔架的形状、纹理等特征，从而得到塔架浅层特征图；然后，再使用所述目标检测网络以锚框b来进行滑动对所述塔架的浅层特征图进行处理，以对于所述焊接的感兴趣区域进行框定，从而得到所述多个焊接感兴趣区域。
[0056]
然后，将所述多个焊接感兴趣区域中各个焊接感兴趣区域分别通过具有多个全连接层的焊接特征编码器中进行深层的隐含关联特征提取，以提取出所述多个焊接感兴趣区
域中各个焊接感兴趣区域的焊接特征之间的隐含关联特征，以得到多个焊接特征向量。
[0057]
特别地，在本技术的技术方案中，在将所述多个焊接感兴趣区域中的各个焊接感兴趣区域分别通过全连接层以得到所述多个焊接特征向量时，由于全连接层的前向传播消融了图像区域的位置信息，因此期望对所述焊接特征向量进行用于补偿信息损失的修正。
[0058]
因此，进一步对所述多个焊接特征向量中的每个进行前向传播相关性引导修正，表示为：
[0059][0060]
其中v表示所述多个焊接特征向量中各个焊接特征向量，∑表示所述多个焊接特征向量中各个焊接特征向量的自协方差矩阵，所述自协方差矩阵的每个位置的值是所述多个焊接特征向量中各个焊接特征向量的每两个位置的特征值之间的方差，μ和σ分别是所述多个焊接特征向量中各个焊接特征向量的全局均值和方差，||
·
||2表示特征向量的二范数，表示按位置差分，表示矩阵相乘，exp(
·
)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
[0061]
也就是，针对全连接层对于所述焊接感兴趣区域图像的前向的像素级传播的特点，通过可学习的正态采样偏移引导特征工程来有效地建模图像的宽度和高度维度与向量的长度维度上的长程依赖关系，并进一步考虑向量的局部和非局部邻域来进行向量的特征值间的相关性的修复，以补偿图像区域的位置信息所带来的位置相关性的损失，进而提高分类的准确性。
[0062]
进一步地，在对于所述待检验的焊接区域进行质量检测时，可以从所述多个校正后焊接特征向量中提取所述待检验焊接区域的校正后焊接特征向量。然后，为了基于所述待检测焊接区域的焊接特征与其他焊接区域的焊接特征之间的对比来判断所述待检验区域的焊接质量是否满足预定要求，进一步计算所述待检验焊接区域的校正后焊接特征向量与所述校正后多个焊接特征向量中其他校正后焊接特征向量之间的协方差矩阵以得到多个协方差矩阵。
[0063]
这样，将所述多个协方差矩阵排列为三维输入张量后通过作为特征提取器的卷积神经网络模型中进行深层关联特征挖掘以得到分类特征图。然后，就可以将所述分类特征图通过分类器中以得到用于表示待检验焊接区域的焊接质量是否满足预定要求的分类结果，通过这样的方式，可以对于风机塔架的材料焊接质量进行控制，以确保成型后的风机塔架质量满足预定标准。
[0064]
基于此，本技术提出了一种风力发电机组的塔架设备质量控制系统，其包括：监控数据采集模块，用于获取由摄像头采集的待检测塔架的图像；焊接目标区域检测模块，用于将所述待检测塔架的图像通过目标检测网络以得到多个焊接感兴趣区域；焊接特征提取模块，用于将所述多个焊接感兴趣区域中各个焊接感兴趣区域分别通过具有多个全连接层的焊接特征编码器以得到多个焊接特征向量；特征校正模块，用于分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到多个校正后焊接特征向量，其中，所述统计特征为所述焊接特征向量的均值和方差；待检验区域提取模块，用于从所述多个校正后焊接特征向量中提取待检验焊接区域的校正后焊接特征向量；差异量化模块，用于计算所述待检验焊接区域的校正后焊接特征向量与所述校正后多个焊接特征向
量中其他校正后焊接特征向量之间的协方差矩阵以得到多个协方差矩阵；差异间特征提取模块，用于将所述多个协方差矩阵排列为三维输入张量后通过作为特征提取器的卷积神经网络模型以得到分类特征图；以及，质量检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检验焊接区域的焊接质量是否满足预定要求。
[0065]
图1图示了根据本技术实施例的风力发电机组的塔架设备质量控制系统的应用场景图。如图1所示，在该应用场景中，首先，通过部署于无人机(例如，如图1中所示意的h)的摄像头(例如，如图1中所示意的c)采集待检测塔架的图像。然后，将所述待检测塔架的图像输入至部署有风力发电机组的塔架设备质量控制算法的服务器(例如，如图1中所示意的s)中，其中，所述服务器能够以所述风力发电机组的塔架设备质量控制算法对输入的所述待检测塔架的图像进行处理以得到用于表示待检验焊接区域的焊接质量是否满足预定要求的分类结果。
[0066]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0067]
示例性系统
[0068]
图2图示了根据本技术实施例的风力发电机组的塔架设备质量控制系统的框图。如图2所示，根据本技术实施例的风力发电机组的塔架设备质量控制系统100，包括：监控数据采集模块110，用于获取由摄像头采集的待检测塔架的图像；焊接目标区域检测模块120，用于将所述待检测塔架的图像通过目标检测网络以得到多个焊接感兴趣区域；焊接特征提取模块130，用于将所述多个焊接感兴趣区域中各个焊接感兴趣区域分别通过具有多个全连接层的焊接特征编码器以得到多个焊接特征向量；特征校正模块140，用于分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到多个校正后焊接特征向量，其中，所述统计特征为所述焊接特征向量的均值和方差；待检验区域提取模块150，用于从所述多个校正后焊接特征向量中提取待检验焊接区域的校正后焊接特征向量；差异量化模块160，用于计算所述待检验焊接区域的校正后焊接特征向量与所述校正后多个焊接特征向量中其他校正后焊接特征向量之间的协方差矩阵以得到多个协方差矩阵；差异间特征提取模块170，用于将所述多个协方差矩阵排列为三维输入张量后通过作为特征提取器的卷积神经网络模型以得到分类特征图；以及，质量检测结果生成模块180，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检验焊接区域的焊接质量是否满足预定要求。
[0069]
图3图示了根据本技术实施例的风力发电机组的塔架设备质量控制系统100的系统架构图。如图3所示，在所述风力发电机组的塔架设备质量控制系统100的系统架构中，首先获取由摄像头采集的待检测塔架的图像并通过目标检测网络以得到多个焊接感兴趣区域。接着，将所述多个焊接感兴趣区域中各个焊接感兴趣区域分别通过具有多个全连接层的焊接特征编码器以得到多个焊接特征向量，并分别对其中各个焊接特征向量进行基于统计特征值的特征值校正以得到多个校正后焊接特征向量，其中，所述统计特征为所述焊接特征向量的均值和方差。然后，从所述多个校正后焊接特征向量中提取待检验焊接区域的校正后焊接特征向量，并计算所述待检验焊接区域的校正后焊接特征向量与所述校正后多个焊接特征向量中其他校正后焊接特征向量之间的协方差矩阵以得到多个协方差矩阵。接
着，将所述多个协方差矩阵排列为三维输入张量后通过作为特征提取器的卷积神经网络模型以得到分类特征图。然后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检验焊接区域的焊接质量是否满足预定要求。
[0070]
在上述风力发电机组的塔架设备质量控制系统100中，所述监控数据采集模块110，用于获取由摄像头采集的待检测塔架的图像。具体地，本技术考虑到风机塔架由多块钢板材料焊接而成，而对风力发电机组的塔架设备的质量控制过程，核心是对所述多块钢板材料的焊接质量进行控制以确保成型后的风机塔架质量满足预定标准。并且，本技术还考虑到在对于焊接质量进行判断时，大部分的焊接区域质量都能够满足预设标准，而焊接的质量可以根据各个焊接区域的质量对比来进行差别区分，进而更为容易对于焊接质量不满足预设标准的区域进行判断。因此，在本技术的技术方案中，基于待检测焊接区域的焊接特征与其他焊接区域的焊接特征之间的对比来判断待检验区域的焊接质量是否满足预定要求。
[0071]
在一个示例中，在上述风力发电机组的塔架设备质量控制系统100中，所述摄像头为部署于无人机的摄像头。
[0072]
在上述风力发电机组的塔架设备质量控制系统100中，所述焊接目标区域检测模块120，用于将所述待检测塔架的图像通过目标检测网络以得到多个焊接感兴趣区域。
[0073]
应可以理解，由于考虑到在对于所述风机塔架的钢板焊接质量进行监测控制时，应该更着重关注于焊接区域的焊接隐藏特征信息，并过滤掉周围的无用背景等特征信息。因此，进一步将所述待检测塔架的图像通过所述目标检测网络的多层卷积层中进行特征提取，以提取出所述待检测塔架的图像中关于所述待检测塔架的浅层特征信息，也就是所述待检测塔架的形状、纹理等特征，从而得到塔架浅层特征图；然后，再使用所述目标检测网络以锚框b来进行滑动对所述塔架的浅层特征图进行处理，以对于所述焊接的感兴趣区域进行框定，从而得到所述多个焊接感兴趣区域。
[0074]
特别地，基于锚窗(anchor-based)目标检测方法有fast r-cnn、faster r-cnn、retinanet等。其中，faster r-cnn方法的过程包括：特征提取、关联锚框(为每个特征关联多个锚框，并将特征图作为输入，进行后续的锚框分类与锚框回归)、生成候选区域(根据锚框分类中预测的锚框前景得分，筛选出属于前景的锚框)、调整候选区域(根据锚框回归中预测的锚框偏移量，调整前景锚框的位置和长宽)、筛选后续区域(去掉冗余的候选区域，得到最终候选区域)、增强候选区域(仅训练时采用：将真实标注框也作为最终候选区域，放入候选区域子集中，增加训练样本量)。通过这样的方式，对所述塔架的浅层特征图进行处理以得到所述多个焊接感兴趣区域。
[0075]
图4图示了根据本技术实施例的风力发电机组的塔架设备质量控制系统中焊接目标区域检测模块的框图。如图4所示，所述焊接目标区域检测模块120，包括：浅层特征提取单元121，用于将所述待检测塔架的图像通过所述目标检测网络的多层卷积层以得到塔架浅层特征图；以及，感兴趣区域锚定单元122，用于使用所述目标检测网络以如下公式对所述塔架浅层特征图进行处理以得到所述多个焊接感兴趣区域，其中，所述公式为：
[0076]
dets＝h(ψ
det
,b)＝(cls(ψ
det
,b)，regr(ψ
det
,b))
[0077]
其中ψ
det
表示所述塔架浅层特征图，b表示锚框，cls(
·
,
·
)表示分类，regr(
·
,
·
)表示回归。
[0078]
在一个示例中，在上述风力发电机组的塔架设备质量控制系统100中，所述浅层特征提取单元121，进一步用于：所述目标检测网络的多层卷积层的各层在层的正向传递中对输入数据进行卷积处理、池化处理和激活处理以由所述目标检测网络的多层卷积层的最后一层生成所述塔架浅层特征图，其中，所述目标检测网络的多层卷积层的第一层的输入为所述待检测塔架的图像。
[0079]
在上述风力发电机组的塔架设备质量控制系统100中，所述焊接特征提取模块130，用于将所述多个焊接感兴趣区域中各个焊接感兴趣区域分别通过具有多个全连接层的焊接特征编码器以得到多个焊接特征向量。也就是，将所述多个焊接感兴趣区域中各个焊接感兴趣区域分别通过具有多个全连接层的焊接特征编码器中进行深层的隐含关联特征提取，以提取出所述多个焊接感兴趣区域中各个焊接感兴趣区域的焊接特征之间的隐含关联特征，以得到多个焊接特征向量。
[0080]
在一个示例中，在上述风力发电机组的塔架设备质量控制系统100中，所述焊接特征提取模块130，进一步用于：使用所述焊接特征编码器的多个全连接层以如下公式对所述多个焊接感兴趣区域中各个焊接感兴趣区域进行全连接编码以提取出所述多个焊接感兴趣区域中各个焊接感兴趣区域中各个位置的特征值的高维隐含特征，其中，所述公式为：其中x是所述多个焊接感兴趣区域中各个焊接感兴趣区域，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘。
[0081]
在上述风力发电机组的塔架设备质量控制系统100中，所述特征校正模块140，用于分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到多个校正后焊接特征向量，其中，所述统计特征为所述焊接特征向量的均值和方差。在将所述多个焊接感兴趣区域中的各个焊接感兴趣区域分别通过全连接层以得到所述多个焊接特征向量时，由于全连接层的前向传播消融了图像区域的位置信息，因此期望对所述焊接特征向量进行用于补偿信息损失的修正。
[0082]
在一个示例中，在上述风力发电机组的塔架设备质量控制系统100中，所述特征校正模块140，进一步用于：以如下公式分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到所述多个校正后焊接特征向量；其中，所述公式为：
[0083][0084]
其中v表示所述多个焊接特征向量中各个焊接特征向量，∑表示所述多个焊接特征向量中各个焊接特征向量的自协方差矩阵，所述自协方差矩阵的每个位置的值是所述多个焊接特征向量中各个焊接特征向量的每两个位置的特征值之间的方差，μ和σ分别是所述多个焊接特征向量中各个焊接特征向量的全局均值和方差，||
·
||2表示特征向量的二范数，表示按位置差分，表示矩阵相乘，exp(
·
)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
[0085]
通过这样的方式，对所述多个焊接特征向量中的每个进行前向传播相关性引导修正。也就是，针对全连接层对于所述焊接感兴趣区域图像的前向的像素级传播的特点，通过可学习的正态采样偏移引导特征工程来有效地建模图像的宽度和高度维度与向量的长度维度上的长程依赖关系，并进一步考虑向量的局部和非局部邻域来进行向量的特征值间的
相关性的修复，以补偿图像区域的位置信息所带来的位置相关性的损失，进而提高分类的准确性。
[0086]
在上述风力发电机组的塔架设备质量控制系统100中，所述待检验区域提取模块150，用于从所述多个校正后焊接特征向量中提取待检验焊接区域的校正后焊接特征向量。进一步地，在对于所述待检验的焊接区域进行质量检测时，可以从所述多个校正后焊接特征向量中提取所述待检验焊接区域的校正后焊接特征向量。
[0087]
在上述风力发电机组的塔架设备质量控制系统100中，所述差异量化模块160，用于计算所述待检验焊接区域的校正后焊接特征向量与所述校正后多个焊接特征向量中其他校正后焊接特征向量之间的协方差矩阵以得到多个协方差矩阵。为了基于所述待检测焊接区域的焊接特征与其他焊接区域的焊接特征之间的对比来判断所述待检验区域的焊接质量是否满足预定要求，进一步计算所述待检验焊接区域的校正后焊接特征向量与所述校正后多个焊接特征向量中其他校正后焊接特征向量之间的协方差矩阵以得到多个协方差矩阵。
[0088]
在上述风力发电机组的塔架设备质量控制系统100中，所述差异间特征提取模块170，用于将所述多个协方差矩阵排列为三维输入张量后通过作为特征提取器的卷积神经网络模型以得到分类特征图。也就是，将所述多个协方差矩阵排列为三维输入张量后通过作为特征提取器的卷积神经网络模型中进行深层关联特征挖掘以得到分类特征图。
[0089]
在一个示例中，在上述风力发电机组的塔架设备质量控制系统100中，所述差异间特征提取模块170，进一步用于：所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述分类特征图，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述三维输入张量。
[0090]
在上述风力发电机组的塔架设备质量控制系统100中，所述质量检测结果生成模块180，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检验焊接区域的焊接质量是否满足预定要求。通过这样的方式，可以对于风机塔架的材料焊接质量进行控制，以确保成型后的风机塔架质量满足预定标准。
[0091]
在一个示例中，在上述风力发电机组的塔架设备质量控制系统100中，所述质量检测结果生成模块180，进一步用于：所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：
[0092]
softmax{(wn,bn):
…
:(w1,b1)|project(f)}，其中project(f)表示将所述分类特征图投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵。
[0093]
综上，根据本技术实施例的所述风力发电机组的塔架设备质量控制系统100被阐明，其通过对由摄像头采集的待检测塔架的图像进行处理，获取焊接区域的焊接隐藏特征信息，并基于待检测焊接区域的焊接特征与其他焊接区域的焊接特征之间的对比来判断待检验区域的焊接质量是否满足预定要求。通过这样的方式，可以对于风机塔架的材料焊接质量进行控制，以确保成型后的风机塔架质量满足预定标准。特别地，考虑到向量的局部和非局部邻域来进行向量的特征值间的相关性的修复，以补偿图像区域的位置信息所带来的
位置相关性的损失，进而提高分类的准确性。
[0094]
如上所述，根据本技术实施例的风力发电机组的塔架设备质量控制系统100可以实现在各种终端设备中，例如具有风力发电机组的塔架设备质量控制的服务器等。在一个示例中，根据本技术实施例的风力发电机组的塔架设备质量控制系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该风力发电机组的塔架设备质量控制系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该风力发电机组的塔架设备质量控制系统100同样可以是该终端设备的众多硬件模块之一。
[0095]
替换地，在另一示例中，该风力发电机组的塔架设备质量控制系统100与该终端设备也可以是分立的设备，并且该风力发电机组的塔架设备质量控制系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0096]
示例性方法
[0097]
根据本技术的另一方面，还提供了一种风力发电机组的塔架设备质量控制方法。如图5所示，根据本技术实施例的所述风力发电机组的塔架设备质量控制方法，包括步骤：s110，获取由摄像头采集的待检测塔架的图像；s120，将所述待检测塔架的图像通过目标检测网络以得到多个焊接感兴趣区域；s130，将所述多个焊接感兴趣区域中各个焊接感兴趣区域分别通过具有多个全连接层的焊接特征编码器以得到多个焊接特征向量；s140，分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到多个校正后焊接特征向量，其中，所述统计特征为所述焊接特征向量的均值和方差；s150，从所述多个校正后焊接特征向量中提取待检验焊接区域的校正后焊接特征向量；s160，计算所述待检验焊接区域的校正后焊接特征向量与所述校正后多个焊接特征向量中其他校正后焊接特征向量之间的协方差矩阵以得到多个协方差矩阵；s170，将所述多个协方差矩阵排列为三维输入张量后通过作为特征提取器的卷积神经网络模型以得到分类特征图；以及，s180，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检验焊接区域的焊接质量是否满足预定要求。
[0098]
在一个示例中，在上述风力发电机组的塔架设备质量控制方法中，所述摄像头为部署于无人机的摄像头。
[0099]
图6图示了根据本技术实施例的风力发电机组的塔架设备质量控制方法中得到多个焊接感兴趣区域的流程图。如图6所示，在上述风力发电机组的塔架设备质量控制方法中，所述将所述待检测塔架的图像通过目标检测网络以得到多个焊接感兴趣区域，包括：s210，将所述待检测塔架的图像通过所述目标检测网络的多层卷积层以得到塔架浅层特征图；以及，s220，使用所述目标检测网络以如下公式对所述塔架浅层特征图进行处理以得到所述多个焊接感兴趣区域，其中，所述公式为：
[0100]
dets＝h(ψ
det
,b)＝(cls(ψ
det
,b)，regr(ψ
det
,b))
[0101]
其中ψ
det
表示所述塔架浅层特征图，b表示锚框，cls(
·
,
·
)表示分类，regr(
·
,
·
)表示回归。
[0102]
在一个示例中，在上述风力发电机组的塔架设备质量控制方法中，所述将所述待检测塔架的图像通过所述目标检测网络的多层卷积层以得到塔架浅层特征图，包括：使用所述目标检测网络的多层卷积层的各层在层的正向传递中对输入数据进行卷积处理、池化
处理和激活处理以由所述目标检测网络的多层卷积层的最后一层生成所述塔架浅层特征图，其中，所述目标检测网络的多层卷积层的第一层的输入为所述待检测塔架的图像。
[0103]
在一个示例中，在上述风力发电机组的塔架设备质量控制方法中，所述将所述多个焊接感兴趣区域中各个焊接感兴趣区域分别通过具有多个全连接层的焊接特征编码器以得到多个焊接特征向量，包括：使用所述焊接特征编码器的多个全连接层以如下公式对所述多个焊接感兴趣区域中各个焊接感兴趣区域进行全连接编码以提取出所述多个焊接感兴趣区域中各个焊接感兴趣区域中各个位置的特征值的高维隐含特征，其中，所述公式为：其中x是所述多个焊接感兴趣区域中各个焊接感兴趣区域，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘。
[0104]
在一个示例中，在上述风力发电机组的塔架设备质量控制方法中，所述分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到多个校正后焊接特征向量，包括：以如下公式分别对所述多个焊接特征向量中各个焊接特征向量进行基于统计特征值的特征值校正以得到所述多个校正后焊接特征向量；其中，所述公式为：
[0105][0106]
其中v表示所述多个焊接特征向量中各个焊接特征向量，∑表示所述多个焊接特征向量中各个焊接特征向量的自协方差矩阵，所述自协方差矩阵的每个位置的值是所述多个焊接特征向量中各个焊接特征向量的每两个位置的特征值之间的方差，μ和σ分别是所述多个焊接特征向量中各个焊接特征向量的全局均值和方差，||
·
||2表示特征向量的二范数，表示按位置差分，表示矩阵相乘，exp(
·
)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
[0107]
在一个示例中，在上述风力发电机组的塔架设备质量控制方法中，所述将所述多个协方差矩阵排列为三维输入张量后通过作为特征提取器的卷积神经网络模型以得到分类特征图，包括：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述分类特征图，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述三维输入张量。
[0108]
在一个示例中，在上述风力发电机组的塔架设备质量控制方法中，所述将所述分类特征图通过分类器以得到分类结果，包括：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：
[0109]
softmax{(wn,bn):
…
:(w1,b1)|project(f)}
[0110]
其中project(f)表示将所述分类特征图投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵。
[0111]
综上，根据本技术实施例的所述风力发电机组的塔架设备质量控制方法被阐明，其通过对由摄像头采集的待检测塔架的图像进行处理，获取焊接区域的焊接隐藏特征信息，并基于待检测焊接区域的焊接特征与其他焊接区域的焊接特征之间的对比来判断待检
验区域的焊接质量是否满足预定要求。通过这样的方式，可以对于风机塔架的材料焊接质量进行控制，以确保成型后的风机塔架质量满足预定标准。特别地，考虑到向量的局部和非局部邻域来进行向量的特征值间的相关性的修复，以补偿图像区域的位置信息所带来的位置相关性的损失，进而提高分类的准确性。