风电场风机大部件状态监测系统及其方法与流程

1.本技术涉及智能监测技术领域，且更为具体地，涉及一种风电场风机大部件状态监测系统及其方法。


背景技术：

2.截止2013年底，全球风电总装机达到318gw，其中海上风电为6.8gw，我国风电总装机为91.4gw，海上风电装机428mw。随着时间的推移，风电机组运行的安全事故也呈上升趋势。在各类风电事故中，结构失效仅次于火灾和叶片失效，因此对风机结构体系状态进行监测有重要的意义。
3.相比陆上，海上风机所受荷载环境更复杂，多变的风、浪、流，甚至极端情况下的冰、台风、地震等荷载激励对结构影响机理更加复杂。同时，由于海上风机远离陆地，风电场管理工作人员无法经常性的对结构进行评估与检测，对于事故的响应时间也远长于陆上风机的处理。
4.因此，期待一种优化的用于海上风机结构的状态监测方案。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种风电场风机大部件状态监测系统及其方法。其首先将海上风机的基础结构的声发射信号进行格拉姆角和场变换得到的格拉姆角和场图像通过第一卷积神经网络以得到格拉姆角和场特征矩阵，接着，将从海上风机的基础结构的振动信号提取的多个频域统计特征向量通过时序编码器以得到频域统计特征向量，然后，将所述振动信号的波形图通过图像编码器以得到图像波形特征向量，接着，将所述图像波形特征向量和所述频域统计特征向量融合得到的振动特征矩阵与所述格拉姆角和场特征矩阵融合以得到分类特征矩阵，最后，将所述分类特征矩阵通过分类器以得到分类结果。这样，就可以对海上风机的结构状态进行更精准地评估，缩短响应时间。
6.根据本技术的一个方面，提供了一种风电场风机大部件状态监测系统，其包括：
7.监测数据采集单元，用于获取待检测海上风机的基础结构的声发射信号和振动信号；
8.域转换单元，用于对所述声发射信号进行格拉姆角和场变换以得到格拉姆角和场图像；
9.格拉姆角和场图像编码单元，用于将所述格拉姆角和场图像通过经训练完成的使用空间注意力机制的第一卷积神经网络以得到格拉姆角和场特征矩阵；
10.频域统计特征提取单元，用于从所述振动信号提取多个频域统计特征向量；
11.频域时序编码单元，用于将所述多个频域统计特征向量排列为频域统计输入向量后通过经训练完成的clip模型的时序编码器以得到频域统计特征向量；
12.振动波形图编码单元，用于将所述振动信号的波形图通过经训练完成的所述clip
模型的图像编码器以得到图像波形特征向量；
13.联合编码单元，用于使用经训练完成的所述clip模型的联合编码器来融合所述图像波形特征向量和所述频域统计特征向量以得到振动特征矩阵；
14.特征融合单元，用于融合所述格拉姆角和场特征矩阵和所述振动特征矩阵以得到分类特征矩阵；以及
15.监测结果生成单元，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测海上风机的基础结构的状态是否正常。
16.根据本技术的另一方面，提供了一种风电场风机大部件状态监测方法，其包括：
17.获取待检测海上风机的基础结构的声发射信号和振动信号；
18.对所述声发射信号进行格拉姆角和场变换以得到格拉姆角和场图像；
19.将所述格拉姆角和场图像通过经训练完成的使用空间注意力机制的第一卷积神经网络以得到格拉姆角和场特征矩阵；
20.从所述振动信号提取多个频域统计特征向量；
21.将所述多个频域统计特征向量排列为频域统计输入向量后通过经训练完成的clip模型的时序编码器以得到频域统计特征向量；
22.将所述振动信号的波形图通过经训练完成的所述clip模型的图像编码器以得到图像波形特征向量；
23.使用经训练完成的所述clip模型的联合编码器来融合所述图像波形特征向量和所述频域统计特征向量以得到振动特征矩阵；
24.融合所述格拉姆角和场特征矩阵和所述振动特征矩阵以得到分类特征矩阵；以及
25.将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测海上风机的基础结构的状态是否正常。
26.与现有技术相比，本技术提供的风电场风机大部件状态监测系统及其方法。其首先将海上风机的基础结构的声发射信号进行格拉姆角和场变换得到的格拉姆角和场图像通过第一卷积神经网络以得到格拉姆角和场特征矩阵，接着，将从海上风机的基础结构的振动信号提取的多个频域统计特征向量通过时序编码器以得到频域统计特征向量，然后，将所述振动信号的波形图通过图像编码器以得到图像波形特征向量，接着，将所述图像波形特征向量和所述频域统计特征向量融合得到的振动特征矩阵与所述格拉姆角和场特征矩阵融合以得到分类特征矩阵，最后，将所述分类特征矩阵通过分类器以得到分类结果。这样，就可以对海上风机的结构状态进行更精准地评估，缩短响应时间。
附图说明
27.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
28.图1图示了根据本技术实施例的风电场风机大部件状态监测系统的应用场景图。
29.图2图示了根据本技术实施例的风电场风机大部件状态监测系统的框图示意图。
30.图3图示了根据本技术实施例的风电场风机大部件状态监测系统中所述频域统计
特征提取单元的框图示意图。
31.图4图示了根据本技术实施例的风电场风机大部件状态监测系统中所述频域时序编码单元的框图示意图。
32.图5图示了根据本技术实施例的风电场风机大部件状态监测系统中进一步包括的训练模块的框图示意图。
33.图6图示了根据本技术实施例的风电场风机大部件状态监测方法的流程图。
34.图7图示了根据本技术实施例的风电场风机大部件状态监测方法的系统架构的示意图。
具体实施方式
35.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
36.场景概述
37.目前，由于海上风机所处的环境较为复杂，对于所述海上风机的结构状态监测也不够智能化和便捷化，这样就会使得对于事故的响应时间远长于陆上风机，进而造成不必要的损失。基于此，本技术发明人考虑到在所述海上风机正常运行时，其产生的振动信号在基础结构中会以特定的形式进行传导，因此期望通过所述海上风机的基础结构的振动规律来对于所述海上风机的结构状态进行监测，并且本技术发明人还发现对于所述海上风机的不同结构具有着不同的振动承受范围，因此在对于所述海上风机的基础结构的状态进行监测时还应考虑到各个被检测对象的振动承受特征，以对于所述海上风机的结构状态进行更为精准地评估。
38.具体地，在本技术的技术方案中，首先，通过各个传感器获取待检测海上风机的基础结构的声发射信号和振动信号。应可以理解，声发射信号的产生是由于在金属加工中分子的晶格发生畸变、裂纹加剧以及材料在塑性变形时释放出的一种超高频应力波脉冲信号，其能够提取出被检测对象的结构信息，而所述振动信号能够提取被检测对象的振动规律，通过采集这两者的信号数据，以便于后续进行隐含的特征提取，进而再基于所述被检测对象，也就是所述海上风机的基础结构的隐含特征和振动规律的隐含特征来综合进行所述海上风机的结构状态评估监测。
39.然后，对所述声发射信号，首先将其进行格拉姆角和场变换以得到格拉姆角和场图像。应可以理解，由于格拉姆角场(gramian angular field，gaf)基于gram原理，它可将经典笛卡尔坐标系下的所述声发射信号的时间序列迁移到极坐标系上进行表示。gaf可很好地保留原始声发射时序信号的依赖性和相关性，具有和原始声发射信号相似的时序特质。特别地，gaf按照编码所用三角函数的不同可以得到格拉姆角和场(gramian angular sum field，gasf)和格拉姆角差场(gramian angular difference field，gadf)，gadf转换之后不可逆，因此，在本技术的技术方案中，选择可进行逆转换的gasf转换方式来进行所述声发射信号的编码。也就是，对所述声发射信号进行格拉姆角场转换以得到所述声发射信号的格拉姆角和场图像。相应地，在一个具体示例中，所述声发射信号到gasf图像的编码步骤如下所示：对于一个有c维度的所述声发射信号的时间序列＝{q1，q2，
…
，qc}，其中每个
维度都包含n个采样点qi＝{qi1，qi2，
…
，qin}，首先对每个维度的数据进行归一化操作。之后，将数据中的所有值整合到[-1,1]内，整合之后就用三角函数值cos值代替归一化后的数值，用极坐标来代替笛卡尔坐标，从而保留序列的绝对时间关系。
[0040]
进一步地，使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络来对于所述格拉姆角和场图像进行深层的特征挖掘，并且考虑到所述声发射信号在空间位置上具有着特殊的隐含特征，也就是，在不同的空间位置中所述声发射信号中的隐含特征信息并不相同，因此为了能够准确地提取出所述声发射信号中的高维隐含特征分布信息来对于被检测对象的结构特征进行挖掘，需要在使用所述卷积神经网络时更加聚焦于空间中的位置信息。也就是，具体地，在本技术的技术方案中，通过使用空间注意力机制的第一卷积神经网络来对于所述格拉姆角和场图像进行处理以得到格拉姆角和场特征矩阵。
[0041]
对于所述海上风机基础结构的振动规律，由于所述振动信号是一种时域信号，所述时域信号虽然在时间关联中对于特征的显性更为直观，但是在强噪声环境的影响下，例如海上的复杂环境因素下的应用的效果却并不理想，因此在对于所述海上风机的结构状态进行监测时，也只能判断出故障是否发生，却并不能判断故障发生的类型和位置。而频域信号的特征分析却不同于时域信号，将所述振动信号转换到频域中，能够通过所述振动信号在频域中的隐含特征分布信息确定故障的类型，但是其在所述振动信号的特征显性上并不直观，忽略了时间上的关联特征。因此，在本技术的技术方案中，采用所述振动信号在时域与频域上的隐含特征的结合的方式来进行，也就是，具体地，在本技术的技术方案中，首先，对所述振动信号进行傅里叶变换以得到频域信号。然后，考虑到在所述频域信号中，由于在频域中的所述振动信号具有较多的特征信息，而为了能够挖掘出频域统计特征中的全局隐含关联特征来表征所述海上风机的基础结构的振动规律，进一步从所述频域信号提取所述多个频域统计特征向量。
[0042]
进一步地，考虑到所述振动信号在时序维度上具有着动态性的规律特征，因此，为了更为充分地挖掘出所述振动信号在频域上的这种动态隐含特征来表达所述被检测对象的振动规律，以对于所述海上风机的基础结构进行准确地监测，进一步将所述多个频域统计特征向量排列为频域统计输入向量后，通过clip模型的时序编码器来对于所述频域统计输入向量进行编码，以提取出所述振动信号的隐含特征在时序维度上的变化特征。在本技术的一个具体示例中，所述clip模型的时序编码器由交替设置的全连接层和一维卷积层组成，其通过一维卷积编码提取出所述振动信号在时序维度上的关联和通过全连接编码提取所述振动信号的高维隐含特征。
[0043]
对于所述振动信号的时域特征，将所述振动信号的波形图通过所述clip模型的图像编码器以得到图像波形特征向量。这里，所述图像编码器能够通过卷积神经网络对于所述振动信号的波形图中的局部高维隐含特征进行深层挖掘。然后，就可以将所述图像波形特征向量和所述频域统计特征向量通过使用所述clip模型的联合编码器来进行融合。在本技术的一个具体示例中，所述联合编码器采用向量相乘的方式来进行特征的融合。
[0044]
然后，考虑到从所述声发射信号中提取到的是被检测对象的结构特征，而从所述振动信号中提取到的是所述被检测对象的振动规律特征。而对于所述海上风机来说，具有不同结构的被检测对象具有不同的振动承受范围和能力，因此，进一步融合所述声发射信号的结构特征和所述振动信号的振动规律特征来进行所述海上风机的基础结构状态评估。
相应地，在本技术的一个具体示例中，可以通过级联的方式融合所述格拉姆角和场特征矩阵和所述振动特征矩阵以得到分类特征矩阵，再将所述分类特征矩阵通过分类器以得到用于表示待检测海上风机的基础结构的状态是否正常的分类结果。
[0045]
特别地，在本技术的技术方案中，在融合所述振动特征矩阵和所述格拉姆角和场特征矩阵时，由于所述振动特征矩阵和所述格拉姆角和场特征矩阵分别具有的特征模式的差异较大，在将其融合后通过分类器进行分类时，在训练过程中的反向传播过程当中，可能由于异常的梯度分支导致特征所表达的模式的消解。
[0046]
因此，进一步针对所述振动特征矩阵和所述格拉姆角和场特征矩阵引入分类模式消解抑制损失，表示为：
[0047][0048]
其中v1和v2分别表示所述振动特征矩阵和所述格拉姆角和场特征矩阵投影后得到的特征向量，m1和m2分别是所述分类器对于所述振动特征矩阵和所述格拉姆角和场特征矩阵投影后得到的特征向量的权重矩阵，||
·
||f表示矩阵的frobenius范数，表示向量的二范数的平方，表示按位置差分，exp(
·
)表示矩阵的指数运算和向量的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
[0049]
这里，通过引入分类模式消解抑制损失函数，可以将分类器权重的伪差异推向真实的待融合特征之间的特征分布差异，从而保证梯度反向传播时的定向导数在梯度分支点附近得到正则化，即，将梯度在模式之间进行过加权，这样，就对特征的分类模式消解进行抑制，进而提高分类的准确性。这样，可以对于所述海上风机的基础结构的异常状态进行准确地评估监测，以避免事故的发生而造成不必要的损失。
[0050]
基于此，本技术提供了一种风电场风机大部件状态监测系统，其包括：监测数据采集单元，用于获取待检测海上风机的基础结构的声发射信号和振动信号；域转换单元，用于对所述声发射信号进行格拉姆角和场变换以得到格拉姆角和场图像；格拉姆角和场图像编码单元，用于将所述格拉姆角和场图像通过经训练完成的使用空间注意力机制的第一卷积神经网络以得到格拉姆角和场特征矩阵；频域统计特征提取单元，用于从所述振动信号提取多个频域统计特征向量；频域时序编码单元，用于将所述多个频域统计特征向量排列为频域统计输入向量后通过经训练完成的clip模型的时序编码器以得到频域统计特征向量；振动波形图编码单元，用于将所述振动信号的波形图通过经训练完成的所述clip模型的图像编码器以得到图像波形特征向量；联合编码单元，用于使用经训练完成的所述clip模型的联合编码器来融合所述图像波形特征向量和所述频域统计特征向量以得到振动特征矩阵；特征融合单元，用于融合所述格拉姆角和场特征矩阵和所述振动特征矩阵以得到分类特征矩阵；以及，监测结果生成单元，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测海上风机的基础结构的状态是否正常。
[0051]
图1图示了根据本技术实施例的风电场风机大部件状态监测系统的应用场景图。如图1所示，在该应用场景中，通过多个传感器(例如，如图1中所示意的c1、c2)获取待检测海上风机(例如，如图1中所示意的f)的基础结构的声发射信号和振动信号，然后，将获取的所述声发射信号和所述振动信号输入至部署有风电场风机大部件状态监测算法的服务器
中(例如，图1中所示意的s)，其中，所述服务器能够使用所述风电场风机大部件状态监测算法对所述声发射信号和所述振动信号进行处理以生成用于表示待检测海上风机的基础结构的状态是否正常的分类结果。
[0052]
在一个具体示例中，多个传感器可以包括用于获取待检测海上风机的基础结构的声发射信号的声学传感器(例如，如图1中所示意的c1)和用于获取待检测海上风机的基础结构的振动信号的振动传感器(例如，如图1中所示意的c2)。在另一个具体示例中，多个传感器还可以包括其他辅助感测的传感器。值得注意的是，多个传感器的数量可以不仅仅是图1中所示例的两个，其数量可以更多。
[0053]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0054]
示例性系统
[0055]
图2图示了根据本技术实施例的风电场风机大部件状态监测系统的框图示意图。如图2所示，根据本技术实施例的风电场风机大部件状态监测系统100，包括：监测数据采集单元110，用于获取待检测海上风机的基础结构的声发射信号和振动信号；域转换单元120，用于对所述声发射信号进行格拉姆角和场变换以得到格拉姆角和场图像；格拉姆角和场图像编码单元130，用于将所述格拉姆角和场图像通过经训练完成的使用空间注意力机制的第一卷积神经网络以得到格拉姆角和场特征矩阵；频域统计特征提取单元140，用于从所述振动信号提取多个频域统计特征向量；频域时序编码单元150，用于将所述多个频域统计特征向量排列为频域统计输入向量后通过经训练完成的clip模型的时序编码器以得到频域统计特征向量；振动波形图编码单元160，用于将所述振动信号的波形图通过经训练完成的所述clip模型的图像编码器以得到图像波形特征向量；联合编码单元170，用于使用经训练完成的所述clip模型的联合编码器来融合所述图像波形特征向量和所述频域统计特征向量以得到振动特征矩阵；特征融合单元180，用于融合所述格拉姆角和场特征矩阵和所述振动特征矩阵以得到分类特征矩阵；以及，监测结果生成单元190，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测海上风机的基础结构的状态是否正常。
[0056]
更具体地，在本技术实施例中，所述监测数据采集单元110，用于获取待检测海上风机的基础结构的声发射信号和振动信号。应可以理解，声发射信号的产生是由于在金属加工中分子的晶格发生畸变、裂纹加剧以及材料在塑性变形时释放出的一种超高频应力波脉冲信号，其能够提取出被检测对象的结构信息，而所述振动信号能够提取被检测对象的振动规律，通过采集这两者的信号数据，以便于后续进行隐含的特征提取，进而再基于所述被检测对象，也就是所述海上风机的基础结构的隐含特征和振动规律的隐含特征来综合进行所述海上风机的结构状态评估监测。换言之，声发射信号能够提取被检测对象结构，而从振动信号能够提取被检测对象的振动规律，应可以理解，具有不同结构的被检测对象具有不同的振动承受范围和能力，因此，融合两者能够对被检测对象的状态是否正常进行更为精准地评估。
[0057]
更具体地，在本技术实施例中，所述域转换单元120，用于对所述声发射信号进行格拉姆角和场变换以得到格拉姆角和场图像。应可以理解，由于格拉姆角场(gramian angular field，gaf)可很好地保留原始声发射时序信号的依赖性和相关性，具有和原始声
发射信号相似的时序特质。特别地，gaf按照编码所用三角函数的不同可以得到格拉姆角和场(gramian angular sum field，gasf)和格拉姆角差场(gramian angular difference field，gadf)，gadf转换之后不可逆，因此，在本技术的技术方案中，选择可进行逆转换的gasf转换方式来进行所述声发射信号的编码。也就是，对所述声发射信号进行格拉姆角场转换以得到所述声发射信号的格拉姆角和场图像。
[0058]
相应地，在一个具体示例中，所述声发射信号到gasf图像的编码步骤如下所示：对于一个有c维度的所述声发射信号的时间序列＝{q1，q2，
…
，qc}，其中每个维度都包含n个采样点qi＝{qi1，qi2，
…
，qin}，首先对每个维度的数据进行归一化操作。之后，将数据中的所有值整合到[-1,1]内，整合之后就用三角函数值cos值代替归一化后的数值，用极坐标来代替笛卡尔坐标，从而保留序列的绝对时间关系。
[0059]
更具体地，在本技术实施例中，所述格拉姆角和场图像编码单元130，用于将所述格拉姆角和场图像通过经训练完成的使用空间注意力机制的第一卷积神经网络以得到格拉姆角和场特征矩阵。可以理解的，使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络来对于所述格拉姆角和场图像进行深层的特征挖掘，并且考虑到所述声发射信号在空间位置上具有着特殊的隐含特征，也就是，在不同的空间位置中所述声发射信号中的隐含特征信息并不相同，因此为了能够准确地提取出所述声发射信号中的高维隐含特征分布信息来对于被检测对象的结构特征进行挖掘，需要在使用所述卷积神经网络时更加聚焦于空间中的位置信息。也就是，具体地，在本技术的技术方案中，通过使用空间注意力机制的第一卷积神经网络来对于所述格拉姆角和场图像进行处理以得到格拉姆角和场特征矩阵。
[0060]
相应地，在一个具体示例中，所述格拉姆角和场图像编码单元130，进一步用于：所述经训练完成的使用空间注意力机制的第一卷积神经网络的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；其中，所述经训练完成的使用空间注意力机制的第一卷积神经网络的最后一层输出的所述特征矩阵为所述格拉姆角和场特征矩阵。
[0061]
更具体地，在本技术实施例中，所述频域统计特征提取单元140，用于从所述振动信号提取多个频域统计特征向量。所述振动信号是一种时域信号，所述时域信号虽然在时间关联中对于特征的显性更为直观，但是在强噪声环境的影响下，例如海上的复杂环境因素下的应用的效果却并不理想，因此在对于所述海上风机的结构状态进行监测时，也只能判断出故障是否发生，却并不能判断故障发生的类型和位置。而频域信号的特征分析却不同于时域信号，将所述振动信号转换到频域中，能够通过所述振动信号在频域中的隐含特征分布信息确定故障的类型，但是其在所述振动信号的特征显性上并不直观，忽略了时间上的关联特征。因此，在本技术的技术方案中，采用所述振动信号在时域与频域上的隐含特征的结合的方式来进行，也就是，具体地，在本技术的技术方案中，首先，对所述振动信号进行傅里叶变换以得到频域信号。然后，考虑到在所述频域信号中，由于在频域中的所述振动信号具有较多的特征信息，而为了能够挖掘出频域统计特征中的全局隐含关联特征来表征
所述海上风机的基础结构的振动规律，进一步从所述频域信号提取所述多个频域统计特征向量。
[0062]
相应地，在一个具体示例中，如图3所示，所述频域统计特征提取单元140，包括：傅里叶变换子单元141，用于对所述振动信号进行傅里叶变换以得到频域信号；采样子单元142，用于从所述频域信号提取所述多个频域统计特征向量。
[0063]
更具体地，在本技术实施例中，所述频域时序编码单元150，用于将所述多个频域统计特征向量排列为频域统计输入向量后通过经训练完成的clip模型的时序编码器以得到频域统计特征向量。考虑到所述振动信号在时序维度上具有着动态性的规律特征，因此，为了更为充分地挖掘出所述振动信号在频域上的这种动态隐含特征来表达所述被检测对象的振动规律，以对于所述海上风机的基础结构进行准确地监测，进一步将所述多个频域统计特征向量排列为频域统计输入向量后，通过clip模型的时序编码器来对于所述频域统计输入向量进行编码，以提取出所述振动信号的隐含特征在时序维度上的变化特征。在本技术的一个具体示例中，所述clip模型的时序编码器由交替设置的全连接层和一维卷积层组成，其通过一维卷积编码提取出所述振动信号在时序维度上的关联和通过全连接编码提取所述振动信号的高维隐含特征。
[0064]
相应地，在一个具体示例中，如图4所示，所述频域时序编码单元150，包括：向量排列子单元151，用于将所述多个频域统计特征向量排列为频域统计输入向量；全连接编码子单元152，用于使用所述经训练完成的clip模型的时序编码器的全连接层以如下公式对所述频域统计输入向量进行全连接编码以提取出所述频域统计输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：其中x是所述频域统计输入向量，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘；一维卷积编码子单元153，用于使用所述经训练完成的clip模型的时序编码器的一维卷积层以如下公式对所述频域统计输入向量进行一维卷积编码以提取出所述频域统计输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：
[0065][0066]
其中，a为卷积核在x方向上的宽度、f(a)为卷积核参数向量、g(x-a)为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，x表示所述频域统计输入向量。
[0067]
更具体地，在本技术实施例中，所述振动波形图编码单元160，用于将所述振动信号的波形图通过经训练完成的所述clip模型的图像编码器以得到图像波形特征向量。对于所述振动信号的时域特征，将所述振动信号的波形图通过所述clip模型的图像编码器以得到图像波形特征向量。这里，所述图像编码器能够通过卷积神经网络对于所述振动信号的波形图中的局部高维隐含特征进行深层挖掘。
[0068]
相应地，在一个具体示例中，所述振动波形图编码单元160，进一步用于：所述经训练完成的所述clip模型的图像编码器使用卷积神经网络的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以
得到激活特征图；其中，所述卷积神经网络的最后一层的输出为所述图像波形特征向量，所述卷积神经网络的第一层的输入为所述振动信号的波形图。
[0069]
更具体地，在本技术实施例中，所述联合编码单元170，用于使用经训练完成的所述clip模型的联合编码器来融合所述图像波形特征向量和所述频域统计特征向量以得到振动特征矩阵。将所述图像波形特征向量和所述频域统计特征向量通过使用所述clip模型的联合编码器来进行融合。在本技术的一个具体示例中，所述联合编码器采用向量相乘的方式来进行特征的融合。
[0070]
相应地，在一个具体示例中，所述联合编码单元170，进一步用于：使用经训练完成的所述clip模型的联合编码器以如下公式来融合所述图像波形特征向量和所述频域统计特征向量以得到所述振动特征矩阵；
[0071]
其中，所述公式为：
[0072][0073]
其中v1表示所述图像波形特征向量，表示所述图像波形特征向量的转置向量，v2表示所述频域统计特征向量，m表示所述振动特征矩阵，表示向量相乘。
[0074]
更具体地，在本技术实施例中，所述特征融合单元180，用于融合所述格拉姆角和场特征矩阵和所述振动特征矩阵以得到分类特征矩阵。考虑到从所述声发射信号中提取到的是被检测对象的结构特征，而从所述振动信号中提取到的是所述被检测对象的振动规律特征。而对于所述海上风机来说，具有不同结构的被检测对象具有不同的振动承受范围和能力，因此，进一步融合所述声发射信号的结构特征和所述振动信号的振动规律特征来进行所述海上风机的基础结构状态评估。
[0075]
相应地，在一个具体示例中，所述特征融合单元180，进一步用于将所述格拉姆角和场特征矩阵和所述振动特征矩阵进行级联以得到所述分类特征矩阵。
[0076]
更具体地，在本技术实施例中，所述监测结果生成单元190，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测海上风机的基础结构的状态是否正常。将所述分类特征矩阵通过分类器以得到用于表示待检测海上风机的基础结构的状态是否正常的分类结果，通过该分类结果，对海上风机的结构状态进行更精准地评估，缩短响应时间。
[0077]
相应地，在一个具体示例中，所述监测结果生成单元190，进一步用于：使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：
[0078]
softmax{(m2,b2):
…
:(m1,b1)|project(f)}，
[0079]
其中project(f)表示将所述分类特征矩阵投影为向量，m1和m2为各层全连接层的权重矩阵，b1和b2表示各层全连接层的偏置矩阵。
[0080]
更具体地，在本技术实施例中，所述风电场风机大部件状态监测系统，还包括：用于对所述使用空间注意力机制的第一卷积神经网络和所述clip模型进行训练的训练模块200；其中，如图5所示，所述训练模块200，包括：训练数据获取单元201，用于获取训练数据，所述训练数据包括待检测海上风机的基础结构在预定时间段内的声发射信号和振动信号、以及，所述待检测海上风机的基础结构在所述预定时间段内的状态是否异常的真实值；训练域转换单元202，用于对所述训练数据中的声发射信号进行格拉姆角和场变换以得到训
练格拉姆角和场图像；训练格拉姆角和场图像编码单元203，用于将所述训练格拉姆角和场图像通过所述使用空间注意力机制的第一卷积神经网络以得到训练格拉姆角和场特征矩阵；训练频域统计特征提取单元204，用于从所述训练数据中的振动信号提取多个训练频域统计特征向量；训练频域时序编码单元205，用于将所述多个训练频域统计特征向量排列为训练频域统计输入向量后通过所述clip模型的时序编码器以得到训练频域统计特征向量；训练振动波形图编码单元206，用于将所述训练数据中的振动信号的波形图通过所述clip模型的图像编码器以得到训练图像波形特征向量；训练联合编码单元207，用于使用所述clip模型的联合编码器来融合所述训练图像波形特征向量和所述训练频域统计特征向量以得到训练振动特征矩阵；训练特征融合单元208，用于融合所述训练格拉姆角和场特征矩阵和所述训练振动特征矩阵以得到训练分类特征矩阵；分类损失单元209，用于将所述训练分类特征矩阵通过所述分类器以得到分类损失函数值；分类模式消解抑制损失计算单元210，用于计算所述分类器的分类模式消解抑制损失值，其中，所述分类模式消解抑制损失值与所述振动特征矩阵和所述格拉姆角和场特征矩阵投影得到的特征向量之间的差分特征向量的二范数的平方有关；以及，训练单元211，用于以所述分类模式消解抑制损失值和所述分类损失函数值的加权和作为损失函数值对所述使用空间注意力机制的第一卷积神经网络和所述clip模型进行训练。
[0081]
相应地，在一个具体示例中，所述分类模式消解抑制损失计算单元210，进一步用于：以如下公式计算所述分类器的所述分类模式消解抑制损失值；其中，所述公式为：
[0082][0083]
其中v1和v2分别表示所述振动特征矩阵和所述格拉姆角和场特征矩阵投影后得到的特征向量，m1和m2分别是所述分类器对于所述振动特征矩阵和所述格拉姆角和场特征矩阵投影后得到的特征向量的权重矩阵，||
·
||f表示矩阵的frobenius范数，表示向量的二范数的平方，表示按位置差分，exp(
·
)表示矩阵的指数运算和向量的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
[0084]
这里，通过引入分类模式消解抑制损失函数，可以将分类器权重的伪差异推向真实的待融合特征之间的特征分布差异，从而保证梯度反向传播时的定向导数在梯度分支点附近得到正则化，即，将梯度在模式之间进行过加权，这样，就对特征的分类模式消解进行抑制，进而提高分类的准确性。这样，可以对于所述海上风机的基础结构的异常状态进行准确地评估监测，以避免事故的发生而造成不必要的损失。
[0085]
综上，基于本技术实施例的风电场风机大部件状态监测系统100被阐明，其首先将海上风机的基础结构的声发射信号进行格拉姆角和场变换得到的格拉姆角和场图像通过第一卷积神经网络以得到格拉姆角和场特征矩阵，接着，将从海上风机的基础结构的振动信号提取的多个频域统计特征向量通过时序编码器以得到频域统计特征向量，然后，将所述振动信号的波形图通过图像编码器以得到图像波形特征向量，接着，将所述图像波形特征向量和所述频域统计特征向量融合得到的振动特征矩阵与所述格拉姆角和场特征矩阵融合以得到分类特征矩阵，最后，将所述分类特征矩阵通过分类器以得到分类结果。这样，就可以对海上风机的结构状态进行更精准地评估，缩短响应时间。
[0086]
如上所述，根据本技术实施例的所述风电场风机大部件状态监测系统100可以实现在各种终端设备中，例如具有风电场风机大部件状态监测算法的服务器等。在一个示例中，风电场风机大部件状态监测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该风电场风机大部件状态监测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该风电场风机大部件状态监测系统100同样可以是该终端设备的众多硬件模块之一。
[0087]
替换地，在另一示例中，该风电场风机大部件状态监测系统100与该终端设备也可以是分立的设备，并且风电场风机大部件状态监测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0088]
示例性方法
[0089]
图6图示了根据本技术实施例的风电场风机大部件状态监测方法的流程图。如图6所示，根据本技术实施例的风电场风机大部件状态监测方法，其包括：s110，获取待检测海上风机的基础结构的声发射信号和振动信号；s120，对所述声发射信号进行格拉姆角和场变换以得到格拉姆角和场图像；s130，将所述格拉姆角和场图像通过经训练完成的使用空间注意力机制的第一卷积神经网络以得到格拉姆角和场特征矩阵；s140，从所述振动信号提取多个频域统计特征向量；s150，将所述多个频域统计特征向量排列为频域统计输入向量后通过经训练完成的clip模型的时序编码器以得到频域统计特征向量；s160，将所述振动信号的波形图通过经训练完成的所述clip模型的图像编码器以得到图像波形特征向量；s170，使用经训练完成的所述clip模型的联合编码器来融合所述图像波形特征向量和所述频域统计特征向量以得到振动特征矩阵；s180，融合所述格拉姆角和场特征矩阵和所述振动特征矩阵以得到分类特征矩阵；以及，s190，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测海上风机的基础结构的状态是否正常。
[0090]
图7图示了根据本技术实施例的风电场风机大部件状态监测方法的系统架构的示意图。如图7所示，在所述风电场风机大部件状态监测方法的系统架构中，首先，获取待检测海上风机的基础结构的声发射信号和振动信号；接着，对所述声发射信号进行格拉姆角和场变换以得到格拉姆角和场图像；然后，将所述格拉姆角和场图像通过经训练完成的使用空间注意力机制的第一卷积神经网络以得到格拉姆角和场特征矩阵；接着，从所述振动信号提取多个频域统计特征向量；然后，将所述多个频域统计特征向量排列为频域统计输入向量后通过经训练完成的clip模型的时序编码器以得到频域统计特征向量；接着，将所述振动信号的波形图通过经训练完成的所述clip模型的图像编码器以得到图像波形特征向量；然后，使用经训练完成的所述clip模型的联合编码器来融合所述图像波形特征向量和所述频域统计特征向量以得到振动特征矩阵；接着，融合所述格拉姆角和场特征矩阵和所述振动特征矩阵以得到分类特征矩阵；最后，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测海上风机的基础结构的状态是否正常。
[0091]
在一个具体示例中，在上述风电场风机大部件状态监测方法中，所述将所述格拉姆角和场图像通过经训练完成的使用空间注意力机制的第一卷积神经网络以得到格拉姆角和场特征矩阵，进一步包括：所述经训练完成的使用空间注意力机制的第一卷积神经网络的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行非
线性激活以生成激活特征图；计算所述激活特征图的各个位置沿通道维度的均值以生成空间特征矩阵；计算所述空间特征矩阵中各个位置的类softmax函数值以获得空间得分矩阵；以及，计算所述空间特征矩阵和所述空间得分图的按位置点乘以获得特征矩阵；其中，所述经训练完成的使用空间注意力机制的第一卷积神经网络的最后一层输出的所述特征矩阵为所述格拉姆角和场特征矩阵。
[0092]
在一个具体示例中，在上述风电场风机大部件状态监测方法中，所述从所述振动信号提取多个频域统计特征向量，包括：对所述振动信号进行傅里叶变换以得到频域信号；从所述频域信号提取所述多个频域统计特征向量。
[0093]
在一个具体示例中，在上述风电场风机大部件状态监测方法中，所述将所述多个频域统计特征向量排列为频域统计输入向量后通过经训练完成的clip模型的时序编码器以得到频域统计特征向量，包括：将所述多个频域统计特征向量排列为频域统计输入向量；使用所述经训练完成的clip模型的时序编码器的全连接层以如下公式对所述频域统计输入向量进行全连接编码以提取出所述频域统计输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：其中x是所述频域统计输入向量，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘；使用所述经训练完成的clip模型的时序编码器的一维卷积层以如下公式对所述频域统计输入向量进行一维卷积编码以提取出所述频域统计输入向量中各个位置的特征值间的高维隐含关联特征，其中，所述公式为：
[0094][0095]
其中，a为卷积核在x方向上的宽度、f(a)为卷积核参数向量、g(x-a)为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，x表示所述频域统计输入向量。
[0096]
在一个具体示例中，在上述风电场风机大部件状态监测方法中，所述将所述振动信号的波形图通过经训练完成的所述clip模型的图像编码器以得到图像波形特征向量，进一步包括：所述经训练完成的所述clip模型的图像编码器使用卷积神经网络的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络的最后一层的输出为所述图像波形特征向量，所述卷积神经网络的第一层的输入为所述振动信号的波形图。
[0097]
在一个具体示例中，在上述风电场风机大部件状态监测方法中，所述使用经训练完成的所述cl ip模型的联合编码器来融合所述图像波形特征向量和所述频域统计特征向量以得到振动特征矩阵，进一步包括：使用经训练完成的所述clip模型的联合编码器以如下公式来融合所述图像波形特征向量和所述频域统计特征向量以得到所述振动特征矩阵；其中，所述公式为：
[0098][0099]
其中v1表示所述图像波形特征向量，表示所述图像波形特征向量的转置向量，v2表示所述频域统计特征向量，m表示所述振动特征矩阵，表示向量相乘。
[0100]
在一个具体示例中，在上述风电场风机大部件状态监测方法中，所述融合所述格
拉姆角和场特征矩阵和所述振动特征矩阵以得到分类特征矩阵，进一步包括将所述格拉姆角和场特征矩阵和所述振动特征矩阵进行级联以得到所述分类特征矩阵。
[0101]
在一个具体示例中，在上述风电场风机大部件状态监测方法中，所述将所述分类特征矩阵通过分类器以得到分类结果，进一步包括：使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(m2,b2):
…
:(m1,b1)|project(f)}，其中project(f)表示将所述分类特征矩阵投影为向量，m1和m2为各层全连接层的权重矩阵，b1和b表示各层全连接层的偏置矩阵。
[0102]
在一个具体示例中，上述风电场风机大部件状态监测方法中还包括：对所述使用空间注意力机制的第一卷积神经网络和所述clip模型进行训练；其中，所述对所述使用空间注意力机制的第一卷积神经网络和所述clip模型进行训练，包括：获取训练数据，所述训练数据包括待检测海上风机的基础结构在预定时间段内的声发射信号和振动信号、以及，所述待检测海上风机的基础结构在所述预定时间段内的状态是否异常的真实值；对所述训练数据中的声发射信号进行格拉姆角和场变换以得到训练格拉姆角和场图像；将所述训练格拉姆角和场图像通过所述使用空间注意力机制的第一卷积神经网络以得到训练格拉姆角和场特征矩阵；从所述训练数据中的振动信号提取多个训练频域统计特征向量；将所述多个训练频域统计特征向量排列为训练频域统计输入向量后通过所述clip模型的时序编码器以得到训练频域统计特征向量；将所述训练数据中的振动信号的波形图通过所述clip模型的图像编码器以得到训练图像波形特征向量；使用所述clip模型的联合编码器来融合所述训练图像波形特征向量和所述训练频域统计特征向量以得到训练振动特征矩阵；融合所述训练格拉姆角和场特征矩阵和所述训练振动特征矩阵以得到训练分类特征矩阵；将所述训练分类特征矩阵通过所述分类器以得到分类损失函数值；计算所述分类器的分类模式消解抑制损失值，其中，所述分类模式消解抑制损失值与所述振动特征矩阵和所述格拉姆角和场特征矩阵投影得到的特征向量之间的差分特征向量的二范数的平方有关；以及，以所述分类模式消解抑制损失值和所述分类损失函数值的加权和作为损失函数值对所述使用空间注意力机制的第一卷积神经网络和所述clip模型进行训练。
[0103]
在一个具体示例中，所述计算所述分类器的分类模式消解抑制损失值，进一步包括：使用如下公式计算所述分类器的所述分类模式消解抑制损失值；
[0104]
其中，所述公式为：
[0105][0106]
其中v1和v2分别表示所述振动特征矩阵和所述格拉姆角和场特征矩阵投影后得到的特征向量，m1和m2分别是所述分类器对于所述振动特征矩阵和所述格拉姆角和场特征矩阵投影后得到的特征向量的权重矩阵，||
·
||
p
表示矩阵的frobenius范数，表示向量的二范数的平方，表示按位置差分，exp(
·
)表示矩阵的指数运算和向量的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
[0107]
这里，本领域技术人员可以理解，上述风电场风机大部件状态监测方法中的各个步骤的具体操作已经在上面参考图1到图5的风电场风机大部件状态监测系统的描述中得到了详细介绍，并因此，将省略其重复描述。