一种基于分类的风电机组叶片音频故障检测方法与流程

1.本发明属于风力发电领域，具体涉及一种基于分类的风电机组叶片音频故障检测方法。


背景技术：

2.随着新能源开发的需求，风能备受重视，风力发电成为风能最有效的转变和使用方式之一。大型设备制造业、风电技术的不断发展使得风力发电机组不断朝着大型化、海洋化的方向发展，安装数量逐年增加。叶片作为风力发电机组设备中不可或缺的核心组件，对其进行监测，可极大的降低故障和事故的发生率，保证风力发电机组的稳定运行与安全，从而避免不必要的经济损失。因此，如何监测叶片运行状态与故障类别是一个亟待解决的问题。
3.目前，对风机组电叶片的监测主要包括视觉监测和听觉监测两大类。
4.视觉监测作为主流方法，可以分为振动检测技术、声发射检测技术、光纤光栅检测技术、机器视觉检测技术以及红外热成像技术。其中，随着叶片设计的复杂化、叶片长度巨型化的发展，传感器的选择和安装、多传感器优化融合及布线问题、叶片固有频率和振型的准确分离等，成为限制振动检测技术发展的关键因素；声发射检测技术由于机电噪声的干扰很难排除，导致应力波和杂波之间分离困难，且具有不可逆性，如果漏采集，则难以达到监测效果；光纤光栅检测技术检测成本高，不宜大量风场部署安装；风场的环境光线及背景信息等都会影响基于机器视觉检测技术的检测效果和精度，且现有的基于深度卷积网络的检测方法复杂性较高，在实际工程应用部署时消耗了较多时间，占用了较多硬件资源；红外热成像技术对温度感应的精度和灵敏度较高，极易受到外部环境影响。
5.听觉监测主要包括音频检测技术。音频检测技术是现代计算机听觉学科的重要分支，检测的音频信号具有丰富的信息量，非接触性的音频信号具有独特的优势，其避免了振动信号数据采集困难，同时运用音频故障检测技术，可以达到低成本、低耗、高效、快速的风电机组叶片无损监测的目的。但是，音频信号易受到环境影响，进而影响检测结果准确性。


技术实现要素：

6.为了解决现有风电叶片监测技术，存在检测成本高、不易安装、结构复杂、部署耗时长、易受环境影响而影响检测准确性的技术问题，本发明提供了一种基于分类的风电机组叶片音频故障检测方法。
7.为实现上述目的，本发明提供的技术方案是：
8.一种基于分类的风电机组叶片音频故障检测方法，其特殊之处在于，包括以下步骤：
9.1)数据获取
10.1.1)获取开源音频数据集；
11.1.2)将叶片的音频数据进行分类整理，获得叶片音频数据集，叶片音频数据集包
括训练集和测试集；
12.2)训练集音频数据的特征提取
13.提取步骤1.2)训练集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征；
14.3)建立音频故障检测分类网络模型
15.3.1)构建音频故障检测分类网络模型，将步骤1.1)的开源音频数据集送入音频故障检测分类网络模型中进行预训练，得到基础预训练模型；
16.3.2)将步骤2)训练集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，送入步骤3.1)基础预训练模型中进行分类检测训练，得到训练完成的音频故障检测分类网络模型；
17.3.3)提取1.2)测试集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)训练完成的音频故障检测分类网络模型中进行测试，并统计测试结果；
18.若测试结果的正确率高于所给定阈值，则音频故障检测分类网络模型完成建立；
19.若测试结果的正确率低于所给定阈值，则调整分类网络模型的条件参数，直至统计测试结果满足要求，音频故障检测分类网络模型完成建立；
20.4)待测叶片音频的检测
21.将待测叶片音频输入步骤3.3)完成建立的音频故障检测分类网络模型中，获得待测叶片音频的分类检测结果。
22.进一步地，步骤1.2)中，叶片音频数据集还包括验证集；
23.步骤3)和步骤4)之间还包括步骤a)验证网络模型：提取步骤1.2)验证集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.3)完成建立的音频故障检测分类网络模型中进行验证，获得验证集音频数据的故障检测结果；
24.同时，根据验证集中每个音频数据的梅尔频谱绘制相应梅尔频谱图，根据梅尔频谱图得出每个音频数据的实际分类结果，获得梅尔频谱图下的音频数据分类结果；
25.比较验证集音频数据的故障检测结果与梅尔频谱图得到的音频数据分类结果，验证音频故障检测分类网络模型的有效性。
26.进一步地，步骤2)和步骤3.3)中，提取音频数据的梅尔频谱特征具体为：
27.将音频数据通过梅尔标度滤波器组变换为梅尔频谱mel(f)，获得音频数据的梅尔频谱特征；
[0028][0029]
其中，f表示音频数据的频率。
[0030]
进一步地，步骤2)和步骤3.3)中，提取音频数据的梅尔频率倒谱系数特征具体为：
[0031]
a)将音频数据通过一个高通滤波器进行预加重处理，其中，高通滤波器计算公式如下：
[0032]
h(z)＝1-μz-1
[0033]
式中：μ为调整参数，μ的取值范围为0.9-1.0；z为音频数据在z域的频率；
[0034]
b)通过设定的采样点与设定的采样频率将预加重处理后的音频数据进行分区域处理，将每一区域记为一帧；
[0035]
c)对每一帧的音频信号乘以汉明窗，再经过快速傅里叶变换fft得到在频谱上的能量分布，音频数据的能量谱表示如下：
[0036][0037]
式中：x(n)为输入的音频信号，n表示傅里叶变换的点数，j表示复数单位，0≤k≤n；
[0038]
d)音频数据的能量谱通过三角形滤波器组进行处理获得对数能量s(m)：
[0039][0040]
其中，0≤m≤m，m为三角滤波器组的滤波器数量；
[0041]hm
(k)为三角形滤波器组的三角滤波器频率，计算公式如下：
[0042][0043]
e)对音频数据的数能量进行离散余弦变换，得到梅尔频率倒谱系数c(n)：
[0044][0045]
式中：l为梅尔频率倒谱系数阶数，取12-16，m为三角滤波器组的三角滤波器数量，n＝1,2,...,l。
[0046]
进一步地，其特征在于，步骤3.1)具体为：
[0047]
3.1.1)开源音频数据集经音频故障检测分类网络模型的输入层，送入三个相同结构的卷积-bn-池化结构中，并行提取音频特征；
[0048]
3.1.2)三个卷积-bn-池化结构输出的音频特征进行加法操作，并通过dropout达到正则化的效果，再运用dense全连接层进行局部信息的全局化处理，最后在用全连接层dense将输出通道降为需要的类别数，实现音频数据的分类。
[0049]
进一步地，步骤3.2)具体为：将步骤2)训练集中每个音频数据的梅尔频谱m、梅尔频率倒谱系数n和色度l特征，分别取平均、最大、最小值，并用拼接的方法得到(m+n+l，3)的特征，然后送入步骤3.1)基础预训练模型中进行分类检测训练，得到训练完成的音频故障检测分类网络模型。
[0050]
进一步地，步骤1.1)具体为：下载标准语音分类任务数据集，该数据集包含10种语音，分别为冷气机、汽车喇叭、儿童玩耍、狗吠声、钻孔、发动机空转、枪射击、手持式凿岩机、警笛、街头音乐，提取其中数量最多的两类数据标注为正常数据与异常数据，或者将10类数据分为两大类数据，分别标注为正常数据、异常数据，获得开源音频数据集；
[0051]
步骤1.2)中，叶片音频数据集为包含正常和故障两种类别的叶片音频数据集。
[0052]
进一步地，步骤1.1)还可具体为：下载标准语音分类任务数据集，该数据集包含10种语音，分别为冷气机、汽车喇叭、儿童玩耍、狗吠声、钻孔、发动机空转、枪射击、手持式凿岩机、警笛、街头音乐，提取其中数量最多的m类数据分别标注为m类具有标识的音频类别数
据，或者将10类数据分为m类具有标识的音频类别数据，获得开源音频数据集，其中，m为大于2且小于等于10的整数；
[0053]
步骤1.2)中，叶片音频数据集为包含m类音频数据的叶片音频数据集。
[0054]
与现有技术相比，本发明的优点是：
[0055]
1、本发明方法中数据获取中包括获取开源音频数据集，并通过开源音频数据集对分类网络模型中进行预训练，无需海量的叶片音频数据库，就可以得到验证集和测试集上精度较高、速率较快的音频故障检测分类网络模型。
[0056]
2、本发明方法还包括通过音频数据的梅尔频谱绘制梅尔频谱图，并通过梅尔频谱图得到音频数据分类结果，与音频故障检测分类网络模型输出相应音频数据的故障检测结果进行比较，验证音频故障检测分类网络模型的有效性。
[0057]
3、本发明开源音频数据集和叶片音频数据集均可实现音频数据的二分类，进而实现叶片正常和异常的检测。
[0058]
4、本发明开源音频数据集和叶片音频数据集均可实现音频数据的多分类，音频故障检测分类网络模型表现出较好的泛化能力，当音频故障类型增加时，可以根据数据类型实现更多种类的分类任务，进而实现对叶片出现断裂、开裂、雷击等显著异常做检测与预警，能很大程度上提高风电场机组故障检测的实时性与准确性，保证机组可靠运行，为风场机组叶片故障分析与诊断提供理论依据和技术支持，以实现风电场叶片智能音频检测系统的低成本、高效、快速部署，最终达到智能、高效的风电机组叶片的监测效果。
附图说明
[0059]
图1是本发明基于分类的风电机组叶片音频故障检测方法流程图；
[0060]
图2是本发明基于分类的风电机组叶片音频故障检测方法中分类网络模型的结构示意图；
[0061]
图3是本发明基于分类的风电机组叶片音频故障检测方法中梅尔倒谱系数提取流程图；
[0062]
图4是本发明实施例二中正常音频数据的梅尔频谱图，其中，a为原音频信号频谱图，b为梅尔频谱图；
[0063]
图5是本发明实施例二中雷击音频数据的梅尔频谱图，其中，a为原音频信号频谱图，b为梅尔频谱图；
[0064]
图6是本发明实施例二中鸽子尾哨音频数据的梅尔频谱图，其中，a为原音频信号频谱图，b为梅尔频谱图。
具体实施方式
[0065]
以下结合附图和具体实施例对本发明的内容作进一步详细描述。
[0066]
本发明基于深度学习和计算机听觉技术，以叶片的音频数据为对象，提出一种快速、准确的风电机组叶片故障类型检测方法，提高风电场机组故障检测的实时性与准确性，降低风电机组的维护及检修成本，保证风电机组可靠运行，为风场机组叶片故障分析与诊断提供理论依据与技术支持，以实现风电场叶片智能音频检测系统的低成本、高效、快速部署。
[0067]
本发明一种基于分类的风电机组叶片音频故障检测方法，先用开源数据集训练得到预训练模型，再在叶片音频数据集上使用预训练模型训练得到用于音频故障监测的模型。如图1所示，为本发明基于分类的风电机组叶片音频故障检测方法的流程图，以下对本发明方法进行详细阐述，具体步骤为：
[0068]
1)数据获取
[0069]
1.1)获取开源音频数据集；
[0070]
1.2)将叶片的音频数据进行分类整理，获得叶片音频数据集，叶片音频数据集包括训练集、测试集和验证集，训练集、验证集与测试集的比例为：7:2:1；
[0071]
2)训练集音频数据的特征提取
[0072]
提取步骤1.2)训练集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征；
[0073]
3)建立音频故障检测分类网络模型
[0074]
3.1)将步骤1.1)的开源音频数据集送入分类网络模型中进行预训练，得到基础预训练模型；
[0075]
本发明分类网络模型结构如图2所示，将输入层送入三个相同结构的卷积块中，使得在处理过程中并行提取音频特征，加快特征提取的速率；并将卷积块输出特征进行融合，增加音频特征信息，提升分类的准确性；在单个卷积块中通过两个并行的最大池化，并对池化后的特征进行融合，在减少运行参数的同时避免池化操作带来的信息量丢失问题，该网络结构简单，用于风电叶片音频分类任务具有较好的准确性与速率优势。
[0076]
3.2)将步骤2)训练集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，送入步骤3.1)基础预训练模型中进行分类检测训练，得到训练完成的音频故障检测分类网络模型；
[0077]
3.3)提取1.2)测试集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)的音频故障检测分类网络模型中进行测试，并统计测试结果；
[0078]
若测试结果的正确率高于所给定阈值，则音频故障检测分类网络模型完成建立；
[0079]
若测试结果的正确率低于所给定阈值，则调整分类网络模型的条件参数，直至统计测试结果满足要求；
[0080]
3)验证网络模型
[0081]
提取步骤1.2)验证集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.3)的音频故障检测分类网络模型中进行验证，获得验证集音频数据的故障检测结果；
[0082]
同时，根据验证集中每个音频数据的梅尔频谱绘制相应梅尔频谱图，再根据梅尔频谱图得出每个音频数据的实际分类结果，获得验证集由梅尔频谱图得到的音频数据分类结果；
[0083]
比较验证集音频数据的故障检测结果与梅尔频谱图得到的音频数据分类结果，验证音频故障检测分类网络模型的有效性；
[0084]
4)待测叶片音频的检测
[0085]
将待测叶片音频输入步骤3.2)音频故障检测分类网络模型中，获得待测叶片音频的故障检测结果。
[0086]
本发明方法具有以下特点：
[0087]
(1)无需海量的叶片音频数据，就可以得到在验证集和测试集上的精度较高、速率较快的音频故障检测分类网络模型；
[0088]
(2)构建用于风场叶片音频检测的分类网络模型，通过该模型实现音频数据的二分类与多分类任务，本发明音频故障检测分类网络模型表现出较好的泛化能力，当音频故障类型增加时，可以根据数据类型实现更多种类的分类任务；
[0089]
(3)本发明将音频特征的梅尔频谱与音频故障检测分类网络模型检测方式相结合，通过对不同类型音频数据的梅尔频谱图进行统计，以辅助分析模型检测结果，验证本发明音频故障检测分类网络模型的准确性，可对梅尔频谱与相应的分类音频检测结果进行统计分析，为通过音频特征直观地反映音频中的叶片状态好坏奠定理论与研究基础。
[0090]
(4)本发明建立基于叶片音频数据的音频故障检测分类网络模型，对叶片出现断裂、开裂、雷击等显著异常做检测与预警，能很大程度上提高风电场机组故障检测的实时性与准确性，保证机组可靠运行高效性与安全性，达到智能、高效的风电机组叶片的监测效果，具有重要的实践意义与应用价值。
[0091]
(5)本发明方法通过音频数据特征的提取与处理，完成叶片故障类型的检测与区分，实现风电场各个机组叶片的智能化监控，保障整个风电场机组叶片的运行状态与安全。本发明方法具有较快的处理速率与检测精度，各方面性能上表现出较好的优势，具有广阔的应用空间，具备扩大市场占有率的潜能。
[0092]
(6)本发明方法不仅有效的权衡了音频故障分类的准确性与时效性问题，从而减少因叶片故障引发的风电机组整机故障，保证机组可靠运行；而且基于多分类的音频的故障检测无需构建大量叶片音频故障数据库，在很大程度上降低了成本，并对目前大型工程设备运行故障检测系统具有很好的扩展性，可将本方法方法应用于多种工程设备无损检测中。
[0093]
本发明通过安装在塔底的拾音设备定时采集叶片的音频数据，对叶片音频数据分析处理建立基于多分类的叶片音频故障检测分类网络模型。若具有较少的叶片失效的有效音频数据，可对叶片出现断裂、开裂、雷击等显著异常做预警，不对叶片异常的类型做判断，即仅对输入的音频数据进行检测，输出该音频数据是正常(0)/异常(1)，实现二分类异常检测；若具备较多的叶片失效的有效音频数据，可根据具体的异常数据类型进行划分数据集，进行模型重训练，得到多类型异常故障检测结果，实现多分类异常检测。
[0094]
实施例一
[0095]
以一种风力发电机的叶片音频检测为例，本实施例提供了一种基于二分类的风电机组叶片音频故障检测方法，包括以下步骤：
[0096]
步骤1：数据获取与整理
[0097]
步骤1.1：开源音频数据集获取，下载标准语音分类任务数据集，该数据集包含10种语音，即冷气机、汽车喇叭、儿童玩耍、狗吠声、钻孔、发动机空转、枪射击、手持式凿岩机、警笛、街头音乐，每段录音约4s，用于预训练模型的训练，提取其中的数量最多的两类数据划分正常数据与异常数据，或者将10类数据分为两大类数据，分别标注为正常数据、异常数据。
[0098]
步骤1.2：风场叶片音频数据集的收集与整理，安装在塔底的拾音设备定时采集叶
片的音频数据，将采集的叶片音频素材进行整理，得到包含正常和故障的两种类别的叶片音频数据集，每段音频长度约为30s，当前整理的数据集中正常的叶片音频3896段，故障的叶片音频2514段。将叶片音频数据集分为训练集、测试集和验证集。
[0099]
步骤2：训练集音频数据的特征提取
[0100]
步骤2.1：获取梅尔频谱特征
[0101]
声谱图往往是很大的一张图，为了得到合适大小的声音特征，往往把训练集中每个音频数据通过梅尔标度滤波器组，变换为梅尔频谱mel(f)，获得每个音频数据的梅尔频谱特征。梅尔频谱在人工特征方面久负盛名，本方法中提取m维的梅尔频谱特征，以梅尔(mel)为单位的感知频域公式如(1)所示，以赫兹(hz)为单位的实际语音频率公式如(2)所示，在mel频域内，对音调的感知度为线性关系，具体如下：
[0102][0103]
f＝700(10
mel(f)/2595-1)
ꢀꢀꢀ
(2)
[0104]
步骤2.2：获取梅尔频率倒谱系数特征
[0105]
在梅尔频谱上面获得的倒谱系数称为梅尔频率倒谱系数(mel-frequency cepstral coefficients，mfcc)。本实施例方法中提取n维的梅尔频率倒谱系数特征。具体的语音特征参数mfcc提取过程如图3所示。为了提升高频部分，使信号的频谱变得平坦，进行预加重、分帧以及加窗预处理，预加重处理其实是将语音信号通过一个高通滤波器，分帧是通过一定的采样点与采样频率将音频分区域处理；加窗是将每一帧乘以汉明窗。
[0106]
2.2.1)将每个音频数据通过一个高通滤波器进行预加重处理，高通滤波器计算公式如下：
[0107]
h(z)＝1-μz-1
ꢀꢀꢀ
(3)
[0108]
式中：μ的值介于0.9-1.0之间，本实施例取0.97；z为音频数据在z域的频率；
[0109]
2.2.2)通过设定的采样点与设定的采样频率将预加重处理后的每个音频数据进行分区域处理，将每一区域记为一帧；
[0110]
2.2.3)对每一帧的音频信号乘以汉明窗，以增加帧左端和右端的连续性，例如分帧后的信号为s(n)，n＝0,1,...,n-1，n为帧大小，乘上汉明窗后s'(n)＝s(n)
×
w(n)，w(n)的形式如公式(4)，公式中a取0.46：
[0111][0112]
在每帧的音频信号乘以汉明窗后，再经过快速傅里叶变换fft得到在频谱上的能量分布，对分帧加窗后的各帧信号进行快速傅里叶变换得到各帧的频谱，并对音频信号的频谱取模平方得到语音信号的功率谱，音频信号的fft为：
[0113][0114]
式中x(n)为输入的语音信号，n表示傅里叶变换的点数，j表示复数单位，0≤k≤n；
[0115]
2.2.4)将每个音频数据的能量谱通过一组mel尺度的三角形滤波器组进行处理，定义一个有m个滤波器的滤波器组(滤波器的个数和临界带的个数相近)，采用的滤波器为三角滤波器，其频率响应定义为：
[0116][0117]
式中：通过mel滤波对频谱进行平滑化，并消除谐波的作用，突显原先语音的共振峰。每个三角形滤波器组输出的对数能量：
[0118][0119]
再经过离散余弦变换(dct)得到梅尔频率倒谱(mfcc)系数：
[0120][0121]
上述是l阶参数，l阶指mfcc系数阶数，通常取12-16，m为三角滤波器个数，倒谱就是音频信号的傅里叶变换经对数运算后再进行傅里叶反变换得到的谱。
[0122]
步骤2.3：获取色度信息
[0123]
色度是音频有趣且强大的表示，其将整个频谱投影到l个区间，本方法提取l维的色度特征。
[0124]
步骤3：建立音频故障检测分类网络模型
[0125]
步骤3.1：获得基础预训练模型
[0126]
运用步骤1.1中划分的开源音频数据集，进行二分类模型训练学习，得到二分类基础预训练模型；具体的，二分类网络结构如图2所示，对于输入尺度180，通道3的数据，送入三个相同网络结构块的卷积-bn-池化结构中，通过三个相同结构块增强语音信号特征，然后将三个输出的256通道的特征进行加法操作，生成768通道特征，同时通过dropout达到正则化的效果，再运用dense全连接层进行局部信息的全局化处理，其中运用bn有效的缓解过拟合的发生，加快网络训练速度，最后在用全连接层dense将输出通道降为2，该通道数也就是分类的类别数，2类(正常数据、异常数据)；
[0127]
步骤3.2：获得音频故障检测分类网络模型
[0128]
基于二分类基础预训练模型，对步骤2每个音频数据提取的梅尔频谱m、梅尔频率倒谱系数n、色度l特征，分别取平均、最大、最小值，并用拼接的方法得到(m+n+l，3)的特征，并输入步骤1.2的风场叶片音频数据集进行二分类基础预训练模型的训练，得到最终的二分类音频故障检测分类网络模型(正常或故障)；
[0129]
步骤3.3：测试音频故障检测分类网络模型
[0130]
按照步骤2)的方法提取1.2)测试集(测试集的音频数据具有标识的正常/异常音频数据)中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)的二分类音频故障检测分类网络模型中进行测试，并统计测试结果；测试二分类音频故障检测分类网络模型统计的损失、正确率、速率(10秒音频数据)如表1所示；
[0131]
表1 二分类模型测试性能表
[0132][0133]
表1中，测试结果的正确率高于所给定阈值，则二分类音频故障检测分类网络模型完成建立；以及从中可以看出，分类的准确率较高、检测速率快；
[0134]
4)验证网络模型
[0135]
按照步骤2)的方法提取1.2)验证集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)的二分类音频故障检测分类网络模型中进行验证，获得验证集音频数据的故障检测结果；
[0136]
同时，根据验证集中每个测试音频数据的梅尔频谱绘制相应梅尔频谱图，根据梅尔频谱图得出音频数据的实际分类结果，获得梅尔频谱图得到的音频数据分类结果；
[0137]
比较验证集音频数据的故障检测结果与梅尔频谱图得到的音频数据分类结果，验证音频故障检测分类网络模型的有效性。并将结果反馈到叶片状态监测平台进行音频故障分析，经过多次统计分析，得到二分类音频故障检测分类网络模型性能指标统计结果，如表2所示：
[0138]
表2 二分类模型评价指标表，
[0139][0140]
5)待测叶片音频的检测
[0141]
将待测叶片音频输入步骤3.2)二分类音频故障检测分类网络模型中，获得待测叶片音频的故障检测结果，检测结果为正常或故障。
[0142]
实施例二
[0143]
以一种某风力发电机的叶片音频检测为例，本实施例提供了一种基于多分类的风电机组叶片音频故障检测方法，包括以下步骤：
[0144]
步骤1：数据获取与整理
[0145]
步骤1.1：开源音频数据集获取，下载标准语音分类任务数据集，该数据集包含10种语音，即冷气机、汽车喇叭、儿童玩耍、狗吠声、钻孔、发动机空转、枪射击、手持式凿岩机、警笛、街头音乐，每段录音约4s，用于预训练模型的训练，提取其中的数量最多的m类数据划分为具有标识的音频类别数据，或者将10类数据分为m大类数据，分别进行标注区分。其中，m为大于2的整数，对叶片的断裂、开裂、雷击等显著异常做检测与预警；
[0146]
步骤1.2：风场叶片音频数据集的收集与整理，安装在塔底的拾音设备定时采集叶片的音频数据，将采集的叶片音频素材进行整理，得到包含断裂、开裂、雷击等m种类别的叶片音频数据集，当前整理的数据集中正常的叶片音频4496段，断裂的1514段，雷击的1452段，开裂的1221段等，此处共概括为m类音频数据。将叶片音频数据集分为训练集、测试集和验证集。
[0147]
步骤2：训练集音频数据的特征提取
[0148]
与实施例一步骤相同。
[0149]
步骤3：建立音频故障检测分类网络模型
[0150]
步骤3.1：获得基础预训练模型
[0151]
运用步骤1.1中划分的开源音频数据集，进行多分类模型训练学习，得到多分类基础预训练模型，具体的，网络结构对于输入尺度180，通道3的数据，送入三个相同网络结构块的卷积-bn-池化结构中，通过三个相同结构块增强语音信号特征，然后将三个输出的256通道的特征进行加法操作，生成768通道特征，同时通过dropout达到正则化的效果，再运用dense全连接层进行局部信息的全局化处理，其中运用bn有效的缓解过拟合的发生，加快网络训练速度，最后在用全连接层dense将输出通道降为类别数m，该通道数也就是分类的类别数，m类(断裂、开裂、雷击等m种类别)；
[0152]
步骤3.2：获得音频故障检测分类网络模型
[0153]
基于多分类基础预训练模型，对步骤2每个音频数据提取的梅尔频谱m、梅尔频率倒谱系数n、色度l特征，分别取平均、最大、最小值，并用拼接的方法得到(m+n+l，3)的特征，并运用步骤1.2的风场叶片音频数据集进行多分类基础预训练模型的训练，得到最终的多分类音频故障检测分类网络模型(正常、断裂、开裂、雷击等)
[0154]
步骤3.3：测试获得音频故障检测分类网络模型
[0155]
按照步骤2)的方法提取1.2)测试集(测试集的音频数据具有正常、断裂、开裂、雷击等标识类型的音频数据)中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)的多分类音频故障检测分类网络模型中进行测试，并统计测试结果；测试多多分类音频故障检测分类网络模型的损失、正确率、速率(10秒音频数据)如表3所示；
[0156]
表3 多分类模型测试性能表
[0157][0158][0159]
表3中，测试结果的正确率高于所给定阈值，则多分类音频故障检测分类网络模型完成建立，以及从中可以看出，分类的准确率较高、检测速率快；
[0160]
4)验证网络模型
[0161]
按照步骤2)的方法提取1.2)验证集中每个音频数据的梅尔频谱、梅尔频率倒谱系数和色度特征，并送入步骤3.2)的音频故障检测分类网络模型中进行验证，获得验证集音
频数据的故障检测结果；
[0162]
同时，根据验证集中每个测试音频数据的梅尔频谱绘制相应梅尔频谱图，如图4至图6所示，为正常、雷击、鸽子尾哨音频数据的梅尔频谱图；根据梅尔频谱图得出音频数据的实际分类结果，获得梅尔频谱图得到的音频数据分类结果；
[0163]
比较验证集音频数据的故障检测结果与梅尔频谱图得到的音频数据分类结果，验证音频故障检测分类网络模型的有效性。并将结果反馈到叶片状态监测平台进行音频故障分析，经过多次统计分析，得到多分类音频故障检测分类网络模型性能指标统计结果，如表4所示：
[0164]
表4 多分类模型评价指标统计表
[0165][0166]
5)待测叶片音频的检测
[0167]
将待测叶片音频输入步骤3.2)多分类音频故障检测分类网络模型中，获得待测叶片音频的故障检测结果，检测结果为正常或断裂、开裂、雷击等故障类型。
[0168]
以上仅是对本发明的优选实施方式进行了描述，并不将本发明的技术方案限制于此，本领域技术人员在本发明主要技术构思的基础上所作的任何变形都属于本发明所要保护的技术范畴。