融合频带自向下注意力机制的电厂设备状态听觉监测方法与流程

本发明涉及计算机听觉，具体涉及融合频带自向下注意力机制的电厂设备状态听觉监测方法。

背景技术：

1、计算机听觉技术主要针对非人声进行识别与处理，包括结合音乐领域知识的音乐信号处理和其他领域知识的音频信息处理。计算机听觉技术是一个基于音频信号处理和机器学习、对数字声音与音乐的内容进行理解和分析的学科，是使用计算方法对数字化声音与音乐内容进行理解和分析的交叉学科，主要基础学科是音频信号处理和机器学习。当前，计算机听觉技术的发展方向主要分为2个类别：面向音乐的计算机听觉技术和面向环境声的计算机听觉技术(可称为基于一般音频的计算机听觉技术)。

2、计算机听觉技术的应用特点主要体现在：在传统音频信号处理的基础上，提取音频特征，结合机器学习算法(主要是模式识别方法)完成状态监测与故障诊断。在工业领域，计算机听觉技术也有很多的研究与应用，根据设备运转噪声进行故障诊断，主要进行声目标识别的应用。

3、在电力领域，电力设备在运行过程中，由于机械振动会产生声音，正常运行下的声音一般具有一定的规律性，但当设备发生某种故障后，由于运行状态或运行结构改变，其声音也会随之改变，比如出现机械故障时，其振动特性或部分频段内的振动能量将发生改变，同时会伴随刺耳或尖锐的噪声。此外，设备的超负荷运行或其他故障也会引起异常的声音变化。因此，电力设备的声音信号包含许多运行状态信息，具有丰富经验的工程师可以根据现场设备的异常声音，通过音色、音量、音高等音频特征的变化判断出设备是否处于不正常运行状态，甚至判别出故障的类型和严重程度。

4、现有技术中，传统电气设备声音监测方法具体如下：

5、由于旋转设备的工作状态与运行环境等条件导致的目标声信号夹杂大量的噪声信号，当计算机听觉技术用于旋转设备的状态监测时，大多结合频谱分析或小波变换等传统音频处理方法([1]胡胜，郝剑波，罗忠启，等.基于噪声频段提取的水轮发电机故障诊断方法[j].大电机技术，2017(6):25-29)来判断设备故障是否存在，再通过wpt、emd或mfcc等音频特征提取复杂算法进行处理，最后采用hmm或svm等传统分类器完成状态监测与故障预警任务。旋转设备的声信号处理一般会与传统的振动信号等其他监测参数结合，音频信号分析的结果用于辅助判断，使基于振动信号分析的结果更加可靠。但目前仍没有统一、可靠的设备声信号处理算法能够应用于电力系统的全部设备，需要结合设备自身运行特点与工作状态选择不同的声信号特征提取方法，在应用中大多采用传统的音频信号处理技术。

6、与旋转设备相比，非旋转设备主要包括电厂的小型设备或变电站的一、二次设备，由于没有高功率旋转装置的运行，具有振动幅度小、环境噪音小等特点。由上述分析可以看出，通过设备声信号进行状态监测的非旋转设备不需要其他辅助信息的帮助即可完成状态监测任务；同时由于非旋转设备大多在空旷环境中运行，处理难度相对简单，故非旋转设备的音频处理仅需要fft、stft或wa等传统时频域算法提取特征，并通过vq、自相关系数或模糊聚类等数学统计算法进行状态分类就能够满足基本监测要求。但当前算法的应用降低了音频处理技术与机器学习算法的结合度，不利于状态监测识别率与稳定性的提高。

7、现有技术中，基于机器学习的电气设备声音监测方法具体如下：

8、基于声音的在线监测是一种简单可靠的非侵入性监测方法,不会干扰电气设备的正常运行,并可以良好地反映电气设备的工作状态和异常情况。电气设备种类多、结构复杂、故障类型多样,难以直接根据声音推断出健康状况。采用机器学习方法对电气设备进行声学异常监测受到了广泛的关注，深度学习技术比传统机器学习通常需要更多数据进行训练,但也不会因为数据规模、特征维度过大而显著增大训练难度,在线运行时仅需要神经网络的前向传播,具有很高的计算效率。然而,将深度学习技术应用于无/半监督的异常监测,还处于刚起步阶段。目前深度学习异常检测方法([3]梁延昌.基于机器学习的变压器声学异常检测方法研究[d].华北电力大学(北京))包括自编码器、变分自编码器、单目标生成对抗式主动学习和多目标生成对抗式主动学习。主成分分析和自编码器原理类似,主成分分析是使用线性代数技术的向量线性组合，而自动编码器是使用深度神经网络技术的向量非线性组合。变分自编码器在计算异常分数时使用了概率方法,相对于自编码器更具有可解释性。多目标生成对抗式主动学习在单目标生成对抗式主动学习的基础上使用了多个生成器以提高性能。现有技术通过深度神经网络方法,搭建卷积神经网络和循环神经网络模型,提取声音信号的语谱图和梅尔倒谱系数作为训练样本进行训练。([2]陈明泉.基于声音特征识别的12kv中压开关设备绝缘放电监测研究[d].厦门理工学院,2019.doi:10.27866/d.cnki.gxlxy.2019.000074.)。

9、现有电气设备声音监测技术多数采用传统声音监测方法，效率低、难度大，利用机器学习方法需要数据规模大、训练次数多，还处于起步阶段。部分研究通过利用注意力机制提高声音识别效果，未曾结合电厂设备音频构建新注意机制。([4]黄聪.基于频带注意力和多度量学习的说话人识别算法[d].南昌大学,2021.doi:10.27232/d.cnki.gnchu.2021.001316.)

技术实现思路

1、本发明结合发电厂设备声音特性，提出了一种融合频带自向下注意力机制的发电厂设备状态听觉监测方法，训练次数少，所需数据量也有一定程度上的减少。

2、本发明的目的至少通过如下技术方案之一实现。

3、融合频带自向下注意力机制的电厂设备状态听觉监测方法，有效解决了当前采用的传统声音监测方法，效率低、难度大以及机器学习方法数据规模大、训练次数多的问题，包括以下步骤：

4、s1、设置声音传感器，获取电气设备运行的声音；

5、s2、对电气设备运行的声音进行预处理，得到预处理后的声音数据；

6、s3、对预处理后的声音数据进行频带自向下注意力机制处理；

7、s4、进行卷积神经网络识别，得到识别结果。

8、进一步地，步骤s1中，通过预置声音传感器位置，收集监测的电气设备运行的声音并进行存储。

9、进一步地，步骤s2中，对电气设备运行的声音进行预处理包括声音时长处理、傅里叶变换以及梅尔频谱变换。

10、进一步地，所述声音时长处理具体如下：

11、将完整的一段电气设备运行的音频以设置的时长进行切割分离，若未满足时长要求，则舍去。

12、进一步地，所述傅里叶变换将声音时长处理得到的每段音频进行时频域变换，将时域信号变为频域信号，具体如下：

13、

14、其中，f(t)为时域信号，f(ω)为频域信号，i为虚数单位，ω为角频率。

15、进一步地，所述梅尔频谱变换将傅里叶变换得到的频域信号以梅尔标度为单位进行变换，得到声音信号的梅尔频谱图，具体如下：

16、

17、其中，f为频率，mel(f)为梅尔频谱标度下的梅尔频率。

18、进一步地，步骤s3中，频带自向下注意力机制处理具体如下：

19、由梅尔频谱图可以看出频带在空间的分布，具有左右分布不均匀、集中在低频段且由往下蔓延的趋势，因此本发明提出了频带自向下注意力机制，能更好关注电气设备的频带向下集中的区域，将梅尔频谱矩阵进行如下的变换，得到一个注意力矩阵，将注意力矩阵与原梅尔频谱矩阵进行元素相乘，具体如下：

20、

21、m′＝x注意力·m  (4)

22、其中，m为由mel(f)所组成的梅尔频谱矩阵，m'为经过注意力机制处理后的梅尔频谱矩阵，xj,k为梅尔频谱矩阵中第j行、第k列的数值，xj,k'为向下叠加归一化后的数值，用以构成变换后的注意力矩阵x注意力中的元素，j≤n，k≤m，n和m分别为梅尔频谱矩阵的行数与列数。

23、进一步地，步骤s4中，卷积神经网络包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和输出层；

24、输入层输入经过频带自向下注意力机制处理后的梅尔频谱图，第一卷积层设置卷积核为3*3，卷积核个数为32；第一池化层设置窗口大小为2*2，向下采样；第二卷积层设置卷积核为3*3，卷积核个数为64；第二池化层设置窗口大小为2*2，向下采样；第一全连接层设置列表长度为512；第二全连接层设置列表长度为所需监测的电气设备状态数量；输出层的输出为统计后的测试集或验证集的识别准确率。

25、对卷积神经网络进行训练，将待检测音频的梅尔频谱图作为输入，调用训练好的卷积神经网络，即可得到识别结果。

26、相比与现有技术，本发明的优点在于：

27、本发明提出的方法解决了传统声音监测方法需要深度挖掘不同电气设备运行状态声音特征从而导致难度大、效率低的问题；

28、本发明提出的方法解决了机器学习方法直接套用从而导致样本需求大、训练次数多的问题；

29、本发明提出的新的频带自向下注意力机制，结合电气设备运行声音的特点，对梅尔频谱图中集中向下蔓延的区域惊醒关注，识别效果更好，训练次数更少。