一种基于多模态感知的矿用机电设备故障诊断系统及方法与流程

本发明属于信息化，涉及一种基于多模态感知的矿用机电设备故障诊断系统及方法。

背景技术：

1、煤矿的带式输送机、提升机、通风机、水泵等机电设备是煤矿生产的重要生产环节，这些设备的安全、稳定运行对保障煤矿安全、高效生产具有重要意义。目前对这些关键设备机械部件故障主要通过运行工况参数(电压、电流等)、人工眼、耳等感官分析判断，难以发现故障征兆；煤矿机电设备早期故障的振动信号特征较弱，需要有丰富经验的专业人员才能做出准确判断，煤矿企业往往缺乏相关人才，限制了其广泛应用；设备旋转部件故障通常伴随温度的变化，但这种变化在故障早期非常微弱，难以及时发现。煤矿企业通过建立相配套的维修体制，定期对机电系统运行状态检查与评估，但存在故障征兆不能及时发现，检修时间长等问题，总体上可以归纳为以下缺陷：

2、(1)定期维修、人工巡查的效率低、及时性差、成本高，难以及时发现设备故障前兆特征。

3、(2)煤矿机电设备运行过程中，故障前兆特征较弱，实际运行过程中复杂的背景噪声叠加，使得提取和识别早期故障特征变得十分困难。

4、(3)单一模态的设备状态数据所包含的故障信息非常有限，基于单一模态数据所提取故障特征信息，故障特征表达不充分，使故障诊断结果具有不确定性、可信度也不高，现有煤矿企业缺乏基于多模态数据的故障诊断系统快速、准确判识设备故障，难以有效支持智能化运维管理与决策。

5、总之，单一模态数据所提取故障特征信息使故障诊断结果具有不确定性、可信度也不高，难以有效支持煤矿机电设备的智能化运维管理与决策。煤矿机电设备故障常常会伴随着声音、振动、温度、电信号等变化，这其中包含丰富的状态信息；利用人工智能技术进行设备故障诊断已经成为了一种趋势，通过声音、振动、温度等多模态数据，通过构建ai识别模型及设备异常识别算法，智能感知设备异常并报警，实现预测性维护，变被动为主动，保障设备正常运行和安全生产，实现煤矿企业减人、提效、增安。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于多模态感知的矿用机电设备故障诊断系统及方法。

2、为达到上述目的，本发明提供如下技术方案：

3、一种基于多模态感知的矿用机电设备故障诊断系统，该系统包括环网交换机一、环网交换机二、环网交换机三、中继器一、中继器二、声音采集处理器、主机、振动监测仪、温度监测仪、空气传导声传感器一～六、骨传导空气传导声传感器一～四、振动传感器一～十六和温度传感器一～十六；

4、所述空气传导声传感器一～六分别与声音采集处理器数据相连；

5、所述声音采集处理器依次与中继器一和环网交换机一数据相连；

6、所述骨传导空气传导声传感器一～四分别与主机数据相连；

7、所述主机与环网交换机三数据相连；

8、所述振动传感器一～十六分别与振动监测仪数据相连；

9、所述振动监测仪与环网交换机二数据相连；

10、所述温度传感器一～十六分别与温度监测仪数据相连；

11、所述温度监测仪依次与中继器二和环网交换机二数据相连；

12、所述环网交换机一、环网交换机二和环网交换机三通过矿井以太网进行数据连接；

13、所述矿井以太网与监测服务器数据相连；

14、在带式输送机、水泵或通风机上安装空气传导声传感器、骨传导空气传导声传感器、振动传感器、温度传感器实时在线采集设备运行声音、振动加速度、温度信号；

15、所述空气传导声传感器和骨传导空气传导声传感器安装在电机、减速箱、托辊、轴承座煤矿机电设备上；

16、所述空气传导声传感器通过有线的方式传输采集的信号到声音采集处理器，骨传导空气传导声传感器通过有线的方式传输采集的信号到主机；

17、所述声音采集处理器、主机对采集的声音信号进行处理、分析，通过内置声纹识别模块进行故障判断和报警；

18、所述声音采集处理器通过rs485传输报警信号给所述中继器一后转换完矿井以太网数据传输给所述监测服务器，所述主机通过矿井以太网信号传输给所述监测服务器；

19、所述振动传感器布置在被测设备部位水平和垂直方向，采集振动加速度信号，通过所述振动监测仪同步采集多通道振动信号进行处理、分析，并转换为数字信号，通过内置振动算法模块计算振动速度值，同时通过矿井以太网上传振动加速度、速度数据到所述监测服务器；被测设备安装pt100温度传感器，并接入所述温度监测仪实现温度信号采集，并通过rs485传输温度数据到所述监测服务器；

20、所述监测服务器运行矿用机电设备故障诊断软件进行图谱绘制、存储查询、统计报告生成、人机交互，实现系统基于多模态感知的矿用机电设备故障诊断。

21、基于所述故障诊断系统的基于多模态感知的矿用机电设备故障诊断方法，该方法包括以下步骤：

22、s1：所述空气传导声传感器采用非接触式安装，基于后置声孔的mems硅麦克风高保真还原设备声音信号，并输出对应的电信号；

23、所述骨传导空气传导声传感器传感器采用磁吸、粘贴或焊接的接触式安装方式部署在被测设备外表面，基于振动拾音原理采集设备声音信号，内置处理电路还原设备声音；

24、带式输送机托辊异常识别时，空气传导声传感器在带式输送机沿线1m～10m部署1个，骨传导1m～100m部署1个；

25、所述声音采集处理器、主机内置故障诊断模型及算法库，通过矿井以太网远程更新，声音采集处理器同时采集6个空气传导声传感器数据，主机同时采集4个空气传导声传感器数据；振动监测仪同时同步采集16通道振动加速度信号，温度监测仪同时采集16通道pt100温度传感器信号；

26、s2：所述系统采用基于声纹谱分离的设备异常特征提取方法，具体包括以下步骤：

27、s21：通过空气传导或骨传导空气传导声传感器获取声音信号，并转换为电信号输出给声音采集处理器或主机；

28、s22：声音采集处理器或主机对设备声音信号预处理：采用小波阈值去噪去除高斯白噪声，分解层数选取为3，小波基选取db6；

29、s23：预处理后，获取时域特征1，时域特征1的值与预设阈值1比较，若大于预设阈值1发出预警1，包括：

30、(1)将预处理后的声音信号通过一个高通滤波器预加重处理；

31、(2)分帧处理：取帧长为1s，采样频率22050hz，每帧声音信号乘上汉明窗函数；

32、(3)采用短时平均能量、短时平均幅度、短时过零率、峰峰值、峭度表征信号特征，并进行归一化处理，处理后分别为e‘、m’、z’、f‘、c‘，再分别乘上权重系数a1,a2,a3,a4,a5；再相加得到时域特征1的特征值t1，表达式如下：

33、t1＝e‘a1+m‘a2+z‘a3+f‘a4+c‘a5

34、其中，a1,a2,a3,a4,a5取值范围为(0,1)；

35、当时域特征值t1大于预设阈值1则发出预警1；

36、s24：预处理后，进行频域变换获取频域特征2，频域特征2的值与预设阈值2比较，若大于预设阈值2发出预警2，包括：

37、(1)对预处理后的信号进行傅里叶变换后，计算频域能量；将频域划分为4个子带，计算子带能量比；

38、(2)提取频谱包络中的共振峰，计算尖锐度、1/3倍频程特征值，尖锐度表示如下：

39、

40、式中n'(z)为临界频带z上的响度谱，响度谱对临界频带的积分就是响度，g(z)为附加系数，z为临界频带，d(z)为临界频带微分；

41、对频域能量、子带能量比、共振峰特征与尖锐度、1/3倍频程特征归一化处理，对归一化后的特征分别乘上权重系数b1,b2,b3,b4,b5，再相加得到频域特征2的特征值f2，其中，b1,b2,b3,b4,b5取值范围为(0,1)；当频域特征值f2大于预设阈值2则发出预警2；

42、s25：当预警1和预警2均发生时，生成声纹谱，通过hpss分离声纹谱，得到谐波分量、冲击波分量，包括：

43、当预警1和预警2均发生时，生成声纹谱，通过hpss分离声纹谱，得到谐波分量、冲击波分量，hpss步骤如下：

44、(1)对预处理后的声音信号求短时傅里叶变换stft，其值取模的平方后得到能量谱图；

45、(2)对能量谱图通过一组水平中值滤波器、一组垂直中值滤波器分别生成谐波分量声谱图和冲击波分量声谱图；

46、(3)借助二进制掩蔽构造掩蔽矩阵，将stft中所有的时域-频域容器划分到为谐波分量或冲击波分量中，从原始的stft结果划分出谐波分量和冲击波分量；

47、(4)最后对谐波分量和冲击波分量作短时傅里叶逆变换istft，求得原始信号的谐波分量和冲击波分量，完成hpss；

48、s26：对冲击波分量进行mfcc变换，阶数取12～16，得到声纹特征3，声纹特征3的值超过预设阈值时，确认设备异常，并发出异常报警；

49、s3：所述系统采用基于神经网络多特征融合的设备异常识别方法，包括以下步骤：

50、s31：通过所述s21～s24获取时域特征1、频域特征2，再通过奇异值分解svd分别对hpss冲击波分量、mfcc特征矩阵降维成1维向量，特征数分别为44、10；再进行归一化，得到时频特征3；

51、s32：设计三层网络结构的全连接神经网络模型，隐藏层神经元个数依次为1024、512、256，使用relu激活函数，以及adam优化函数提升优化效率；在输出层使用sigmoid函数激活，模型损失函数使用二元交叉熵函数，进行正常与异常二分类判别；将时域特征1、频域特征2和时频特征3融合成新特征4，

52、时域特征1包括短时平均能量、短时平均幅度、短时过零率、峰峰值、峭度；

53、频域特征2包括频域能量、子带能量比、共振峰、尖锐度、1/3倍频程；

54、时频特征3包括hpss冲击波分量、mfcc；

55、其新特征向量输入到所述全连接神经网络模型，并输出最后智能识别结果；在所述模型的训练中通过反向传播算法和数据多次迭代，拟合出最佳的网络参数，优化所述识别模型；

56、s34：当识别为异常时，主机输出设备异常报警信号，根据传感器通道号及距主机的距离，自动识别异常位置区间；当人工复核异常报警时，若为假，人工标定对应的异常声音信号，并添加到主机的内置声纹特征库，通过自学习有效减小现场误报，提高鲁棒性；当识别为正常时，采用闵可夫斯基距离计算所述新特征4和主机内置特征的相似度，若相似度超过设定阈值时，则匹配成功，发出相应正常信号或异常报警信号；

57、s4：所述系统采用融合声谱图和声品质的设备异常识别方法，包括以下步骤：

58、s41：对设备声音信号小波去噪；

59、s42：采用hpss分离背景噪声、异常响声；分别对分离后的谐波和冲击波声源进行梅尔频率倒谱系数mfcc计算，生成基于谐波和冲击波的声谱图；同时提取设备声音的尖锐度、干扰度声品质和响度、音高、音色基础特征，并计算音频信号过零率；

60、s43：将声谱图构建为二维声谱图矩阵，将声谱图矩阵数据传入以残差模块组成的卷积神经网络层，获取图特征y1；

61、s44：声音基础特征通过组合构建为特征向量x(n)，其中声品质特征采用线性回归的方式提取，并拟合，多元线性回归的表示为y2：

62、y2＝β0+β1x1+β2x2+…+βixi+μ

63、其中β表示权重系数，u表示偏置项；

64、s45：通过全连接层融合残差卷积模块和多元线性回归模块的输出值y，其输入为：

65、y＝y1+y2

66、经过全连接层拟合参数后，得到识别结果，判断设备是否异常；

67、s5：所述系统采用基于复信号双边谱的旋转机械故障振动特征提取方法，包括以下步骤：

68、s51：采集转子外表面同一截面水平方向上的水平振动信号和垂直方向上的垂直振动信号；所述水平振动信号与垂直振动信号分别通过布置在转子同一截面上相互垂直的振动传感器x和振动传感器y测取，振动传感器用于产生从部件的旋转发出的机械振动的模拟电测量信号；采用模拟-数字转换器，响应所述接收的模拟测量数据，以采样频率对模拟测量信号进行采样，以便产生数字测量数据信号；

69、s52：对所述水平振动信号和垂直振动信号进行离散化处理，得到长度为n的离散信号，分别记为x(n)和y(n)，合成复信号z(n)且z(n)＝x(n)+jy(n)，其中j为虚数单位；

70、s53：对所述复信号进行快速傅里叶变换得到复信号双边谱，所述复信号双边谱包括双边幅值谱和双边相位谱；

71、(1)当n＝0,1,2,…n-1时，将z(n)进行快速傅里叶变换fft，得到系数cn＝cr(n)+jci(n)；

72、(2)当n＝0,1,2…n/2时，取cn组成一个行向量cn1；当n＝n/2+1,n/2+2,n/2+3，…n-1时，取cn组成一个行向量cn2；

73、(3)合并向量cn1和cn2组成一个新的行向量cn＝[cn2,cn1]；

74、(4)令建立一个行向量f(n)＝[-n/2+1，-n/2+2，-n/2+3，…-3，-2，-1，0，1，2，3，…n/2]，在此基础上得到一个频率向量f(n)＝f(n)*δf,其中δf为频率分辨率；以f(n)为横坐标，cn为纵坐标画图，得到复信号双边幅值谱；

75、(5)设以f(n)为横坐标，φn为纵坐标画图，得到复信号双边相位谱；

76、s54：将所述复信号双边谱经过处理生成轴心轨迹，包括：

77、(1)复信号双边幅值谱中，以频率轴f(n)关于原点对称的正负频率f(n+)和f(n-)处的值分别记为rn+和rn-，其分别为轴心轨迹正进动圆半径和反进动圆半径；

78、(2)若|rn+|≠0，|rn-|＝0，转子涡动为正进动，轨迹为圆，半径为rn+；若|rn+|＝0,|rn-|≠0，转子涡动为反进动，轨迹为圆，半径为|rn-|；若|rn+|＝|rn-|，转子涡动为直线简谐运动；若|rn+|≠|rn-|，转子涡动轨迹为椭圆，当|rn+|>|rn-|时，做正向涡动，当|rn+|<|rn-|时，做反向涡动；

79、(3)椭圆轴心轨迹长半轴为短半轴为

80、(4)复信号双边相位谱中，以原点对称的正负频率处的相位分别为和则频率f(n)处椭圆轴心轨迹长轴与水平轴的夹角为

81、(5)椭圆离心率为

82、(6)椭圆面积为s＝πab；

83、s55：根据所述复信号双边谱得到故障特征参数。

84、可选的，所述带式输送机为托辊、电机、减速箱或滚筒；所述水泵为电机或泵体；所述通风机为叶轮、轴承或电机。

85、本发明的有益效果在于：本发明公开的一种基于多模态感知的矿用机电设备故障诊断系统及方法，实时在线采集矿用设备声音、振动、温度多模态数据，采用声纹谱分离设备异常特征提取方法、基于神经网络的多特征融合的设备异常识别方法、融合声谱图和声品质的设备异常识别方法、基于复信号双边谱的旋转机械故障特征提取方法，解决了矿用机电设备旋转机械设备单一模态包含的设备异常信息不丰富、不能及时识别故障征兆、诊断准确性不高的难题，代替人工实现7*24在线实时监测，实现煤矿带式输送机、水泵、通风机等设备的旋转部件，如：托辊、电机、减速箱、滚筒、泵体、轴承、叶轮等故障自动识别、定位，避免发生重大安全事故，对煤矿大型机电设备预测性维护提供指导，保障煤矿安全、高效生产。

86、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。