一种基于工况提示的多模态旋转机械故障诊断方法和系统

本发明涉及机械设备诊断与健康管理领域，尤其涉及一种基于工况提示的多模态旋转机械故障诊断方法。

背景技术：

1、轴承是机械设备中不可或缺的重要部件，它承受着机器运转时的巨大压力和摩擦力。然而，由于长期使用或者其他原因，轴承可能会发生故障，导致机器无法正常运行。这不仅会造成生产线的停工，还可能引发其他设备的连锁反应，给企业带来巨大的经济损失。为了及时发现轴承故障并采取相应的维修措施，科技界不断探索和研究轴承故障诊断的方法。近年来，随着传感器技术和数据采集技术的快速发展，我们能够获取到轴承在运行过程中产生的大量数据。这些数据包含了轴承的振动、温度、声音等各种信号，它们可以被视为轴承运行状态的重要指标。

2、然而，如何从这些海量的数据中提取出有用的信息，并准确地判断轴承的健康状况，一直是轴承故障诊断领域研究的热点问题。基于深度学习的故障诊断是利用深度神经网络对旋转机械设备进行故障诊断的一种方法。与传统机器学习算法相比，深度学习可以自动从大量原始数据中提取特征，并通过多个隐藏层实现高级特征的抽象和表示，从而具有更强的模式识别和预测能力。然而，由于机械设备运行状态不同，轴承会在不同的转速下进行工作，会给智能诊断过程带来困难。此外，过去基于数据驱动的深度学习故障诊断算法多是基于振动信号进行，在进行诊断时模型获得的信息类型较为单一，也无法通过简单快捷的方式为模型提供先验知识，导致各种深度学习模型在实际生产环境中难以与用户产生良好的交互。为了提高基于深度学习的旋转机械设备故障诊断的准确性以及人机交互性，本发明公开了一种基于工况提示的多模态旋转机械故障诊断方法，通过多模态对比学习为模型提供多个视角的数据，学习更为全面的特征，通过文本提示为人类提供一个与模型交互的新视角，为融入机理知识完成可解释性强的目标工业场景故障诊断任务提供新方法。

技术实现思路

1、本方案针对上文提出的问题和需求，提出一种基于工况提示的多模态旋转机械故障诊断方法，由于采取了如下技术特征而能够实现上述技术目的，并带来其他多项技术效果。

2、本发明的一个目的在于提出一种基于工况提示的多模态旋转机械故障诊断方法，包括如下步骤：

3、s10：采集旋转机械设备的轴承对应的振动信号，并通过重叠采样将振动信号划分为训练样本和测试样本；

4、s20：将轴承的振动信号转化为二维灰度图并建立包含故障样本的转速信息、故障类型、故障程度的文本数据；

5、s30：构建多模态对比故障诊断网络模型，将训练样本的加速度信号以及对应文本数据输入多模态对比故障诊断网络模型进行训练；

6、s40：根据测试样本的状态，以文字的方式对多模态对比故障诊断网络模型进行工况提示，输入至训练好的多模态对比故障诊断网络模型，实现交互性的轴承故障诊断。

7、在该技术方案中，该故障诊断方法通过多模态对比学习，从采集到的振动信号及对应的健康状态文本描述中提取出特征，将余弦相似度作为不同模态特征之间的距离度量，通过拉近正样本对之间的距离，推远负样本之间的距离，信号特征和文本特征之间的对齐。并通过提示工程实现了在实际故障诊断中添加额外信息，对提高旋转机械故障诊断的准确性和人机交互性具有很好的指导价值。

8、另外，根据本发明的基于工况提示的多模态旋转机械故障诊断方法，还可以具有如下技术特征：

9、在本发明的一个示例中，在所述步骤s20中将轴承的振动信号转化为二维灰度图包括如下步骤：

10、首先对振动信号进行归一化操作，然后乘以255可获得对应的灰度值像素，最后将灰度值像素转化为二维灰度值图像；

11、其中，振动信号转化为灰度值像素的公式如下：

12、

13、式中，x是输入信号；xmax是信号最大值；xmin是信号最小值；x*是处理后的灰度值像素。在本发明的一个示例中，所述步骤s20中，文本数据的表达式为：

14、speed:{sp}(r/min),status:{st},diameter:{d}mm.

15、式中，sp为轴承转速，st为轴承健康状态，d为故障直径。

16、在本发明的一个示例中，在步骤s30中，将训练样本的加速度信号以及对应文本数据输入多模态对比故障诊断网络模型进行训练包括如下步骤：

17、s31：将图像和文本数据分别转化为图像特征向量和文本特征向量；

18、s32：通过线性映射层将图片特征fimg和文本特征ftext都映射到相同的嵌入特征维度de；

19、s33：对图片嵌入特征和文本嵌入特征进行矩阵相乘，计算图像特征与文本特征之间的余弦相似度，获得相似度矩阵m；

20、s34：对相似度矩阵m的每一行和每一列求交叉熵损失，并加和即获得相似度矩阵m的交叉熵总损失。

21、在本发明的一个示例中，在所述步骤s32中，通过线性映射层将图片特征fimg和文本特征ftext都映射到相同的嵌入特征维度de的表达式如下：

22、

23、式中，wimg和wtext为线性映射的权重，gl2为l2标准化，n为样本数量；

24、其中，gl2的表达式为：

25、

26、式中，d为向量长度，x为特征向量。

27、在本发明的一个示例中，在所述步骤s34中，对相似度矩阵m的每一行和每一列求交叉熵损失，并加和即获得相似度矩阵m的总损失的表达式如下：

28、

29、式中，yi为地面真值标签，为第i组余弦相似度，n为批次大小，softmax为将输出映射到(0，1)区间，并归一化。

30、在本发明的一个示例中，所述步骤30中，将训练样本的加速度信号以及对应文本数据输入多模态对比故障诊断网络模型进行训练之前还包括：初始化网络模型参数，具体包括：

31、初始化最大训练轮次e＝100，初始化学习率lr＝0.0002，初始化批量大小s＝40，并通过sgd算法对网络参数进行迭代更新。

32、本发明的另一个目的在于提出一种基于工况提示的多模态旋转机械故障诊断系统，包括：

33、数据采集模块，配置为用于采集旋转机械设备的轴承对应的振动信号，并通过重叠采样将振动信号划分为训练样本和测试样本；

34、数据转化模块，配置为用于将轴承的振动信号转化为二维灰度图并建立包含故障样本的转速信息、故障类型、故障程度的文本数据；

35、模型构建模块，配置为用于构建多模态对比故障诊断网络模型，将训练样本的加速度信号以及对应文本数据输入多模态对比故障诊断网络模型进行训练；

36、故障诊断模块，配置为用于根据测试样本的状态，以文字的方式对多模态对比故障诊断网络模型进行工况提示，输入至训练好的多模态对比故障诊断网络模型，实现交互性的轴承故障诊断。

37、在本发明的一个示例中，所述多模态对比故障诊断网络模型包括：并联的图像编码器和文本编码器以及与之依次串接的线性映射层、相似度矩阵计算模块和熵损失计算模块，其中，

38、所述图像编码器配置为将图像转化为图像特征向量；

39、所述文本编码器配置为将文本数据转化为文本特征向量；

40、所述线性映射层配置为将图片特征和文本特征都映射到相同的嵌入特征维度；

41、所述相似度计算模块配置为对图片嵌入特征和文本嵌入特征进行矩阵相乘，计算图像特征与文本特征之间的余弦相似度，获得相似度矩阵m；

42、熵损失计算模块配置为对相似度矩阵m的每一行和每一列求交叉熵损失，并加和即获得相似度矩阵m的交叉熵总损失。

43、在本发明的一个示例中，所述图像编码器包括：依次串接的第一嵌入层、第一位置编码器层、第一transformer编码器层，其中，

44、第一嵌入层配置为将每个图像块转换为一个向量表示；

45、第一位置编码器层配置为将每个图像块的位置信息与其嵌入向量相结合，并保留图像的位置信息；其中，在每个第一位置编码器中设有可学习类嵌入层，其配置为对图像的全局表示；

46、第一transformer编码器层由多头自注意力机制和前馈神经网络组成，配置为对图像块的嵌入进行处理，用于捕捉图像块之间的关系和特征；

47、所述文本编码器包括：依次串接的第二嵌入层、第二位置编码器层、第二transformer编码器层，其中，

48、第二嵌入层配置为将每个文本数据换为一个向量表示；

49、第二位置编码器层配置为将每个文本数据的位置信息与其嵌入向量相结合，并保留文本数据的位置信息；

50、第二transformer编码器层由多头自注意力机制和前馈神经网络组成，配置为对文本数据的嵌入进行处理，用于捕捉文本数据之间的关系和特征。

51、下文中将结合附图对实施本发明的最优实施例进行更加详尽的描述，以便能容易理解本发明的特征和优点。