多模态预测性维护大模型的构建与运维应用方法与流程

本发明涉及工业设备故障智能诊断，尤其涉及一种多模态预测性维护大模型的构建与运维应用方法、设备及介质。

背景技术：

1、工业设备健康监测和诊断是对机械设备系统进行全面管理的关键领域，旨在预防和应对潜在的缺陷和故障，以降低设备故障对经济和人身安全造成的影响。

2、工业设备健康监测和诊断系统覆盖整个设备生命周期，包括预防维护、运行状态监测、故障诊断和维修等阶段。当下的工业设备的维护方式大多是在设备故障导致停机后才进行维护，或定期维护，且主要还是依赖专家经验和人工服务，以至于在工业设备的维护工作中，咨询、故障诊断、维修决策、售后服务耗费了大量的人力和时间。

3、在工业设备健康监测和诊断中，大语言模型作为一种人工智能技术展现出广泛的应用前景。通过学习和推理大量文本数据，大语言模型能够生成自然而流畅的自然语言，为人类提供理解的工具。目前大语言模型已经成为一站式问答解释的智能应用，例如chatgpt等已在众多企业和团队中得到广泛研究和开发。从理论上，基于大语言模型的深度学习模型可以对设备监测数据进行搜集和挖掘，识别设备之间的关联机制，从而提高监测和诊断的能力，更重要的是能够提升对于诊断结果的可解释性。然而，目前将大语言模型应用于工业设备健康监测和诊断的研究还相对有限，现有大语言模型缺乏设备健康监测与诊断的相关专业知识，无法实现对诊断事件的上下文推理和解答，需要更多的工作来解决数据搜集和挖掘方面的工具不足问题。因此，如何充分利用大语言模型提供专业的诊断决策支持信息，仍然是一个亟待解决的问题。

技术实现思路

1、本发明要解决的技术问题是：为了解决现有技术中大语言模型缺乏设备健康监测与诊断的相关专业知识，无法实现对诊断事件的上下文推理和解答，需要更多的工作来解决数据搜集和挖掘方面的工具不足问题的技术问题，本发明提供一种多模态预测性维护大模型的构建与运维应用方法，能够将工业设备关联文件处理作为训练数据集对大语言模型参数进行微调，有助于降低诊断过程中人为经验性和专业性不足造成的误判影响，为工业设备故障诊断领域提高新的决策工具和支持。

2、本发明解决其技术问题所采用的技术方案是：一种多模态预测性维护大模型的构建与运维应用方法，所述方法包括以下步骤：

3、s1，采集多模态信号数据到第一数据库；

4、s2，建立映射模型，根据所述映射模型将所述多模态信号数据映射转换为文本数据；

5、s3，整理与工业设备关联的文本到第二数据库，同时根据工业设备关联的文本构建微调指令，所有所述微调指令的集合形成训练数据集；

6、s4，将所述训练数据集输入至预先构建的大语言模型，基于微调策略对所述预先构建的大语言模型进行优化训练，得到多模态预测性维护大模型；

7、s5，将所述文本数据输入至多模态预测性维护大模型，完成推理，得到推理结果。

8、进一步，具体地，所述步骤s2具体包括以下步骤：

9、s21，所述多模态信号数据为振动信号，表示为， n为振动信号序列长度；

10、s22，对所述振动信号 x进行辛几何模态分解，得到所述振动信号的故障特征；

11、s23，定义文本空白模板，结合所述工业设备的信息将所述故障特征填充至所述文本空白模板，得到所述文本数据。

12、进一步，具体地，在步骤s3中，所述微调指令包括指令语句、输入问题和输出答案；

13、其中，所述指令语句为建立的多模态预测性维护大模型需执行的任务或扮演的角色，输入问题和输出答案为所述工业设备故障机理知识、诊断结论、决策依据以及维护建议；

14、所述步骤s3具体包括以下步骤：

15、s31、利用思维链方法建立大语言模型的提示指令prompt模板；

16、s32、将指令语句、输入问题和输出答案的信息插入所述提示指令prompt模板中，形成训练数据集。

17、进一步，具体地，所述步骤s4具体包括以下步骤：

18、s41，将所述训练数据集输入至所述大语言模型；

19、s42，根据所述微调策略，引入适配器，所述适配器的权重矩阵为，所述适配器通过在微调过程学习下游目标任务的特征；

20、s43，所述大语言模型的权重矩阵表示为， m和 l表示矩阵的维度，通过所述适配器对所述大语言模型的权重矩阵w进行微调更新，更新方式表示为：

21、；

22、s44，引入低秩矩阵对所述适配器的权重矩阵a进行分解，分解结果表示为：

23、；

24、其中，，，为适配器的秩；

25、s45，基于微调策略，根据分解结果更新所述大语言模型的权重矩阵，表示为：

26、；

27、s46，根据所述训练数据集的字符数指标以及词数指标确定所述训练数据集的指令文本长度区间，并通过分词器处理，得到符合预设长度区间的分词器指令文本；

28、s47，加载所述大语言模型，预设训练参数，利用分词器指令文本微调所述适配器，选择多轮微调训练中满足损失值最小的权重，损失值最小的权重为预训练权重；

29、s48，基于所述训练数据集，通过微调策略对所述大语言模型的预训练权重进行优化训练，得到多模态预测性维护大模型。

30、进一步，具体地，所述大语言模型为chatglm模型、llama模型或q-wen模型；

31、所述微调策略为lora方法。

32、进一步，具体地，步骤s22具体包括以下步骤：

33、s221，利用振动信号 x构建轨迹矩阵 x，公式表示为：

34、

35、其中， d为嵌入维度， τ为延迟时间参数， m为第 m个信号序列；

36、s222，对所述轨迹矩阵 x进行自相关分析，得到矩阵 c；

37、s223，根据所述矩阵 c构造hamilton平方矩阵，公式表示为：

38、；

39、s224，设所述hamilton矩阵，建立包含辛几何矩阵q的等式：

40、；

41、其中，矩阵 e为上三角矩阵，通过对矩阵 m进行施密特正交化变换得到，矩阵 r上对角矩阵；

42、s225，矩阵q通过施密特正交化被householder矩阵代替，矩阵p为矩阵c的特征向量；

43、s226，根据矩阵p得到关于轨迹矩阵x的重构矩阵z，表示为：

44、

45、其中， zi为重构矩阵z的第个初始单分量矩阵;

46、s227，采用对角平均化方法将初始单分量矩阵转化成为一组长度为n的一维时间序列，对角平均化方法转换公式为：

47、

48、其中，zi,j为重构矩阵 zi的第 i行及第 j列的值； k为一维时间序列中某 y值的序号， n为一维时间序列的长度， m为大于 d小于 n的值；

49、s228，迭代处理所述一维时间序列，得到辛几何分量；

50、s229，根据辛几何分量提取所述振动信号的故障特征，所述故障特征包括转频信息、时域指标信息、频域指标信息以及阶次谱信息。

51、进一步，具体地，所述推理结果包括：对所述工业设备当前状态的诊断结果、分析依据以及维修建议。

52、进一步，具体地，所述多模态信号数据还包括声学信息、压力信息、温度信息以及视频监控信息。

53、一种计算机设备，包括：

54、处理器；

55、存储器，用于存储可执行指令；

56、其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现如上所述的多模态预测性维护大模型的构建与运维应用方法。

57、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现如上所述的多模态预测性维护大模型的构建与运维应用方法。

58、本发明的有益效果是：

59、(1)本发明的一种多模态预测性维护大模型的构建与运维应用方法，实现了准确和高效的工业设备预测性模型构建，避免了现有工作来解决数据搜集和挖掘方面的工具不足，为工业设备预测性模型构建提供准确和高效的诊断支持信息，降低诊断过程中人为经验性和专业性不足造成的误判影响，为工业设备维护诊断决策提供了更专业的分析支持；

60、(2)本发明基于多模态信号数据输入至工业设备预测性模型对工业设备进行预测性推理，获取推理结果，推理结果准确性高，大幅降低了工业设备日常维护工作对人力和专家经验的依赖；

61、(3)本发明能够基于多模态信号数据及时发现问题，对工业设备进行预测维护，保证工业设备的正常地运行，且由于提前对工业设备进行预测维护，能够减少生产损失，有利于工业设备的生产，降低了维护成本。