基于多模态数据的海岛光伏运维故障原因分析方法及系统与流程

本发明涉及光伏智能运维领域，尤其涉及一种基于多模态数据的海岛光伏运维故障原因分析方法及系统。

背景技术：

1、光伏智能运维（光伏运维）是指利用先进的信息技术和智能化手段对光伏发电系统进行监测、诊断、预测和维护的一种运维方式。随着光伏发电技术的快速发展和广泛应用，光伏智能运维在提高光伏系统的可靠性、降低运维成本和提高发电效率方面发挥着重要作用。

2、然而，目前光伏智能运维仍存在一些不足之处。首先，传统的光伏智能运维主要依赖于单一模态的数据，如光伏阵列的电流、电压等。这种单一模态的数据无法全面反映光伏系统的运行状态和故障原因，限制了故障诊断和预测的准确性和效果。其次，光伏系统中的故障原因通常是多样化的，可能涉及光伏阵列、逆变器、电网等多个组件和子系统。传统的光伏智能运维往往只能对单一故障原因进行分析，无法全面理解和解决光伏系统的故障问题。

3、因此，目前迫切需要创新性的方法，使用多模态数据进行光伏智能运维的故障原因分析方法，以更好地理解光伏系统的故障原因，提高故障诊断和预测的准确性和效果。

技术实现思路

1、本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于多模态数据的海岛光伏运维故障原因分析方法，以达到提高故障诊断和预测的准确性和效果，帮助光伏系统运维人员更好地解决故障问题，提高系统可靠性和发电效率的目的。

2、为此，本发明采用的一种技术方案是：一种基于多模态数据的海岛光伏运维故障原因分析方法，包括以下内容：

3、1）获取光伏电站正常和具有缺陷的图像运维数据，图像运维数据包括光伏电池板、逆变器、电网设备的照片或监控摄像头捕捉的图像；

4、2）获取光伏电站文本运维数据，文本运维数据包括设备的技术规格、维护记录、故障报告、运维日志；

5、3）校验运维数据，以确保获取的图像和文本数据的质量和准确性；对于图像数据，校验其分辨率和清晰度；对于文本数据，校验其信息的完整性；

6、4）将图像和文本数据进行配对，以建立图像和文本之间的关联；

7、5）将图像数据输入基于残差网络的单模态编码器中，将文本数据输入基于word2vec的单模态编码器中，两单模态编码器对应编码图像和文本数据形成特征向量；

8、6）通过交叉注意力机制融合不同光伏电站数据模态的特征向量，得到加权后的图像和文本的特征表示矩阵；

9、7）将加权后的图像和文本的特征表示矩阵进行拼接，形成融合后的特征；

10、8）故障分类计算，使用训练后的基于卷积神经网络的故障分类网络对融合后的特征进行计算，经非线性变换后，进行归一化，得到表示各个类别故障概率的输出；

11、9）基于故障分类网络对故障原因进行可视化解释，得到热力图；

12、10）根据分类结果和相关特征，生成解释性的文本描述故障原因。

13、本技术方案结合了图像和文本两种数据模态，可以更全面地了解光伏电站的运行状态和故障情况；图像数据可以提供设备的外观和运行状态的直观信息，而文本数据可以提供关于设备性能、运行参数、维护历史等详细信息。图像和文本两种数据模态具有互补性；图像数据可以提供直观的视觉信息，而文本数据可以提供详细的描述和解释。通过将这两种模态的数据进行融合，可以更准确地识别和诊断故障。本技术方案使用了深度学习和神经网络技术，可以自动地对数据进行处理和分析，大大提高了运维效率和准确性。使用了故障分类网络，可以将故障原因进行可视化解释，得到热力图，这种可视化方式可以直观地展示不同设备或部件在故障发生时的关注程度，帮助运维人员快速定位故障原因。本技术方案不仅提供了故障分类的结果，还根据分类结果和相关特征生成了解释性的文本描述故障原因，这种描述可以为运维人员提供详细的故障分析和解决方案，有助于提高运维效率和准确性。以上可以使本技术方案具有全面性、互补性、高效性、可视化和解释性等优点，提高运维效率和准确性，为运维人员提供更直观、更详细的故障分析和解决方案。

14、当然多模态数据除了图像和文本数据，还可以有音频数据，这些数据包括来自不同传感器和模态的数据，通过综合利用这些多模态数据，可以更全面、准确地了解光伏系统的运行状态和故障原因。例如，通过图像数据可以观察光伏阵列的物理损坏情况，通过文本数据可以获取逆变器的报警信息，通过音频数据可以检测电网的噪声变化等。通过对多模态数据进行分析，可以更好地理解光伏系统的故障原因，提高故障诊断和预测的准确性和效果。

15、作为优选技术手段：还包括故障严重程度回归分析，故障严重程度回归分析使用故障分类网络的全连接层来进行故障严重程度的回归，得到表示故障严重程度概率的输出。使用全连接层进行故障严重程度的回归分析，能够根据输入的数据准确地预测故障的严重程度，学习到数据中的复杂关系，从而提供更精确的预测结果。本技术方案可以提供更直观的解释，使得运维人员更容易理解模型的预测结果，这对于故障原因分析和解决方案的制定非常有帮助。

16、作为优选技术手段：图像和文本数据进行配对的方法如下：

17、采用设备的唯一标识符或时间戳将图像和文本数据进行匹配，实现图像和文本之间的关联。通过采用设备的唯一标识符或时间戳进行图像和文本数据的配对，可以确保数据之间的准确关联，这种方法能够避免数据混淆和错误匹配，确保后续的分析和处理基于正确匹配的数据。使用唯一标识符或时间戳进行数据匹配是一种高效的方法，不需要复杂的特征匹配和相似度计算，直接根据标识符或时间戳进行匹配，减少了计算量和时间复杂度。本技术方案适用于各种设备和场景，只要设备具有唯一标识符或时间戳，就可以使用该方法进行数据配对，这使得该方案具有广泛的适用性，可以应用于不同的光伏电站和运维场景。而且，技术方案易于扩展和改进，可以根据实际需求，增加其他标识符或特征进行数据匹配，提高匹配的准确性和鲁棒性。同时，也可以根据新的数据类型和场景进行相应的调整和优化。

18、作为优选技术手段：通过构建的交叉注意力机制来融合不同模态的特征包括步骤：

19、601）将图像数据和文本数据的特征表示分别作为输入矩阵xa和xb；

20、602）计算图像模态a的每个位置i与文本模态b的每个位置j之间的相似度得分 sij；

21、603）通过对相似度得分 sij进行归一化，计算图像模态a位置 i对文本模态 b 的注意力权重 aij；

22、604）根据注意力权重 aij对文本模态 b 的输入矩阵xb进行加权求和，得到交叉注意力机制的输出yb；同样地，计算文本模态b位置 j对图像模态 a 的注意力权重 bji，根据注意力权重 bji对图像模态a的输入矩阵xa进行加权求和，得到交叉注意力机制的输出ya。

23、本技术方案通过交叉注意力机制可以成功融合图像和文本两种模态的特征，这种融合方式能够充分利用不同模态数据之间的互补性，从而提供更全面、更准确的特征表示。

24、交叉注意力机制能够为每个位置计算对其他位置的注意力权重，这种权重计算方式能够根据不同位置的重要性进行加权求和，从而得到更有效的特征表示。通过注意力权重，能够自适应地学习到不同模态数据之间的关联和重要性，使得模型能够更好地适应各种数据分布和场景，提高模型的泛化能力。且交叉注意力机制的计算过程相对高效，避免了复杂的特征匹配和相似度计算，这使得在处理大规模多模态数据时能够保持较高的计算效率。通过注意力权重为运维人员提供了关于不同模态数据之间关联的可解释性，有助于运维人员更好地理解模型的预测结果，从而更准确地定位故障原因。

25、作为优选技术手段：故障分类计算包括步骤：

26、801）使用训练后的故障分类网络全连接层对融合后的特征进行计算，假设融合后的特征为 f ∈ rdf，其中 df表示特征的维度；全连接层的权重为 w ∈，其中 do表示输出类别的数量；全连接层的偏置项为 b ∈；

27、全连接层的计算过程表示为：

28、z = w · f+b，

29、其中，z ∈ rdo表示全连接层的输出；

30、其中，权重w和偏置项b的最优值通过训练全连接层得到；

31、802）通过非线性激活函数对全连接层的输出进行非线性变换；

32、803）使用 softmax 函数将输出进行归一化，得到表示各个类别概率的输出：

33、p = softmax(a)，

34、其中，p ∈ rdo表示各个类别的概率。

35、通过使用全连接层进行分类计算，能够学习到数据的复杂关系，从而提供更准确的分类结果。通过非线性激活函数对全连接层的输出进行非线性变换，能够捕捉到数据中的非线性关系，有助于提高分类的准确性和鲁棒性。使用softmax函数将输出进行归一化，得到表示各个类别概率的输出；这种归一化方式使得每个类别的概率之和为1，便于后续的决策和解释。而且本技术方案易于扩展和改进，可以根据实际需求，增加其他类型的神经网络层或优化算法，提高分类的准确性和效率。

36、作为优选技术手段：基于故障分类网络对故障原因进行可视化解释而得到热力图包括步骤：

37、901）获取故障分类网络的最后一个输出特征图，假设大小为 h× w，

38、902）计算预测结果对于特征图上每个位置的梯度，使用反向传播算法得到梯度，其中aij表示特征图上位置 i,j的特征向量；

39、计算每个位置的重要性权重，通过对梯度进行全局平均池化得到权重向量，其中，

40、将权重向量与特征图进行加权求和，得到加权特征图g，其中，

41、对加权特征图进行归一化，并将其映射到原始图像的尺寸上，得到热力图；通过热力图可视化故障分类网络对于不同特征的关注程度，从而进行故障原因分析。

42、通过计算每个位置的重要性权重，对特征图上的局部区域进行重要性评估，这有助于识别出对故障预测影响较大的特征，从而更好地理解模型的预测结果。将加权特征图归一化并映射到原始图像的尺寸上，能够将局部的重要性评估集成到整体的热力图中，这使得运维人员能够综合考虑全局信息，更全面地了解故障情况。采用了高效的反向传播算法和池化操作，提高了计算效率。

43、作为优选技术手段：根据分类结果和相关特征生成解释性的文本描述故障原因包括步骤：

44、1001）根据模型的分类结果和相关特征，确定故障原因的具体特征；通过对分类结果和相关特征的分析，得到故障原因的主要因素；

45、1002）利用语言模型生成描述故障原因的文本；通过训练好的统计模型，学习故障原因描述的概率分布。

46、本技术方案利用了语言模型和统计模型，能够自动地生成描述故障原因的文本，这大大减少了分析故障原因的工作量，提高了运维效率。且可以根据不同的分类结果和相关特征生成不同的解释性文本，这使得该方案能够适应不同的故障情况和数据分布，具有较高的灵活性。

47、作为优选技术手段：在利用语言模型生成描述故障原因的文本时，根据分类结果和相关特征作为输入的上下文，使用语言模型生成故障原因的具体特征、可能的原因和建议的解决方案；通过查询模型，找到在给定上下文的条件下，得到每个可能的下一个词的概率，然后，根据每个可能的下一个词的概率，使用策略选择下一个词，从而生成相应的文本描述。

48、本技术方案利用语言模型生成描述故障原因的文本时，该方案能够根据分类结果和相关特征作为输入的上下文，理解故障原因的具体特征、可能的原因和建议的解决方案，这使得生成的文本更具有针对性和准确性，能够更好地满足运维人员的需求。通过语言模型生成文本时，能够考虑到每个可能的下一个词的概率，并根据这些概率选择下一个词，这有助于生成高质量、连贯的文本描述，提高运维人员对故障原因的理解和解决方案的接收度。本技术方案不仅可以生成故障原因的描述文本，还可以根据分类结果和相关特征自动提供可能的解决方案建议，这为运维人员提供了更全面的故障处理方案，有助于快速解决问题。由于本方法使用的是有监督学习模型，因此可以解释模型为什么会生成这样的文本描述和解决方案建议，这增加了模型的可信度和可解释性，有助于运维人员更好地理解和信任模型的预测结果。由于本方法可以根据不同的分类结果和相关特征生成不同的文本描述和建议，这使得该方案能够适应不同的故障情况和数据分布，具有较高的灵活性。

49、本发明采用的另一种技术方案为：一种基于多模态数据的海岛光伏运维故障原因分析系统，其采用前述的基于多模态数据的海岛光伏运维故障原因分析方法；系统包括：

50、光伏电站图像运维数据获取模块：用于获取光伏电站正常和具有缺陷的图像运维数据，其中图像运维数据包括光伏电池板、逆变器、电网设备的照片或监控摄像头捕捉的图像；

51、光伏电站文本运维数据获取模块：用于获取光伏电站文本运维数据，其中文本运维数据包括设备的技术规格、维护记录、故障报告、运维日志；

52、校验运维数据模块，用于校验运维数据，以确保获取的图像和文本数据的质量和准确性；对于图像数据，校验其分辨率和清晰度；对于文本数据，校验其信息的完整性；

53、图像和文本数据配对模块，用于图像和文本数据的配对，从而建立图像和文本之间的关联；

54、图像和文本数据编码模块，用于将图像数据输入基于残差网络的单模态编码器中，将文本数据输入基于word2vec的单模态编码器中，两单模态编码器对应编码图像和文本数据形成特征向量；

55、基于交叉注意力的模态融合模块，通过交叉注意力机制融合光伏电站不同数据模态的特征向量，得到加权后的图像和文本的特征表示矩阵；

56、特征拼接融合模块，用于将加权后的图像和文本的特征表示矩阵进行拼接，形成融合后的特征表示；

57、故障分类计算模块，用于使用训练后的基于卷积神经网络的故障分类网络对融合后的特征进行计算，经非线性变换后，进行归一化，得到表示各个类别故障概率的输出；

58、可视化模块，用于基于故障分类网络对故障原因进行可视化解释，得到热力图；

59、文本生成模块，根据分类结果和相关特征，生成解释性的文本描述故障原因。

60、本系统综合了图像运维数据和文本运维数据两种模态的数据，通过交叉注意力机制实现了不同模态数据的融合，从而更全面地分析故障原因。系统设置了校验运维数据模块，对获取的图像和文本数据进行质量校验，确保数据的准确性和完整性，提高了故障原因分析的准确性。系统通过图像和文本数据配对模块，建立了图像和文本之间的关联，使得不同模态的数据能够相互补充，更全面地描述故障情况。使用基于残差网络和word2vec的单模态编码器分别对图像和文本数据进行编码，形成特征向量，这种编码方式能够有效地提取出不同模态数据的特征，为后续的故障分类计算提供有力的支持。系统通过故障分类网络对融合后的特征进行计算，实现了故障的分类，同时，通过可视化模块，能够将故障原因以热力图的形式直观地展示出来，方便运维人员快速定位和解决问题。系统根据分类结果和相关特征，自动生成解释性的文本描述故障原因，为运维人员提供了详细的故障分析和解决方案，提高了故障处理的效率。

61、作为优选技术手段：还包括故障严重程度回归分析模块，用于故障分类网络的全连接层进行故障严重程度的回归分析，输出一个0~1的浮点数值，得到表示故障严重程度概率的输出。

62、通过故障严重程度回归分析模块，系统能够基于全连接层对故障的严重程度进行回归分析，得到表示故障严重程度概率的输出，这有助于运维人员提前了解故障可能带来的影响，从而采取相应的预防措施或应急处理方案。通过对故障严重程度的预测，运维人员可以更加精细化地进行电站运维，例如，对于可能影响较大的故障，可以优先进行处理，以减少其对电站运行的影响。基于故障严重程度的概率输出，运维人员可以做出更加明智的决策，例如，当预测到某个故障可能严重影响电站运行时，可以提前进行设备更换或维修，避免因故障导致的停机或产能损失。通过对故障严重程度的预测和分析，运维人员可以不断积累经验，优化运维策略和方法，同时，也可以为后续的设备选型、设计改进等提供数据支持，进一步提高电站的运行效率和稳定性。

63、有益效果：

64、本技术方案至少结合了图像和文本两种数据模态，可以更全面地了解光伏电站的运行状态和故障情况；图像数据可以提供设备的外观和运行状态的直观信息，而文本数据可以提供关于设备性能、运行参数、维护历史等详细信息。

65、由于图像和文本两种数据模态具有互补性；图像数据可以提供直观的视觉信息，而文本数据可以提供详细的描述和解释，通过将这两种模态的数据进行融合，可以更准确地识别和诊断故障。

66、本技术方案使用了深度学习和神经网络技术，可以自动地对数据进行处理和分析，大大提高了运维效率和准确性。

67、使用故障分类网络，可以将故障原因进行可视化解释，得到热力图，这种可视化方式可以直观地展示不同设备或部件在故障发生时的关注程度，帮助运维人员快速定位故障原因。

68、本技术方案不仅提供了故障分类的结果，还根据分类结果和相关特征生成了解释性的文本描述故障原因，这种描述可以为运维人员提供详细的故障分析和解决方案，有助于提高运维效率和准确性。

69、综上，本技术方案具有全面性、互补性、高效性、可视化和解释性等优点，提高运维效率和准确性，为运维人员提供更直观、更详细的故障分析和解决方案。通过综合利用这些数据可以更全面、准确地了解光伏系统的故障原因。提高故障诊断和预测的准确性和效果，帮助光伏系统运维人员更好地解决故障问题，提高系统可靠性和发电效率。