自适应性图数据库多模态电力知识问答方法及系统与流程

本发明属于电力行业的智能化数据处理与人工智能，尤其涉及自适应性图数据库多模态电力知识问答方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、在电力行业的数字化转型过程中，海量的设备运行数据、故障信息、历史记录以及行业法规、制度标准等数据和文本信息为智能设备管理、故障诊断、预测分析等应用提供了强有力的支持。然而，电力系统的数据和文本知识结构复杂，涉及多个层次的设备信息、运行参数、故障类型、法规制度标准及维护历史等多种信息，并且数据和知识类型各异，包括文本、图像、时间序列等多模态数据。这些数据和知识的异构性和多样性使得如何高效、准确地进行数据知识查询和分析，提取出关键洞察，成为电力行业在数字化转型过程中面临的一个重大挑战。由此应运而生的智能问答系统逐渐成为设备管理、运行监控和决策支持的重要工具。然而，现有技术在多模态数据融合、自然语言解析与查询增强以及知识库动态更新等方面仍存在显著不足，同时，传统智能问答系统在问题意图识别与处理、路径优化方面的能力也显得捉襟见肘，这些问题严重制约了智能问答系统的广泛应用和高效运行：

3、(1)当前技术在多模态数据融合方面表现出明显的局限性。传统的智能问答系统通常针对单一模态数据进行处理，例如仅处理文本数据或时间序列数据。对于图像、音频、视频等多模态数据的融合与联合分析能力较弱。多模态数据之间的特征分布差异较大，现有方法难以实现统一特征表示和深度融合，导致系统无法综合利用多模态数据的互补信息来提供更精准的解答，使系统在处理需要多模态协同的查询时，难以提供全面、准确的答案。此外，现有技术缺乏对用户输入上下文的语义感知能力，尤其是对于电力行业的特有术语和隐含意图的识别较差。例如，对于用户查询“过去一周高负荷变压器的异常”，系统往往无法准确推断用户关注的具体参数或时间范围，导致响应的精准性不足。

4、(2)在自然语言解析与查询增强方面，现有技术也存在诸多不足。首先，系统对用户输入的自然语言查询的解析能力较弱，尤其是在处理电力行业专业术语和复杂表达时，易产生语义偏差。例如，当用户查询“高压变压器的温控状态”时，系统可能误解查询意图，无法提供准确答案。其次，当前系统缺乏智能纠错与优化能力，对于用户查询中常见的术语混淆、逻辑错误或模糊表达，系统无法有效识别和修正。例如，当用户输入“开关设备的电压运行日志”时，系统可能因逻辑错误导致查询失败，而不能主动提示或优化查询内容。此外，现有系统在多轮交互和动态优化查询路径的支持上存在严重缺陷，通常仅能进行单轮查询与响应，无法根据用户提供的后续信息动态调整查询策略，导致复杂查询场景下响应精度低下。例如，当用户输入模糊查询后，系统缺乏引导用户明确意图的能力，最终影响查询结果的精准性和用户体验。同时，传统查询系统在处理电力行业常见的跨多表、多条件的复杂查询时能力有限，对于数据分布在多个异构表中的场景，系统响应速度和查询精度均无法满足实际需求。

5、(3)在知识库动态更新方面，传统的电力行业知识库多采用静态的结构，缺乏实时更新和自动维护能力。通常情况下，这类知识库需要人工定期进行数据更新和维护，导致成本高昂，更新周期长且效率低下，难以及时反映最新的行业变化。尤其在面对法规更新、设备状态变更等动态信息时，静态知识库无法满足实时查询的要求，容易导致问答系统提供基于过时数据的答案，影响其实用性和可信度。此外，传统知识库大多基于单一模态的数据，如文本信息，无法充分利用图像、音频、视频等多模态数据的互补信息。这样的系统在面临多模态复杂查询时，难以实现准确、全面的响应。

6、(4)更为关键的是，现有系统难以精准区分用户查询的类型，问题意图分流机制缺失。在电力行业，用户查询通常涉及结构化数据（如设备运行状态、故障记录）和非结构化知识（如操作规程、法规标准），现有技术缺乏对查询意图的精准分类和分流能力。传统系统在处理这两类查询时采用单一模式，既缺乏对问题类型的准确判断，也难以针对不同查询类型采用最优的处理路径，导致查询效率低下，难以根据不同问题类型调用最适合的处理模块，从而影响复杂查询的响应速度和结果质量。这种问题分流能力的缺失，直接导致了查询效率低下和响应结果不精准的问题。例如，用户同时查询“最近一周变压器的运行数据和故障处理方法”时，系统难以识别其同时涉及数据查询和知识查询，无法动态分配至相应模块处理，最终影响了查询的完整性与响应速度。

7、综上所述，现有技术在多模态数据融合、自然语言解析与查询增强、知识库动态更新以及问题意图分流方面的不足，严重限制了智能问答系统在电力行业中的应用价值。为此，亟需一种集成多模态深度融合、智能纠错、动态知识库更新与问题分流的新型智能查询系统，通过精准的意图识别与多通道协同处理，显著提升系统的查询效率、响应精度和场景适应性，为电力行业的智能化升级提供关键技术支持。

技术实现思路

1、为了解决上述背景技术中存在的技术问题，本发明提供自适应性图数据库多模态电力知识问答方法及系统，通过分析用户输入的自然语言查询，动态判断其属于数据查询还是知识查询，利用多模态语义解析技术和电力行业专有知识图谱，对查询的上下文和潜在意图进行深度理解，实现跨通道协同处理和综合回答。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供自适应性图数据库多模态电力知识问答方法，其包括：

4、获取电力行业自然语言查询，通过大语言模型，生成语义嵌套树；

5、对于语义嵌套树中的数据查询子任务，对自然语言查询进行智能纠错和扩展，得到扩展查询语句后，在电力行业数据库提取数据结果；

6、对于语义嵌套树中的知识查询子任务，将数据结果与图知识库中的节点进行匹配后，基于匹配节点和数据结果的特征表示，通过大语言模型，得到知识结果；基于知识结果和数据结果，通过大语言模型的生成函数，得到自然语言答案；

7、其中，图知识库的构建步骤包括：获取新增数据，计算新增数据与图知识库中对应节点的相似度，若相似度小于阈值，则更新对应节点的特征表示；获取新增节点，计算新增节点与图知识库中所有节点的关联强度，若关联强度大于设定值，则在两个节点之间建立一条边，并给出边的权重。

8、进一步地，所述智能纠错和拓展的步骤包括：

9、对于电力行业自然语言查询及其相关的图像，分别通过大语言模型和深度学习模型进行特征提取后，利用知识图谱和视觉问答图神经网络，采用双向融合的方式将不同模态的特征统一到同一个表示中，得到融合特征；基于融合特征，通过超图神经网络和多轮交互进行智能纠错，优化所述自然语言查询后，通过超图推理，得到扩展查询语句。

10、进一步地，所述图知识库的初始化步骤包括：将不同的模态数据作为不同节点类型，提取每个节点的特征表示，并定义不同节点之间的关系，给出关系的强度，得到图知识库。

11、进一步地，所述节点类型包括设备节点、法规节点、操作规程节点、图像节点、视频节点、音频节点和分割区域节点；

12、或者，所述关系包括连接关系、设备依赖关系、合规关系、操作依赖关系和从属关系。

13、进一步地，在图数据库中，若两个节点的相似度小于相似度阈值，则将两个节点合并为一个节点；

14、或者，在图数据库中，若两个节点之间存在不止一条边，则将所有边的权重进行合并。

15、进一步地，所述数据查询子任务包括设备运行数据、故障记录和图像数据的查询；

16、或者，所述知识查询子任务包括法规、操作规程、图片、视频和音频的查询。

17、本发明的第二个方面提供自适应性图数据库多模态电力知识问答系统，其包括：

18、图知识库构建模块，其被配置为：获取新增数据，计算新增数据与图知识库中对应节点的相似度，若相似度小于阈值，则更新对应节点的特征表示；获取新增节点，计算新增节点与图知识库中所有节点的关联强度，若关联强度大于设定值，则在两个节点之间建立一条边，并给出边的权重；

19、数据获取模块，其被配置为：获取电力行业自然语言查询，通过大语言模型，生成语义嵌套树；

20、数据查询模块，其被配置为：对于语义嵌套树中的数据查询子任务，对自然语言查询进行智能纠错和扩展，得到扩展查询语句后，在电力行业数据库提取数据结果；

21、知识查询模块，其被配置为：对于语义嵌套树中的知识查询子任务，将数据结果与图知识库中的节点进行匹配后，基于匹配节点和数据结果的特征表示，通过大语言模型，得到知识结果；基于知识结果和数据结果，通过大语言模型的生成函数，得到自然语言答案。

22、进一步地，还包括图知识库的初始化模块，其被配置为：将不同的模态数据作为不同节点类型，提取每个节点的特征表示，并定义不同节点之间的关系，给出关系的强度，得到图知识库；所述节点类型包括设备节点、法规节点、操作规程节点、图像节点、视频节点、音频节点和分割区域节点；所述关系包括连接关系、设备依赖关系、合规关系、操作依赖关系和从属关系。

23、本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的自适应性图数据库多模态电力知识问答方法中的步骤。

24、本发明的第四个方面提供一种计算机设备，包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的自适应性图数据库多模态电力知识问答方法中的步骤。

25、与现有技术相比，本发明的有益效果是：

26、本发明创新性提出结合电力行业特有知识库的语义解析技术和大语言模型（如gpt）进行问题意图识别和分流决策，通过分析用户输入的自然语言查询，动态判断其属于数据查询（如设备运行数据、故障记录等）还是知识查询（如法规、规程等），利用多模态语义解析技术和电力行业专有知识图谱，对查询的上下文和潜在意图进行深度理解，并根据问题复杂性动态分解子问题，实现跨通道协同处理和综合回答。

27、本发明创新性提出语义增量技术，对每次输入处理后的新增标签和分割结果进行增量更新，避免对整个知识库的冗余重构，识别重要信息的变化，并自动修正或扩展图知识库内容，进行已有知识图谱的局部优化和节点扩展，识别出新增信息与现有内容之间的关系，优化知识库的结构和关联路径。

28、本发明创新性提出包括设备节点、法规节点、操作规程节点、图像节点、视频节点、音频节点和分割区域节点等在内的图知识库，支持电力行业多模态数据与文本的联合检索，支持图像、文本、音频、视频等多模态数据的检索和问答，能够对电力设备图像、施工现场视频、设备运行声音等进行语义理解和相关问题的解答，实现从数据输入到信息获取的全流程智能化；另外，多模态大模型能够对不同类型的数据进行统一特征表示，并且将多模态数据进行深度特征融合与对齐。

29、本发明创新性提出超图大模型驱动的智能纠错与查询增强方法，结合超图神经网络和大语言模型，通过自学习纠错循环，对用户的自然语言查询进行实时语义解析、智能纠错与查询增强。利用超图结构中的多层次关系建模，能更好地理解用户的隐含意图，并自动识别用户查询输入中出现的语义偏差、术语混淆或逻辑错误，如设备名称混淆、参数设置错误等，并提示可能的正确选项，同时通过图知识库提供具体的优化建议。