多模态知识图谱构建方法、装置、设备及介质与流程

本公开涉及知识图谱技术应用领域，尤其涉及一种多模态知识图谱构建方法、装置、设备及介质。

背景技术：

1、随着现代战争形态的不断演变，作战场景的复杂性和动态性日益增强。为了提高作战决策的有效性和实时性，信息获取和分析技术的创新显得尤为重要。在此背景下，知识图谱作为一种有效的信息组织和表达方式，已逐渐成为作战领域的重要研究方向。

2、传统的知识图谱构建方法多依赖于结构化数据，往往无法充分利用非结构化数据(如图像、视频等)中的信息。而在作战场景中，实时获取和分析视觉信息对于理解复杂环境、评估威胁以及制定战术决策具有重要意义。因此，亟需一种能够有效集成多模态信息(如图像、视频、文本等)的知识图谱构建方法，以增强对作战场景的理解和分析能力。

技术实现思路

1、为了解决上述技术问题，本公开提供了一种多模态知识图谱构建方法、装置、设备及介质。

2、第一方面，本公开提供了一种多模态知识图谱构建方法，包括：

3、获取目标多模态数据，并对所述目标多模态数据进行数据预处理；

4、对所述目标多模态数据进行图像信息提取处理，得到对应的图像信息，并对所述目标多模态数据进行文本知识图谱构建处理，得到对应的文本知识图谱；

5、将所述图像信息和所述文本知识图谱进行结合关联处理，得到初步的多模态知识图谱；

6、对初步的多模态知识图谱进行关系补全处理，得到最终的多模态知识图谱。

7、第二方面，本公开提供了一种多模态知识图谱构建装置，包括：

8、数据获取模块，用于获取目标多模态数据，并对所述目标多模态数据进行数据预处理；

9、第一处理模块，用于对所述目标多模态数据进行图像信息提取处理，得到对应的图像信息，并对所述目标多模态数据进行文本知识图谱构建处理，得到对应的文本知识图谱；

10、第二处理模块，用于将所述图像信息和所述文本知识图谱进行结合关联处理，得到初步的多模态知识图谱；

11、第三处理模块，用于对初步的多模态知识图谱进行关系补全处理，得到最终的多模态知识图谱。

12、第三方面，本公开提供了一种多模态知识图谱构建设备，包括：

13、处理器；

14、存储器，用于存储可执行指令；

15、其中，处理器用于从存储器中读取可执行指令，并执行可执行指令以实现第一方面的多模态知识图谱构建方法。

16、第四方面，本公开提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现第一方面的多模态知识图谱构建方法。

17、本公开实施例提供的技术方案与现有技术相比具有如下优点：

18、本公开实施例的多模态知识图谱构建方法、装置、设备及介质，能够获取目标多模态数据，并对所述目标多模态数据进行数据预处理，接着对所述目标多模态数据进行图像信息提取处理，得到对应的图像信息，并对所述目标多模态数据进行文本知识图谱构建处理，得到对应的文本知识图谱，然后将所述图像信息和所述文本知识图谱进行结合关联处理，得到初步的多模态知识图谱，最后对初步的多模态知识图谱进行关系补全处理，得到最终的多模态知识图谱。由此，将图像信息和文本知识图谱相结合，可以实现对作战场景中关键实体和关系的高效提取，不仅能够提升作战场景信息的获取与处理能力，还有助于形成更加全面和准确的知识体系，进而提高作战指挥与决策的智能化水平。

技术特征：

1.一种多模态知识图谱构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述目标多模态数据包括相关联的目标文本数据和目标图像数据。

3.根据权利要求2所述的方法，其特征在于，所述对所述目标多模态数据进行数据预处理，包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述目标多模态数据进行图像信息提取处理，得到对应的图像信息，包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述目标多模态数据进行文本知识图谱构建处理，得到对应的文本知识图谱，包括：

6.根据权利要求1所述的方法，其特征在于，所述将所述图像信息和所述文本知识图谱进行结合关联处理，得到初步的多模态知识图谱，包括：

7.根据权利要求1所述的方法，其特征在于，所述对初步的多模态知识图谱进行关系补全处理，得到最终的多模态知识图谱，包括：

8.一种多模态知识图谱构建装置，其特征在于，包括：

9.一种多模态知识图谱构建设备，其特征在于，包括：

10.一种非易失性的计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现上述权利要求1-7中任一项所述的多模态知识图谱构建方法。

技术总结
本公开涉及一种多模态知识图谱构建方法、装置、设备及介质。其中，多模态知识图谱构建方法包括：获取目标多模态数据，并对所述目标多模态数据进行数据预处理；对所述目标多模态数据进行图像信息提取处理，得到对应的图像信息，并对所述目标多模态数据进行文本知识图谱构建处理，得到对应的文本知识图谱；将所述图像信息和所述文本知识图谱进行结合关联处理，得到初步的多模态知识图谱；对初步的多模态知识图谱进行关系补全处理，得到最终的多模态知识图谱。根据本公开实施例，不仅能够提升作战场景信息的获取与处理能力，还有助于形成更加全面和准确的知识体系，进而提高作战指挥与决策的智能化水平。

技术研发人员：许红彬,韩宇,阮炳晨,祝潇成,庞雨葳
受保护的技术使用者：航天科工集团数字技术有限公司
技术研发日：
技术公布日：2025/4/7