多模态数据处理方法、装置、终端设备及存储介质与流程

本申请涉及计算机，具体涉及一种多模态数据处理方法、装置、终端设备及存储介质。

背景技术：

1、目前，多模态知识图谱，能够融合文本、图像、视频、语音等多种类型数据，通过多源信息的融合有助于人工智能理解和推理任务。

2、实现多模态的知识图谱(multi modal knowledge graph)是人工智能从感知智能向认知智能发展的必然步骤。因此，如何构建和维护多模态知识图谱成为研究热点。目前已存在一些多模态知识图谱，比如：imgpedia(a linked dataset with content-basedanalysis of wikimedia images)、mmkg(multi-modal knowledge graphs)、yago(yetanother great ontology)、richpedia(alarge-scale,comprehensive multi-modalknowledge graph，)、zhishi.me(weaving chinese linking open data)、pkupie(pekinguniversitypie)、cn-dbpedia(databasemedia)，这些多模态知识图谱的构建通常经过领域概念发现、跨媒体实体识别、跨媒体关系抽取和跨媒体知识融合几个主要步骤。这些图谱已经在多模态关系预测与推理、多模态知识问答、多模态知识图谱推荐、零样本图片分类等应用领域得到应用，且取得了不错的效果。

3、然而，多模态知识图谱的发展还处于初级阶段，多模态知识图谱的完备性和准确性亟待提高。

技术实现思路

1、本申请提供了一种多模态数据处理方法，通过获取到多模态数据信息的各个实体知识，再确定各个实体知识插入知识图谱后，对知识图谱的影响，确定对知识图谱影响最小的实体知识为正确的知识，提高了知识插入知识图谱的准确性。

2、第一方面，本申请提供了一种多模态数据处理方法，所述方法包括：

3、获取第一知识图谱信息和多模态数据信息；

4、对所述多模态数据信息进行特征提取，得到多模态特征信息；

5、利用所述多模态特征信息对所述第一知识图谱信息进行补全，得到目标知识图谱信息。

6、第二方面，本申请还提供了一种多模态数据处理装置，所述装置包括：

7、获取模块，用于获取第一知识图谱信息和多模态数据信息；

8、提取模块，用于对所述多模态数据信息进行特征提取，得到多模态特征信息；

9、补全模块，用于利用所述多模态特征信息对所述第一知识图谱信息进行补全，得到目标知识图谱信息。

10、第三方面，本申请还提供了一种终端设备，所述终端设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现任一项所述的多模态数据处理方法中的步骤。

11、第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现任一项所述的多模态数据处理方法中的步骤。

12、本申请提供的多模态数据处理方法，通过获取到多模态数据信息的各个实体知识，再确定各个实体知识分别插入知识图谱的各个分支后，比对各个新的分支与最初的分支之间的差异情况，从而确定对知识图谱影响的差异度最小的实体知识为正确的知识，提高了知识插入知识图谱的准确性。

技术特征：

1.一种多模态数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的多模态数据处理方法，其特征在于，所述多模态数据信息包括文字数据以及图像数据，所述对所述多模态数据信息进行特征提取，得到多模态特征信息，包括：

3.根据权利要求1所述的多模态数据处理方法，其特征在于，所述利用所述多模态特征信息对所述第一知识图谱信息进行补全，得到目标知识图谱信息，包括：

4.根据权利要求3所述的多模态数据处理方法，其特征在于，所述确定各所述初始图谱分支与对应更新后的更新图谱分支的第一差异度，包括：

5.根据权利要求4所述的多模态数据处理方法，其特征在于，所述根据所述第一分支特征与所述第二分支特征的差异度，得到所述初始图谱分支与所述初始图谱分支更新后的更新图谱分支的第一差异度，包括：

6.根据权利要求5所述的多模态数据处理方法，其特征在于，所述根据所述文字特征相似度与所述图像特征相似度，得到所述初始图谱分支与所述初始图谱分支更新后的更新图谱分支的第一差异度，包括：

7.根据权利要求3所述的多模态数据处理方法，其特征在于，所述根据各所述第一差异度，对所述第一知识图谱信息进行补全，得到目标知识图谱信息，包括：

8.一种多模态数据处理装置，其特征在于，所述装置包括：

9.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至7任一项所述的多模态数据处理方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至7任一项所述的多模态数据处理方法中的步骤。

技术总结
本申请提供了一种多模态数据处理方法、装置、终端设备及存储介质，该方法包括：获取第一知识图谱信息和多模态数据信息；对多模态数据信息进行特征提取，得到多模态特征信息；利用多模态特征信息对第一知识图谱信息进行补全，得到目标知识图谱信息。该方法，通过获取到多模态数据信息的各个实体知识，再确定各个实体知识分别插入知识图谱的各个分支后，比对各个新的分支与最初的分支之间的差异情况，提高了知识插入知识图谱的准确性。

技术研发人员：曹源
受保护的技术使用者：TCL科技集团股份有限公司
技术研发日：
技术公布日：2024/11/14