多模态数据处理方法、装置、电子设备及可读存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及知识图谱、数据处理等领域，可应用于视频理解等场景下，具体而言，本公开涉及一种多模态数据处理方法、装置、电子设备及可读存储介质。


背景技术：

2.近年来，随着软硬件技术的快速发展，视频成为信息传递的主要方式之一。为了将视频快速的向用户分发推荐，需要对视频内容进行深层次的理解。
3.视频中一般会包含多模态数据，如图像数据、音频数据和文本数据等。如仅利用多模态数据中的单模态数据对视频内容进行理解，则可能会造成对视频内容的理解片面，因此需要利用多模态数据对视频内容进行理解。
4.多模态信息中可能存在大量的冗余数据，影响对视频内容的理解效果。因此，如何有效确定出多模态信息中存在的冗余数据，成为了一个重要的技术问题。


技术实现要素：

5.本公开为了解决上述缺陷中的至少一项，提供了一种多模态数据处理方法、装置、电子设备及可读存储介质。
6.根据本公开的第一方面，提供了一种多模态数据处理方法，该方法包括：
7.获取目标视频的多模态数据；
8.确定多模态数据中至少两种单模态数据的语义信息；
9.基于语义信息的相似性确定多模态数据中的冗余数据。
10.根据本公开的第二方面，提供了一种多模态数据处理装置，该装置包括：
11.多模态数据获取模块，用于获取目标视频的多模态数据；
12.语义信息确定模块，用于确定多模态数据中至少两种单模态数据的语义信息；
13.冗余数据确定模块，用于基于语义信息的相似性确定多模态数据中的冗余数据。
14.根据本公开的第三方面，提供了一种电子设备，该电子设备包括：
15.至少一个处理器；以及
16.与上述至少一个处理器通信连接的存储器；其中，
17.存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述多模态数据处理方法。
18.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述多模态数据处理方法。
19.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述多模态数据处理方法。
20.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
21.附图用于更好地理解本方案，不构成对本公开的限定。其中：
22.图1是本公开实施例提供的一种多模态数据处理方法的流程示意图；
23.图2是本公开实施例提供的另一种多模态数据处理方法的流程示意图；
24.图3是本公开实施例提供的一种多模态数据处理装置的结构示意图；
25.图4是本公开实施例提供的另一种多模态数据处理装置的结构示意图；
26.图5是用来实现本公开实施例的多模态数据处理方法的电子设备的框图。
具体实施方式
27.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
28.在利用多模态数据对视频内容进行理解时，一般需要将多模态数据进行多模融合。相关技术中，在将多模态数据进行多模融合时，一般是将多模态数据等同看待，而多模态信息中可能存在大量的冗余数据，导致多模态信息中的有效信息的权重降低，影响多模融合效果，进而影响对视频内容的理解效果。
29.如果能够有效地确定出多模态信息中存在的冗余数据，就能够对多模态信息中的冗余数据进行针对性处理，避免影响对视频内容的理解效果。
30.本公开实施例提供的多模态数据处理方法、装置、电子设备及可读存储介质，旨在解决现有技术的如上技术问题中的至少一个。
31.图1示出了本公开实施例提供的一种多模态数据处理方法的流程示意图，如图1中所示，该方法主要可以包括：
32.步骤s110：获取目标视频的多模态数据；
33.步骤s120：分别确定多模态数据中至少两种单模态数据的语义信息；
34.步骤s130：基于语义信息的相似性确定多模态数据中的冗余数据。
35.其中，目标视频可以为需要进行视频内容理解的视频，目标视频的多模态数据中可以包含图像、音频以及文本等单模态数据。
36.目标视频的各单模态数据均会表达一些语义信息。当目标视频中的各单模态数据所表达的语义信息存在一定的相似性时，多模态数据中可能会存在冗余数据。
37.例如，目标视频包含的文本为“女子做了一碗面，这碗面条也太香了”，目标视频中的部分图像能够表达出“女子”以及“面条”的语义信息，可见，目标视频的部分图像所表达的语义信息与目标视频的文本所表达的语义信息较为相似，这时可能会导致目标视频的多模态数据中存在部分冗余数据。
38.基于各单模态数据的语义信息的相似性，能够确定出多模态数据中存在的冗余数据，为后续进行多模融合时对冗余数据进行针对性处理，以保证多模融合的效果提供基础。
39.本公开实施例提供的方法，通过获取目标视频的多模态数据，确定多模态数据中至少两种各单模态数据的语义信息，基于语义信息的相似性确定多模态数据中的冗余数据。本方案中，能够基于各单模态数据的语义信息的相似性有效确定出多模态数据中存在
的冗余数据，为后续对冗余数据进行针对性处理，从而保证对视频内容的理解效果提供了基础。
40.在实际使用中，在多模态数据包括两种单模态数据时，可以分别确定这两种单模态数据的语义信息，而后基于这两种单模态数据的语义信息的相似性，确定出多模态数据中存在的冗余数据。在多模态数据包括两种以上的单模态数据时，可以分别确定这些单模态数据的语义信息，而后将任意两种单模态数据作为一组，基于该组中两种单模态数据的语义信息的相似性，确定出该组单模态数据中存在的冗余数据，而后将各组模态数据中存在的冗余数据共同作为多模态数据整体的冗余数据。例如，多模态数据包括图像、音频以及文本共三种单态数据时，可以将图像与音频、图像与文本、音频与文本分别作为三组单模态数据，分别根据这三组单模态数据中的语义信息的相似性，确定出这三组单模态数据中存在的冗余数据，而后可以将这三组单模态数据中存在的冗余数据共同作为最终的冗余数据。
41.本公开的一种可选方式中，至少两种单模态数据包括目标图像数据以及目标文本数据，确定多模态数据中至少两种单模态数据的语义信息，包括：
42.确定目标图像数据的语义信息与目标文本数据的语义信息；
43.基于语义信息的相似性确定多模态数据中的冗余数据，包括：
44.基于目标图像数据的语义信息与目标文本数据的语义信息的相似性，确定目标图像数据中的冗余数据和/或目标文本数据中的冗余数据。
45.本公开实施例中，目标视频的多模态数据中可以包括目标图像数据以及目标文本数据两种单模态数据。
46.作为一个示例，目标图像数据可以为目标视频的关键帧图像，目标文本数据可以为目标视频的标题文本。
47.本公开实施例中，可以分别确定目标图像数据的语义信息以及目标文本的语义信息，而后基于目标图像数据的语义信息与目标文本数据的语义信息的相似性，确定目标图像数据中的冗余数据和/或目标文本数据中的冗余数据。具体而言，冗余数据存在于目标图像数据的可能性较大时，可以从目标图像数据中确定冗余数据；冗余数据存在于目标文本数据的可能性较大时，可以从目标文本数据中确定冗余数据；冗余数据均存在于目标图像数据以及目标文本数据时，则可以从目标图像数据以及目标文本数据中分别确定冗余数据。
48.作为一个示例，目标图像数据为多张关键帧图像，目标文本数据为目标视频的标题，这种情况下目标图像数据的数据量较大，包含冗余数据的可能性也较高。因此，可以分别获取目标图像数据的语义信息以及目标文本数据的语义信息，而后基于目标图像数据的语义信息与目标文本数据的语义信息的相似性，确定目标图像数据中的冗余数据，即从多张关键帧图像确定出可能为冗余数据的关键帧图像。
49.本公开的一种可选方式中，确定目标图像数据的语义信息与目标文本数的语义信息，包括：
50.将目标图像数据在语义空间中的第一语义特征确定为目标图像数据的语义信息，并将目标文本数据在语义空间中的第二语义特征确定为目标文本数据的语义信息。
51.本公开实施例中，可以将目标图像数据以及目标文本数据分别映射至同一语义空
间，所得到的第一语义特征能够用于描述目标图像数据的语义,第二语义特征能够用于描述目标文本数据的语义。可以将第一语义特征确定为目标图像数据的语义信息，将第二语义特征确定为目标文本数据的语义信息。
52.在实际使用中，可以采用对比文本-图像预训练模型(contrastive language
–
image pre-training，clip)，将目标图像数据以及目标文本数据分别映射至同一语义空间。
53.本公开的一种可选方式中，确定目标图像数据的语义信息与目标文本数据的语义信息，包括：
54.将目标图像数据中识别出的第一实体名称确定为目标图像数据的语义信息，并将目标文本数据中识别出的第二实体名称确定为目标文本数据的语义信息。
55.其中，第一实体名称，即从目标图像数据中识别出的实体的名称。第二实体名称，即从目标文本数据中识别出的实体的名称。
56.本公开实施例中，目标图像数据以及目标文本数据中一般能够识别出一些实体，这些实体的实体名称能够表征语义信息。因此，可以将从目标图像数据识别出的第一实体名称确定为目标图像数据的语义信息，并将目标文本数据中识别出的第二实体名称确定为目标文本数据的语义信息。
57.作为一个示例，可以采用目标检测模型，如快速前馈卷积神经网络(faster region convolutional neural network，fasterr-cnn)模型，来识别目标图像数据中的实体，得到第一实体名称。可以采用命名实体识别(named entity recognition，ner)模型识别目标文本数据中的实体，得到第二实体名称。
58.本公开的一种可选方式中，基于目标图像数据的语义信息与目标文本数据的语义信息的相似性，确定目标图像数据中的冗余数据和/或目标文本数据中的冗余数据，包括：
59.将目标图像数据的语义信息与目标文本数据的语义信息的相似度大于预设值的目标图像数据和/或目标文本数据确定为冗余数据。
60.本公开实施例中，可以通过相似度来衡量语义信息的相似性，并设置相似度的预设值，可以认为目标图像数据的语义信息与目标文本包含的语义信息的相似度高于预设值的目标图像数据和/或目标文本数据为冗余数据，目标图像数据的语义信息与目标文本包含的语义信息的相似度不高于预设值的目标图像数据和/或目标文本数据并非冗余数据。
61.作为一个示例，目标图像数据的语义信息为第一语义特征，目标文本数据的语义信息为第二语义特征时，相似度可以为基于第一语义特征与第二语义特征计算的语义相似度。
62.具体而言，定义clip模型为m
v-t
，目标图像数据可以为视频的关键帧图像，视频的关键帧图像序列可以记做[img1，img2，，....，imgn]，目标文本数据为目标视频的标题文本，标题文本记做text。
[0063]
第i帧关键帧图像和标题文本text的语义相似度为可以通过如下的公式一表示。
[0064]
simi＝m
v-t
(imgi，text)
ꢀꢀ
(公式一)
[0065]
其中，simi表示第i帧关键帧图像和标题文本text的语义相似度，m
v-t
表示clip模型，imgi表示第i帧关键帧图像。
[0066]
第i帧关键帧图像是否为冗余数据，可以通过如下的公式二定义。
[0067][0068]
其中，ri表示第i帧关键帧图像是否为冗余数据，simi表示第i帧关键帧图像和标题文本text的语义相似度，v表示相似度的预设值。
[0069]
作为一个示例，目标图像数据的语义信息为第一实体名称，目标文本数据的语义信息的第二实体名称时，相似度可以为基于第一实体名称与第二实体名称中包含的相同实体名称的数量确定。具体而言，可以将第一实体名称与第二实体名称中存在的相同实体名称定义为目标实体名称，将目标实体名称的数量与第一实体名称数量的比值确定为相似度。
[0070]
例如，从目标图像数据中提取的第一实体名称为“面条”、“女子”、“狗”、“房屋”，从目标文本数据中提取出的第二实体名称为“女子”以及“面条”，可见，如第一实体名称与第二实体名称中存在相同的实体名称数量为2，即目标实体名称的数量为2，目标实体名称的数量与第一实体名称数量的比值为0.5，即相似度为0.5。
[0071]
在实际使用中，可以在第一实体名称与第二实体名称中存在相同的实体名称时，即认为相似度高于预设值，并将对应的目标图像数据确定为冗余数据。具体而言，ri表示第i张图片是否为冗余数据，可以通过如下的公式三定义。
[0072][0073]
其中，ri表示第i帧关键帧图像是否为冗余数据，oi为第i帧关键帧图像中识别出的第一实体名称，e表示标题文本中识别出的第二实体名称所构成的序列，记做e＝[e1，e2，...，en]，oiin e表示第一实体名称与第二实体名称中存在相同的实体名称，oinot in e表示第一实体名称与第二实体名称中不存在相同的实体名称。
[0074]
本公开的一种可选方式中，目标文本数据包括以下至少一项：
[0075]
目标视频的视频标题；
[0076]
从目标图像数据中提取出的文本信息；
[0077]
从目标视频的目标音频数据中识别出的文本信息。
[0078]
本公开实施例中，可以将目标视频的视频标题所包含的文本作为目标文本数据。
[0079]
本公开实施例中，目标图像数据中可能会存在一些文本信息，如目标视频的帧图像中包含的字幕等。具体而言，通过光学字符识别(optical character recognition，ocr)从目标视频的帧图像中提取文本信息。
[0080]
本公开实施例中，目标视频的目标音频数据中可能会存在语音音频数据，通过对语音进行语音识别，能够提取出一些文本信息。
[0081]
本公开的一种可选方式中，若目标文本数据包括从目标视频的目标音频数据中识别出的文本信息，则上述方法还包括：
[0082]
对目标音频数据进行语音检测，确定目标音频数据是否包含语音数据；
[0083]
若包含，则识别语音数据中包含的文本信息。
[0084]
本公开实施例中，在从目标音频数据中提取出的文本时，可以对目标音频数据进行语音检测，在确定目标音频数据中包含语音音频数据时，识别语音音频数据中包含的文本信息。
[0085]
具体而言，可以基于预训练的语音检测模型来识别目标音频数据是否包含语音音频数据。
[0086]
本公开的一种可选方式中，上述方法还包括：
[0087]
基于冗余数据对多模态数据进行去冗余处理，确定多模态数据中的有效多模态数据；
[0088]
对有效多模态数据进行多模融合，得到多模融合特征。
[0089]
本公开实施例中，在确定出多模态数据中包含的冗余数据后，可以基于冗余数据对多模态数据进行去冗余处理。经去冗余处理，多模态数据中的冗余数据能够被大幅降低或者完全消除。
[0090]
有效多模态数据可以为多模态数据中经去冗余处理后所剩余的数据。由于去除了冗余数据，基于有效多模态数据进行多模融合得到的多模融合特征更为准确有效，基于该多模融合特征进行视频理解，能够提升对视频内容的理解效果。
[0091]
通过提取多模态特征，相较于单模态特征所包含的信息更加全面，有助于从多维度理解视频资源，提升了对视频内容的理解效果。
[0092]
本公开的一种可选方式中，基于冗余数据对多模态数据进行去冗余处理，包括：
[0093]
通过降低冗余数据对应的自注意力权重，对多模态数据进行去冗余处理。
[0094]
本公开实施例中，可以采用自注意力机制对多模态数据中的至少两种单模态数据进行多模融合。
[0095]
对多模态数据进行去冗余处理，可以采用降低冗余数据对应的自注意力权重的方式，使得在多模融合时能够将较小的注意力放在冗余数据上，从而在多模融合过程中消除冗余数据的影响。
[0096]
在实际使用中，降低冗余数据对应的自注意力权重可以通过为冗余数据对应的自注意力权重设置一个较小值的方式实现。
[0097]
本公开的一种可选方式中，上述方法还包括：
[0098]
基于多模态融合特征对目标视频进行视频分类。
[0099]
本公开实施例中，由于多模融合特征是由去冗余处理得到的有效多模态数据进行多模融合得到的，相较于未经去冗余处理直接对多模态数据进行多模融合得到的多模融合特征更为准确有效，能够使基于该多模态融合特征进行的视频分类也更为准确，从而提升对目标视频分类的准确性。
[0100]
通过提取多模态特征，有助于从多维度理解视频资源，提升对视频内容的理解效果，并且基于冗余数据对多模态数据进行去冗余处理，从而消除冗余数据的影响，使得确定出的多模态融合特征更为准确有效，能够提升对目标视频的视频分类效果。
[0101]
作为一个示例，对目标图像数据以及目标文本数据进行多模融合得到多模融合特征的具体流程如下：
[0102]
提取图像特征:提取目标视频的所设有关键帧图像，利用图像专家模型如残差网络(resnet)或者极致inception网络(extreme inception，xception)提取关键帧图像的图像特征。关键帧图像序列中的第i帧关键帧图像的图像特征可以通过表示。
[0103]
提取文本特征：利用文本专家模型如文心(ernie)或者双向变压编码(bidirectional encoder representation from transformers，bert)等语言模型提取目
标文本数据的文本特征，目标文本数据以视频标题为例。视频标题中各个字依照其在视频标题中的顺序组成文本序列，第i个字的文本特征可以通过表示。
[0104]
此外，定义为目标图像数据这一单模态数据的标识向量，定义为目标文本数据这一单模态数据的标识向量。通过取各单模态数据特征向量序列最大池化来初始化。定义为用于提取图像特征专家模型的标识向量，定义为用于提取文本特征的专家模型的标识向量。定义pi为位置特征向量，i表示关键帧图像或者文本序列中第i个位置。
[0105]
以图像特征为例，图像特征的特征向量序列可以通过如下的公式四表示。
[0106][0107]
其中，f表示图像特征的特征向量序列，为目标图像数据的标识向量，表示第一张关键帧图像的图像特征的特征向量，表示第l张关键帧图像的图像特征的特征向量，l表示图像特征的特征向量序列的长度。
[0108]
用于提取图像特征的专家模型的特征向量序列可以通过如下的公式五表示。
[0109][0110]
其中，m表示用于提取图像特征的专家模型的特征向量序列，为用于提取图像特征的专家模型的标识向量，表示用于提取的第一张关键帧图像的图像特征的专家模型的特征向量，表示用于提取的第l张关键帧图像的图像特征的专家模型的特征向量。
[0111]
位置特征向量序列可以通过如下的公式六表示。
[0112]
p＝[p
agg
，p1，...，p
l
]
ꢀꢀ
(公式六)
[0113]
其中，p表示位置特征向量序列，p
agg
为位置特征的标识向量，p1表示第一张关键帧图像的位置特征向量，p
l
表示第l张关键帧图像的位置特征向量。
[0114]
最终输出的特征向量可以通过如下的公式七表示。
[0115]
h(i)＝f(i)+m(i)+p(i)
ꢀꢀ
(公式七)
[0116]
其中，h表示最终输出的特征向量序列，f表示图像特征的特征向量序列，m表示用于提取图像特征的专家模型的特征向量序列，p表示位置特征向量序列，i表示上述各特征向量序列中的第i个位置。
[0117]
作为一个示例，本公开实施例中采用的多模融合可以基于转换器transformer模型实现。transformer模型通过多头自注意力机制对图像数据和文本数据进行交互建模。可以通过注意力attention矩阵的值,使得transformer模型放更少的注意力在冗余数据上，从而实现多模融合建模过程中消除冗余数据的影响。
[0118]
基于冗余数据对多模态数据进行去冗余处理的具体流程如下：
[0119]
定义图像特征序列为f
img
，文本特征序列为f
text
,则transformer模型的输入序列为图像特征序列和图像特征序列的拼接，输入序列可以通过如下的公式八表示。
[0120]fall
＝[f
img
；f
text
]
ꢀꢀ
(公式八)
[0121]
其中，f
all
表示transformer模型的输入序列，通过将图像特征序列为f
img
与文本特征序列为f
text
进行拼接得到。
[0122]
在transformer模型的自注意力模块部分，常规的自注意力计算公式一般如公式九所示。
[0123][0124]
其中，attention(q，k，v)表示自注意力的值，q表示查询向量的矩阵，k表示键向量的矩阵，v表示值向量的矩阵，q，k，v可以通过基于输入序列确定出。表示softmax函数，作为激活函数。
[0125]
为了消除冗余数据的影响，可以对常规的自注意力公式进行如下修改：
[0126]
设qi为q序列中的第i个元素，则其与k序列中的第j个元素的相似度可以通过如下的公式十表示。
[0127]eij
＝sim(qi，kj)
ꢀꢀ
(公式十)
[0128]
其中，qi表示q序列中的第i个元素，kj表示与k序列中的第j个元素，sim(qi，kj)表示qi，kj的相似度，记做e
ij
。
[0129]
qi与序列k的相似度值序列可以通过如下的公式十一表示。
[0130]ei
＝[e
i1
，e
i2
，...，e
in
]
ꢀꢀ
(公式十一)
[0131]
其中，ei表示qi与序列k的相似度值序列，e
i1
表示qi与序列k中第一个元素的相似度值，e
i2
表示qi与序列k中第二个元素的相似度值，e
in
表示qi与序列k中第n个元素的相似度值，n为序列k中元素的总个数。
[0132]
从冗余数据判断模块获取冗余序列r，利用冗余序列r对ei重新赋值可以通过如下的公式十二表示。
[0133]ei
′
＝e
i-r*1000
ꢀꢀ
(公式十二)
[0134]
其中，ei′
表示更新后的ei,e
i-r*1000表示通过冗余序列对应位置的相似度值e
ij
减去一个较大值，使得经过softmax函数运算后，相应位置的自注意力值约等于0，此时transformer模型会放极小的注意力在冗余数据上，从而在多模融合过程中消除冗余数据影响，实现对多模态数据的去冗余处理。
[0135]
此时，修改后的自注意力计算公式如公式十三所示。
[0136][0137]
其中，attention(q，k，v)
′
表示修改后的自注意力的值，q表示查询向量的矩阵，k表示键向量的矩阵，v表示值向量的矩阵，q，k，v可以通过基于输入序列确定出。表示softmax函数，作为激活函数。e表示由上述的ei′
所构成的序列。
[0138]
作为一个示例，将多模融合特征应用于视频分类的流程如下：
[0139]
记为transformer模型的输入序列f
all
，经transformer模型编码后的输出序列，取各个单模态输出的标识向量进行拼接作为视频的最终输出向量，记为hf，hf可以通过如下的公式十四表示。
[0140][0141]
其中，表示图像这种单模态数据的标识向量，表示文本这种单模态数据的标识向量。表示将图像与文本这两种单模态数据的标识向量进行拼接操作。
[0142]
通过视频分类模型的全连接层对hf进行映射，并按照如下的公式十五输出预测值
[0143][0144]
其中，表示视频分类模型输出的预测值，softmax(
·
)表示softmax函数，w表示权重，b表示偏置项。
[0145]
该视频分类模型的损失函数可以采用交叉熵损失函数。
[0146]
图2示出了本公开实施例提供的另一种多模态数据处理方法的流程示意图，如图2中所示，该方法主要可以包括：
[0147]
步骤s210：获取目标视频的多模态数据；
[0148]
步骤s220：确定多模态数据中至少两种单模态数据的语义信息；
[0149]
步骤s230：基于语义信息的相似性确定多模态数据中的冗余数据；
[0150]
步骤s240：基于冗余数据对多模态数据进行去冗余处理，确定多模态数据中的有效多模态数据；
[0151]
步骤s250：对有效多模态数据进行多模融合，得到多模融合特征。
[0152]
其中，目标视频可以为需要进行视频内容理解的视频，目标视频的多模态数据中可以包含图像、音频以及文本等单模态数据。
[0153]
目标视频的各单模态数据均会表达一些语义信息。当目标视频中的各单模态数据所表达的语义信息存在一定的相似性时，多模态数据中可能会存在冗余数据。
[0154]
例如，目标视频包含的文本为“女子做了一碗面，这碗面条也太香了”，目标视频中的部分图像能够表达出“女子”以及“面条”的语义信息，可见，目标视频的部分图像所表达的语义信息与目标视频的文本所表达的语义信息较为相似，这时可能会导致目标视频的多模态数据中存在部分冗余数据。
[0155]
基于各单模态数据的语义信息的相似性，能够确定出多模态数据中存在的冗余数据，为后续进行多模融合时对冗余数据进行针对性处理，以保证多模融合的效果提供基础。
[0156]
本公开实施例提供的方法，通过获取目标视频的多模态数据，确定多模态数据中至少两种各单模态数据的语义信息，基于语义信息的相似性确定多模态数据中的冗余数据。本方案中，能够基于各单模态数据的语义信息的相似性有效确定出多模态数据中存在的冗余数据，为后续对冗余数据进行针对性处理，从而保证对视频内容的理解效果提供了基础。
[0157]
本公开实施例中，在确定出多模态数据中包含的冗余数据后，可以基于冗余数据对多模态数据进行去冗余处理。经过去冗余处理，多模态数据中的冗余数据能够被大幅降低或者完全消除。
[0158]
有效多模态数据可以为多模态数据中经去冗余处理后所剩余的数据。由于去除了冗余数据，基于有效多模态数据进行多模融合得到的多模融合特征更为准确有效，基于该多模融合特征进行视频理解，能够提升对视频内容的理解效果。
[0159]
基于与图1中所示的方法相同的原理，图3示出了本公开实施例提供的一种多模态数据处理装置的结构示意图，如图3所示，该多模态数据处理装置30可以包括：
[0160]
多模态数据获取模块310，用于获取目标视频的多模态数据；
[0161]
语义信息确定模块320，用于确定多模态数据中至少两种单模态数据的语义信息；
[0162]
冗余数据确定模块330，用于基于语义信息的相似性确定多模态数据中的冗余数据。
[0163]
本公开实施例提供的装置，通过获取目标视频的多模态数据，确定多模态数据中至少两种各单模态数据的语义信息，基于语义信息的相似性确定多模态数据中的冗余数据。本方案中，能够基于各单模态数据的语义信息的相似性有效确定出多模态数据中存在的冗余数据，为后续对冗余数据进行针对性处理，从而保证对视频内容的理解效果提供了基础。
[0164]
可选地，至少两种单模态数据包括目标图像数据以及目标文本数据，
[0165]
语义信息确定模块具体用于：
[0166]
确定目标图像数据的语义信息与目标文本数据的语义信息；
[0167]
冗余数据确定模块具体用于：
[0168]
基于目标图像数据的语义信息与目标文本数据的语义信息的相似性，确定目标图像数据中的冗余数据和/或目标文本数据中的冗余数据。
[0169]
可选地，语义信息确定模块在确定目标图像数据的语义信息与目标文本数的语义信息时，具体用于：
[0170]
将目标图像数据在语义空间中的第一语义特征确定为目标图像数据的语义信息，并将目标文本数据在语义空间中的第二语义特征确定为目标文本数据的语义信息。
[0171]
可选地，语义信息确定模块在确定目标图像数据的语义信息与目标文本数的语义信息时，具体用于：
[0172]
将目标图像数据中识别出的第一实体名称确定为目标图像数据的语义信息，并将目标文本数据中识别出的第二实体名称确定为目标文本数据的语义信息。
[0173]
可选地，冗余数据确定模块在基于目标图像数据的语义信息与目标文本数据的语义信息的相似性，确定目标图像数据中的冗余数据和/或目标文本数据中的冗余数据时，具体用于：
[0174]
将目标图像数据的语义信息与目标文本数据的语义信息的相似度大于预设值的目标图像数据和/或目标文本数据确定为冗余数据。
[0175]
可选地，目标文本数据包括以下至少一项：
[0176]
目标视频的视频标题；
[0177]
从目标图像数据中提取出的文本信息；
[0178]
从目标视频的目标音频数据中识别出的文本信息。
[0179]
可选地，若目标文本数据包括从目标视频的目标音频数据中识别出的文本信息，则上述装置还包括语音识别模块，语音识别模块用于：
[0180]
对目标音频数据进行语音检测，确定目标音频数据是否包含语音音频数据；
[0181]
若包含，则识别语音音频数据中包含的文本信息。
[0182]
可选地，上述装置还包括：
[0183]
去冗余模块，用于基于冗余数据对多模态数据进行去冗余处理，确定多模态数据中的有效多模态数据；
[0184]
多模融合模块，用于对有效多模态数据进行多模融合，得到多模融合特征。
[0185]
可选地，去冗余模块在基于冗余数据对多模态数据进行去冗余处理时，具体用于：
[0186]
通过降低冗余数据对应的自注意力权重，对多模态数据进行去冗余处理。
[0187]
可选地，上述装置还包括：
[0188]
视频分类模块，用于基于多模融合特征对目标视频进行视频分类。
[0189]
可以理解的是，本公开实施例中的多模态数据处理装置的上述各模块具有实现图1中所示的实施例中的多模态数据处理方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述多模态数据处理装置的各模块的功能描述具体可以参见图1中所示实施例中的多模态数据处理方法的对应描述，在此不再赘述。
[0190]
基于与图2中所示的方法相同的原理，图4示出了本公开实施例提供的另一种多模态数据处理装置的结构示意图，如图4所示，该多模态数据处理装置40可以包括：
[0191]
多模态数据获取模块410，用于获取目标视频的多模态数据；
[0192]
语义信息确定模块420，用于确定多模态数据中至少两种单模态数据的语义信息；
[0193]
冗余数据确定模块430，用于基于语义信息的相似性确定多模态数据中的冗余数据；
[0194]
去冗余模块440，用于基于冗余数据对多模态数据进行去冗余处理，确定多模态数据中的有效多模态数据；
[0195]
多模融合模块450，用于对有效多模态数据进行多模融合，得到多模融合特征。
[0196]
本公开实施例提供的装置，通过获取目标视频的多模态数据，确定多模态数据中至少两种各单模态数据的语义信息，基于语义信息的相似性确定多模态数据中的冗余数据。本方案中，能够基于各单模态数据的语义信息的相似性有效确定出多模态数据中存在的冗余数据，为后续对冗余数据进行针对性处理，从而保证对视频内容的理解效果提供了基础。
[0197]
可选地，去冗余模块在基于冗余数据对多模态数据进行去冗余处理时，具体用于：
[0198]
通过降低冗余数据对应的自注意力权重，对多模态数据进行去冗余处理。
[0199]
可以理解的是，本公开实施例中的多模态数据处理装置的上述各模块具有实现图2中所示的实施例中的多模态数据处理方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述多模态数据处理装置的各模块的功能描述具体可以参见图2中所示实施例中的多模态数据处理方法的对应描述，在此不再赘述。
[0200]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提
供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0201]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0202]
该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例提供的多模态数据处理方法。
[0203]
该电子设备与现有技术相比，通过获取目标视频的多模态数据，确定多模态数据中至少两种各单模态数据的语义信息，基于语义信息的相似性确定多模态数据中的冗余数据。本方案中，能够基于各单模态数据的语义信息的相似性有效确定出多模态数据中存在的冗余数据，为后续对冗余数据进行针对性处理，从而保证对视频内容的理解效果提供了基础。
[0204]
该可读存储介质为存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例提供的多模态数据处理方法。
[0205]
该可读存储介质与现有技术相比，通过获取目标视频的多模态数据，确定多模态数据中至少两种各单模态数据的语义信息，基于语义信息的相似性确定多模态数据中的冗余数据。本方案中，能够基于各单模态数据的语义信息的相似性有效确定出多模态数据中存在的冗余数据，为后续对冗余数据进行针对性处理，从而保证对视频内容的理解效果提供了基础。
[0206]
该计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开实施例提供的多模态数据处理方法。
[0207]
该计算机程序产品与现有技术相比，通过获取目标视频的多模态数据，确定多模态数据中至少两种各单模态数据的语义信息，基于语义信息的相似性确定多模态数据中的冗余数据。本方案中，能够基于各单模态数据的语义信息的相似性有效确定出多模态数据中存在的冗余数据，为后续对冗余数据进行针对性处理，从而保证对视频内容的理解效果提供了基础。
[0208]
图5示出了可以用来实施本公开的实施例的示例电子设备50的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0209]
如图5所示，电子设备50包括计算单元510，其可以根据存储在只读存储器(rom)520中的计算机程序或者从存储单元580加载到随机访问存储器(ram)530中的计算机程序，来执行各种适当的动作和处理。在ram 530中，还可存储设备50操作所需的各种程序和数据。计算单元510、rom 520以及ram 530通过总线540彼此相连。输入/输出(i/o)接口550也连接至总线540。
[0210]
设备50中的多个部件连接至i/o接口550，包括：输入单元560，例如键盘、鼠标等；输出单元570，例如各种类型的显示器、扬声器等；存储单元580，例如磁盘、光盘等；以及通信单元590，例如网卡、调制解调器、无线通信收发机等。通信单元590允许设备50通过诸如
因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0211]
计算单元510可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元510的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元510执行本公开实施例中所提供的多模态数据处理方法。例如，在一些实施例中，执行本公开实施例中所提供的多模态数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元580。在一些实施例中，计算机程序的部分或者全部可以经由rom 520和/或通信单元590而被载入和/或安装到设备50上。当计算机程序加载到ram 530并由计算单元510执行时，可以执行本公开实施例中所提供的多模态数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元510可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开实施例中所提供的多模态数据处理方法。
[0212]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(as i c)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0213]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0214]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0215]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0216]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0217]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0218]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0219]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。