信息检测方法、装置、电子设备以及存储介质与流程

1.本公开涉及数据处理技术领域，尤其涉及一种信息检测方法、装置、电子设备以及存储介质。


背景技术：

2.在信息发布场景中，表征同一对象可以采用以下至少两种信息表征方式：文本、视频、图像和语音。在搜索、推荐、广告等领域，根据涵盖信息较少的信息表征方式，判断对应的同一信息是否满足用户需求，因此，表征同一信息对应的至少两种信息表征方式的一致性是十分重要的。
3.在相关技术中，假设同一对象采用目标文本和目标视频两种信息表征方式，为了检测目标文本与目标视频是否一致，首先获取数据集，上述数据集中包括文本与视频一致的正样本，以及文本与视频不一致的负样本，然后将数据集输入编码器得到特征数据，再根据特征数据输入和二分类交叉熵，训练得到分类模型，最后根据分类模型，检测目标文本与目标视频是否一致。
4.但是，上述分类模型强依赖于数据集，且上述分类模型的训练方式所需的数据集，是通过人工采集得到的高质量置信样本，采集高质量置信样本的难度较大，导致分类模型不准确，进而导致检测同一对象的不同信息表征方式是否一致的结果不准确。


技术实现要素：

5.本公开提供一种信息检测方法、装置、电子设备以及存储介质，以至少解决相关技术中，由于采集高质量置信样本的难度较大，导致分类模型不准确，进而导致检测同一对象的不同信息表征方式是否一致的结果不准确问题。本公开的技术方案如下：
6.根据本公开实施例的第一方面，提供一种检测信息一致性的方法，包括：根据第一单模态双塔模型，获取目标对象的第一特征数据，第一特征数据为目标对象对应的第一模态数据的特征数据，目标对象是多媒体资源对象；根据第二单模态双塔模型，获取目标对象的第二特征数据，第二特征数据为目标对象对应的第二模态数据的特征数据；根据第一特征数据，在预置对象集合中查找目标对象对应的目标预置对象，目标预置对象的第三特征数据与第一特征数据之间的第一模态相似度大于或等于第一阈值，第三特征数据为目标预置对象对应的第一模态数据的特征数据；预置对象集合包括至少一个预置对象，预置对象对应的第一模态数据的特征数据，与预置对象对应的第二模态数据的特征数据相匹配；根据目标预置对象的第四特征数据和第二特征数据，得到目标预置对象与目标对象之间的第二模态相似度，第四特征数据为目标预置对象对应的第二模态数据的特征数据；在第二模态相似度大于第二阈值的情况下，确定目标对象对应的第一模态数据与目标对象对应的第二模态数据相匹配。
7.可选的，在目标预置对象的数量大于1的情况下，上述“根据目标预置对象的第四特征数据和第二特征数据，得到目标预置对象与目标对象之间的第二模态相似度”，包括：
根据每个目标预置对象的第四特征数据和第二特征数据，得到每个目标预置对象与目标对象之间的第三模态相似度；将每个目标预置对象与目标对象之间的第三模态相似度的平均值，确定为目标预置对象与目标对象之间的第二模态相似度。
8.可选的，上述信息检测方法还包括：根据第一单模态双塔模型，获取目标对象的第一特征数据之前，根据目标对象对应的第一模态数据的数据类型，确定第一单模态双塔模型，第一单模态双塔模型是根据第一样本数据训练得到的，第一样本数据的数据类型与第一模态数据的数据类型相同；根据第二单模态双塔模型，获取目标对象的第二特征数据之前，根据目标对象对应的第二模态数据的数据类型，确定第二单模态双塔模型，第二单模态双塔模型是根据第二样本数据训练得到的，第二样本数据的数据类型与第二模态数据的数据类型相同。
9.可选的，上述信息检测方法还包括：根据第一特征数据，在预置对象集合中查找目标对象对应的目标预置对象之前，根据第一单模态双塔模型，提取并存储预置对象集合中每个预置对象对应的第一模态数据的特征数据；根据第二单模态双塔模型，提取并存储预置对象集合和每个预置对象对应的第二模态数据对应的特征数据。
10.可选的，上述信息检测方法还包括：在第二模态相似度大于第二阈值的情况下，确定目标对象对应的第一模态数据与目标对象对应的第二模态数据相匹配之后，在预置对象集合中，加入目标对象，并记录第一特征数据和第二特征数据。
11.可选的，上述信息检测方法中，第一模态数据为以下任一项：文本数据、视频数据、音频数据和图像数据；第二模态数据为以下任一项：文本数据、视频数据、音频数据和图像数据。
12.根据本公开实施例的第二方面，提供一种信息检测装置，包括：获取单元、查找单元以及确定单元；获取单元，用于根据第一单模态双塔模型，获取目标对象的第一特征数据，第一特征数据为目标对象对应的第一模态数据的特征数据，目标对象是多媒体资源对象；获取单元，还用于根据第二单模态双塔模型，获取目标对象的第二特征数据，第二特征数据为目标对象对应的第二模态数据的特征数据；查找单元，用于根据获取单元获取的第一特征数据，在预置对象集合中查找目标对象对应的目标预置对象，目标预置对象的第三特征数据与第一特征数据之间的第一模态相似度大于或等于第一阈值，第三特征数据为目标预置对象对应的第一模态数据的特征数据；预置对象集合包括至少一个预置对象，预置对象对应的第一模态数据的特征数据，与预置对象对应的第二模态数据的特征数据相匹配；获取单元，还用于根据查找单元查找的目标预置对象的第四特征数据和第二特征数据，得到目标预置对象与目标对象之间的第二模态相似度，第四特征数据为目标预置对象对应的第二模态数据的特征数据；确定单元，用于在获取单元获取的第二模态相似度大于第二阈值的情况下，确定目标对象对应的第一模态数据与目标对象对应的第二模态数据相匹配。
13.可选的，在目标预置对象的数量大于1的情况下，上述获取单元，具体用于：根据每个目标预置对象的第四特征数据和第二特征数据，得到每个目标预置对象与目标对象之间的第三模态相似度；将每个目标预置对象与目标对象之间的第三模态相似度的平均值，确定为目标预置对象与目标对象之间的第二模态相似度。
14.可选的，上述信息检测装置还包括：确定单元，还用于获取单元根据第一单模态双
塔模型，获取目标对象的第一特征数据之前，根据目标对象对应的第一模态数据的数据类型，确定第一单模态双塔模型，第一单模态双塔模型是根据第一样本数据训练得到的，第一样本数据的数据类型与第一模态数据的数据类型相同；根据目标对象对应的第二模态数据的数据类型，确定第二单模态双塔模型，第二单模态双塔模型是根据第二样本数据训练得到的，第二样本数据的数据类型与第二模态数据的数据类型相同。
15.可选的，上述信息检测装置还包括提取单元；处理单元，还用于查找单元根据第一特征数据，在预置对象集合中查找目标对象对应的目标预置对象之前，根据第一单模态双塔模型，提取并存储预置对象集合中每个预置对象对应的第一模态数据的特征数据；根据第二单模态双塔模型，提取并存储预置对象集合和每个预置对象对应的第二模态数据对应的特征数据。
16.可选的，上述信息检测装置还包括加入单元；加入单元，用于确定单元在第二模态相似度大于第二阈值的情况下，确定目标对象对应的第一模态数据与目标对象对应的第二模态数据相匹配之后，在预置对象集合中，加入目标对象，并记录第一特征数据和第二特征数据。
17.可选的，上述信息检测装置中，第一模态数据为以下任一项：文本数据、视频数据、音频数据和图像数据；第二模态数据为以下任一项：文本数据、视频数据、音频数据和图像数据。
18.根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行上述指令，以实现如第一方面及其任一种可能的设计方式所提供的信息检测方法。
19.根据本公开实施例的第四方面，提供一种可读存储介质，当可读存储介质中的指令被处理器执行时，能够实现如第一方面及其任一种可能的设计方式所提供的信息检测方法。
20.根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现如第一方面及其任一种可能的设计方式所提供的信息检测方法。
21.本公开提供的技术方案至少带来以下有益效果：首先根据第一单模态双塔模型，获取目标对象的第一特征数据，第一特征数据为目标对象对应的第一模态数据的特征数据，目标对象是多媒体资源对象；根据第二单模态双塔模型，获取目标对象的第二特征数据，第二特征数据为目标对象对应的第二模态数据的特征数据；然后根据第一特征数据，在预置对象集合中查找目标对象对应的目标预置对象，目标预置对象的第三特征数据与第一特征数据之间的第一模态相似度大于或等于第一阈值，第三特征数据为目标预置对象对应的第一模态数据的特征数据；再根据目标预置对象的第四特征数据和第二特征数据，得到目标预置对象与目标对象之间的第二模态相似度，第四特征数据为目标预置对象对应的第二模态数据的特征数据；最后在第二模态相似度大于第二阈值的情况下，确定目标对象对应的第一模态数据与目标对象对应的第二模态数据相匹配。如此，对于同一目标对象对应的不同模态数据，分别提取第一特征数据和第二特征数据，然后在同一模态下寻找与第一特征数据相似的第三特征数据对应的目标预置对象，然后根据目标预置对象对应第二模态数据的第四特征数据，与第二特征数据进行比较，通过在同一模态下的特征数据的相似度，
判断目标对象的第一模态数据与第二模态数据是否一致，能够提高检测同一目标对象的不同信息表征方式是否一致的结果的准确性。
22.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
23.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
24.图1是根据一示例性实施例示出的一种信息检测方法的流程示意图之一；
25.图2是根据一示例性实施例示出的一种信息检测方法的流程示意图之二；
26.图3是根据一示例性实施例示出的一种信息检测方法的流程示意图之三；
27.图4是根据一示例性实施例示出的一种信息检测方法的流程示意图之四；
28.图5是根据一示例性实施例示出的一种信息检测方法的流程示意图之五；
29.图6是根据一示例性实施例示出的一种信息检测装置的框图；
30.图7是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
31.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
32.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
33.另外，在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，在本公开实施例的描述中，“多个”是指两个或多于两个。
34.在信息发布场景中，假设用户账户发布的作品，包括视频文件和描述视频的文本文件。当用户账户a在发布信息的平台进行搜索时，根据用户账户a输入的搜索词，展示搜索结果。通常由服务器搜索与搜索词对应的文本文件，然后将文本文件对应的作品作为搜索结果。如果在该作品中文本文件与视频文件不一致，那么展示的搜索结果并不准确。因此，为了能够准备的展示搜索结果，还需要检测一个作品中不同模态的数据(视频文件和文本文件)是否一致。
35.在相关技术中，根据分类模型，检测文本文件与视频文件是否一致。但是由于分类模型强依赖于数据集，且分类模型的训练方式所需的数据集，是通过人工采集得到的高质量置信样本，采集高质量置信样本的难度较大，导致经过训练得到的分类模型可能不准确，进而导致检测同一对象的不同信息表征方式是否一致的结果不准确。
36.基于此，本公开实施例提供一种信息检测方法，以解决上述问题。执行上述信息检测方法的电子设备可以是手机、平板电脑等个人智能设备，或者，也可以是笔记本电脑、手持计算机、台式计算机、超级移动个人计算机(ultra-mobile personal computer，umpc)、服务器等电子设备，又或者，还可以是其他可以存储并处理目标对象的第一模态数据和第二模态数据的电子设备，在此对电子设备形态不做限制。
37.下面结合附图，对本公开实施例提供的信息检测方法进行描述，以执行主体为信息检测装置为例对该方法进行示例性说明。
38.图1为本公开实施例提供的信息检测方法的流程示意图。如图1所示，本公开实施例提供的信息检测方法包括下述步骤101至步骤105。
39.步骤101、信息检测装置根据第一单模态双塔模型，获取目标对象的第一特征数据。
40.在本公开实施例中，第一特征数据为目标对象对应的第一模态数据的特征数据；目标对象是多媒体资源对象。
41.在本公开实施例中，目标对象可能用多种模态的数据进行表征，其中，第一模态数据是用于表征目标对象的方式之一。需要说明的是，每种信息的来源或形式都可以称为一种模态，如嗅觉、听觉、视觉、触觉等，或者语音、视频、文字等，或者雷达、红外、蓝牙、广播等，以上每一种都可以称为一种模态，在本公开实施例中，模态用于表示数据类型。
42.示例性的，在信息发布平台，发布一个作品，该作品包括视频文件和用于描述视频的文本文件，那么第一模态数据可以是视频文件，还可以是文本文件。
43.可选的，在本公开实施例中，第一模态数据为以下任一项：文本数据、视频数据、音频数据和图像数据。本公开提供的技术方案至少带来以下有益效果：通过设置第一模态数据可以为多种数据类型，以使得本技术可以对多种数据类型的信息进行检测，以提高信息检测的多样性。
44.在本公开实施例中，第一单模态双塔型，用于提取第一模态数据的特征数据，第一模态数据是指具有同一个数据类型的数据。
45.需要说明的是，第一单模态双塔模型是指采用两个不同的子模型同时对输入数据进行处理，然后将两个子模型的输入结果，进行再处理，以得到最终的输出结果。通过双塔模型能够避免单一子模型导致的特征提取的结果不准确的问题。
46.步骤102、信息检测装置根据第二单模态双塔模型，获取目标对象的第二特征数据。
47.在本公开实施例中，第二特征数据为目标对象对应的第二模态数据的特征数据。
48.可选的，在本公开实施例中，第二模态数据为以下任一项：文本数据、视频数据、音频数据和图像数据。本公开提供的技术方案至少带来以下有益效果：通过设置第二模态数据可以为多种数据类型，以使得本技术可以对多种数据类型的信息进行检测，以提高信息检测的多样性。
49.在本公开实施例中，第一模态数据与第二模态数据的数据类型可以相同，也可以不同，如，第一模态数据为文本数据，第二模态数据也为文本数据，或第一模态数据为文本数据，第二模态数据为视频数据。可以理解的是，即使第一模态数据与第二模态数据的数据类型相同，第一模态数据与第二模态数据也是不同的。
50.本步骤与上述步骤101类似，在本公开实施例中不再赘述。
51.步骤103、信息检测装置根据第一特征数据，在预置对象集合中查找目标对象对应的目标预置对象。
52.在本公开实施例中，目标预置对象的第三特征数据与第一特征数据之间的相似度大于或等于第一阈值，第三特征数据为目标预置对象对应的第一模态数据的第一模态特征数据；预置对象集合包括至少一个预置对象，预置对象对应的第一模态数据的特征数据，与预置对象对应的第二模态数据的特征数据相匹配。
53.在本公开实施例中，在预置对象集合中包括预置对象，预置对象与目标对象类似，可以采用多种模态的数据进行表征，每个预置对象采用第一模态数据和第二模态数据进行表征，其中，预置对象对应的第一模态数据和预置对象对应的第二模态数据相匹配。
54.需要说明的是，在预置对象集合中的预置对象，是通过人工审核或其他审核方式，预先收集到的，满足收集条件：预置对象对应的第一模态数据和该预置对象对应的第二模态数据相匹配(一致)。
55.在本公开实施例中，查找目标预置对象，还需要根据预置算法，计算第一特征数据与在预置对象集合中任一预置对象的第一模态数据的特征数据的第一模态相似度。根据第一模态特征数据的数据特点，第一模态相似度可以是语义相似度、图像相似度、音量相似度、音频相似度等等。
56.在本公开实施例中，将预置对象集合中的每个预置对象的第一相似度与第一阈值进行比较，将大于或等于第一阈值的第一相似度对应的预置对象确定为目标预置对象。
57.可选的，在本公开实施例中，如果在预置对象集合中不存在大于或等于第一阈值的第一相似度，那么按照第一相似度从高到低的顺序，确定预置数量(至少为1)的第一相似度对应的预置对象为目标预置对象。
58.需要说明的是，由于预置对象集合中的预置对象是有限的，可能所有的预置对象与目标对象不相同，不能作为判断目标对象的第一模态数据与目标对象对应的第二模态数据是否向匹配，因此，退而求其次，选取与目标对象最相近的预置对象，作为判断依据。
59.步骤104、信息检测装置根据目标预置对象的第四特征数据和第二特征数据，得到目标预置对象与目标对象之间的第二模态相似度。
60.在本公开实施例中，第四特征数据为目标预置对象对应的第二模态数据的特征数据。
61.可选的，在本公开实施例中，无论以第一模态相似度大于或等于第一阈值，还是以第一模态相似度从高到低的排列顺序，确定目标预置对象，在目标预置对象大于1的情况下，如图2所示，步骤104可以通过步骤201和步骤202实现。
62.步骤201、信息检测装置根据每个目标预置对象的第四特征数据和第二特征数据，得到每个目标预置对象与目标对象之间的第三模态相似度。
63.步骤202、信息检测装置将每个目标预置对象与目标对象之间的第三模态相似度的平均值，确定为目标预置对象与目标对象之间的第二模态相似度。
64.在本公开实施例中，如果目标预置对象的数量大于1，那么为了避免单独一个目标预置对象由于采用的算法不适用、计算偏差或者数据本身不准确等因素，对第二模态相似度的影响，可以采用计算平均值的方式。
65.本公开提供的技术方案至少带来以下有益效果：通过计算多个目标预置对象的第三模态相似度的平均值，以减少相似度计算法不适用、计算偏差或者数据本身不准确的因素，进而提高得到的第二模态相似度的准确性。
66.在本公开实施例中，根据第二模态特征数据的数据特点，第二模态相似度可以是语义相似度、图像相似度、音量相似度、音频相似度等等。
67.步骤105、信息检测装置在第二模态相似度大于第二阈值的情况下，确定目标对象对应的第一模态数据与目标对象对应的第二模态数据相匹配。
68.在本公开实施例中，比较第二模态相似度与第二阈值，在第二模态相似度大于第二阈值的情况下，确定目标对象对应的第一模态数据与目标对象对应的第二模态数据相匹配，在第二模态相似度小于或等于第二阈值的情况下，确定目标对象对应的第一模态数据与目标对象对应的第二模态数据不匹配。
69.在本公开实施例中，设置目标对象对应第一模态数据和第二模态数据，目的在于，确定目标对象对应的第一模态数据与目标对象对应的第二模态数据是否相匹配。类似的，目标对象还对应第三模态数据，那么还需要计算目标预置对象的第三模态数据的特征数据，与目标对象的第三模态数据的特征数据之间的第三模态相似度，最后，在第二模态相似度大于第二阈值，且第三模态相似度大于第三阈值的情况下，确定目标对象对应的第一模态数据、第二模态数据和第三模态数据相匹配。需要说明的是，如果目标对象还包括其他模态的数据，那么与上述步骤类似，还需要计算与其他模态数据相对应的模态相似度，与模态相似度与其他阈值的比较结果。
70.示例性的，目标对象对应的第一模态数据为视频文件(姚明灌篮)，目标对象对应的第二模态数据为文本文件(姚明教小孩子如何扣篮)。在使用分类模型直接判别可能认为视频文件和文本文件是一致的，但是，采用上述步骤101至步骤105的方法，可以判断出视频文件和文本文件是不一致的，因为视频内容是姚明灌篮，但是文本描述是姚明教小孩子如何扣篮。
71.本公开提供的技术方案至少带来以下有益效果：对于同一目标对象对应的不同模态数据，分别提取第一特征数据和第二特征数据，然后在同一模态下寻找与第一特征数据相似的第三特征数据对应的目标预置对象，然后根据目标预置对象对应第二模态数据的第四特征数据，与第二特征数据进行比较，通过在同一模态下的特征数据的相似度，判断目标对象的第一模态数据与第二模态数据是否一致，能够提高检测同一目标对象的不同信息表征方式是否一致的结果的准确性。
72.可选的，为了能够提高第一特征数据与第二特征数据的数据可信度，如图3所示，在步骤101之前，本公开实施例提供的信息检测方法还包括步骤301和步骤302。
73.步骤301、信息检测装置根据目标对象对应的第一模态数据的数据类型，确定第一单模态双塔模型。
74.在本公开实施例中，第一单模态双塔模型是根据第一样本数据训练得到的，第一样本数据的数据类型与第一模态数据的数据类型相同。
75.在本公开实施例中，第一单模态双塔模型中的子模型，可以根据数据类型进行配置，如数据类型为视频，子模型可以选取卷积神经网络算法，如数据类型为文本，子模型可以选取语义相似度算法。
76.步骤302、信息检测装置根据目标对象对应的第二模态数据的数据类型，确定第二单模态双塔模型。
77.在本公开实施例中，第二单模态双塔模型是根据第二样本数据训练得到的，第二样本数据的数据类型与第二模态数据的数据类型相同。
78.在本公开实施例中，第二单模态双塔模型与第一单模态双塔模型类似，第二单模态双塔模型中的子模型，可以根据数据类型进行配置，如数据类型为视频，子模型可以选取卷积神经网络算法，如数据类型为文本，子模型可以选取语义相似度算法。
79.本公开提供的技术方案至少带来以下有益效果：在获取第一特征数据和第二特征数据之前，对获取特征数据采用的模块进行预训练，以使得获取的第一特征数据和第二特征数据更准确。
80.可选的，如图4所示，在步骤101之前，本公开实施例提供的信息检测方法还包括步骤401和步骤402。
81.步骤401、信息检测装置根据第一单模态双塔模型，提取预置对象集合中每个预置对象对应的第一模态数据的特征数据。
82.步骤402、信息检测装置根据第二单模态双塔模型，提取预置对象集合中每个预置对象对应的第二模态数据对应的特征数据。
83.在本公开实施例中，预置对象集合用于存储预置对象，由于预置对象的第一模态数据的特征数据，与预置对象对应的第二模态数据对应的特征数据，在进行信息检测过程中经常使用，因此，在生成预置对象集合之后，即可提取并存储上述数据，以提高信息检测的速度。
84.本公开提供的技术方案至少带来以下有益效果：提取并存储预置对象集合中每个预置对象对应的第一模态数据的特征数据、以及预置对象对应的第二模态数据的特征数据，以便于在后续进行信息检测过程中直接使用上述数据，提高信息检测的速度。
85.可选的，如图5所示，在图1所示方法的基础上，在步骤105之后，本公开实施例提供的信息检测方法还包括步骤501。
86.步骤501、信息检测装置在预置对象集合中，加入目标对象，并记录第一特征数据和第二特征数据。
87.本公开提供的技术方案至少带来以下有益效果：由于已经确定第一模态数据和第二模态数据相匹配的目标对象，符合预置对象集合中预置对象的筛选条件，在预置对象集合中加入目标对象，能够扩大预置对象集合的范围，能够提高检测同一目标对象的不同信息表征方式是否一致的结果的准确性。
88.上述主要从方法的角度对本公开实施例的方案进行了介绍。可以理解的是，信息检测装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和软件模块中的至少一个。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
89.本公开实施例可以根据上述方法示例对信息检测装置进行功能单元的划分，例
如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本公开实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
90.图6是根据一示例性实施例示出的一种信息检测装置的结构示意图。参照图6所示，本公开实施例提供的信息检测装置，包括获取单元61、查找单元62以及确定单元63；
91.获取单元61，用于根据第一单模态双塔模型，获取目标对象的第一特征数据，第一特征数据为目标对象对应的第一模态数据的特征数据，目标对象是多媒体资源对象；例如，如图1所示，获取单元61可以用于执行步骤101。
92.获取单元61，还用于根据第二单模态双塔模型，获取目标对象的第二特征数据，第二特征数据为目标对象对应的第二模态数据的特征数据；例如，如图1所示，获取单元61可以用于执行步骤102。
93.查找单元62，用于根据获取单元61获取的第一特征数据，在预置对象集合中查找目标对象对应的目标预置对象，目标预置对象的第三特征数据与第一特征数据之间的第一模态相似度大于或等于第一阈值，第三特征数据为目标预置对象对应的第一模态数据的特征数据；预置对象集合包括至少一个预置对象，预置对象对应的第一模态数据的特征数据，与预置对象对应的第二模态数据的特征数据相匹配；例如，如图1所示，查找单元62可以用于执行步骤103。
94.获取单元61，还用于根据查找单元62查找的目标预置对象的第四特征数据和第二特征数据，得到目标预置对象与目标对象之间的第二模态相似度，第四特征数据为目标预置对象对应的第二模态数据的特征数据；例如，如图1所示，获取单元61可以用于执行步骤104。
95.确定单元63，用于在获取单元61获取的第二模态相似度大于第二阈值的情况下，确定目标对象对应的第一模态数据与目标对象对应的第二模态数据相匹配。例如，如图1所示，确定单元63可以用于执行步骤105。
96.可选的，如图6所示，在目标预置对象的数量大于1的情况下，上述获取单元61，具体用于：根据每个目标预置对象的第四特征数据和第二特征数据，得到每个目标预置对象与目标对象之间的第三模态相似度；将每个目标预置对象与目标对象之间的第三模态相似度的平均值，确定为目标预置对象与目标对象之间的第二模态相似度。例如，如图2所示，获取单元61可以用于执行步骤201和步骤202。
97.可选的，如图6所示，上述信息检测装置还包括：确定单元63，还用于获取单元61根据第一单模态双塔模型，获取目标对象的第一特征数据之前，根据目标对象对应的第一模态数据的数据类型，确定第一单模态双塔模型，第一单模态双塔模型是根据第一样本数据训练得到的，第一样本数据的数据类型与第一模态数据的数据类型相同；根据目标对象对应的第二模态数据的数据类型，确定第二单模态双塔模型，第二单模态双塔模型是根据第二样本数据训练得到的，第二样本数据的数据类型与第二模态数据的数据类型相同。例如，如图3所示，确定单元63可以用于执行步骤301和步骤302。
98.可选的，如图6所示，上述信息检测装置还包括提取单元；处理单元64，还用于查找单元62根据第一特征数据，在预置对象集合中查找目标对象对应的目标预置对象之前，根
据第一单模态双塔模型，提取并存储预置对象集合中每个预置对象对应的第一模态数据的特征数据；根据第二单模态双塔模型，提取并存储预置对象集合和每个预置对象对应的第二模态数据对应的特征数据。例如，如图4所示，处理单元64可以用于执行步骤401和步骤402。
99.可选的，如图6所示，上述信息检测装置还包括加入单元65；加入单元65，用于确定单元63在第二模态相似度大于第二阈值的情况下，确定目标对象对应的第一模态数据与目标对象对应的第二模态数据相匹配之后，在预置对象集合中，加入目标对象，并记录第一特征数据和第二特征数据。例如，如图5所示，加入单元65可以用于执行步骤501。
100.可选的，上述信息检测装置中，第一模态数据为以下任一项：文本数据、视频数据、音频数据和图像数据；第二模态数据为以下任一项：文本数据、视频数据、音频数据和图像数据。
101.关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
102.图7是本公开提供的一种电子设备的结构示意图。如图7，该电子设备可以包括处理器71、用于存储处理器71可执行指令的存储器72；其中，上述处理器71被配置为执行上述指令，以实现上述实施例中的信息检测方法。
103.另外，电子设备还可以包括通信总线73以及至少一个通信接口74。
104.处理器71可以是一个中央处理器(central processing units，cpu)，微处理单元，专用集成电路(application specific integrated circuit，asic)，或一个或多个用于控制本公开方案程序执行的集成电路。
105.通信总线73为信号通路，用于在上述组件之间传送信息。
106.通信接口74，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)等。
107.存储器72可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器72可以是独立存在，通过通信总线74与处理器71相连接。存储器72也可以和处理器71集成在一起。
108.其中，存储器72用于存储执行本公开方案的指令，并由处理器71来控制执行。处理器71用于执行存储器72中存储的程序或指令，从而实现本公开方法中的功能。
109.作为一个示例，结合图6，信息检测装置中的获取单元61、查找单元62以及确定单元63实现的功能与图7中的处理器71的功能相同。
110.在具体实现中，作为一种实施例，处理器71可以包括一个或多个cpu，例如图7中的cpu0和cpu1。
111.在具体实现中，作为一种实施例，电子设备可以包括多个处理器71，这些处理器71中的每一个可以是一个单核(single-cpu)处理器，也可以是一个多核(multi-cpu)处理器。这里的处理器71可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
112.在具体实现中，作为一种实施例，电子设备还可以包括输出设备75和输入设备76。输出设备75和处理器71通信，可以以多种方式来显示信息。例如，输出设备75可以是液晶显示器(liquid crystal display，lcd)，发光二级管(light emitting diode，led)显示设备，阴极射线管(cathode ray tube，crt)显示设备，或投影仪(projector)等。输入设备76和处理器71通信，可以以多种方式接受用户的输入。例如，输入设备76可以是鼠标、键盘、触摸屏设备或传感设备等。
113.本领域技术人员可以理解，图7中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。图7中的电子设备可以是服务器，也可以是客户端或其他设备。
114.另外，本公开还提供一种可读存储介质，可读存储介质上存储程序或指令，当上述可读存储介质中的指令被处理器执行时，使得电子设备能够执行如上述实施例所提供的信息检测方法。可选的，可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
115.另外，本公开还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序产品被存储在非易失的可读存储介质中，计算机程序产品被至少一个处理器执行时，使得电子设备执行如上述实施例所提供的信息检测方法。
116.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
117.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。