一种异构多媒体数据的表征模型训练方法、装置、设备及介质与流程

1.本公开涉及深度学习技术领域，尤其涉及一种异构多媒体数据的表征模型训练方法、装置、设备及介质。


背景技术：

2.信息推荐领域的内容理解中，包含了物品,直播,短视频,推荐信息等多类异构多媒体数据的类目识别，实体识别，属性识别等。现有内容理解方案中，大多都是基于同构内容进行建模的，对不同的异构多媒体数据有不同的识别任务，所得到的内容表征也不在同一空间，因此无法通过表征进行异构多媒体数据的互相关联。而如果使用在一种异构多媒体数据上建模的模型直接去预估其它形式的内容，虽然也可以得到同空间下的表征，但是无法消除不同异构多媒体数据之间的领域差异性，且异构多媒体数据在同空间下的分布并不均匀。且对于内容相似或相同的异构多媒体数据来说，例如短视频中所提及的物品，由于视频和物品在标签体系上存在较大差异性，会导致两者在隐空间中的类聚性差，无法分到同一个聚类蔟上，且异构多媒体数据之间的表征壁垒限制了使用者在各个异构多媒体数据上的关联打通，极大的限制了跨域兴趣的应用，且在兴趣建模视角预估模型(search-based interest model，sim)这样的长期兴趣序列建模中，无法把全部异构多媒体数据上的兴趣进行高效的整合，致使兴趣关联性稀疏。
3.综上所述，在信息推荐领域中，无法做到高关联度的跨领域信息推荐，致使兴趣关联性稀疏，推荐效率低。


技术实现要素：

4.本公开提供一种异构多媒体数据的表征模型训练方法、装置、设备及介质，以至少解决相关技术中无法做到高关联度的跨领域信息推荐，致使兴趣关联性稀疏，推荐效率低的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种异构多媒体数据的表征模型训练方法，包括：
6.对预先获取的异构多媒体数据样本进行标注，获得异构多媒体数据样本数据；
7.利用异构多媒体数据样本数据对初始模型进行训练，得到特征数据和用于提取特征数据的主干网络；
8.利用特征数据对主干网络进行对齐学习训练，得到异构多媒体数据的表征模型，对齐学习训练包括对比学习训练和对抗学习训练中至少一种。
9.在一种可能的实施方式中，本公开提供的方法中，对齐学习训练为对比学习训练时，主干网络后连接对比学习分支网络；利用特征数据对主干网络进行对齐学习训练，包括：
10.利用特征数据对对比学习分支网络进行训练，得到对比学习分支网络。
11.在一种可能的实施方式中，本公开提供的方法中，利用特征数据对对比学习分支
网络进行训练，得到对比学习分支网络，包括：
12.选取标注相同的特征数据为正例对，并在特征数据中随机选取负例对；
13.利用正例对和负例对计算得到对比损失，利用对比损失调整对比学习分支网络的模型参数，以得到对比学习分支网络。
14.在一种可能的实施方式中，本公开提供的方法中，对齐学习训练为对抗学习训练时，主干网络后连接对抗学习分支网络；
15.利用特征数据对主干网络进行对齐学习训练，包括：
16.利用特征数据对对抗学习分支网络进行训练，得到对抗学习分支网络。
17.在一种可能的实施方式中，本公开提供的方法中，在主干网络后连接对抗学习分支网络，包括：在主干网络上连接域分类器；
18.利用特征数据对对抗学习分支网络进行训练，得到对抗学习分支网络，包括：
19.将特征数据映射到特征空间中；
20.在主干网络和域分类器之间进行梯度反转，得到对抗学习分支网络，使得特征数据在特征空间中分布一致。
21.在一种可能的实施方式中，本公开提供的方法中，利用异构多媒体数据样本数据对初始异构多媒体数据的表征模型进行训练，包括：
22.对异构多媒体数据样本数据进行图像特征提取，得到图像表征数据；
23.对异构多媒体数据样本数据进行文本特征提取，得到文本表征数据；
24.对图像表征数据和文本表征数据进行图文特征提取，得到特征数据，特征数据包含图文表征数据。
25.根据本公开实施例的第二方面，提供一种异构多媒体数据的表征模型训练装置，包括：
26.标注单元，被配置为执行对预先获取的异构多媒体数据样本进行标注，获得异构多媒体数据样本数据；
27.第一训练单元，被配置为执行利用异构多媒体数据样本数据对初始模型进行训练，得到特征数据和用于提取特征数据的主干网络；
28.第二训练单元，被配置为执行利用特征数据对主干网络进行对齐学习训练，得到异构多媒体数据的表征模型，对齐学习训练包括对比学习训练和对抗学习训练中至少一种。
29.在一种可能的实施方式中，本公开提供的装置中，对齐学习训练为对比学习训练时，主干网络后连接对比学习分支网络；
30.第二训练单元具体被配置为执行利用特征数据对对比学习分支网络进行训练，得到对比学习分支网络。
31.在一种可能的实施方式中，本公开提供的装置中，第二训练单元具体被配置为执行：
32.选取标注相同的特征数据为正例对，并在特征数据中随机选取负例对；
33.利用正例对和负例对计算得到对比损失，利用对比损失调整对比学习分支网络的模型参数，以得到对比学习分支网络。
34.在一种可能的实施方式中，本公开提供的装置中，对齐学习训练为对抗学习训练
时，主干网络后连接对抗学习分支网络；第二训练单元具体被配置为执行：
35.利用特征数据对对抗学习分支网络进行训练，得到对抗学习分支网络。
36.在一种可能的实施方式中，本公开提供的装置中，在主干网络后连接对抗学习分支网络，包括：在主干网络上连接域分类器；第二训练单元具体被配置为执行：
37.将特征数据映射到特征空间中；
38.在主干网络和域分类器之间进行梯度反转，得到对抗学习分支网络，使得特征数据在特征空间中分布一致。
39.在一种可能的实施方式中，本公开提供的装置中，第一训练单元具体被配置为执行：
40.对异构多媒体数据样本数据进行图像特征提取，得到图像表征数据；
41.对异构多媒体数据样本数据进行文本特征提取，得到文本表征数据；
42.对图像表征数据和文本表征数据进行图文特征提取，得到特征数据，特征数据包含图文表征数据。
43.根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；
44.用于存储处理器可执行指令的存储器；
45.其中，处理器被配置为执行所述指令，以实现本公开实施例第一方面中任一项所述的基于异构多媒体数据的表征模型训练方法。
46.根据本公开实施例的第四方面，提供一种存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例第一方面中任一项所述的异构多媒体数据的表征模型训练方法。
47.根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面中任一项所述的异构多媒体数据的表征模型训练方法。
48.本公开的实施例提供的技术方案至少带来以下有益效果：
49.首先对预先获取的异构多媒体数据样本进行标注，获得异构多媒体数据样本数据，然后利用异构多媒体数据样本数据对初始模型进行训练，得到特征数据和用于提取特征数据的主干网络，最后利用特征数据对主干网络进行对齐学习训练，得到异构多媒体数据的表征模型，对齐学习训练包括对比学习训练和对抗学习训练中至少一种。与现有技术中的异构多媒体数据的表征模型训练方法相比，在多种异构多媒体数据上的行为进行兴趣表征，极大的丰富使用者的兴趣内容。解决了兴趣稀疏性的问题，使得混合内容推荐变得极为便利。
50.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
51.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
52.图1是根据一示例性实施例示出的一种异构多媒体数据的表征模型训练方法的示意流程图；
53.图2是根据一示例性实施例示出的一种主干网络训练方法的示意流程图；
54.图3是根据一示例性实施例示出的一种主干网络的结构流程图；
55.图4是根据一示例性实施例示出的一种对比学习训练方法的示意流程图；
56.图5是根据一示例性实施例示出的一种对抗学习训练方法的示意流程图；
57.图6是根据一示例性实施例示出的一种对抗学习训练方法的原理流程图；
58.图7是根据一示例性实施例示出的一种异构多媒体数据的表征模型训练装置的结构示意图；
59.图8是根据一示例性实施例示出的一种电子设备的结构示意图；
60.图9是根据一示例性实施例示出的应用异构多媒体数据的表征模型训练方法的终端的结构示意图。
具体实施方式
61.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
62.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
63.下面对文中出现的一些词语进行解释：
64.1、计算机视觉(computer vision，cv)，是人工智能领域对图像进行研究的一个方向。
65.2、自然语言处理(natural language process，nlp)，是人工智能领域对语言研究的一个方向。
66.3、机器学习(machine learning，ml)，是人工智能研究的一个重要方法。
67.4、一种兴趣建模视角预估模型(search-based interest model，sim)是一种基于搜索的兴趣模型方法。
68.5、对抗训练(adversarial training)是增强神经网络鲁棒性的重要方式。在对抗训练的过程中，样本会被混合一些微小的扰动(改变很小，但是很可能造成误分类)，然后使神经网络适应这种改变，从而对对抗样本具有鲁棒性。在cv领域，通过对模型的对抗攻击和防御来增强模型的稳健型，比如在自动驾驶系统中，要防止模型因为一些随机噪声就将红灯识别为绿灯。在nlp领域，对抗训练常作为一种正则化手段来提高模型的泛化能力。
69.6、对比学习(contrastive learning)是一种为ml模型描述相似和不同事物的任务的方法。通过自动构造相似实例和不相似实例，要求习得一个表示学习模型，通过这个模型，使得相似的实例在投影空间中比较接近，而不相似的实例在投影空间中距离比较远。
70.现有信息推荐领域的内容理解中，包含了物品,直播,短视频,推荐信息等多类异构多媒体数据的类目识别，实体识别，属性识别等。现有内容理解方案中，大多都是基于同构内容进行建模的，对不同的异构多媒体数据有不同的识别任务，所得到的内容表征也不
在同一空间，因此无法通过表征进行异构多媒体数据的互相关联。而如果使用在一种异构多媒体数据上建模的模型直接去预估其它形式的内容，虽然也可以得到同空间下的表征，但是无法消除不同异构多媒体数据之间的领域差异性，且异构多媒体数据在同空间下的分布并不均匀。且对于内容相似或相同的异构多媒体数据来说，例如短视频中所提及的物品，由于视频和物品在标签体系上存在较大差异性，会导致两者在隐空间中的类聚性差，无法分到同一个聚类蔟上，极大的限制了跨域兴趣的应用，无法把全部异构多媒体数据上的兴趣进行高效的整合，致使兴趣关联性稀疏。
71.综上所述，在信息推荐领域中，无法做到高关联度的跨领域信息推荐，致使兴趣关联性稀疏，推荐效率低。
72.本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本公开的描述中，除非另有说明，“多个”的含义。
73.本公开实施例提供的异构多媒体数据的表征模型训练方法，如图1所示，具体技术方案如下。
74.步骤s101，对预先获取的异构多媒体数据样本进行标注，获得异构多媒体数据样本数据。
75.具体实施时，对异构多媒体数据样本进行标注，得到异构多媒体数据样本数据，异构多媒体数据包括短视频，直播，物品，推荐信息等多种不同类型的内容。
76.步骤s102，利用异构多媒体数据样本数据对初始模型进行训练，得到特征数据和用于提取特征数据的主干网络。
77.具体实施时，主干网络对异构多媒体数据样本数据进行图像特征提取，得到图像表征数据，然后对异构多媒体数据样本数据进行文本特征提取，得到文本表征数据，最后对图像表征数据和文本表征数据进行图文特征提取，得到特征数据，最终得到特征数据中包含图文表征数据。
78.步骤s103，利用特征数据对主干网络进行对齐学习训练，得到异构多媒体数据的表征模型，对齐学习训练包括对比学习训练和对抗学习训练中至少一种。
79.对齐学习训练为对比学习训练时，先在主干网络后连接对比学习分支网络，然后利用特征数据对对比学习分支网络进行训练，得到对比学习分支网络。具体训练学习分支网络时，选取标注相同的特征数据为正例对，并在特征数据中随机选取负例对，然后利用正例对和负例对进行对比损失计算。
80.对齐学习训练为对抗学习训练时，先在主干网络后连接对抗学习分支网络，然后利用特征数据对对抗学习分支网络进行训练，得到对抗学习分支网络。具体训练对抗学习分支网络时，将特征数据映射到特征空间中，并在主干网络上连接域分类器，然后在主干网络和域分类器之间进行梯度反转。
81.通过上述步骤进行异构多媒体数据的表征模型训练，将异构多媒体数据表征在同一个隐空间中，因此，可以在隐空间中实现异构多媒体数据之间的互相检索，进而可以进行长期兴趣建模，如sim等。在应用场景中，使用者对单一内容的兴趣可能是比较稀疏的，进而导致长期行为序列不够丰富，不能发挥sim等模型在长期兴趣建模上的优势。而基于异构多
媒体数据的同空间表征，将使用者在多个异构多媒体数据上的兴趣进行整合，使得使用者的长期行为序列更为稠密，可以更好的发挥sim等长期建模的优势，进而优化了模型结构，提高了推荐的关联度的同时降级了计算量。
82.结合图2-图6，对本公开实施例提供的异构多媒体数据的表征模型训练方法进行详细描述，如图2所示，主干网络的训练技术方案如下。
83.步骤s201，主干网络对异构多媒体数据样本数据进行图像特征提取，得到图像表征数据。
84.具体实施时，由于异构多媒体数据包含视频、直播、物品等，这些内容都具有图像属性和文本属性，因此，将这些异构的识别任务都抽象成一个图文融合的识别任务。主干网络backbone的设计如图3所示，参考vision-transformer和self-attention两种经典的模型结构。对于图像特征提取，使用vit模块完成对多帧图的特征提取，然后经过self-attention模块后得到图像侧的图像表征数据。
85.步骤s202，对异构多媒体数据样本数据进行文本特征提取，得到文本表征数据。
86.具体实施时，将异构多媒体数据的文本部分通过self-attention模块，得到提取的文本表征数据。
87.步骤s203，对图像表征数据和文本表征数据进行图文特征提取，得到特征数据。
88.具体实施时，将图像表征数据和文本表征数据经过cross-attention模块，完成对整个图文数据的特征抽取，最终得到特征数据中包含图文表征数据。
89.如图4所示，对比学习训练技术方案如下。
90.步骤s401，在主干网络后连接对比学习分支网络。
91.具体实施时，由于对比学习的目的是使正例对在隐空间中尽可能的接近，负例对的距离尽可能的远。
92.步骤s402，选取标注相同的特征数据为正例对，并在特征数据中随机选取负例对。
93.在选取正例对和负例对时，选取的正例对都是具有相同标签的异构多媒体数据，负例从剩余的异构多媒体数据中随机获取。
94.步骤s403，利用正例对和负例对进行对比损失计算。
95.正例对和负例对经过l2-norm后，进行对比loss计算，对比loss定义如下：
[0096][0097]
其中代表两个正例相应的表示向量。从对比loss可以看出，函数分子部分鼓励正例的相似度越高越好，也就是在表示空间内距离越近越好；而分母部分，则鼓励任意负例之间的向量相似度越低越好，也就是空间内距离越远越好。
[0098]
如图5所示，对抗学习训练技术方案如下。
[0099]
步骤s501，在主干网络后连接对抗学习分支网络。
[0100]
具体实施时，对抗学习可以进一步消除异构多媒体数据之间的领域差异性。传统的生成对抗网络包含一个生成器(generator)和一个判别器(discriminator)。生成器用来生成假图片，判别器则用来区分输入的图片是真图片还是假图片。生成器希望生成的图片
可以骗过判别器，而判别器则希望提高辨别能力防止被骗。两者互相博弈，直到系统达到一个稳定状态，即纳什平衡。基于传统的生成对抗网络，对抗学习过程如图6所示。
[0101]
步骤s502，将特征数据映射到特征空间中，并在主干网络上连接域分类器。
[0102]
具体实施时，特征提取主干网络gf将输入数据映射到特征空间z，然后在主干网络后面接一个域分类器gd，用于判断样本是视频、直播或者物品。
[0103]
步骤s503，在主干网络和域分类器之间进行梯度反转。
[0104]
具体实施时，在gf与gd的连接处进行了梯度反转操作，feature后的分类器向ld减小的方向优化，使gd则尽可能的分辩出样本所属的领域。而前面的主干网络则向着ld增大的方向优化，使gf产生跨域不变性的特征尽可能的混淆gd，两者产生一种博弈，当gd无法分辨样本是来自哪种异构多媒体数据时，不同的异构多媒体数据在特征空间中的分布已然高度一致。
[0105]
如图7所示，为本公开实施例提供的一种异构多媒体数据的表征模型训练装置的结构示意图，包括：
[0106]
获取单元701，被配置为执行从预先获取的异构多媒体数据样本中通过标注获得异构多媒体数据样本数据；
[0107]
第一训练单元702，被配置为执行利用异构多媒体数据样本数据对初始异构多媒体数据的表征模型进行训练，得到特征数据和用于提取特征数据的主干网络；
[0108]
第二训练单元703，被配置为执行利用特征数据对异构多媒体数据的表征模型进行对齐学习训练，对齐学习训练包括对比学习训练和对抗学习训练。
[0109]
在一种可能的实施方式中，本公开提供的装置中，第二训练单元703具体被配置为执行：
[0110]
在主干网络后连接对比学习分支网络；
[0111]
利用特征数据对对比学习分支网络进行训练，得到对比学习分支网络。
[0112]
在一种可能的实施方式中，本公开提供的装置中，第二训练单元703具体被配置为执行：
[0113]
选取标注相同的特征数据为正例对，并在特征数据中随机选取负例对；
[0114]
利用正例对和负例对进行对比损失计算。
[0115]
在一种可能的实施方式中，本公开提供的装置中，第二训练单元703具体被配置为执行：
[0116]
在主干网络后连接对抗学习分支网络；
[0117]
利用特征数据对对抗学习分支网络进行训练，得到对抗学习分支网络。
[0118]
在一种可能的实施方式中，本公开提供的装置中，第二训练单元703具体被配置为执行：
[0119]
将特征数据映射到特征空间中，并在主干网络上连接域分类器；
[0120]
在主干网络和域分类器之间进行梯度反转。
[0121]
在一种可能的实施方式中，本公开提供的装置中，第一训练单元702具体被配置为执行：
[0122]
对异构多媒体数据样本数据进行图像特征提取，得到图像表征数据；
[0123]
对异构多媒体数据样本数据进行文本特征提取，得到文本表征数据；
[0124]
对图像表征数据和文本表征数据进行图文特征提取，得到特征数据，特征数据包含图文表征数据。
[0125]
图8是根据一示例性实施例示出的一种电子设备，即异构多媒体数据的表征模型训练设备800的框图。
[0126]
处理器810；
[0127]
用于存储所述处理器810可执行指令的存储器820；
[0128]
其中，所述处理器810被配置为执行所述指令，以实现本公开实施例中的异构多媒体数据的表征模型训练方法。
[0129]
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器820，上述指令可由设备800的处理器810执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0130]
在本公开实施例中，如图9所示，本公开实施例给出一种应用本公开实施例提供的异构多媒体数据的表征模型训练方法的终端900，包括：射频(radio frequency，rf)电路910、电源920、处理器930、存储器940、输入单元950、显示单元960、摄像头970、通信接口980、以及无线保真(wireless fidelity，wi-fi)模块990等部件。本领域技术人员可以理解，图9中示出的终端的结构并不构成对终端的限定，本技术实施例提供的终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0131]
下面结合图9对所述终端900的各个构成部件进行具体的介绍：
[0132]
所述rf电路910可用于通信或通话过程中，数据的接收和发送。特别地，所述rf电路910在接收到基站的下行数据后，发送给所述处理器930处理；另外，将待发送的上行数据发送给基站。通常，所述rf电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier，lna)、双工器等。
[0133]
此外，rf电路910还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(global system of mobile communication，gsm)、通用分组无线服务(general packet radio service，gprs)、码分多址(code division multiple access，cdma)、宽带码分多址(wideband code division multiple access，wcdma)、长期演进(long term evolution，lte)、电子邮件、短消息服务(short messaging service，sms)等。
[0134]
wi-fi技术属于短距离无线传输技术，所述终端900通过wi-fi模块990可以连接接入点(access point，ap)，从而实现数据网络的访问。所述wi-fi模块990可用于通信过程中，数据的接收和发送。
[0135]
所述终端900可以通过所述通信接口980与其他终端实现物理连接。可选的，所述通信接口980与所述其他终端的通信接口通过电缆连接，实现所述终端900和其他终端之间的数据传输。
[0136]
由于在本技术实施例中，所述终端900能够实现通信业务，向其他联系人发送信息，因此所述终端900需要具有数据传输功能，即所述终端900内部需要包含通信模块。虽然图9示出了所述rf电路910、所述wi-fi模块990、和所述通信接口980等通信模块，但是可以理解的是，所述终端900中存在上述部件中的至少一个或者其他用于实现通信的通信模块
(如蓝牙模块)，以进行数据传输。
[0137]
例如，当所述终端900为手机时，所述终端900可以包含所述rf电路910，还可以包含所述wi-fi模块990；当所述终端900为计算机时，所述终端900可以包含所述通信接口980，还可以包含所述wi-fi模块990；当所述终端900为平板电脑时，所述终端900可以包含所述wi-fi模块。
[0138]
所述存储器940可用于存储软件程序以及模块。所述处理器930通过运行存储在所述存储器940的软件程序以及模块，从而执行所述终端900的各种功能应用以及数据处理，并且当处理器930执行存储器940中的程序代码后，可以实现本公开实施例图1-图6中的部分或全部过程。
[0139]
可选的，所述存储器940可以主要包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、各种应用程序(比如通信应用)以及异构多媒体数据的表征模型训练模块等；存储数据区可存储根据所述终端的使用所创建的数据(比如各种图片、视频文件等多媒体文件，以及异构多媒体数据的表征模型训练信息模板)等。
[0140]
此外，所述存储器940可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0141]
所述输入单元950可用于接收用户输入的数字或字符信息，以及产生与所述终端900的用户设置以及功能控制有关的键信号输入。
[0142]
可选的，输入单元950可包括触控面板951以及其他输入终端952。
[0143]
其中，所述触控面板951，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板951上或在所述触控面板951附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，所述触控面板951可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给所述处理器930，并能接收所述处理器930发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板951。
[0144]
可选的，所述其他输入终端952可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0145]
所述显示单元960可用于显示由用户输入的信息或提供给用户的信息以及所述终端900的各种菜单。所述显示单元960即为所述终端900的显示系统，用于呈现界面，实现人机交互。
[0146]
所述显示单元960可以包括显示面板961。可选的，所述显示面板961可以采用液晶显示屏(liquid crystal display，lcd)、有机发光二极管(organic light-emitting diode，oled)等形式来配置。
[0147]
进一步的，所述触控面板951可覆盖所述显示面板961，当所述触控面板951检测到在其上或附近的触摸操作后，传送给所述处理器930以确定触摸事件的类型，随后所述处理器930根据触摸事件的类型在所述显示面板961上提供相应的视觉输出。
[0148]
虽然在图9中，所述触控面板951与所述显示面板961是作为两个独立的部件来实现所述终端900的输入和输入功能，但是在某些实施例中，可以将所述触控面板951与所述
显示面板961集成而实现所述终端900的输入和输出功能。
[0149]
所述处理器930是所述终端900的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在所述存储器940内的软件程序和/或模块，以及调用存储在所述存储器940内的数据，执行所述终端900的各种功能和处理数据，从而实现基于所述终端的多种业务。
[0150]
可选的，所述处理器930可包括一个或多个处理单元。可选的，所述处理器930可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到所述处理器930中。
[0151]
所述摄像头970，用于实现所述终端900的拍摄功能，拍摄图片或视频。所述摄像头970还可以用于实现终端900的扫描功能，对扫描对象(二维码/条形码)进行扫描。
[0152]
所述终端900还包括用于给各个部件供电的电源920(比如电池)。可选的，所述电源920可以通过电源管理系统与所述处理器930逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
[0153]
需要说明的是，本公开实施例处理器930可以执行图8中处理器810的功能，存储器940存储处理器810中的内容。
[0154]
另外，在示例性实施例中，本公开还提供了一种存储介质，当存储介质中的指令由上述电子设备的处理器执行时，使得上述电子设备能够实现本公开实施例中的异构多媒体数据的表征模型训练方法。
[0155]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0156]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。