模型训练方法、装置、多媒体推荐方法、设备及存储介质与流程

1.本发明涉及计算机技术领域，具体涉及模型训练方法、装置、多媒体推荐方法、设备及存储介质。


背景技术：

2.在多媒体推荐领域(如广告推荐领域)，现有的多媒体推荐系统分别独立地生成多媒体侧特征和对象侧特征，即，将多媒体侧特征和对象侧特征分开生成。以多媒体侧特征中常用的多模态特征embedding(嵌入特征)为例，对应的多媒体侧特征生成模型一般以多媒体本身的多模态素材作为输入(视频帧、标题、音频等)进行训练。多媒体侧特征生成模型收敛后，测试阶段中，输入一段测试多媒体的多模态素材，根据业务需要输出模型中间某层的输出结果，将其整体作为一个多维特征embedding，将其与对象侧特征生成模型生成的对象特征一起作为推荐模型中后续模型的输入，得到推荐多媒体。
3.可见，现有多媒体推荐技术中，多媒体侧特征生成的过程与对象侧无关，没有充分发掘对象信息和多媒体素材，导致多媒体推荐精准性低，无法向对象推送符合对象需求的多媒体。


技术实现要素：

4.有鉴于上述存在的技术问题，本技术提出了一种模型训练方法、装置、多媒体推荐方法、设备及存储介质。
5.根据本技术的一方面，提供了一种多媒体特征提取模型的训练方法，包括：
6.从多个多媒体中确定多个训练样本，每个训练样本包括锚点多媒体、第一多媒体以及第二多媒体；所述锚点多媒体为所述多个多媒体中的任一个；所述第一多媒体对应的第一对象集合与所述锚点多媒体对应的锚点对象集合相交；第二多媒体对应的第二对象集合与所述锚点对象集合不相交；
7.对所述多个训练样本进行排序处理，得到目标样本矩阵；
8.将所述目标样本矩阵输入预设多媒体特征提取模型，进行特征提取处理，得到多媒体特征矩阵，所述多媒体特征矩阵的行数和所述目标样本矩阵的行数相同；
9.根据所述多媒体特征矩阵，确定三重态损失信息；
10.基于所述三重态损失信息训练所述预设多媒体特征提取模型，直至满足预设条件，得到目标多媒体特征提取模型。
11.根据本技术的另一方面，提供了一种多媒体推荐方法，包括：
12.确定待推荐对象和所述待推荐对象对应的目标多媒体；
13.将所述目标多媒体输入目标多媒体特征提取模型，对所述目标多媒体进行特征提取处理，得到所述目标多媒体对应的多媒体特征，其中，所述目标多媒体特征提取模型是根据上述的训练方法得到的；
14.将所述目标多媒体对应的多媒体特征输入预测模型，根据所述目标多媒体对应的
多媒体特征对多个预设多媒体进行预测处理，得到所述多个预设多媒体各自的预测概率；
15.根据所述多个预设多媒体各自的预测概率，从所述多个预设多媒体中确定待推荐多媒体；
16.向所述待推荐对象推荐所述待推荐多媒体。
17.根据本技术的另一方面，提供了一种多媒体特征提取模型训练装置，包括：
18.确定模块，用于从多个多媒体中确定多个训练样本，每个训练样本包括锚点多媒体、第一多媒体以及第二多媒体；所述锚点多媒体为所述多个多媒体中的任一个；所述第一多媒体对应的第一对象集合与所述锚点多媒体对应的锚点对象集合相交；第二多媒体对应的第二对象集合与所述锚点对象集合不相交；
19.排序模块，用于对所述多个训练样本进行排序处理，得到目标样本矩阵；
20.特征提取模块，用于将所述目标样本矩阵输入预设多媒体特征提取模型，进行特征提取处理，得到多媒体特征矩阵，所述多媒体特征矩阵的行数和所述目标样本矩阵的行数相同；
21.三重态损失确定模块，用于根据所述多媒体特征矩阵，确定三重态损失信息；
22.模型训练模块，用于基于所述三重态损失信息训练所述预设多媒体特征提取模型，直至满足预设条件，得到目标多媒体特征提取模型。
23.根据本技术的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述多媒体特征提取模型的训练方法或者多媒体推荐方法。
24.根据本技术的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述多媒体特征提取模型的训练方法或者多媒体推荐方法。
25.本技术的训练样本中，每个训练样本包括锚点多媒体、第一多媒体以及第二多媒体，第一多媒体对应的第一对象集合与锚点多媒体对应的锚点对象集合相交，第二多媒体对应的第二对象集合与锚点对象集合不相交，可见，锚点多媒体和第一多媒体之间具有基于对象的相关性，锚点多媒体和第二多媒体之间不具有基于对象的相关性，即训练样本融入了对象信息，基于这样的训练样本进行模型训练，可以将对象信息与多媒体素材相结合，充分挖掘对象信息和多媒体素材的关联关系，得到更准确的多媒体特征，进而可以提高后续多媒体推荐的精准性；另外，本技术在模型训练的过程中，完全以每个多媒体整体作为单位，可以保证多媒体特征提取的鲁棒性，能够有效适应不同推荐场景。
26.根据下面参考附图对示例性实施例的详细说明，本技术的其它特征及方面将变得清楚。
附图说明
27.包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本技术的示例性实施例、特征和方面，并且用于解释本技术的原理。
28.图1示出根据本技术一实施例提供的一种应用系统的示意图。
29.图2示出根据本技术一实施例提供的一种多媒体特征提取模型的训练方法的流程示意图。
30.图3示出根据本技术一实施例提供的一种从多个多媒体中确定多个训练样本的方法的流程示意图。
31.图4示出根据本技术一实施例提供的一种对多个训练样本进行排序处理，得到目标样本矩阵的方法的流程示意图。
32.图5示出根据本技术一实施例提供的一种将目标样本矩阵输入预设多媒体特征提取模型，进行特征提取处理，得到多媒体特征矩阵的方法的流程示意图。
33.图6示出根据本技术一实施例提供的一种根据多媒体特征矩阵，确定三重态损失信息的方法的流程示意图。
34.图7示出根据本技术一实施例提供的一种对多媒体特征矩阵中的多媒体特征，进行分组处理，得到目标特征矩阵的方法的流程示意图。
35.图8示出根据本技术另一实施例提供的一种多媒体特征提取模型的训练方法的流程示意图。
36.图9示出根据本技术一实施例提供的一种多媒体特征提取模型的训练方法的数据处理示意图。
37.图10示出根据本技术一实施例提供的一种多媒体推荐方法的流程示意图。
38.图11示出根据本技术一实施例提供的一种多媒体特征提取模型训练装置的框图。
39.图12示出根据本技术一实施例提供的一种用于多媒体特征提取模型训练或者多媒体推荐的电子设备的框图。
具体实施方式
40.以下将参考附图详细说明本技术的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
41.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
42.另外，为了更好的说明本技术，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本技术同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本技术的主旨。
43.请参阅图1，图1示出根据本技术一实施例提供的一种应用系统的示意图。应用系统可以用于本技术的多媒体特征提取模型的训练方法。如图1所示，该应用系统至少可以包括服务器01和终端02。
44.本技术实施例中，服务器01可以用于多媒体资源处理，例如多媒体资源的搜索处理，该服务器01可以包括独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
45.本技术实施例中，终端02可以接收并展示目标多媒体资源。该终端02可以包括智能手机、台式计算机、平板电脑、笔记本电脑、智能语音交互设备、智能家电、数字助理、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、智能可穿戴设备、车
载终端、飞行器等类型的实体设备。实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本技术实施例中终端02上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、windows等。
46.本说明书实施例中，上述终端02以及服务器01可以通过有线或无线通信方式进行直接或间接地连接，本技术对此不作限定。
47.在一个具体的实施例中，服务器02为分布式系统时，该分布式系统可以为区块链系统，分布式系统为区块链系统时，可以由多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)形成，节点之间形成组成的点对点(p2p，peer to peer)网络，p2p协议是一个运行在传输控制协议(tcp，transmission control protocol)协议之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。具体的，区块链系统中各节点的功能，涉及的功能可以包括：
48.路由，节点具有的基本功能，用于支持节点之间的通信。
49.节点除具有路由功能外，还可以具有以下功能：
50.2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。
51.需要说明的是，在本技术的具体实施方式中，涉及到用户信息相关的数据，当本技术以下实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
52.本技术可以基于机器学习(machine learning,ml)技术进行模型训练，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
53.图2示出根据本技术一实施例提供的一种多媒体特征提取模型的训练方法的流程图。多媒体特征提取模型可以是指多媒体推荐系统中用于提取多媒体特征的模型，多媒体推荐系统可以包括广告推荐系统、短视频推荐系统、音乐推荐系统等，多媒体推荐系统可以是双塔模型或单塔模型，本公开对此不作限定。
54.结合图2至图9，本说明书实施例提供的多媒体特征提取模型的训练方法可以包括：
55.步骤s11：从多个多媒体中确定多个训练样本，每个训练样本包括锚点多媒体、第一多媒体以及第二多媒体；锚点多媒体为多个多媒体中的任一个；第一多媒体对应的第一对象集合与锚点多媒体对应的锚点对象集合相交；第二多媒体对应的第二对象集合与锚点对象集合不相交。
56.本说明书实施例中，多媒体的类型可以是视频、音频、图像或文本，本公开对此不作限定。每个训练样本包括三个多媒体，训练样本又可以称为三元组样本，其中，训练样本中的锚点多媒体可以称为锚点样本，第一多媒体又可以称为锚点多媒体的正样本，第二多
媒体又可以称为锚点多媒体的负样本。可以从多个多媒体中确定锚点多媒体，多个多媒体中的每个多媒体都可以作为锚点多媒体。
57.锚点对象集合可以是锚点多媒体对应的对象的集合，锚点多媒体对应的对象可以称为锚点对象；第一对象集合可以是第一多媒体对应的对象的集合，第一多媒体对应的对象可以称为第一对象；第二对象集合可以是第二多媒体对应的对象的集合，第二多媒体对应的对象可以称为第二对象。其中，对象可以是用户。
58.在一个示例中，如果任意对象满足预设对应条件，则该对象可以为多媒体对应的对象；预设对应条件可以是对多媒体执行预设操作；本公开对此不作限定；预设操作可以是点击观看按钮、点击转发按钮或点击购买按钮等操作；例如，对象点击了多媒体对应的购买按钮，则该对象可以是该多媒体对应的对象。
59.在另一个示例中，如果对象满足预设标签条件，则对象可以为多媒体对应的对象；预设标签条件可以是对象分类标签与多媒体的多媒体分类标签相匹配。例如，多媒体为搞笑视频，则该多媒体的多媒体分类标签为“搞笑”，对象所属的分类标签可以是对象自行选择的标签，若对象选择的分类标签为“搞笑”，则该对象的对象分类标签为“搞笑”，该对象可以是该多媒体对应的对象。
60.本说明书实施例中，在同一个训练样本中，第一多媒体对应的第一对象集合与锚点多媒体对应的锚点对象集合相交，可以说明存在至少一个对象既对锚点多媒体执行过预设操作，又对第一多媒体执行过预设操作。进一步地可以说明，锚点多媒体和第一多媒体之间具有基于该对象的关联性。在同一个训练样本中，第二多媒体对应的第二对象集合与锚点对象集合不相交，可以说明任何一个对象都没有对锚点多媒体和第二多媒体同时执行过预设操作，进一步地可以说明，锚点对象和第二多媒体之间不具有基于对象的关联性。
61.在一个示例中，可以先确定一个对象，从该对象对应的多媒体中确定锚点多媒体和第一多媒体，再确定锚点多媒体对应的锚点对象集合，确定锚点对象集合中各对象对应的多媒体，将除锚点对象集合中各对象对应的多媒体之外的任意多媒体作为第二多媒体，由此得到一个训练样本。其他训练样本也可以按照上述步骤得到。
62.步骤s12：对多个训练样本进行排序处理，得到目标样本矩阵。
63.本说明书实施例中，排序处理可以是对多个训练样本的p个多媒体排成p列(p为多个训练样本中多媒体的总量)，得到1行p列(1行
×
p列)的目标样本矩阵；目标样本矩阵的多个列信息分别对应于多个训练样本的多个多媒体，目标样本矩阵的p个列信息一一对应于p个多媒体。
64.在其他示例中，目标样本矩阵的行列数值也可以为其他数值，本公开对此不作限定，只要目标样本矩阵可以表征多个训练样本的多个多媒体即可。
65.步骤s13：将目标样本矩阵输入预设多媒体特征提取模型，进行特征提取处理，得到多媒体特征矩阵，多媒体特征矩阵的行数和目标样本矩阵的行数相同。
66.本说明书实施例中，预设多媒体特征提取模型可以对目标样本矩阵的各个多媒体进行特征提取处理，得到目标样本矩阵中各个多媒体对应的多媒体特征，多媒体特征可以是cls特征(cls emb)。目标样本矩阵中各个多媒体对应的多媒体特征形成了多媒体特征矩阵。
67.多媒体特征矩阵的行数和目标样本矩阵的行数相同。在一个示例中，目标样本矩
阵和多媒体特征矩阵均为1行
×
p列的矩阵，目标样本矩阵的p个列信息一一对应于p个多媒体，多媒体特征矩阵的p个列信息一一对应于p个多媒体特征。
68.步骤s14：根据多媒体特征矩阵，确定三重态损失信息。
69.本说明书实施例中，可以将各个训练样本对应的多媒体特征，代入三重态损失函数中，得到三重态损失信息(triplet loss)。可以基于无监督的方式确定三重态损失信息。在一个示例中，可以根据多媒体特征矩阵，得到各个训练样本对应的多媒体特征，基于各个训练样本对应的多媒体特征确定三重态损失信息。
70.本说明书实施例中，可以获取预设的三重态损失函数，三重态损失函数的数学表达式如下：
71.l＝max(d(a，p)-d(a，n)+margin，0)
72.其中，d(a,p)表示同一训练样本的锚点多媒体与第一多媒体之间的距离，d(a,n)表示同一训练样本的锚点多媒体与第二多媒体之间的距离，margin是大于0的常数。
73.步骤s15：基于三重态损失信息训练预设多媒体特征提取模型，直至满足预设条件，得到目标多媒体特征提取模型。
74.本说明书实施例中，如果三重态损失信息不满于预设条件，则可以基于三重态损失信息调整预设多媒体特征提取模型的模型参数，将调整后的模型作为新的预设多媒体特征提取模型，返回步骤s13，直至得到的三重态损失信息满足预设条件。预设条件可以是三重态损失信息的数值处于预设范围内。
75.本说明书实施例中，每个训练样本包括锚点多媒体、第一多媒体以及第二多媒体，第一多媒体对应的第一对象集合与锚点多媒体对应的锚点对象集合可以相交，第二多媒体对应的第二对象集合与锚点对象集合不相交，可见，锚点多媒体和第一多媒体之间可以具有基于锚点对象的相关性，锚点对象是锚点对象集合中的对象；锚点多媒体和第二多媒体之间不具有基于对象的相关性，即，训练样本融入了对象信息(对象行为或对象喜好等)，基于这样的训练样本进行模型训练，可以将对象信息与多媒体素材相结合，将对象信息融入多媒体侧特征生成过程，充分挖掘对象信息和多媒体素材的关联关系，得到更准确的多媒体特征，进而可以提高后续多媒体推荐的精准性。
76.本说明书实施例在模型训练的过程中，完全以每个多媒体整体作为单位，可以保证多媒体特征提取的鲁棒性，不容易受到数据质量(如图-文匹配错误、一二级类标注误差等)的影响，能够有效适应不同推荐场景。
77.由于对象信息存在多样性(例如对象的兴趣变动导致的多样性)，而本说明书实施例基于不同的对象信息确定训练样本，因此训练样本可以体现对象信息的多样性，从而可以在后续实际推荐中提高待推荐多媒体的多样性，在满足待推荐对象的需求的前提下提高各种多媒体的曝光度。
78.随着对象信息的更新，对象和多媒体之间的对应关系也会相应地更新，由此使得训练样本发生相应的变化，从而得到可以更充分体现对象信息的多媒体特征；可见，使用本说明书实施例得到的目标多媒体特征提取模型，可以得到更精准的多媒体特征，从而提高后续推荐的精准性，向待推荐对象推荐符合其需求的多媒体。
79.基于三重态损失信息训练模型，可以以最终的推荐倾向为目标，在多媒体推荐的应用场景下，比其他损失更加直接，因此能够为后续的推荐模型带来更好的效果。
80.结合图3所示，在一种可能的实现方式中，步骤s11可以包括：
81.步骤s111：从多个多媒体中确定锚点多媒体。
82.在一个示例中，锚点多媒体可以是从多个多媒体中随机确定的。在另一个示例中，锚点多媒体可以是多个多媒体中满足锚点多媒体条件的多媒体，锚点多媒体条件可以是被浏览的次数达到预设次数。在其他示例中，锚点多媒体也可以是对应的对象满足锚点对象条件的多媒体，锚点对象条件可以是对象浏览的多媒体总量达到预设数值；满足锚点对象条件的对象可以被确定为候选对象，可以从候选对象对应的多媒体中随机确定一个多媒体作为锚点多媒体。
83.步骤s112：确定锚点多媒体对应的锚点对象集合、候选多媒体集合以及第二多媒体集合，锚点对象集合为对锚点多媒体执行过预设操作的对象的集合，候选多媒体集合包括被锚点对象集合中各锚点对象执行过预设操作的多媒体；第二多媒体集合包括多个多媒体中除候选多媒体集合之外的多媒体。
84.本说明书实施例中，可以基于各个锚点多媒体，分别确定锚点多媒体对应的锚点对象集合、候选多媒体集合以及第二多媒体集合。预设操作可以是点击多媒体中的观看按钮、转发按钮或购买按钮等操作，也可以是浏览多媒体的时长达到预设时长等，本公开对此不作限定。例如，对象点击了多媒体对应的购买按钮，则该对象可以是该多媒体对应的对象。
85.步骤s113：从候选多媒体集合中筛选出第一多媒体集合，第一多媒体集合包括候选多媒体集合中除锚点多媒体之外的多媒体。
86.本说明书实施例中，锚点多媒体对应的候选多媒体集合中包括锚点多媒体，可以将锚点多媒体从候选多媒体集合中剔除，从而筛选得到第一多媒体集合。
87.步骤s114：按照预设多媒体排列顺序，对锚点多媒体、第一多媒体以及第二多媒体进行排列处理，得到多个训练样本；第一多媒体为第一多媒体集合中的任一个，第二多媒体为第二多媒体集合中的任一个。
88.本说明书实施例中，逐个确定各锚点多媒体对应的训练样本。
89.在一个示例中，第一多媒体集合中的每个多媒体都可以用于构建训练样本，第二多媒体集合中的每个多媒体都可以用于构建训练样本。训练样本中的第一多媒体可以是从第一多媒体集合中随机确定的，第二多媒体可以是从除候选多媒体集合之外的多媒体中随机确定的。
90.在另一个示例中，可以从第二多媒体集合中随机确定部分多媒体，得到子集合，第二多媒体可以是从子集合中随机确定的。
91.本说明书实施例中，锚点多媒体、锚点多媒体对应的第一多媒体和锚点多媒体对应的第二多媒体可以得到一个训练样本，训练样本中三个多媒体的多媒体排列顺序可以为：锚点多媒体、第一多媒体和第二多媒体。
92.在一个示例中，以预设操作为点击观看按钮为例。将全部多媒体的总集合记作c。每个对象都可以对应于一个多媒体列表，多媒体列表包括在预设时间(例如一周)内该对象点击观看的所有多媒体。将多媒体列表中多媒体的个数≥2的对象确定为候选对象，将候选对象的集合记作为u，将候选对象以及各候选对象点击观看的多媒体列表集合记作
对于对象ui，他对应的多媒体列表包括ni个多媒体，分别为
93.在集合c中随机确定一个多媒体cm作为锚点多媒体，找出所有包含它的多媒体列表，将每个多媒体列表中除它以外的所有其他多媒体取并集，将该集合称为当前的锚点多媒体对应的第一多媒体集合当前的锚点多媒体对应的第二多媒体集合为negm＝c\(posm∪cm)，即总集合除去posm和cm自身。
94.基于cm，posm和negm，构建训练样本(三元组样本triplet)；每个triplet包含3个多媒体，其中第1位固定是cm，第2位是posm中任意多媒体，第3位是negm中任意多媒体。由于negm中多媒体的数量往往非常大，全部使用会导致数据严重不均衡，因此可以从negm中随机选出n
used
个负样本(例如n
used
＝10)，这样的话，对于cm，它对应的训练样本有posm·nused
个。
95.对至少一个锚点多媒体进行训练样本数据构建，即得到训练样本集合t＝{ai，pos
ij
，neg
ijk
}，其中a表示锚点(anchor)，i＝0，...，c-1；j＝0，...，|posi|-1；k＝0，...，||negi|-1。|posi|，|negi|分别表示posi，negi中多媒体的个数。由此，本说明书实施例可以得到多个训练样本。
96.在一种可能的实现方式，每个训练样本中，锚点多媒体、第一多媒体和第二多媒体按预设多媒体排列顺序排列；目标样本矩阵中相邻的两个训练样本为不同的训练样本。
97.本说明书实施例中，基于步骤s114，可以确保不同训练样本中三个多媒体的排列顺序相同。在步骤s12中，可以以训练样本为单位，对多个训练样本进行随机排序处理；在随机排序处理过程中，一个训练样本与另一训练样本相邻排列；相邻排列可以是在矩阵行上相邻排列，也可以是在矩阵列上相邻排列，本公开对此不作限定；目标样本矩阵的每个行信息对应于至少一个训练样本，或者，目标样本矩阵的每个列信息对应于至少一个训练样本。在一个示例中，目标样本矩阵为1行
×
p列的矩阵，目标样本矩阵的行信息对应于全部的训练样本。
98.本说明书实施例中，可以在步骤s12中以训练样本为单位，对多个训练样本进行排序处理，由此得到的目标样本矩阵可以便于后续在步骤s14中，以训练样本对应的多媒体特征为单位来确定三重态损失信息。
99.结合图6所示，在一种可能的实现方式，步骤s14可以包括：
100.步骤s141：对多媒体特征矩阵中的多媒体特征，进行分组处理，得到目标特征矩阵，目标特征矩阵为多个训练样本各自对应的样本特征，每个样本特征为锚点多媒体、第一多媒体和第二多媒体各自对应的多媒体特征。
101.本说明书实施例中，多媒体特征矩阵中多媒体特征的排列顺序可以与目标样本矩阵中多媒体的排列顺序相对应，而目标样本矩阵是以训练样本为单位进行排序得到的，在目标样本矩阵中属于同一训练样本的多媒体可以相邻设置。在步骤s141中，可以将训练样本对应的三个多媒体作为一个整体单位，对多媒体特征矩阵进行分组处理，得到各个训练样本对应的样本特征，每个样本特征包括训练样本中三个多媒体的多媒体特征。
102.步骤s142：根据目标特征矩阵的多个样本特征，确定三重态损失信息。
103.本说明书实施例中，可以将多个样本特征代入三重态损失函数中，得到三重态损失信息(triplet loss)。
104.结合图4所示，在一种可能的实现方式，步骤s12可以包括：
105.步骤s121：对多个训练样本进行样本间排列处理，得到参考样本矩阵，参考样本矩阵的多个行信息分别对应于多个训练样本。
106.本说明书实施例中，样本间排列处理可以是将多个训练样本排成多行，得到参考样本矩阵(q行
×
3列)，同时，在样本间排列处理的过程不改变训练样本内部三个多媒体的排列处理。参考样本矩阵的每个行信息对应于一个训练样本，参考样本矩阵的行数量等于训练样本的数量q。参考样本矩阵的每个行包括三个列信息，三个列信息对应于训练样本的三个多媒体，其中，第一列可以表征锚点多媒体，第二列可以表征第二多媒体，第三列可以表征第三多媒体。在参考样本矩阵中，多个训练样本之间的排列可以是随机的。本说明书实施例中，q*3＝p。
107.步骤s122：对参考样本矩阵进行样本行列转换处理，得到目标样本矩阵，目标样本矩阵的行数为一行。
108.本说明书实施例中，样本行列转换处理可以是将参考样本矩阵(q行
×
3列)转换为1行
×
p列的矩阵，其中，参考样本矩阵中第s行第1列可以转换为第(3*s-2)列，参考样本矩阵中第s行第2列可以转换为第(3*s-1)列，参考样本矩阵中第s行第3列可以转换为第(3*s)列，由此，得到1行
×
p列的目标样本矩阵。
109.本说明书实施例中，在步骤s13中，将目标样本矩阵输入预设多媒体特征提取模型，可以得到1行
×
p列的多媒体特征矩阵。结合图9所示，图9中左侧的虚线箭头表征的是，多媒体特征矩阵中多媒体特征的排列顺序可以与目标样本矩阵中多媒体的排列顺序相对应。
110.结合图7所示，在一种可能的实现方式中，步骤s141可以包括：
111.步骤s1411：基于多个训练样本，对多媒体特征矩阵进行特征行列转换处理，得到目标特征矩阵，特征行列转换处理是样本行列转换处理的逆转换处理，目标特征矩阵的行数为多个训练样本的数量。
112.本说明书实施例中，步骤s141的分组处理可以包括对多媒体特征矩阵进行特征行列转换处理；可以基于参考样本矩阵和目标样本矩阵之间的转换关系，对多媒体特征矩阵进行特征行列转换处理，得到目标特征矩阵。结合图9所示，图9中右侧的虚线箭头表征的是，目标特征矩阵中多媒体特征的排列顺序可以与参考样本矩阵中多媒体的排列顺序相对应。在一个示例中，特征行列转换处理可以是将1行
×
p列的多媒体特征矩阵转换为q行
×
3列的矩阵，可以根据多媒体特征矩阵中第p列中p
÷
3的商(t)和余数(w)确定转换后所在的行列。其中，第p列转换后所在的行是第(t+1)行；在w不等于0的情况下，第p列转换后所在的列是第w列；在w等于0的情况下，第p列转换后所在的列是第3列，由此得到q行
×
3列的目标特征矩阵。
113.目标特征矩阵中q个行信息可以一一对应于q个训练样本。在目标特征矩阵的每个行信息中可以包括三个列信息，三个列信息分别对应于三个多媒体特征，其中第一个多媒体特征对应于锚点多媒体，第二个多媒体特征对应于第一多媒体，第三个多媒体特征对应于第二多媒体。
114.结合图5所示，在一种可能的实现方式中，预设多媒体特征提取模型包括编码模型、融合模型和分割模型。
115.步骤s13可以包括：
116.步骤s131：将目标样本矩阵输入至编码模型，对目标样本矩阵进行编码处理，得到单模态特征矩阵。
117.本说明书实施例中，目标样本矩阵中各个多媒体的格式可以为单模态的标识符序列格式。目标样本矩阵的数量可以为一个或多个；在目标样本矩阵的数量为一个的情况下，标识符序列的模态可以为文本模态、视频模态和音频模态等模态中的一种；在目标样本矩阵的数量为多个的情况下，标识符序列的模态可以包括文本模态、视频帧模态和音频模态等模态中的多种。
118.本说明书实施例中，在步骤s131之前，得到目标样本矩阵后，可以先对目标样本矩阵中的多媒体进行分解处理和序列处理；对各个多媒体进行分解处理，得到两种单模态数据(文本模态数据和视频模态数据)；再对单模态数据进行序列处理，得到各个多媒体的两种单模态的标识符序列，例如，文本模态的长句子可以被处理为单词(word)序列，视频模态可以被处理为视频帧(frame)序列；进而得到一个文本模态标识符序列格式下的目标样本矩阵和一个视频模态标识符序列格式下的目标样本矩阵。
119.在其他示例中，在步骤s131之前，可以对全部训练样本的全部多媒体进行分解处理和序列处理，得到标识符序列格式下的训练样本；再对标识符序列格式下的训练样本进行排序处理，得到单模态标识符序列格式下的目标样本矩阵。
120.步骤s131中，编码模型可以为单模态编码模型，编码模型可以对目标样本矩阵中单模态标识符序列格式下的多媒体进行编码处理，得到目标样本矩阵中各个多媒体对应的单模态特征。不同模态标识符序列格式下的目标样本矩阵可以输入至各自模态对应的编码模型中，对于文本模态，常见的文本模态编码模型包括text-rcnn、bert等；对于视频模态，常见的视频模态编码模型包括c3d、efficientnet、videoswin等。对于每个标识符序列，对应模态的编码模型可以输出固定维度的单模态特征(单模态embedding)，在一个示例中，维度可以为768维。以一个多媒体被分解为两种单模态数据(例如文本模态数据和视频模态数据)的情况为例，则在步骤s131中，针对每个多媒体，可以得到对应的文本模态特征和视频模态特征，从而得到目标样本矩阵对应的文本模态特征矩阵和视频模态特征矩阵。
121.步骤s132：将单模态特征矩阵输入至融合模型，对单模态特征矩阵进行融合处理，得到融合模态特征矩阵。
122.本说明书实施例中，融合模型可以为融合转换模型(transformer模型)，一般为多层transformer结构，融合模型可以用于对输入的单模态特征进行融合转换，得到融合模态特征。融合模态特征矩阵可以包括目标样本矩阵中各多媒体对应的融合模态特征，一个多媒体可以对应于一个融合模态特征。
123.本说明书实施例中，融合模型的参数是可以调整的，可以根据所输入的单模态特征矩阵的种类数量进行相应的调整，确保融合模型可以处理一种单模态特征矩阵或同时处理多种单模态特征矩阵。
124.在一个示例中，结合图9所示，以两种单模态(文本模态和视频模态)为例，将步骤s131得到的文本模态特征矩阵和视频模态特征矩阵一同输入至融合模型，对文本模态特征矩阵和视频模态特征矩阵进行模态交互，得到融合模态特征矩阵。
125.在另一个示例中，以一种模态(文本模态)为例，将步骤s131得到的文本模态特征
矩阵输入至融合模型，对文本模态特征矩阵进行模态交互，得到融合模态特征矩阵。
126.步骤s133：将融合模态特征矩阵输入至分割模型，对融合模态特征矩阵的各融合模态特征进行分割处理，得到多媒体特征矩阵。
127.本说明书实施例中，一个融合模态特征可以包括多媒体特征(cls emb)和模态对应的特征。以一个多媒体被分解为两种单模态数据(例如文本模态数据和视频模态数据)的情况为例，融合模态特征的首位(第0位)是一个cls标志位(多媒体特征cls emb)，它汇聚了全部文本和视频帧的信息，可以看作该多媒体的综合表征；后续则依次是文本模态所对应的特征和视觉模态所对应的特征。
128.本说明书实施例中，分割模型可以对融合模态特征进行分割处理，得到多媒体对应的多媒体特征。多媒体特征矩阵可以包括目标样本矩阵中各个多媒体对应的多媒体特征。
129.结合图8所示，在一种可能的实现方式中，方法还可以包括：
130.步骤s16：根据单模态特征矩阵，确定单模态损失信息。
131.本说明书实施例中，在步骤s131之后，可以将单模态特征矩阵中的单模态特征代入单模态损失函数，得到单模态损失信息。不同模态对应的单模态损失函数不同。在一个示例中，可以根据文本模态特征矩阵确定掩码文本建模损失信息(mlm)，可以根据视频模态特征矩阵确定掩码视频帧建模损失信息(mfm)，掩码文本建模损失信息和掩码视频帧建模损失信息均可以基于无监督的方式确定。
132.步骤s17：根据融合模态特征矩阵，确定参考损失信息，参考损失信息包括交叉熵损失信息和对比损失信息中的一种或多种。
133.本说明书实施例中，一个融合模态特征可以包括多媒体特征(cls emb)和模态对应的特征。在步骤s133的分割处理中，分割模型还可以得到多媒体对应的融合特征。
134.在一个示例中，一个多媒体被分解为两种单模态数据(例如文本模态数据和视频模态数据)，则，融合模态特征可以包括多媒体特征(cls emb)、文本模态所对应的特征和视觉模态所对应的特征；在步骤s17中，除了可以得到多媒体特征cls emb之外，还可以得到文本模态所对应的特征和视觉模态所对应的特征，再对文本模态所对应的特征和视觉模态所对应的特征进行数量维度的平均处理，可以得到文本融合特征(merged text emb)和视频融合特征(merged video emb)。由此，每个多媒体均可以得到一个多媒体特征cls emb、一个文本融合特征merged text emb和一个视频融合特征merged video emb；基于目标样本矩阵则可以得到一个多媒体特征矩阵、一个文本融合特征矩阵和一个视频融合特征矩阵。进一步地，可以根据多媒体特征矩阵确定交叉熵损失信息，交叉熵损失信息可以是一二级行业分类交叉熵损失信息，可以基于有监督的方式确定交叉熵损失信息。可以根据文本融合特征矩阵和视频融合特征矩阵，确定对比损失信息，对比损失信息可以是图文匹配对比学习损失信息，可以基于无监督的方式确定对比损失信息。多媒体特征cls emb可以为10维，文本融合特征merged text emb可以为768维，视频融合特征merged video emb可以为768维，本公开对此不作限定。
135.在另一个示例中，一个多媒体被分解为一种单模态数据(例如文本模态数据)，则，融合模态特征可以包括多媒体特征(cls emb)和文本模态所对应的特征；每个多媒体均可以得到一个多媒体特征cls emb和一个文本融合特征merged text emb，基于目标样本矩阵
则可以得到一个多媒体特征矩阵和一个文本融合特征矩阵。进一步地，可以根据多媒体特征矩阵确定交叉熵损失信息。
136.步骤s15可以包括：
137.步骤s151：基于三重态损失信息和目标损失信息，训练预设多媒体特征提取模型，直至满足预设条件，得到目标多媒体特征提取模型，目标损失信息包括单模态损失信息和参考损失信息中的一种或多种。
138.本说明书实施例中，可以将三重态损失信息与目标损失信息中的任意损失信息相结合，确定目标多媒体特征提取模型。目标损失信息可以是文本建模损失信息、掩码视频帧建模损失信息、交叉熵损失信息和对比损失信息中的一种或多种。
139.本说明书实施例中，可以对三重态损失信息和目标损失信息进行加权处理，可以根据需要为不同损失设置不同的权重，得到整体损失信息，进行梯度计算并回传，训练预设多媒体特征提取模型。
140.本说明书实施例基于包括三重态损失信息在内的多种损失函数信息，进行模型训练，可以得到更加准确的目标多媒体特征提取模型，从而有利于提高后续多媒体推荐的准确性。
141.本说明书实施例，引入了基于对象信息(如对象行为或对象喜好等)的训练样本。本说明书实施例的本质是，在给定一个多媒体后(可以看作对象当前的行为)，让模型学习哪些多媒体更有可能与之一同出现(应该推荐)，哪些多媒体更不可能与之一同出现(不应该推荐)；在训练样本中，第一多媒体与锚点多媒体可以被一同推荐，第二多媒体与锚点多媒体不可以被一同推荐。该监督过程实际上已经脱离了具体模态的限制，完全以每个多媒体整体作为单位，因此更加鲁棒，相对不容易受到数据质量(如图-文匹配错误、一二级类标注误差等)的影响，可适应于不同的推荐场景。基于三重态损失信息训练模型，可以以最终的推荐倾向为目标，在多媒体推荐的大背景下，比其他损失更加直接，因此能够为后续的推荐模型带来更好的效果。
142.结合图10所示，本说明书实施例提供一种多媒体推荐方法，应用于多媒体推荐系统，在一个示例中，多媒体推荐系统可以是单塔模型，单塔模型可以包括预测模型以及多媒体侧的目标多媒体特征提取模型。
143.本说明书实施例提供的多媒体推荐方法包括：
144.步骤s21：确定待推荐对象和待推荐对象对应的目标多媒体。
145.本说明书实施例中，待推荐对象可以是任意对象，目标多媒体可以是被待推荐对象执行预设操作的多媒体。在一个示例中，在监测到任意对象执行预设操作时，可以将该对象确定为待推荐对象，可以将该对象执行预设操作的多媒体确定为目标多媒体。预设操作可以是点击多媒体中的观看按钮、转发按钮或购买按钮等操作，也可以是浏览多媒体的时长达到预设时长等，本公开对此不作限定。
146.步骤s22：将目标多媒体输入目标多媒体特征提取模型，对目标多媒体进行特征提取处理，得到目标多媒体对应的多媒体特征，其中，目标多媒体特征提取模型是根据上述的多媒体特征提取模型的训练方法得到的。
147.本说明书实施例中，在步骤s22之前，先对目标多媒体进行分解处理，得到至少一种单模态数据；再对至少一种单模态数据进行序列处理，得到至少一种单模态的标识符序
列。
148.本说明书实施例中，目标多媒体特征提取模型可以包括目标编码模型、目标融合模型和目标分割模型。在步骤s22中，可以将至少一种单模态的标识符序列分别输入至各自对应的单模态的目标编码模型中，得到至少一种单模态特征；将至少一种单模态特征输入至目标融合模型中，得到一个融合模态特征；将融合模态特征输入至目标分割模型中，得到目标多媒体对应的一个多媒体特征(cls emb)。
149.步骤s23：将目标多媒体对应的多媒体特征输入预测模型，根据目标多媒体对应的多媒体特征对多个预设多媒体进行预测处理，得到多个预设多媒体各自的预测概率。
150.本说明书实施例中，预设多媒体可以属于预测模型对应的预设数据库。在单塔模型中，单塔模型的预测模型可以根据多媒体特征对多个预设多媒体进行预测处理，得到各个预设多媒体对应的预测概率。预测概率可以表征该预设多媒体被待推荐对象执行目标操作的概率。可选的，预测处理可以是点击率预测处理，目标操作可以是点击观看按钮，预测概率可以是点击率预测概率；预测处理也可以是转化率预测处理，目标操作可以是点击购买按钮，预测概率可以是转化率预测概率；本公开对此不做限定。
151.步骤s24：根据多个预设多媒体各自的预测概率，从多个预设多媒体中确定待推荐多媒体。
152.在一个示例中，可以根据多个预设多媒体各自的预测概率(点击率预测概率或转化率预测概率)，按预测概率高低的顺序，对多个预设多媒体进行概率排序处理，将预测概率最高的预设多媒体确定为待推荐多媒体。
153.在其他示例中，可以根据多个预设多媒体各自的点击率预测概率、转化率预测概率和多媒体标价，确定多个预设多媒体各自的多媒体价格信息(effective cost per mille，ecpm)，将多媒体价格信息最大的预设多媒体确定为待推荐多媒体。多媒体标价可以是多媒体的制作方为了在多媒体平台上推广该多媒体而向多媒体平台支付的价格。
154.步骤s25：向待推荐对象推荐待推荐多媒体。
155.本说明书实施例中，在确定待推荐多媒体后，可以通过短信、语音、弹窗等方式向待推荐对象推送待推荐多媒体。
156.本说明书实施例中，目标多媒体特征提取模型的训练样本中，第一多媒体对应的第一对象集合与锚点多媒体对应的锚点对象集合相交，第二多媒体对应的第二对象集合与锚点对象集合不相交，可见，锚点多媒体和第一多媒体之间具有基于锚点对象的相关性，锚点对象是锚点对象集合中的对象；锚点多媒体和第二多媒体之间不具有基于对象的相关性，即，训练样本融入了对象信息(对象行为或对象喜好等)，基于这样的训练样本进行模型训练，可以将对象信息与多媒体素材相结合，将对象信息融入多媒体侧特征生成过程，充分挖掘对象信息和多媒体素材的关联关系，得到更准确的多媒体特征。可见，使用本说明书实施例的目标多媒体特征提取模型，可以得到更准确的多媒体特征，从而提高后续推荐的精确性。
157.在另一个示例中，多媒体推荐系统可以是双塔模型，双塔模型可以包括预测模型、多媒体侧的目标多媒体特征提取模型以及对象侧的对象特征提取模型。目标多媒体特征提取模型可以用于基于目标多媒体生成对应的多媒体特征。对象特征提取模型可以用于基于对象信息(待推荐对象的信息)生成对应的对象特征。双塔模型的预测模型可以根据多媒体
特征和对象特征得到全量特征，基于全量特征对多个预设多媒体进行预测处理，得到各个预设多媒体对应的预测概率。
158.结合图11所示，本说明书实施例还提供一种多媒体特征提取模型训练装置，可以包括：
159.确定模块10，用于从多个多媒体中确定多个训练样本，每个训练样本包括锚点多媒体、第一多媒体以及第二多媒体；锚点多媒体为多个多媒体中的任一个；第一多媒体对应的第一对象集合与锚点多媒体对应的锚点对象集合相交；第二多媒体对应的第二对象集合与锚点对象集合不相交；
160.排序模块20，用于对多个训练样本进行排序处理，得到目标样本矩阵；
161.特征提取模块30，用于将目标样本矩阵输入预设多媒体特征提取模型，进行特征提取处理，得到多媒体特征矩阵，多媒体特征矩阵的行数和目标样本矩阵的行数相同；
162.三重态损失确定模块40，用于根据多媒体特征矩阵，确定三重态损失信息；
163.模型训练模块50，用于基于三重态损失信息训练预设多媒体特征提取模型，直至满足预设条件，得到目标多媒体特征提取模型。
164.在一种可能的实现方式中，三重态损失确定模块40可以包括：
165.分组单元，用于对多媒体特征矩阵中的多媒体特征，进行分组处理，得到目标特征矩阵，目标特征矩阵为多个训练样本各自对应的样本特征，每个样本特征为锚点多媒体、第一多媒体和第二多媒体各自对应的多媒体特征；
166.三重态损失确定单元，用于根据目标特征矩阵的多个样本特征，确定三重态损失信息。
167.在一种可能的实现方式中，每个训练样本中，锚点多媒体、第一多媒体和第二多媒体按预设多媒体排列顺序排列；
168.目标样本矩阵中相邻的两个训练样本为不同的训练样本。
169.在一种可能的实现方式中，排序模块20可以包括：
170.样本间排列单元，用于对多个训练样本进行样本间排列处理，得到参考样本矩阵，参考样本矩阵的多个行信息分别对应于多个训练样本；
171.样本行列转换单元，用于对参考样本矩阵进行样本行列转换处理，得到目标样本矩阵，目标样本矩阵的行数为一行；
172.分组单元可以包括：
173.特征行列转换子单元，用于基于多个训练样本，对多媒体特征矩阵进行特征行列转换处理，得到目标特征矩阵，特征行列转换处理是样本行列转换处理的逆转换处理，目标特征矩阵的行数为多个训练样本的数量。
174.在一种可能的实现方式中，预设多媒体特征提取模型包括编码模型、融合模型和分割模型；
175.特征提取模块30可以包括：
176.编码单元，用于将目标样本矩阵输入至编码模型，对目标样本矩阵进行编码处理，得到单模态特征矩阵；
177.融合单元，用于将单模态特征矩阵输入至融合模型，对单模态特征矩阵进行融合处理，得到融合模态特征矩阵；
178.分割单元，用于将融合模态特征矩阵输入至分割模型，对融合模态特征矩阵的各融合模态特征进行分割处理，得到多媒体特征矩阵。
179.在一种可能的实现方式中，方法还可以包括：
180.单模态损失确定模块，用于根据单模态特征矩阵，确定单模态损失信息；
181.参考损失确定模块，用于根据融合模态特征矩阵，确定参考损失信息，参考损失信息包括交叉熵损失信息和对比损失信息中的一种或多种；
182.模型训练模块50包括：
183.模型训练单元，用于基于三重态损失信息和目标损失信息，训练预设多媒体特征提取模型，直至满足预设条件，得到目标多媒体特征提取模型，目标损失信息包括单模态损失信息和参考损失信息中的一种或多种。
184.在一种可能的实现方式中，确定模块10可以包括：
185.第一确定单元，用于从多个多媒体中确定锚点多媒体；
186.第二确定单元，用于确定锚点多媒体对应的锚点对象集合、候选多媒体集合以及第二多媒体集合，锚点对象集合为对锚点多媒体执行过预设操作的对象的集合，候选多媒体集合包括被锚点对象集合中各锚点对象执行过预设操作的多媒体；第二多媒体集合包括多个多媒体中除候选多媒体集合之外的多媒体；
187.筛选单元，用于从候选多媒体集合中筛选出第一多媒体集合，第一多媒体集合包括候选多媒体集合中除锚点多媒体之外的多媒体；
188.排列单元，用于按照预设多媒体排列顺序，对锚点多媒体、第一多媒体以及第二多媒体进行排列处理，得到多个训练样本；第一多媒体为第一多媒体集合中的任一个，第二多媒体为第二多媒体集合中的任一个。
189.关于上述实施例中的装置，其中各个模块和单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
190.图12示出根据本技术一实施例提供的一种用于多媒体特征提取模型训练或者多媒体推荐的电子设备的框图。该电子设备可以是服务器，其内部结构图可以如图12所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多媒体特征提取模型的训练方法或者多媒体推荐方法。
191.本领域技术人员可以理解，图12中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
192.在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本技术实施例中的多媒体特征提取模型的训练方法或者多媒体推荐方法。
193.在示例性实施例中，还提供了一种存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本技术实施例中的多媒体资源处理方法。
194.在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本技术实施例中的多媒体特征提取模型的训练方法或者多媒体推荐方法。
195.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
196.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
197.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。