推荐多媒体的处理方法、装置、电子设备与存储介质与流程

1.本发明涉及了车辆领域，尤其涉及一种推荐多媒体的处理方法、装置、电子设备与存储介质。


背景技术：

2.在车辆驾驶时，用户往往都会有想使用多媒体的意图。
3.在现有的相关技术中，目前多媒体推荐的内容主要根据用户的多媒体使用行为，为每一个多媒体找出被相同类型用户使用过的其它多媒体，来推荐给用户。
4.这种方法虽然可以根据用户的使用多媒体历史挖掘出该用户可能感兴趣的多媒体，但没有综合考虑用户的特征以及所处环境的特征，进而在使用多媒体时多媒体所推荐的信息都不太符合用户的需求。


技术实现要素：

5.本发明提供了一种推荐多媒体的处理方法、装置、电子设备与存储介质，以解决在驾驶车辆中使用多媒体时多媒体推荐的信息不太符合用户的需求问题。
6.根据本发明的第一方面，提供了一种推荐多媒体的处理方法，包括：
7.获取当前目标特征，所述当前目标特征包括当前用户的用户特征和当前车辆所处环境的驾驶环境特征；
8.将所述当前目标特征输入第一模型，得到表征所述当前目标特征的当前第一向量；
9.获取多个当前第二向量；所述当前第二向量是将对应多媒体素材的多媒体特征输入第二模型后，所述第二模型输出的能够表征对应的多媒体特征的向量；
10.其中，所述第一模型与所述第二模型被训练为通过第一向量与第二向量之间的关系来表征出多媒体素材相对于用户和车辆环境的匹配程度；
11.根据所述当前第一向量与所述当前第二向量，推荐适配于所述当前用户与所述当前车辆所处环境的目标多媒体素材。
12.可选的，所述第一模型与所述第二模型具体被训练为：
13.通过第一向量与第二向量之间的相似度来表征出多媒体素材相对于用户和车辆的匹配程度，相似度越高，对应的匹配程度也越高。
14.可选的，所述根据所述当前第一向量与所述当前第二向量，推荐适配于所述当前用户与所述当前车辆所处环境的目标多媒体素材，包括：
15.计算所述当前第一向量与所述当前第二向量的当前相似度；
16.基于所述当前相似度，确定所述目标多媒体素材，并推荐所述目标多媒体素材。
17.可选的，其中的相似度为余弦相似度。
18.所述用户特征包括以下至少之一：年龄特征、性别特征、常驻区域特征，以及用户行为特征；其中，所述用户行为特征描述了用户操作多媒体的行为。
19.所述驾驶环境特征包括以下至少之一：时间特征、地点特征、天气特征。
20.所述多媒体特征包括以下至少之一：总播放时长、多媒体发布时间距今天数、多媒体类型、是否付费。
21.可选的，所述将所述当前目标特征输入第一模型，得到表征所述当前目标的当前第一向量，包括：
22.对所述当前目标特征进行预处理，得到预处理后的当前目标特征；
23.对所述预处理后的当前目标特征进行拼接，得到拼接后的当前目标特征；
24.将所述拼接后的当前目标特征输入所述第一模型，得到所述当前第一向量。
25.所述当前第二向量是通过以下过程形成的：对所述对应多媒体素材的多媒体特征进行预处理，得到预处理后的多媒体特征；
26.对所述预处理后的多媒体特征进行拼接，得到拼接后的多媒体特征；
27.将所述拼接后的多媒体特征输入所述第二模型，得到所述当前第二向量。
28.可选的，所述对所述当前目标特征进行预处理，得到预处理后的当前目标特征，包括以下至少之一：
29.对所述当前目标特征中的年龄特征进行独热编码；
30.对所述当前目标特征中的性别特征、常驻区域特征，用户行为特征，以及驾驶环境中的时间特征、地点特征、天气特征进行降维，所述用户行为特征描述了用户操作多媒体的行为；
31.所述对所述对应多媒体素材的多媒体特征进行预处理，得到预处理后的多媒体特征，包括以下至少之一：
32.对所述对应多媒体素材的多媒体特征中的总播放时长、多媒体发布时间距今天数进行独热编码；
33.对所述对应多媒体素材的多媒体特征中的多媒体类型、是否付费的信息进行降维。
34.根据本发明的第二方面，提供了一种推荐多媒体的处理装置，包括：
35.获取模块，用于获取当前目标特征，所述当前目标特征表征了当前用户的用户特征和当前车辆所处环境的驾驶环境特征；
36.第一向量得到模块，用于将所述当前目标特征输入第一模型，得到表征所述当前目标特征的当前第一向量；
37.第二向量获取模块，用于获取多个当前第二向量；所述当前第二向量是将对应多媒体素材的多媒体特征输入第二模型后，所述第二模型输出的能够表征对应的多媒体特征的向量；
38.其中，所述第一模型与所述第二模型被训练为通过第一向量与第二向量之间的关系来表征出多媒体相对于用户和车辆环境的匹配程度；
39.推荐模块，用于根据所述当前第一向量与所述当前第二向量，推荐适配于所述当前用户与所述当前车辆所处环境的目标多媒体素材多媒体。
40.根据本发明的第三方面，提供了一种电子设备，包括存储器与处理器：
41.所述存储器用于存储代码；
42.所述处理器，用于执行所述存储器中的代码用于实现第一方面及其可选方案涉及
的方法。
43.根据本发明的第四方面，提供了一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现第一方面及其可选方案涉及的方法。
44.本发明提供了一种推荐多媒体的处理方法、装置、电子设备与存储介质，通过结合当前用户的特征和当前车辆所处环境的驾驶环境的特征作为当前目标特征输入第一模型，得到表征当前目标特征的当前第一向量，再加上多个多媒体特征输入第二模型，得到表征对应多媒体特征的多个当前第二向量，根据所述当前第一向量与所述当前第二向量，推荐适配于所述当前用户与所述当前车辆所处环境的目标多媒体。由此，使得筛选出的多媒体更加匹配于用户和当前车辆所处环境，从而达到了推荐多媒体准确性与适配性的提高，进一步的提升了用户的体验效果。
45.在此基础上，引入了相似度算法，用代表当前用户的用户特征、当前车辆的驾驶环境特征的第一向量和代表当前多媒体特征的第二向量夹角的余弦相似度来衡量匹配程度，筛选出的多媒体更加匹配用户和当前车辆所处环境的需求，从而使得多媒体的推荐效果提高的同时更进一步的提高了用户的体验效果。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1是本发明一实施例中推荐多媒体的处理方法的流程示意图；
48.图2是本发明一实施例中对当前目标特征进行预处理示意图；
49.图3是本发明一实施例中推荐目标多媒体示意图；
50.图4是本发明一实施例中推荐多媒体的处理装置的程序模块示意图；
51.图5是本发明一实施例中电子设备的构造示意图。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的哪些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变性，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
54.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施
例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
55.本实施例所涉及的为用户推荐多媒体的处理方法可应用于智能车载终端或连接于智能车载终端的服务器。
56.其中的智能车载终端，可以为车辆本身的车机，也可以是连接于车机的其他任意智能设备，还可以是用户的终端设备，例如手机、平板电脑等。
57.请参考图1，推荐多媒体的处理方法，包括：
58.s11：获取当前目标特征；
59.s12：将所述当前目标特征输入第一模型，得到表征所述当前目标特征的当前第一向量；
60.s13：获取多个当前第二向量；
61.s14：根据所述当前第一向量与所述当前第二向量，推荐适配于所述当前用户与所述当前车辆所处环境的目标多媒体素材。
62.其中，所述当前目标特征可以包括当前用户的用户特征，如：年龄特征、性别特征、常驻区域特征以及用户行为特征。所述当前用户是指当前车辆所属的用户。
63.所述用户行为特征描述了用户操作多媒体的行为，包括以下至少之一：用户在某一多媒体的操作页面的收藏操作、下一个/上一个操作、不喜欢操作。
64.当前目标特征也可以包括当前驾驶环境特征，如：时间特征、地点特征、天气特征等。
65.所述第一向量是将对应当前目标特征输入第一模型，所述第一模型输出的能够表征对应的当前目标特征的向量；
66.所述第二向量是将对应多媒体素材的多媒体特征输入第二模型后，所述第二模型输出的能够表征对应的多媒体特征的向量；所述多媒体素材包括视频、音频、图片等至少之一。
67.其中，所述多媒体特征，包括：总播放时长、多媒体发布时间距今天数、多媒体类型、是否付费。
68.可选的，所述第一模型与所述第二模型具体被训练为：
69.通过第一向量与第二向量之间的相似度来表征出多媒体素材相对于用户和车辆环境的匹配程度；其中，相似度越高，对应的匹配程度也越高；
70.所述根据所述当前第一向量与所述当前第二向量，推荐适配于所述当前用户与所述当前车辆所处环境的目标多媒体素材，包括：
71.计算所述当前第一向量与所述当前第二向量的当前相似度；
72.基于所述当前相似度，确定所述目标多媒体，并推荐所述目标多媒体。
73.可选的，计算所述当前第一向量与所述当前第二向量的当前相似度，所述当前相似度为余弦相似度。
74.其中，所述第一模型与所述第二模型被训练为通过第一向量与第二向量之间的关系来表征出多媒体相对于用户和车辆所处环境的匹配程度。
75.可选的，所述第一模型与所述第二模型是指通过深度学习网络模型而得到的两个模型。模型评估可以使用auc(area underthe curve)指标；并且两个训练好的模型存储到redis内存数据库中。
76.一种举例中，当前第一向量与当前第二向量的余弦相似度越高，代表当前目标特征与对应目标多媒体特征与相似度越高。另一种举例中，当前第一向量与当前第二向量的夹角越小，代表当前目标特征与对应多媒体目标特征越高。
77.其中一种实施方式中，
78.获取当前目标特征的过程可以例如：通过车机的摄像头所拍摄得到的图像后，可从图像中识别出至少部分用户特征，也可基于图像而识别其中的用户身份，得到身份识别结果(或基于其他方式得到身份识别结果)，然后可基于身份识别结果而调取至少部分用户特征，另部分举例中，至少部分用户特征也可以是用户通过车机输入框输入得到的，只要确定了当前目标特征的内容，不论采用何种方式，均不脱离本发明实施例的保护范围。
79.其中，请参考图2，步骤s12可以包括：
80.s121：对所述当前目标特征进行预处理，得到预处理后的当前目标特征；
81.其中，所述预处理包括以下至少之一：
82.对所述当前目标特征中的年龄特征进行独热编码；
83.对所述当前目标特征中的性别特征、常驻区域特征，用户行为特征，以及驾驶环境中的时间特征、地点特征、天气特征进行降维。
84.其中，所述独热编码是指：利用0和1表示一些参数，使用n位状态寄存器来对n个状态进行编码。
85.如，独热编码的第一步是确定编码对象，如在年龄特征中可确定为：[“少年”、“青年”、“中年”、“老年”]，紧接着确定分类变量：少年、青年、中年、老年共四种类别。那么对于每一个样本都有四种特征。对应的独热编码如下：
[0086]
[“少年”、“青年”、“中年”、“老年”]
‑‑
》[[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1]]。
[0087]
所述降维是指：将高维数据映射到低维空间来解决稀疏输入数据的问题。其中，高维数据是指用户的性别、常驻城市等级、常驻城市区域、时间、地点、天气等数据；所述低维空间是指平面上的二维空间。
[0088]
部分举例中，在性别特征中有girl,woman,boy,man；且每个单词都看做一个节点，在处理降维时，挖掘这四个节点之间的关系；此时用两个结点表示四个单词，每个节点取不同值意义。那么此时，girl就可以表示为[0,0]，woman就可以表示为[0,1]，boy就可以表示为[1,0]，而man则可以表示为[1,1]。
[0089]
s122：对所述预处理后的当前目标特征进行拼接，得到拼接后的当前目标特征；
[0090]
s123：将所述拼接后的当前目标特征输入所述第一模型，得到所述当前第一向量；
[0091]
一种举例中，将以上两个拼接特征表征喂给经过深度学习网络的模型(即一种第一模型)，经过两个全连接层后转化成固定长度的向量，得到了维度相同的用户、环境表征(即一种第一向量)。
[0092]
在步骤s13中所获取到的多个当前第二向量，可以是通过以下过程形成的：
[0093]
对所述对应多媒体素材的多媒体特征进行预处理，得到预处理后的多媒体特征；
[0094]
其中，所述对所述对应多媒体素材的多媒体特征进行预处理包括以下至少之一：
[0095]
对所述当前多媒体特征中的总播放时长、多媒体发布时间距今天数进行独热编码；
[0096]
对所述当前多媒体特征中的多媒体类型、是否付费进行降维。
[0097]
预处理之后，可以对所述预处理后的多媒体特征进行拼接，得到拼接后的多媒体特征；
[0098]
将所述拼接后的多媒体特征输入所述第二模型，得到所述当前第二向量。
[0099]
其中，所述当前第二向量的维度与当前第一向量的维度一样。
[0100]
此外，以上形成当前第二向量的过程，可预先执行，例如，可在执行推荐多媒体的处理方法之前，预先针对每个多媒体素材形成第二向量，进而在步骤s13中提取对应的第二向量作为当前第二向量，其他举例中，也可在步骤s13的过程中执行以上形成当前第二向量的过程。
[0101]
其中，请参考图3，步骤s14可以包括：
[0102]
s141：计算所述当前第一向量与所述当前第二向量的当前相似度；
[0103]
其中，相似度越高，对应的匹配程度也越高；
[0104]
若所述当前相似度为余弦相似度，则：
[0105]
所述余弦相似度的计算方式为，
[0106]
其中θ表示第一向量与第二向量的夹角。
[0107]
具体举例中，若现有代表当前目标特征的第一向量a与代表多个多媒体特征的第二向量b1、b2、b3......bn，分别计算代表当前目标特征的第一向量与各个代表多媒体特征的第二向量b1、b2、b3......bn的余弦相似度cosθ1、cosθ2、cosθ3......cosθn。
[0108]
s142：基于所述当前相似度，确定所述目标多媒体素材，并推荐所述目标多媒体素材。
[0109]
通过所计算出的余弦相似度cosθ1、cosθ2、cosθ3......cosθn，对其所对应的多媒体进行从大到小的排列，选择结果较大的多个多媒体子集作为用户召回内容，这样就完成了向驾驶行程中的用户推荐多媒体的推荐部分任务。
[0110]
以上方案中，不再局限于总的多媒体库或用户使用过的多媒体进行随机推荐，而会结合当前用户的特征，当前环境的特征、多媒体的特征来计算多媒体与当前用户、当前环境的匹配程度，从而推荐出与当前用户、当前环境所相似度最高的多媒体，在很大程度上使得多媒体的推荐效果提升，而且对用户的体验感也得到了很大的提高。
[0111]
本说明书提供的多媒体推荐方法，实现了在向用户推荐多媒体信息的过程中，结合了对用户信息与驾驶环境信息的处理，使得筛选出的多媒体信息更加容易的触动用户，从而使得多媒体信息的推荐效果提高的同时更进一步的提高了用户的体验效果。
[0112]
图4是本发明一实施例中为用户推荐多媒体的处理装置的程序模块示意图。
[0113]
请参考图4，为用户推荐多媒体处理装置200，包括：
[0114]
获取模块201，用于获取当前目标特征，所述当前目标特征表征了当前用户的用户特征和当前车辆所处环境的驾驶环境特征；
[0115]
处理第一向量得到模块202，用于将所述当前目标特征输入第一模型，得到表征所述当前目标特征的当前第一向量；
[0116]
第二向量获取模块203，用于获取多个当前第二向量；所述当前第二向量是将对应多媒体素材的多媒体特征输入第二模型后，所述第二模型输出的能够表征对应的多媒体特
征的向量；
[0117]
其中，所述第一模型与所述第二模型被训练为通过第一向量与第二向量之间的关系来表征出多媒体相对于用户和车辆环境的匹配程度；
[0118]
反馈推荐模块204，用于根据所述当前第一向量与所述当前第二向量，推荐适配于所述当前用户与所述当前车辆所处环境的目标多媒体素材。
[0119]
可选的，所述第一模型与所述第二模型具体被训练为：
[0120]
通过第一向量与第二向量之间的相似度来表征出多媒体素材相对于用户和车辆环境的匹配程度；其中，相似度越高，对应的匹配程度也越高；
[0121]
所述推荐模块204，具体用于：
[0122]
计算所述当前第一向量与所述当前第二向量的当前相似度；
[0123]
基于所述当前相似度，确定所述目标多媒体素材，并推荐所述目标多媒体素材。
[0124]
可选的，其中的相似度为余弦相似度。
[0125]
可选的，所述用户特征包括以下至少之一：年龄特征、性别特征、常驻区域特征，以及用户行为特征，所述用户行为特征描述了用户操作多媒体素材的行为；
[0126]
所述驾驶环境特征包括以下至少之一：时间特征、地点特征、天气特征。
[0127]
所述多媒体特征，包括：总播放时长、多媒体发布时间距今天数、多媒体类型、是否付费。
[0128]
可选的，所述第一向量得到模块，具体用于：
[0129]
对所述当前目标特征进行预处理，得到预处理后的当前目标特征；
[0130]
对所述预处理后的当前目标特征进行拼接，得到拼接后的当前目标特征；
[0131]
将所述拼接后的当前目标特征输入所述第一模型，得到所述当前第一向量；
[0132]
所述当前第二向量是通过以下过程形成的：
[0133]
对所述对应多媒体素材的多媒体特征进行预处理，得到预处理后的多媒体特征；
[0134]
对所述预处理后的多媒体特征进行拼接，得到拼接后的多媒体特征；
[0135]
将所述拼接后的多媒体特征输入所述第二模型，得到所述当前第二向量。
[0136]
可选的，所述对所述当前目标特征进行预处理，得到预处理后的当前目标特征，包括以下至少之一：
[0137]
对所述当前目标特征中的年龄特征进行独热编码；
[0138]
对所述当前目标特征中的性别特征、常驻区域特征，用户行为特征，以及驾驶环境中的时间特征、地点特征、天气特征进行降维，所述用户行为特征描述了用户操作多媒体的行为；
[0139]
所述对所述对应多媒体素材的多媒体特征进行预处理，得到预处理后的多媒体特征，包括以下至少之一：
[0140]
对所述对应多媒体素材的多媒体特征中的总播放时长、多媒体发布时间距今天数进行独热编码；
[0141]
对所述对应多媒体素材的多媒体特征中的多媒体类型、是否付费的信息进行降维。
[0142]
综上，本实施例提供的推荐多媒体处理装置，能够做到在向用户推荐多媒体信息的过程中，结合了对用户信息与驾驶环境信息的处理，使得筛选出的多媒体信息更加容易
的触动用户，从而使得多媒体信息的推荐效果提高的同时更进一步的提高了用户的体验效果。
[0143]
图5是本发明一实施例中电子设备的构造示意图。
[0144]
请参考图5，提供了一种电子设备30，包括：
[0145]
处理器31；以及，
[0146]
存储器32，用于存储所述处理器的可执行命令；
[0147]
其中，所述处理器31配置为经由执行所述可执行指令来执行以上所涉及的方法。
[0148]
处理器31能够通过总线33与存储器32通讯。
[0149]
本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
[0150]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0151]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。