视频与音频的匹配方法、装置、存储介质与电子设备与流程

[0001]
本公开涉及计算机技术领域，尤其涉及一种视频与音频的匹配方法、视频与音频的匹配装置、计算机可读存储介质与电子设备。


背景技术：

[0002]
在制作视频时，经常需要为视频匹配合适的音频。例如一些视频平台允许用户上传自己制作的视频，并提供为视频匹配音频的功能。
[0003]
相关技术中，大多在用户制作或上传视频时，由系统推荐一些热门音频，用户在推荐的热门音频中进行选取，这样局限在热门音频的范围内，导致视频的背景音乐多样性较低。当用户在系统推荐的热门音频中没有找到合适的音频时，需要进一步选择音频类别、输入音乐名称来搜索相关音频，操作繁琐，使得音频匹配的效率比较低。
[0004]
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

[0005]
本公开提供了一种视频与音频的匹配方法、装置、计算机可读存储介质与电子设备，进而至少在一定程度上解决相关技术中音频匹配的局限性较强以及效率低下的问题。
[0006]
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]
根据本公开的第一方面，提供一种视频与音频的匹配方法，包括：确定待匹配视频中不同图像帧之间的变化度，得到所述待匹配视频的图像变化度；通过识别所述待匹配视频中的所述图像帧的标签，确定所述待匹配视频的标签；将所述待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，以及将所述待匹配视频的标签与所述各个音频的标签进行匹配，确定与所述待匹配视频匹配的一个或多个目标匹配音频。
[0008]
在本公开的一种示例性实施例中，所述确定待匹配视频中不同图像帧之间的变化度，包括：确定所述待匹配视频中不同图像帧之间的相似度；根据所述不同图像帧之间的相似度确定所述不同图像帧之间的变化度。
[0009]
在本公开的一种示例性实施例中，所述确定待匹配视频中不同图像帧之间的变化度，包括：确定所述待匹配视频中相邻两图像帧之间的变化度。
[0010]
在本公开的一种示例性实施例中，所述确定所述待匹配视频中相邻两图像帧之间的变化度，包括：遍历所述待匹配视频，确定每一图像帧与上一图像帧之间的变化度。
[0011]
在本公开的一种示例性实施例中，所述确定待匹配视频中不同图像帧之间的变化度，得到所述待匹配视频的图像变化度，还包括：将所述每一图像帧与上一图像帧之间的变化度进行平均，得到所述待匹配视频的图像变化度。
[0012]
在本公开的一种示例性实施例中，所述将所述待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，以及将所述待匹配视频的标签与所述各个音频的标签进
行匹配，确定与所述待匹配视频匹配的一个或多个目标匹配音频，包括：将所述待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，从所述音频库中确定预匹配音频；将所述待匹配视频的标签与各个预匹配音频的标签进行匹配，从所述预匹配音频中确定所述目标匹配音频。
[0013]
在本公开的一种示例性实施例中，所述将所述待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，从所述音频库中确定预匹配音频，包括：获取所述音频库中各个音频的节奏强度；根据所述各个音频的节奏强度和所述待匹配视频的图像变化度之差，确定所述各个音频与所述待匹配视频的第一匹配度；根据所述各个音频与所述待匹配视频的第一匹配度，确定所述预匹配音频。
[0014]
在本公开的一种示例性实施例中，所述根据所述各个音频与所述待匹配视频的第一匹配度，确定所述预匹配音频，包括：选取所述第一匹配度最高的一个或多个所述音频，作为所述预匹配音频。
[0015]
在本公开的一种示例性实施例中，所述选取所述第一匹配度最高的一个或多个所述音频，包括：选取所述第一匹配度最高的第一预定数量的所述音频。
[0016]
在本公开的一种示例性实施例中，所述将所述待匹配视频的标签与各个预匹配音频中各个音频对应的标签进行匹配，从所述预匹配音频中确定所述目标匹配音频，包括：对于任一预匹配音频，将所述任一预匹配音频的标签与所述待匹配视频的标签进行对比，以其中相同的标签形成所述任一预匹配音频的标签匹配列表；根据所述标签匹配列表确定所述任一预匹配音频与所述待匹配视频的第二匹配度；根据各个预匹配音频与所述待匹配视频的第二匹配度，确定所述目标匹配音频。
[0017]
在本公开的一种示例性实施例中，所述根据所述标签匹配列表确定所述任一预匹配音频与所述待匹配视频的第二匹配度，包括：根据所述标签匹配列表中每个标签所属类别的通用值，确定所述任一预匹配音频与所述待匹配视频的第二匹配度。
[0018]
在本公开的一种示例性实施例中，所述根据各个预匹配音频与所述待匹配视频的第二匹配度，确定目标匹配音频，包括：选取所述第二匹配度最高的一个或多个所述预匹配音频，作为所述目标匹配音频。
[0019]
在本公开的一种示例性实施例中，所述选取所述第二匹配度最高的一个或多个所述预匹配音频，包括：选取所述第二匹配度最高的第二预定数量的所述预匹配音频。
[0020]
在本公开的一种示例性实施例中，当所述预匹配音频的数量小于所述第二预定数量时，所述方法还包括：将所述预匹配音频全部确定为所述目标匹配音频；从所述预匹配音频以外的热门音频中确定作为补充的所述目标匹配音频，使补充后的所述目标匹配音频的数量为所述第二预定数量。
[0021]
在本公开的一种示例性实施例中，所述方法还包括：展示所述目标匹配音频的信息，使用户从中选择一个最终匹配音频。
[0022]
根据本公开的第二方面，提供一种视频与音频的匹配装置，包括：图像变化度确定模块，用于确定待匹配视频中不同图像帧之间的变化度，得到所述待匹配视频的图像变化度；视频标签确定模块，用于通过识别所述待匹配视频中的所述图像帧的标签，确定所述待匹配视频的标签；目标音频确定模块，用于将所述待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，以及将所述待匹配视频的标签与所述各个音频的标签进行匹
配，确定与所述待匹配视频匹配的一个或多个目标匹配音频。
[0023]
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述视频与音频的匹配方法。
[0024]
根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述视频与音频的匹配方法。
[0025]
本公开的技术方案具有以下有益效果：
[0026]
上述视频与音频的匹配过程中，确定待匹配视频中不同图像帧之间的变化度，得到待匹配视频的图像变化度，通过识别待匹配视频中的图像帧的标签，确定待匹配视频的标签，将待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，以及将待匹配视频的标签与各个音频的标签进行匹配，确定与待匹配视频匹配的一个或多个目标匹配音频。一方面，本方案通过待匹配视频的图像变化度与标签两方面的结合，来确定目标匹配音频。其中，通过获取待匹配视频的图像变化度，使得视频的图形变化度与所选取的音频的节奏强度能够相互匹配，例如对于图像变化度较大的视频匹配节奏强度高的音频；通过识别待匹配视频中的图像帧的标签，使得待匹配视频的主题和所选取的音频的主题更加匹配；从而，本方案使得选取目标匹配音频能够在主题和节奏上更加契合待匹配视频，更加符合用户对音频的需求，在提高音频匹配效率的同时，也能够提高了音频匹配度，进一步提升了用户体验。另一方面，由于所选取的目标匹配音频不局限在热门音频中，可以针对待匹配视频的特性针对性的从音频库中选取目标匹配音频，音频选择范围更广，进一步提高了音频选取的多样性。
[0027]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0028]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]
图1示出本示例性实施方式中一种视频与音频的匹配方法的流程图；
[0030]
图2示出本实例性实施方式中一种确定不同图像帧之间变化度的流程图；
[0031]
图3示出本实例性实施方式中一种确定目标匹配音频的流程图；
[0032]
图4示出本实例性实施方式中一种确定预匹配音频的的流程图；
[0033]
图5示出本实例性实施方式中一种从预匹配音频中确定目标匹配音频的流程图；
[0034]
图6示出本实例性实施方式中一种选取第二预定数量的预匹配音频作为目标匹配音频的流程图；
[0035]
图7示出本实例性实施方式中一种视频与音频的匹配的系统结构图；
[0036]
图8示出本示例性实施方式中一种视频与音频的匹配装置的结构框图；
[0037]
图9示出本示例性实施方式中一种用于实现上述方法的电子设备。
具体实施方式
[0038]
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
[0039]
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0040]
本文中，“第一”、“第二”等是对特定对象的标记，而并非限定对象的数量或次序。
[0041]
相关技术中，当为视频匹配音频时，通过推荐一些热门的音频给用户，供用户选择。但是热门音频并一定能很好地匹配到用户想要匹配的视频，例如，为用户推荐的热门音频通常是节奏比较欢快的音频，如果用户上传的视频为画面内容比较舒缓的风景拍摄，显然热门音频与该视频无法很好地匹配。另外，当热门音频无法满足用户的需求时，用户一般通过音频类别的分类，从中选择想要匹配的音频类别，再从选取的音频类别中选择合适的音频进行匹配，或者通过搜索框对音频进行搜索来选取用户想要匹配的音频。音频匹配过程，操作繁琐，效率低下，会影响用户体验。
[0042]
鉴于上述一个或多个问题，本公开的示例性实施方式提供一种视频与音频的匹配方法。
[0043]
图1示出了本示例性实施方式中视频与音频的匹配方法的示意性流程，包括以下步骤s110至s130：
[0044]
步骤s110，确定待匹配视频中不同图像帧之间的变化度，得到待匹配视频的图像变化度；
[0045]
步骤s120，通过识别待匹配视频中的图像帧的标签，确定待匹配视频的标签；
[0046]
步骤s130，将待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，以及将待匹配视频的标签与各个音频的标签进行匹配，确定与待匹配视频匹配的一个或多个目标匹配音频。
[0047]
上述视频与音频的匹配过程中，确定待匹配视频中不同图像帧之间的变化度，得到待匹配视频的图像变化度，通过识别待匹配视频中的图像帧的标签，确定待匹配视频的标签，将待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，以及将待匹配视频的标签与各个音频的标签进行匹配，确定与待匹配视频匹配的一个或多个目标匹配音频。一方面，本方案通过待匹配视频的图像变化度与标签两方面的结合，来确定目标匹配音频。其中，通过获取待匹配视频的图像变化度，使得视频的图形变化度与所选取的音频的节奏强度能够相互匹配，例如对于图像变化度较大的视频匹配节奏强度高的音频；通过识
别待匹配视频中的图像帧的标签，使得待匹配视频的主题和所选取的音频的主题更加匹配；从而，本方案使得选取目标匹配音频能够在主题和节奏上更加契合待匹配视频，更加符合用户对音频的需求，在提高音频匹配效率的同时，也能够提高了音频匹配度，进一步提升了用户体验。另一方面，由于所选取的目标匹配音频不局限在热门音频中，可以针对待匹配视频的特性有针对性的从音频库中选取目标匹配音频，音频选择范围更广，进一步提高了音频选取的多样性。
[0048]
下面分别对图1中的每个步骤进行具体说明。
[0049]
步骤s110中，确定待匹配视频中不同图像帧之间的变化度，得到待匹配视频的图像变化度。
[0050]
待匹配视频是指需要匹配音频的视频。可以对待匹配视频进行解析操作，获取待匹配视频中的按时间顺序排列的图像帧。图像帧之间的变化度是对图像帧之间的差异进行的定量表示。待匹配视频的图像变化度是指从视频全局层面上对不同图像帧之间的变化度进行整体的定量表示。
[0051]
在一种可选的实施方式中，如图2所示，可以通过以下步骤s210至s220来确定待匹配视频中不同图像帧之间的变化度：
[0052]
在步骤s210中，确定待匹配视频中不同图像帧之间的相似度。
[0053]
不同图像帧之间的相似度，可以包括相邻图像帧之间的相似度，也可以包括不相邻图像帧之间的相似度。需要说明的是，上述在确定不同图像帧之间的相似度的过程中，可以对待匹配视频中所有不同图像帧之间的相似度进行确定，也可以对待匹配视频中的部分不同图像帧之间的相似度进行确定。
[0054]
在步骤s220中，根据不同图像帧之间的相似度确定不同图像帧之间的变化度。
[0055]
当不同图像帧之间的相似度用百分比来表示时，不同图像帧之间的变化度可以表示为y＝100-x*100，其中，x表示不同图像帧之间的相似度，y表示不同图像帧之间的变化度。
[0056]
当不同图像帧之间的相似度进行了归一化处理时，不同图像帧之间的变化度可以表示为y＝1-x，其中，x表示不同图像帧之间的相似度，y表示不同图像帧之间的变化度。
[0057]
一般的，图像帧之间的相似度越高，变化度越低；图像帧之间的相似度越低，变化度越高。
[0058]
除了相似度以外，还可以通过其他方式确定图像帧之间的变化度，例如可以直接将两图像帧的像素值相减，得到两图像帧之间的变化度。
[0059]
在上述图2所示的步骤中，通过确定待处理视频中不同图像帧之间的变化度，主要是为了进一步确定待处理视频的变化度，以便通过待处理视频的变化度来确定需要匹配的音频的节奏强度。
[0060]
步骤s110中，可以选取相邻的图像帧，计算变化度，也可以选取不相邻的图像帧，计算变化度。
[0061]
例如，步骤s110可以包括：
[0062]
确定待匹配视频中相邻两图像帧之间的变化度。
[0063]
需要说明的是，在确定待匹配视频中相邻两图像帧之间的变化度的过程中，可以对待匹配视频中每相邻图像帧之间的变化度进行确定，也可以对待匹配视频中部分相邻图
像帧之间的变化度进行确定。
[0064]
上述过程中，通过确定相邻两图像帧之间的变化度，使得变化度确定更加精细，更能代表视频图像的变化度。
[0065]
又例如，可以将待处理视频分割为多个片段，在每个片段中，计算第一图像帧与后续每一图像帧之间的变化度。
[0066]
待处理视频的图像变化度是从全局上对不同图像帧之间的变化度进行表示。为了得到准确的图像变化度，用于计算变化度的图像帧可以覆盖整个待处理视频，例如，步骤s110可以包括：
[0067]
遍历待匹配视频，确定每一图像帧与上一图像帧之间的变化度。
[0068]
由上述过程确定的图像帧之间的变化度，更加全面的覆盖到了待匹配视频的每一图像帧。
[0069]
在一种可选的实施方式中，也可以从待处理视频中选取具有代表性的一部分关键图像帧，计算不同的关键图像帧之间的变化度。
[0070]
在确定不同图像帧的变化度后，可以通过不同的计算方法得到待处理视频的图像变化度。
[0071]
在一种可选的实施方式中，可以对不同图像帧的变化度进行平均，例如步骤s110可以包括：
[0072]
将每一图像帧与上一图像帧之间的变化度进行平均，得到待匹配视频的图像变化度。
[0073]
可以通过对不同图像帧之间的变化度进行平均，得到待匹配视频的变化度。上述确定待匹配视频的图像变化度的过程简单高效，为后续匹配音频的节奏强度提供了匹配对象。
[0074]
在一种可选的实施方式中，也可以在上述对不同图像帧的变化度进行平均的基础上，将平均值乘以与待处理视频的时长相关的系数，得到待处理视频的图像变化度。该系数一般与待处理视频的时长负相关，例如系数＝待处理视频的时长/视频平均时长。由此，可以降低时长的不同对视频的图像变化度的影响。
[0075]
继续参考图1，步骤s120中，通过识别待匹配视频中的图像帧的标签，确定待匹配视频的标签。
[0076]
在识别待匹配视频中的图像帧的标签之前，可以根据场景的不同，将图像进行分类。例如旅行、工作、宅、酒吧、运动、军旅、宗教、美食、游戏、商场等分类体系，按照每个分类的通用性为每个分类来设置通用值，例如旅行的通用值为5，酒吧的通用值为1，美食的通用值为3，为每个分类设置一个或多个标签，例如旅行，包含标签树林，山峰，雪山，海边等标签。
[0077]
可以通过识别待匹配视频中的图像帧的内容，确定图像帧所对应的标签。需要说明的是，每一图像帧标签可以对应多个标签。可以对待匹配视频中的各个图像帧所对应的标签进行分类汇总，进而确定待匹配视频的标签。
[0078]
在一种可选的实施方式中，统计每个图像帧的标签，计算每个标签的出现比例，例如待处理视频包括n个图像帧，其中m个图像帧的标签中均包括标签t1，则t1的出现比例为m/n。然后选取出现比例高于预设的比例阈值的标签，作为待处理视频的标签，比例阈值可
以根据经验或实际情况(如考虑待处理视频的帧数)设置，本公开对此不做限定。
[0079]
继续参考图1，步骤s130中，将待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，以及将待匹配视频的标签与各个音频的标签进行匹配，确定与待匹配视频匹配的一个或多个目标匹配音频。
[0080]
上述音频库可以为预先设置的音频库。需要说明的是，步骤s130包括两种匹配方式：将待匹配视频的图像变化度与音频的节奏强度进行匹配；与将待匹配视频的标签与音频的标签进行匹配。这两种匹配方式的执行顺序可以根据实际需要进行调整，包括以下具体方案：
[0081]
方案一、先将待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，得到预匹配音频，再将待匹配视频的标签与预匹配音频的标签进行匹配，进而确定与待匹配视频匹配的目标匹配音频。
[0082]
方案二、先将待匹配视频的标签与音频库中各个音频的标签进行匹配，得到预匹配音频，再将待匹配视频的图像变化度与预匹配音频的节奏强度进行匹配，进而确定与待匹配视频匹配的目标匹配音频。
[0083]
方案三、同时执行上述两个过程，将待匹配视频的图像变化度与音频的节奏强度进行匹配，得到一个或多个第一音频，将待匹配视频的标签与音频的标签进行匹配，得到一个或多个第二音频，对第一音频与第二音频取交集或并集，确定与待匹配视频匹配的目标匹配音频。
[0084]
以上述方案一为例，进行具体说明：
[0085]
在一种可选的实施方式中，步骤s130还可以通过以下步骤s310至s320来确定与待匹配视频匹配的一个或多个目标匹配音频，如图3所示：
[0086]
在步骤s310中，将待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，从音频库中确定预匹配音频。
[0087]
在一种可选的实施方式中，一种将待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，从音频库中确定预匹配音频的方法，如图4所示，包括以下步骤s410至s430：
[0088]
在步骤s410中，获取音频库中各个音频的节奏强度。
[0089]
在获取音频库中各个音频的节奏强度之前，根据音频库中的每个音频的节奏强度，为每个音频设置相应的节奏强度值。可以设置为0至100以内的数值。为了方便后续的匹配操作，也可以对节奏强度进行归一化处理，设置成0到1之间的值。需要说明的是，节奏强度可以与视频的图像变化度处于相同的数值水平，例如图像变化度的数值范围为0～1，则节奏强度的数值范围也设为0～1。
[0090]
在步骤s420中，根据各个音频的节奏强度和待匹配视频的图像变化度之差，确定各个音频与待匹配视频的第一匹配度。
[0091]
计算音频的节奏强度和待匹配视频的图像变化度的差值时，可以对差值取绝对值，以保证差值均为正值，便于后续处理。第一匹配度是音频的节奏强度和待匹配视频的图像变化度的匹配程度。各个音频的节奏强度和待匹配视频的图像变化度的差值越大，第一匹配度越小；各个音频的节奏强度和待匹配视频的图像变化度的差值越小，第一匹配度越大。当图像变化度的数值范围和节奏强度的数值范围为0～1时，假设音频1的节奏强度和待
匹配视频的图像变化度的差值的绝对值为x，可以用1-x表示音频1与待匹配视频的第一匹配度。
[0092]
在步骤s430中，根据各个音频与待匹配视频的第一匹配度，确定预匹配音频。
[0093]
可以从音频库中选取与待匹配视频的第一匹配度比较高的音频作为预匹配音频。
[0094]
在上述图4所示的步骤中，可以根据各个音频的节奏强度和待匹配视频的图像变化度的差值从小到大的顺序，对音频库中的音频进行排序，按照从前向后的顺序从音频库中进行预匹配音频的选取。也可以根据各个音频的节奏强度和待匹配视频的图像变化度的差值从大到小的顺序，对音频库中的音频进行排序，按照从后向前的顺序从音频库中进行预匹配音频的选取。通过音频的节奏强度和待匹配视频的图像变化度的差值，来确定音频第一匹配度的高低，过程简单，易于实现。
[0095]
在一种可选的实施方式中，步骤s430可以通过选取第一匹配度最高的一个或多个音频，作为预匹配音频。
[0096]
举例来说：可以选取第一匹配度高于预先设定的第一匹配度阈值的音频为预匹配音频。
[0097]
也可以选取第一匹配度最高的第一预定数量的预匹配音频。第一预定数量是预先设置的预匹配音频的固定数量，可以是任意正整数。
[0098]
选取匹配度最高的音频，可以看成是选取各个音频的节奏强度和待匹配视频的图像变化度的差值最小的音频。该过程明确了选取预匹配音频的规则，即选取匹配度最高的音频作为预匹配音频，为预匹配音频的选取提供了选取的依据。
[0099]
在一种可选的实施方式中，选取第一匹配度最高的一个或多个音频时，可以选取第一匹配度最高的第一预定数量的音频。
[0100]
第一预定数量为预先设定的预匹配音频的数量。若音频库中包含音频的数量不足第一预定数量时，则可以将音频库中所有音频确定为预匹配音频。
[0101]
在步骤s320中，将待匹配视频的标签与各个预匹配音频的标签进行匹配，从预匹配音频中确定目标匹配音频。
[0102]
可以预先对音频库中每个音频进行分类与标签设置，例如可以对音频的名称、标题、歌词等进行文本语义的分类识别，得到音频对应的类别与标签。如音频1，类别是旅行，标签为树林、山峰。需要说明的是，可以为每个音频确定多个类别或多个标签。
[0103]
在上述图3所示的步骤中，从预匹配音频中确定目标匹配音频，使得音频在能够匹配待匹配视频的图像变化度的基础上，进一步匹配待匹配视频的标签。通过对待匹配视频的图像变化度和标签的双重匹配，使得选取的目标匹配音频与待匹配视频的匹配效果更好，在节奏和主题上也更加符合用户的需求。
[0104]
在一种可选的实施方式中，如图5所示，步骤s320包括以下步骤s510至s530：
[0105]
在步骤s510中，对于任一预匹配音频，将该预匹配音频的标签与待匹配视频的标签进行对比，以其中相同的标签形成该预匹配音频的标签匹配列表。
[0106]
为每个预匹配音频都生成一个标签匹配列表，标签匹配列表中所包含的标签可以是一个或多个，也可以设置为空值。
[0107]
例如，预匹配音频1的标签包括t1、t3、t4、t11，待匹配视频的标签包括t2、t3、t4、t9、t11、t14、t16，两部分标签取交集，得到预匹配音频1的标签匹配列表，包括t3、t4和t11。
[0108]
在步骤s520中，根据标签匹配列表确定预匹配音频与待匹配视频的第二匹配度。
[0109]
第二匹配度是预匹配音频中音频的标签与待匹配视频的标签的匹配程度。标签匹配程度越高，第二匹配度越高。标签匹配程度越低，第二匹配度越低。
[0110]
在一种可选的实施方式中，步骤s520可以根据标签匹配列表中每个标签所属类别的通用值，确定任一预匹配音频与待匹配视频的第二匹配度。
[0111]
可以将预匹配音频的标签匹配列表中每个标签所属类别的通用值求和，作为该预匹配音频与待匹配视频的第二匹配度。例如：预匹配音频1的标签匹配列表包括t3、t4和t11，假设t3和t11所属类别均为c1，c1的通用值为s1，t4所属类别为c3，c3的通用值为s3，则预匹配音频1与待匹配视频的第二匹配度为2s1+s3。该过程将第二匹配度与音频的匹配标签进行了关联，为后续依据第二匹配度来进行目标匹配音频的选取，提供了参考依据。通过标签匹配列表来确定所对应的音频第二匹配度的高低，过程简单，易于实现。
[0112]
在步骤s530中，根据各个预匹配音频与待匹配视频的第二匹配度，确定目标匹配音频。
[0113]
可以从预匹配音频中选取与待匹配视频的第二匹配度比较高的音频作为目标匹配音频。例如：根据预匹配音频和待匹配视频的第二匹配度从大到小的顺序，对预匹配音频进行排序，按照从前向后的顺序从预匹配音频中进行目标匹配音频的选取。
[0114]
在一种可选的实施方式中，步骤s530可以包括：选取第二匹配度最高的一个或多个预匹配音频，作为目标匹配音频。
[0115]
举例来说：可以选取第二匹配度最高的一个预匹配音频。
[0116]
也可以选取第二匹配度高于预先设定的第二匹配度阈值的预匹配音频。
[0117]
还可以选取第二匹配度最高的第二预定数量的预匹配音频。第二预定数量是预先设置的目标匹配音频的固定数量，可以是任意正整数。第二预定数量还可以是第一预定数量的1/k，例如k可以是2。
[0118]
当预匹配音频的数量超过第二预定数量时，可以通过如下步骤获取符合第二预定数量的预匹配音频：
[0119]
(1)将第二匹配度从大到小进行排序，得到列表e，使用数值f来记录当前已经获取的音频数量，将数值f的初始值设置为0。
[0120]
(2)从列表e中按序选取一个第二匹配度，获取该匹配度对应的音频，将当前第二匹配度对应的音频数量与数值f相加，判断数值f第二预定数量的大小。
[0121]
(3)若数值f小于第二预定数量，则将当前第二匹配度对应的音频确定为目标匹配音频，检查列表e是否还存在下一个第二匹配度，若有则循环步骤(2)；若数值f大于第二预定数量，则将当前第二匹配度对应的音频中随机选取部分音频作为目标匹配音频，确保最终选取的目标匹配音频的数量等于第二预定数量。
[0122]
由于在选取第二匹配度最高的第二预定数量的预匹配音频时，可能存在多个音频与待匹配视频的第二匹配度相同，采用上述方法可以确保最终选取的目标匹配音频的数量正好为第二预定数量。
[0123]
在一种可选的实施方式中，当预匹配音频的数量小于第二预定数量时，如图6所示，包括以下步骤s610至s620：
[0124]
在步骤s610中，将预匹配音频全部确定为目标匹配音频。
[0125]
在步骤s620中，从预匹配音频以外的热门音频中确定作为补充的目标匹配音频，使补充后的目标匹配音频的数量为第二预定数量。
[0126]
上述热门音频可以设置为使用率或点击率比较高的音频。在预匹配音频数量不足的情况下，提供了一种选取固定数量音频的方法，将热门音频作为目标匹配音频的备选音频，既能为用户提供足够数量的音频，也能够为用户提供更丰富的选择，因此采用热门音频补充目标匹配音频从一定程度上能够提高用户体验。
[0127]
在一种可选的实施方式中，还包括：展示目标匹配音频的信息，使用户从中选择一个最终匹配音频。
[0128]
可以将所确定的目标匹配音频呈现给用户，以便用户从中选取所需音频，并将最终选取的音频与待匹配视频进行合成。
[0129]
图7提供了一种视频与音频的匹配的系统结构图，包括视频解析模块710、匹配规则管理模块720、图像识别模块730、图像相似度计算模块740、匹配音频处理模块750以及视频生成模块760。图7中的带有箭头的线表示各个模块之间的调用关系，匹配音频处理模块750可以对其余五个模块进行调用，下面对图7中的六个模块进行说明：
[0130]
视频解析模块710，主要是解析待匹配视频的内容，抽取得到待匹配视频的全部的图像帧信息。
[0131]
匹配规则模块720，主要用于管理和维护，图像分类信息、图像的标签信息。
[0132]
图像识别模块730，主要对图像帧中的图像信息进行识别，得到图像帧的标签信息。
[0133]
图像相似度计算模块740，对一个有序的图像列表的内容进行比对，计算图像之间的相似度。
[0134]
匹配音频处理模块750，基于图像识别模块识别的结果和图像相似度的结果，得到视频的类别和图像帧内容切换的频率，根据这两块内容进行匹配相关音频内容。
[0135]
视频生成模块760，基于现有视频和匹配好的音频，生成新的视频。
[0136]
本公开的示例性实施方式还提供一种视频与音频的匹配装置。如图8所示，该视频与音频的匹配装置800可以包括：
[0137]
图像变化度确定模块810，用于确定待匹配视频中不同图像帧之间的变化度，得到待匹配视频的图像变化度；
[0138]
视频标签确定模块820，用于通过识别待匹配视频中的图像帧的标签，确定待匹配视频的标签；
[0139]
目标音频确定模块830，用于将待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，以及将待匹配视频的标签与各个音频的标签进行匹配，确定与待匹配视频匹配的一个或多个目标匹配音频。
[0140]
在一种可选的实施方式中，确定待匹配视频中不同图像帧之间的变化度，可以包括：确定待匹配视频中不同图像帧之间的相似度；根据不同图像帧之间的相似度确定不同图像帧之间的变化度。
[0141]
在一种可选的实施方式中，确定待匹配视频中不同图像帧之间的变化度，还可以包括：相邻图像帧变化度确定模块，用于确定待匹配视频中相邻两图像帧之间的变化度。
[0142]
在一种可选的实施方式中，相邻图像帧变化度确定模块，被配置为：遍历待匹配视
频，确定每一图像帧与上一图像帧之间的变化度。
[0143]
在一种可选的实施方式中，图像变化度确定模块810，被配置为：将每一图像帧与上一图像帧之间的变化度进行平均，得到待匹配视频的图像变化度。
[0144]
在一种可选的实施方式中，目标音频确定模块830，包括：预匹配音频确定模块，用于将待匹配视频的图像变化度与音频库中各个音频的节奏强度进行匹配，从音频库中确定预匹配音频；第一目标音频确定子模块，用于将待匹配视频的标签与各个预匹配音频的标签进行匹配，从预匹配音频中确定目标匹配音频。
[0145]
在一种可选的实施方式中，预匹配音频确定模块，包括：音频节奏获取模块，用于获取音频库中各个音频的节奏强度；第一匹配度确定模块，用于根据各个音频的节奏强度和待匹配视频的图像变化度之差，确定各个音频与待匹配视频的第一匹配度；第一预匹配音频确定子模块，用于根据各个音频与待匹配视频的第一匹配度，确定预匹配音频。
[0146]
在一种可选的实施方式中，第一预匹配音频确定子模块，被配置为：选取第一匹配度最高的一个或多个音频，作为预匹配音频。
[0147]
在一种可选的实施方式中，选取第一匹配度最高的一个或多个音频，包括：选取第一匹配度最高的第一预定数量的音频。
[0148]
在一种可选的实施方式中，第一目标音频确定子模块，包括：标签匹配列表生成模块，用于对于任一预匹配音频，将任一预匹配音频的标签与待匹配视频的标签进行对比，以其中相同的标签形成任一预匹配音频的标签匹配列表；第二匹配度确定模块，用于根据标签匹配列表确定任一预匹配音频与待匹配视频的第二匹配度；第二目标音频确定子模块，用于根据各个预匹配音频与待匹配视频的第二匹配度，确定目标匹配音频。
[0149]
在一种可选的实施方式中，第二匹配度确定模块，被配置为：根据标签匹配列表中每个标签所属类别的通用值，确定任一预匹配音频与待匹配视频的第二匹配度。
[0150]
在一种可选的实施方式中，第二目标音频确定子模块，被配置为：选取第二匹配度最高的一个或多个预匹配音频，作为目标匹配音频。
[0151]
在一种可选的实施方式中，选取第二匹配度最高的一个或多个预匹配音频，包括第二预匹配音频模块，被配置为：选取第二匹配度最高的第二预定数量的预匹配音频。
[0152]
在一种可选的实施方式中，当预匹配音频的数量小于第二预定数量时，第二预匹配音频模块，还被配置为：将预匹配音频全部确定为目标匹配音频；从预匹配音频以外的热门音频中确定作为补充的目标匹配音频，使补充后的目标匹配音频的数量为第二预定数量。
[0153]
在一种可选的实施方式中，还包括：视频生成模块，被配置为：展示目标匹配音频的信息，使用户从中选择一个最终匹配音频。
[0154]
上述视频与音频的匹配装置800中各部分的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
[0155]
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。该程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并
可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0156]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0157]
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0158]
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0159]
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0160]
本公开的示例性实施方式还提供了一种能够实现上述方法的电子设备。下面参照图9来描述根据本公开的这种示例性实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本公开实施方式的功能和使用范围带来任何限制。
[0161]
如图9所示，电子设备900可以以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930和显示单元940。
[0162]
存储单元920存储有程序代码，程序代码可以被处理单元910执行，使得处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元910可以执行图1至图6中任意一个或多个方法步骤。
[0163]
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)921和/或高速缓存存储单元922，还可以进一步包括只读存储单元(rom)923。
[0164]
存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块925包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0165]
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储
单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0166]
电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0167]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。
[0168]
此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
[0169]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0170]
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
[0171]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。