视频处理方法及装置与流程

[0001]
本发明涉及互联网技术领域，尤其涉及一种视频处理方法及装置。


背景技术：

[0002]
在视频相似应用中，通常通过比对不同视频对应位置视频帧的相似度来判断不同视频间的相似性，但若抽出视频的所有视频帧进行比对，势必要处理庞大的数据，耗时较多；而实际上，很多视频的内容在短时间内是相似的，并不需要逐帧比对，为此，相关技术针对视频做等间隔抽帧处理以减少处理复杂度。
[0003]
然而，对于内容变化较快的视频而言，采用该类技术抽取的视频帧并不能很好代表时间间隔内的视频内容，比如，当两个相似视频只是错开了一个小片段时，使用该类技术会导致抽取的视频帧发生较大变化，从而导致最后做相似判断的时候，得出两个视频是不相似的错误结论。


技术实现要素：

[0004]
本发明实施例提供一种视频处理方法及装置，能够提高视频匹配的准确度及效率。
[0005]
本发明实施例提供一种视频处理方法，包括：
[0006]
对目标视频进行分段处理，得到所述目标视频的多个视频片段；
[0007]
分别对各所述视频片段进行视频帧间的内容切换检测，得到对应各所述视频片段的检测结果；
[0008]
基于所述检测结果，分别从各所述视频片段中抽取样本帧图像；
[0009]
将抽取的所述目标视频的样本帧图像与待匹配视频中相应位置的视频帧图像进行相似度匹配，得到匹配结果；
[0010]
基于所述匹配结果，确定所述目标视频与所述待匹配视频的关联关系。
[0011]
本发明实施例还提供一种视频处理装置，包括：
[0012]
分段单元，用于对目标视频进行分段处理，得到所述目标视频的多个视频片段；
[0013]
检测单元，用于分别对各所述视频片段进行视频帧间的内容切换检测，得到对应各所述视频片段的检测结果；
[0014]
抽取单元，用于基于所述检测结果，分别从各所述视频片段中抽取样本帧图像；
[0015]
匹配单元，用于将抽取的所述目标视频的样本帧图像与待匹配视频中相应位置的视频帧图像进行相似度匹配，得到匹配结果；
[0016]
确定单元，用于基于所述匹配结果，确定所述目标视频与所述待匹配视频的关联关系。
[0017]
上述方案中，所述分段单元，还用于基于所述目标视频的帧率，对所述目标视频进行分段处理，得到多个视频片段。
[0018]
上述方案中，所述检测单元，还用于分别确定各所述视频片段中相邻视频帧间的
像素点的差异度；
[0019]
基于所述差异度，确定各所述视频片段的多个特征值；
[0020]
基于各所述视频片段的多个特征值，确定各所述视频片段对应的特征值方差；
[0021]
当所述特征值方差超过方差阈值时，确定对应的所述视频片段发生内容切换。
[0022]
上述方案中，所述抽取单元，还用于基于各所述视频片段的多个特征值及对应的所述特征值方差，确定各所述视频片段中视频帧的内容变化值；
[0023]
基于各所述视频片段中视频帧的内容变化值，确定各所述视频片段中所述内容变化值最大的视频帧；
[0024]
基于所述内容变化值最大的视频帧，确定各所述视频片段中的样本帧；
[0025]
分别从各所述视频片段中抽取所述样本帧，得到多个样本帧图像。
[0026]
上述方案中，所述抽取单元，还用于当所述特征值方差未超过方差阈值时，依据设定位置分别从所述视频片段中抽取样本帧，得到样本帧图像。
[0027]
上述方案中，所述匹配单元，还用于分别对所述目标视频的各所述样本帧图像进行特征提取，得到各样本帧图像的样本帧图像特征；
[0028]
分别对所述待匹配视频的各所述视频帧图像进行特征提取，得到各所述视频帧图像的视频帧图像特征；
[0029]
分别将所述样本帧图像的样本帧图像特征及相应位置的所述视频帧图像的视频帧图像特征进行相似度匹配，得到匹配结果。
[0030]
上述方案中，所述确定单元，还用于当所述匹配结果表征多个所述样本帧图像中满足匹配条件的样本帧图像的数量达到数量阈值时，确定所述目标视频与所述待匹配视频为相同的视频；
[0031]
其中，所述满足匹配条件的样本帧图像为：样本帧图像特征与相应位置视频帧图像的视频帧图像特征的相似度达到相似度阈值的样本帧图像。
[0032]
本发明实施例还提供了一种电子设备，包括：
[0033]
存储器，用于存储可执行指令；
[0034]
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的视频处理方法。
[0035]
本发明实施例还提供了一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的视频处理方法。
[0036]
应用本发明实施例具有以下有益效果：
[0037]
分别对各视频片段进行视频帧间的内容切换检测，得到检测结果，基于检测结果从视频片段中抽取样本帧图像，分别将抽取的样本帧图像与待匹配视频中相应位置的视频帧图像进行相似度匹配，得到匹配结果，并基于匹配结果，确定目标视频与待匹配视频的关联关系；如此，通过考虑视频帧间内容的变化，抽取的样本帧图像能够很好地代表对应的视频片段的视频内容，将样本帧图像与待匹配视频中相应位置的视频帧图像进行匹配，能够提高视频匹配的准确度及效率。
附图说明
[0038]
图1为本发明实施例提供的视频处理系统的架构示意图；
[0039]
图2为本发明实施例提供的服务器的硬件结构示意图；
[0040]
图3为本发明实施例提供的视频版权检测的实施场景示意图；
[0041]
图4为本发明实施例提供的冗余视频管理的实施场景示意图；
[0042]
图5为本发明实施例提供的视频推荐的实施场景示意图；
[0043]
图6为本发明实施例提供的视频处理方法的流程示意图；
[0044]
图7为本发明实施例提供的视频处理方法的流程示意图；
[0045]
图8为本发明实施例提供的视频处理方法的流程示意图；
[0046]
图9为本发明实施例提供的视频处理装置的结构示意图。
具体实施方式
[0047]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0048]
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0049]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
[0050]
图1是本发明实施例提供的视频检测系统的一个可选的架构示意图，参见图1，为实现支撑一个示例性应用，终端(包括终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线或有线链路实现数据传输。
[0051]
终端(如终端400-1)，用于发送视频处理请求给服务器200，视频处理请求中携带目标视频；
[0052]
服务器200，用于基于视频处理请求，对目标视频进行分段处理，得到目标视频的多个视频片段；分别对各视频片段进行视频帧间的内容切换检测，得到对应各视频片段的检测结果；基于检测结果，分别从各视频片段中抽取样本帧图像；将抽取的目标视频的样本帧图像与待匹配视频中相应位置的视频帧图像进行相似度匹配，得到匹配结果；基于匹配结果，确定目标视频与待匹配视频的关联关系，并返回处理结果给终端；
[0053]
这里，在实际应用中，服务器200既可以为单独配置的支持各种业务的一个服务器，亦可以配置为一个服务器集群。
[0054]
终端(终端400-1和/或终端400-2)，还用于显示所述处理结果。
[0055]
在实际应用中，终端可以为智能手机、平板电脑、笔记本电脑、可穿戴计算设备、个人数字助理(pda)、台式计算机、蜂窝电话、媒体播放器、导航设备、游戏机、电视机等、或者这些数据处理设备或其他数据处理设备中任意两个或多个的组合。
[0056]
在一些实施例中，终端上设置有视频播放客户端，用户通过视频播放客户端可进行视频的在线播放、视频的上传及下载等，示例性地，用户通过视频播放客户端进行视频(即目标视频)上传，视频播放客户端发送携带目标视频的上传请求给服务器，服务器解析
视频播放客户端发送的上传请求，得到目标视频，对目标视频进行分段处理，得到目标视频的多个视频片段；分别对各视频片段进行视频帧间的内容切换检测，得到对应各视频片段的检测结果；基于检测结果，分别从各视频片段中抽取样本帧图像；将抽取的目标视频的样本帧图像与待匹配视频中相应位置的视频帧图像进行相似度匹配，得到匹配结果；基于匹配结果，确定目标视频与待匹配视频的关联关系，并返回相应的处理结果。
[0057]
下面对实施本发明实施例实施视频处理方法的电子设备进行说明。在一些实施例中，电子设备可以为终端，还可以为服务器。本发明实施例以电子设备为服务器为例，对服务器的硬件结构做详细说明。
[0058]
图2为本发明实施例提供的服务器的硬件结构示意图，可以理解，图2仅仅示出了服务器的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。参见图2，本发明实施例提供的服务器包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。服务器中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
[0059]
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
[0060]
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。
[0061]
本发明实施例中的存储器202用于存储各种类型的数据以支持服务器的操作。这些数据的示例包括：用于在服务器上操作的任何可执行指令，如可执行指令，实现本发明实施例的方法的程序可以包含在可执行指令中。
[0062]
本发明实施例揭示的视频处理方法可以由处理器201实现。处理器201可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，视频处理方法的各步骤可以通过处理器201中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器201可以是通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器201可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器202，处理器201读取存储器202中的信息，结合其硬件完成本发明实施例提供的视频处理方法的步骤。
[0063]
基于上述对本发明实施例的视频处理系统及电子设备的说明，接下来对本发明实施例提供的视频处理方法的应用场景或领域进行介绍，需要说明的是，本发明实施例的视频处理方法并不限于以下所提到的场景或领域：
[0064]
1、视频版权检测
[0065]
图3为本发明实施例提供的视频版权检测的实施场景示意图，接下来结合图1及图3，对本发明实施例视频处理方法应用于视频版权检测的场景进行说明。
[0066]
以终端为图1中的终端400-1为例，终端上设置有视频播放客户端，视频播放客户
端对应的后台服务器为图1中的服务器200，用户通过视频播放客户端进行视频(如a电影)的上传，视频播放客户端发送携带a电影的上传请求给后台服务器；
[0067]
后台服务器的视频库中存储有多个具有版权归属属性(如版权归属为视频播放客户端的用户即视频发布者，或者版权归属为播放平台)的视频；后台服务器基于上传请求，对a电影进行分段处理，得到a电影的多个视频片段；分别对各视频片段进行视频帧间的内容切换检测，得到对应各视频片段的检测结果；基于检测结果，分别从各视频片段中抽取样本帧图像；将抽取的目标视频的样本帧图像与视频库中的视频中相应位置的视频帧图像进行相似度匹配，得到匹配结果；基于匹配结果，确定a电影与视频库中的视频的关联关系，并返回相应的处理结果给终端，例如，若确定a电影与视频库中的视频相同，即查找到与a电影相同的视频，返回禁止上传的信息给终端；若确定a电影与视频库中的视频不相同，即未查找到与a电影相同的视频，返回上传成功的信息给终端。
[0068]
应用本发明实施例的视频处理方法可有效的对视频提供版权保护，有效的维护视频上传者及播放平台的权益。
[0069]
2、冗余视频管理
[0070]
图4为本发明实施例提供的冗余视频管理的实施场景示意图，接下来结合图1及图4，对本发明实施例视频处理方法应用于冗余视频管理的场景进行说明。
[0071]
以第一终端为图1中的终端400-1、第一终端上设置有视频播放客户端、第二终端为图1中的终端400-2、视频播放客户端对应的后台服务器为图1中的服务器200为例，其中，第一终端面向视频观看者，第二终端面向视频播放客户端的管理者，在一些实施例中，管理者亦可通过第二终端上设置的视频播放客户端进行视频播放。
[0072]
在实际实施时，第二终端上设置有管理软件(如管理客户端)，管理者通过管理工具提供的用户界面，可对后台服务器上存储的对应视频播放客户端的资源进行管理。
[0073]
在一些实施例中，第二终端发送携带目标视频的重复性查询请求给后台服务器，后台服务器解析第二终端发送的重复性查询请求，得到目标视频，对目标视频进行分段处理，得到目标视频的多个视频片段；分别对各视频片段进行视频帧间的内容切换检测，得到对应各视频片段的检测结果；基于检测结果，分别从各视频片段中抽取样本帧图像；将抽取的目标视频的样本帧图像与待匹配视频中相应位置的视频帧图像进行相似度匹配，得到匹配结果；基于匹配结果，确定目标视频与待匹配视频的关联关系，并返回相应的处理结果，例如，若确定目标视频与待匹配视频相同，即查找到与目标视频相同的视频，返回相应的视频信息(如视频标识、视频名称)给第二终端，若确定目标视频与待匹配视频不相同，即未查找到与目标视频相同的视频，返回未查找到相同视频的信息给第二终端；
[0074]
管理者基于后台服务器返回的查找结果可进行相应的处理，例如，若第二终端接收到后台服务器返回的与目标视频相同的视频信息，可基于该视频信息进行视频的删除，如此，可减少对后台服务器存储空间的占用，净化视频播放平台的存量视频。
[0075]
3、视频推荐
[0076]
图5为本发明实施例提供的视频推荐的实施场景示意图，接下来结合图1及图5，对本发明实施例视频处理方法应用于视频推荐的场景进行说明。
[0077]
以终端为图1中的终端400-1为例，终端上设置有视频播放客户端，视频播放客户端对应的后台服务器为图1中的服务器200，用户通过视频播放客户端可进行视频观看。
[0078]
在一些实施例中，后台服务器可通过视频播放客户端进行视频推荐，后台服务器上设置有视频库，其中，视频库中存储有一段时间内推荐过的视频。
[0079]
在进行视频推荐之前，后台服务器对待推荐视频(即目标视频)进行分段处理，得到待推荐视频的多个视频片段；分别对各视频片段进行视频帧间的内容切换检测，得到对应各视频片段的检测结果；基于检测结果，分别从各视频片段中抽取样本帧图像；将抽取的待推荐视频的样本帧图像与视频库中存储的已推荐的视频中相应位置的视频帧图像进行相似度匹配，得到匹配结果；基于匹配结果，确定待推荐视频与已推荐视频的关联关系，并基于确定结果判断是否对待推荐视频进行推荐，例如，若待推荐视频与已推荐视频相同，即查找到与待推荐视频相同的视频，则不对该视频进行推荐，如此，可实现对推荐视频的过滤，避免视频的重复推荐；若待推荐视频与已推荐视频不相同，即未查找到与待推荐视频相同的视频，则将该视频推送至视频播放客户端，以进行视频推荐。
[0080]
接下来对本发明实施例提供的视频处理方法进行说明，图6为本发明实施例提供的视频处理方法的流程示意图，在一些实施例中，该视频处理方法可由服务器或终端实施，或由服务器及终端协同实施，以服务器实施为例，如通过图1中的服务器200实施，结合图1及图6，本发明实施例提供的视频处理方法包括：
[0081]
步骤601：服务器对目标视频进行分段处理，得到目标视频的多个视频片段。
[0082]
在实际应用中，目标视频既可以为一个完整的视频，如一个完整的电影文件，也可以为一个视频片段，如一个电影的片段节选。
[0083]
在实际实施时，由于视频数据是由连续的图像组成的，不便于直接处理，因此，服务器在对目标视频进行抽帧之前，先将目标视频分成若干个相对独立的视频片段，由于视频大多是由多段镜头拼接而成，镜头内部各帧图像是连续变化的，因此，服务器可先将目标视频分成一个个独立的镜头，然后对每个镜头提取关键帧来表示该镜头。
[0084]
在一些实施例中，服务器还可通过如下方式得到目标视频的多个视频片段：
[0085]
基于目标视频的帧率，对目标视频进行分段处理，得到多个视频片段。
[0086]
这里，假设目标视频的帧率为30fps，即每秒显示的图像为30帧，则基于目标视频的帧率，可将目标视频分割成一个个时长为1秒且包含有30帧图片的视频片段。
[0087]
步骤602：分别对各视频片段进行视频帧间的内容切换检测，得到对应各视频片段的检测结果。
[0088]
在实际应用中，在检测视频帧内容变化时，由于视频帧间的色度和饱和度变化不大，亮度信息变化较大，而hsv颜色空间对亮度的变化更为敏感，因此，在对视频帧间的内容进行检测之前，可将各视频片段内的视频帧图像从rgb格式转换为hsv格式。
[0089]
在一些实施例中，服务器可通过如下方式对各视频片段进行视频帧间的内容切换检测，得到对应各视频片段的检测结果：
[0090]
分别确定各视频片段中相邻视频帧间的像素点的差异度；基于差异度，确定各视频片段的多个特征值；基于各视频片段的多个特征值，确定各视频片段对应的特征值方差；当特征值方差超过方差阈值时，确定对应的视频片段发生内容切换。
[0091]
在实际实施时，需先采集视频片段中相邻视频帧间的像素点，采用帧间像素点匹配法，分别计算hsv三通道中相邻视频帧间的像素点的差异度，并将三通道中相邻视频帧间的像素点的差异度求和，得到相邻视频帧间的像素点的差异度：
[0092]
f_v
i
＝∑
i
∑
c＝0,1,2
(c1
ci-c2
ci
)；
ꢀꢀꢀ
(1)
[0093]
其中，f_v
i
表示第i帧图像的特征值，c1、c2表示两个相邻视频帧的图片，i为图片的像素。
[0094]
由此，即可得到视频片段中的一系列特征值：f_v1、f_v2…
f_v
fps
(fps为帧率)，从中可求得该系列特征值的平均值mean及特征值方差std，特征值方差std可以很好的反映视频片段像素特征的波动，当特征值方差std大于方差阈值t时，认为该视频片段内的视频内容变化较大，确定对应的视频片段发生了内容切换；当特征值方差未超过方差阈值时，认为该视频片段内的视频内容变化不大，确定对应的视频片段并未发生内容切换。
[0095]
步骤603：基于检测结果，分别从各视频片段中抽取样本帧图像。
[0096]
在实际应用中，当确定视频片段发生了内容切换时，可从视频片段中抽取最能代表该视频片段内容的视频帧图像。
[0097]
在一些实施例中，服务器可通过如下方式基于检测结果，分别从各视频片段中抽取样本帧图像：
[0098]
基于各视频片段的多个特征值及对应的特征值方差，确定各视频片段中视频帧的内容变化值，所述内容变化值表征相邻视频帧间的内容变化；基于各视频片段中视频帧的内容变化值，确定各视频片段中内容变化值最大的视频帧；基于各视频片段中的内容变化值最大的视频帧，确定各视频片段中的样本帧；分别从各视频片段中抽取样本帧，得到多个样本帧图像。
[0099]
在实际实施时，基于得到的视频片段的视频帧的特征值f_v
i
、特征值平均值mean及特征值方差std，可确定对应的视频片段中各视频帧的内容变化值z_score：
[0100]
z_score＝(f_v
i-mean)/std；
ꢀꢀꢀ
(2)
[0101]
其中，z_score越大，则对应视频帧的内容变化值越大，当z_score最大时即可确定对应的视频帧发生了内容切换，那么内容切换时刻k
z
可表示为：
[0102]
k
z
＝max{(f_v
i∈(0,fps)-mean)/std}and std>t；
ꢀꢀꢀ
(3)
[0103]
为了获得能够很好代表视频片段的样本帧图像，服务器抽取[k
z
，end]中间时刻的视频帧图像作为样本帧图像，其中，end是指该视频片段中最后一个视频帧图像的时刻，0是指该视频片段中第一个视频帧图像的时刻。
[0104]
对于视频片段中视频帧内容发生切换的各视频片段，采用上述抽取方法，得到多个样本图像，如此，抽取了能够很好地代表对应的视频片段的视频内容的样本帧图像，将抽取的目标视频的样本帧图像与待匹配视频的视频图像进行匹配，能够提高视频匹配准确度。
[0105]
在一些实施例中，服务器可通过如下方式抽取样本帧图像：
[0106]
当特征值方差未超过方差阈值时，依据设定位置分别从各视频片段的中抽取样本帧，得到样本帧图像。
[0107]
这里，当特征值方差未超过方差阈值时，则对应的视频片段中的视频帧内容并未发生切换，即可认为该视频片段中的视频帧图像都是相似的，设定位置可以是[0，end]中间位置或依据视频片段的时长等间隔划分得到的位置，每个视频片段可以抽取一个或多个样本帧。示例性地，服务器可抽取[0，end]中间时刻的视频帧作为样本帧图像，也可从[0，end]随机抽取一张视频帧作为样本帧图像。
[0108]
步骤604：将抽取的目标视频的样本帧图像与待匹配视频中相应位置的视频帧图像进行相似度匹配，得到匹配结果。
[0109]
这里，在实际应用中，服务器上存储有待匹配视频，采用与目标视频帧的样本帧的相同的抽取方式，抽取待匹配视频中的视频帧图像。
[0110]
在一些实施例中，服务器可通过如下方式得到匹配结果：
[0111]
分别对目标视频的各样本帧图像进行特征提取，得到各样本帧图像的样本帧图像特征；分别对对待匹配视频的各视频帧图像进行特征提取，得到各视频帧图像的视频帧图像特征；分别将样本帧图像的样本帧图像特征及视频帧图像的视频帧图像特征进行相似度匹配，得到匹配结果。
[0112]
在一些实施例中，可先通过训练得到的特征提取模型分别对目标视频的各样本帧图像及待匹配视频的各视频帧图像进行特征提取，得到各样本帧图像的样本帧图像特征和各视频帧图像的视频帧图像特征，然后分别将样本帧图像的样本帧图像特征与视频帧图像的视频帧图像特征进行相似度计算，得到相应的相似度结果，当相似度达到预设相似度阈值时，表示匹配成功；当相似度未达到预设相似度阈值时，表示匹配失败。
[0113]
在实际实施时，进行特征匹配时，样本帧图像的样本帧图像特征需要与特征库相应的视频帧图像的视频帧图像特征进行匹配，例如，当前进行匹配的是目标视频的第2个样本帧图像，需要与特征库中视频的第2个视频帧图像进行特征匹配。
[0114]
在一些实施例中，服务器上设置有视频库及特征库，其中，视频库中存储有多个待匹配视频，特征库中存储有对应视频库中多个视频帧图像特征，对于视频库中的一个特定视频来说，特征库中存储有对应该特定视频的多个样本帧图像特征，其中，该特定视频的样本帧的抽取方式与目标视频帧的样本帧的抽取方式相同。
[0115]
在实际实施时，服务器可将目标视频的样本帧图像特征，与特征库中相应的样本帧图像(如播放时间相同的视频帧)特征进行相似度计算，得到相应的相似度结果。当相似度达到预设相似度阈值时，表示匹配成功；当相似度未达到预设相似度阈值时，表示匹配失败。
[0116]
步骤605：基于所述匹配结果，确定目标视频与所述待匹配视频的关联关系。
[0117]
在一些实施例中，可通过如下方式确定目标视频与待匹配视频的关联关系：
[0118]
当匹配结果表征多个样本帧图像中满足匹配条件的样本帧图像的数量达到数量阈值时，确定目标视频与待匹配视频为相同的视频；其中，满足匹配条件的样本帧图像为：样本帧图像特征与相应位置的视频帧图像特征的相似度达到相似度阈值的样本帧图像，也即与待匹配视频的相应位置的视频帧图像特征匹配的样本帧图像。
[0119]
应用本发明上述实施例，抽取的样本帧图像，依据的各视频片段中视频帧间发生切换的内容，通过考虑视频帧间内容的变化，抽取的样本帧图像能够很好地代表对应的视频片段的视频内容，将样本帧图像与待匹配视频中相应位置的视频帧图像进行匹配，提高了视频匹配的准确度及效率。
[0120]
接下来以应用在视频版权检测的应用场景为例，继续对本发明实施例的视频处理方法进行说明，图7为本发明实施例提供的视频处理方法的流程示意图，在一些实施例中，该视频处理方法可由终端及服务器协同实施，如通过图1中的终端400-1及服务器200实施，终端400-1上设置有视频播放客户端，结合图1和图7，本发明实施例提供的视频处理方法包
括：
[0121]
步骤701：视频播放客户端发送携带目标视频的视频上传请求给服务器。
[0122]
在实际应用中，用户可通过终端中设置的视频播放客户端进行视频的播放、下载及上传等，当用户进行视频上传时，视频播放客户端接收到用户同用户界面触发的视频上传指令，该视频上传指令指示上传目标视频，视频播放客户端发送携带目标视频的视频上传请求给服务器，在实际应用中，视频上传请求中还可携带发送端标识，如终端标识。
[0123]
步骤702：服务器解析视频上传请求，得到待上传的目标视频。
[0124]
这里，在实际应用中，视频上传请求携带待上传的目标视频，服务器接收到视频播放客户端发送的视频上传请求，并解析得到待上传的目标视频。
[0125]
步骤703：对待上传的目标视频进行分段处理，得到目标视频的多个视频片段。
[0126]
这里，在实际实施时，服务器基于目标视频的帧率，将目标视频分成多个视频片段，比如，假设目标视频的帧率为30fps，则可将目标视频分割成一个个时长为1秒且包含有30帧图片的视频片段。
[0127]
步骤704：分别对各视频片段进行视频帧间的内容切换检测，得到对应各视频片段的检测结果。
[0128]
这里，分别确定各视频片段中相邻视频帧间的像素点的差异度，基于差异度，确定各视频片段的多个特征值，基于各视频片段的多个特征值，确定各视频片段对应的特征值方差，当特征值方差超过方差阈值时，确定对应的视频片段发生内容切换；当特征值方差未超过方差阈值时，确定对应的视频片段未发生内容切换。如此，可检测出各视频片段中的视频帧内容是否发生较大变化。
[0129]
步骤705：基于检测结果，分别从各视频片段中抽取样本帧图像。
[0130]
这里，对于一个具体的视频片段来说，当检测结果表征视频片段中的视频帧内容未发生变化时，依据设定位置分别从视频片段的中间位置抽取样本帧，得到样本帧图像。
[0131]
当检测结果表征视频片段中的视频帧内容发生变化时，进一步，基于视频片段的多个特征值，得到视频片段的平均特征值；然后，基于视频片段的多个特征值、平均特征值、对应的特征值方差及公式(2)-(3)，得到视频片段中的视频帧内容发生切换的时刻k
z
，并抽取[k
z
，end]中间时刻的视频帧图像作为样本帧图像。
[0132]
通过上述抽取方式，每秒从视频片段中抽取一张最能代表视频片段内容的样本帧图像，能够提高视频匹配的准确度。
[0133]
步骤706：依次将各视频片段中抽取的样本帧图像输入特征提取模型，确定对应的样本帧图像特征。
[0134]
这里，服务器上设置有预先训练好的特征提取模型。
[0135]
步骤707：将得到的目标视频的样本帧图像特征，与特征库中相应的视频帧图像特征进行相似度匹配，得到匹配结果。
[0136]
这里，服务器上设置有视频库及特征库，其中，视频库中的视频为具有版权归属属性的待匹配视频，特征库为预先构建而得，存储有对应视频库中多个待匹配视频帧图像特征，其中，待匹配视频的样本帧的抽取方式与目标视频帧的样本帧的抽取方式相同。
[0137]
在实际实施时，进行特征匹配时，目标视频的样本帧图像特征需要与特征库相应待匹配视频的视频帧图像特征进行匹配，例如，当前进行匹配的是目标视频的第2个样本帧
图像，需要与特征库中待匹配视频的第2个视频帧图像进行特征匹配。
[0138]
步骤708：在视频库中，查找与目标视频相同的视频，并在查找到与目标视频相同的视频时，执行步骤709；未查找到与目标视频相同的视频时，执行步骤711。
[0139]
这里，在实际应用中，服务器确定视频库中满足以下条件的待匹配视频为与待上传的目标视频相同的视频：
[0140]
与目标视频的样本帧图像的匹配结果中，匹配成功的待匹配视频的样本帧图像的数量达到预设的数量阈值。
[0141]
步骤709：发送禁止上传的消息给视频播放客户端。
[0142]
步骤710：视频播放客户端通过用户界面显示禁止上传的消息。
[0143]
步骤711：发送上传成功的消息给视频播放客户端。
[0144]
应用本发明上述实施例，抽取的样本帧图像，依据的各视频片段中视频帧间发生切换的内容，通过考虑视频帧间内容的变化，抽取的样本帧图像能够很好地代表对应的视频片段的视频内容，将样本帧图像特征与特征库中相应的待匹配视频帧图像特征进行匹配，提高了视频匹配的准确度，并在检测到用户上传视频与视频库中的待匹配视频相同时，禁止其上传，可有效地避免视频的重复上传，可有效的对视频提供版权保护，有效的维护视频上传者及播放平台的权益。
[0145]
继续对本发明实施例的视频处理方法进行说明，该方法可以由终端执行，或者由服务器执行，或者由终端与服务器协同执行，接下来以服务器执行为例进行说明，如通过图1中的服务器200执行。
[0146]
本发明实施例的视频处理方法是基于目标视频的帧率，将目标视频分成多个视频片段，考虑各视频片段中视频帧间内容切换，从各视频片段中抽取一张样本帧图像，得到对应的多个样本帧图像，样本帧图像能够较好地反映对应视频片段的视频内容，然后将各样本帧图像进行特征提取，得到对应的多个样本帧图像特征，并与特征库中的待匹配视频的各视频帧图像特征进行相似度匹配，得到匹配结果；最后基于匹配结果，确定目标视频与待匹配视频的关联关系。其中，特征库中存储的对应待匹配视频的多个视频帧图像特征，待匹配视频的样本帧的抽取方式与目标视频帧的样本帧的抽取方式相同。
[0147]
参见图8，图8为本发明实施例提供的视频处理方法的流程示意图，在构建特征库的阶段，服务器上设置有待匹配视频库，待匹配视频库中存储有多个待匹配视频，对于待匹配视频进行抽帧采样，得到待匹配视频的多个样本帧图像，对于每一个采样到的样本帧图像，使用训练好的特征提取模型进行特征提取，并将提取好的特征加入到特征库中。
[0148]
在特征匹配阶段，对于待匹配的目标视频进行如特征库构建阶段相同的抽帧采样、特征提取步骤，最后对提取到的目标视频图像特征和特征库中的特征进行匹配。
[0149]
接下来，对构建特征库的阶段及特征匹配阶段都涉及的抽帧采样进行说明。
[0150]
首先，服务器基于视频帧率对目标视频进行分段处理，得到目标视频的多个视频片段，考虑到在检测视频帧内容变化时，由于视频帧间的色度和饱和度变化不大，亮度信息变化较大，而hsv颜色空间较rgb空间对亮度的变化更为敏感，因此，在对视频帧间的内容进行检测之前，将各视频片段内的视频帧图像从rgb格式转换为hsv格式。
[0151]
其次，分别对各视频片段进行视频帧间的内容切换检测，得到检测结果。该步骤主要用于判断视频片段的视频内容是否发生突变。在一些实施例中，可通过如下方式进行视
频帧间内容切换的检测：分别确定各视频片段中相邻视频帧间的像素点的差异度；基于差异度，确定各视频片段的多个特征值；基于各视频片段的多个特征值，确定各视频片段对应的特征值方差；当特征值方差超过方差阈值时，确定对应的视频片段发生内容切换；当特征值方差未超过方差阈值时，确定对应的视频片段未发生内容切换。
[0152]
其中，确定各视频片段中相邻视频帧间的像素点的差异度可通过如下方式实现：采集视频片段中相邻视频帧间的像素点，采用帧间像素点匹配法，分别计算hsv三通道中相邻视频帧间的像素点的差异度，将三通道中相邻视频帧间的像素点的差异度求和，即通过公式(1)得到相邻视频帧间的像素点的差异度。
[0153]
通过上述方式，即可得到视频片段中的一系列特征值：f_v1、f_v2…
f_v
fps
(fps为帧率)，从中可求得该系列特征值的平均值mean及对应的特征值方差std，特征值方差std可以很好的反映视频片段像素特征的波动，当特征值方差std大于方差阈值t时，则该视频片段内的视频内容变化较大，确定对应的视频片段发生了内容切换。
[0154]
最后，基于检测结果，分别从各视频片段中抽取样本帧图像，当确定视频片段发生了内容切换时，可从视频片段中抽取最能代表该视频片段内容的视频帧图像，具体地：基于得到的视频片段的视频帧的特征值f_v
i
、特征值平均值mean及特征值方差std，通过公式(2)确定对应的视频片段中各视频帧的内容变化值z_score，z_score越大，则对应视频帧的内容变化值越大，当z_score最大时即可确定对应的视频帧发生了内容切换，那么内容切换时刻k
z
可通过公式(3)来确定，确定k
z
后，服务器抽取[k
z
，end]中间时刻的视频帧图像作为样本帧图像。
[0155]
对于视频片段中视频帧内容发生切换的各视频片段，通过上述抽取方式，每秒从中抽取一张最能代表该秒视频片段内容的样本帧图像，将抽取的目标视频的样本帧图像，与从待匹配视频中采用同样抽取方式抽取的视频图像进行匹配，能够提高视频匹配准确度。
[0156]
当特征值方差未超过方差阈值时，则对应的视频片段中的视频帧内容并未发生切换，即可认为该视频片段中的视频帧图像都是相似的，服务器可抽取[0，end]中间时刻的视频帧作为样本帧图像，当然，也可从[0，end]随机抽取一张视频帧作为样本帧图像。
[0157]
至此，通过上述方式完成了对目标视频的抽帧采样。
[0158]
接下来，对目标视频与待匹配视频进行相似度判断进行介绍。
[0159]
首先，对通过上述抽取方式抽取的样本帧图像进行特征提取，得到一系列样本帧图像特征向量，对从待匹配视频抽取的视频帧图像进行特征提取，得到一系列待匹配视频帧图像特征向量。
[0160]
然后，对于两个不同的视频，按时间序列逐帧计算对应时刻样本帧图像特征向量及待匹配视频帧图像特征的相似度dis，针对相同时长的视频片段，当dis大于相似度阈值时，认为这个时刻的视频帧图像对视频的相似度有贡献，也即该视频片段对整个视频的相似度有贡献，当对应的相似视频帧图像数量超过一定阈值时，确定目标视频与待匹配视频是相似的，否则不然。
[0161]
应用本发明实施例，不仅处理速度快，还提高了相似视频的召回率，在两段碎剪视频刚好错开很小一段时间(比如0.5秒)这种极端情况下，应用本发明实施例的处理方法比等间隔抽帧方法召回率提升10％-15％，能较好的改善极端情况下画面变化较快的视频片
段召回率低的情况。
[0162]
继续对本发明实施例提供的视频处理装置行说明。图9为本发明实施例提供的视频处理装置的结构示意图，参见图9，本发明实施例提供的视频处理装置90包括：
[0163]
分段单元91，用于对目标视频进行分段处理，得到所述目标视频的多个视频片段；
[0164]
检测单元92，用于分别对各所述视频片段进行视频帧间的内容切换检测，得到对应各所述视频片段的检测结果；
[0165]
抽取单元93，用于基于所述检测结果，分别从各所述视频片段中抽取样本帧图像；
[0166]
匹配单元94，用于将抽取的所述目标视频的样本帧图像与待匹配视频中相应位置的视频帧图像进行相似度匹配，得到匹配结果；
[0167]
确定单元95，用于基于所述匹配结果，确定所述目标视频与所述待匹配视频的关联关系。
[0168]
在一些实施例中，所述分段单元，还用于基于所述目标视频的帧率，对所述目标视频进行分段处理，得到多个视频片段。
[0169]
在一些实施例中，所述检测单元，还用于分别确定各所述视频片段中相邻视频帧间的像素点的差异度；
[0170]
基于所述差异度，确定各所述视频片段的多个特征值；
[0171]
基于各所述视频片段的多个特征值，确定各所述视频片段对应的特征值方差；
[0172]
当所述特征值方差超过方差阈值时，确定对应的所述视频片段发生内容切换。
[0173]
在一些实施例中，所述抽取单元，还用于基于各所述视频片段的多个特征值及对应的特征值方差，确定各所述视频片段中视频帧的内容变化值，所述内容变化值表征相邻视频帧间的内容变化；
[0174]
基于各所述视频片段中视频帧的内容变化值，确定各所述视频片段中所述内容变化值最大的视频帧；
[0175]
基于所述内容变化值最大的视频帧，确定各所述视频片段中的样本帧；
[0176]
分别从各所述视频片段中抽取所述样本帧，得到多个样本帧图像。
[0177]
在一些实施例中，所述抽取单元，还用于当所述特征值方差未超过方差阈值时，依据设定位置分别从所述视频片段的中抽取样本帧，得到样本帧图像。
[0178]
在一些实施例中，所述匹配单元，还用于分别对所述目标视频的各所述样本帧图像进行特征提取，得到各样本帧图像的样本帧图像特征；
[0179]
分别对所述待匹配视频的各所述视频帧图像进行特征提取，得到各所述视频帧图像的视频帧图像特征；
[0180]
分别将所述样本帧图像的样本帧图像特征及相应位置的所述视频帧图像的视频帧图像特征进行相似度匹配，得到匹配结果。
[0181]
在一些实施例中，所述确定单元，还用于当所述匹配结果表征多个所述样本帧图像中满足匹配条件的样本帧图像的数量达到数量阈值时，确定所述目标视频与所述待匹配视频为相同的视频；
[0182]
其中，所述满足匹配条件的样本帧图像为：样本帧图像特征与相应位置视频帧图像的视频帧图像特征的相似度达到相似度阈值的样本帧图像。
[0183]
这里需要指出的是：以上涉及装置的描述，与上述方法描述是类似的，同方法的有
益效果描述，不做赘述，对于本发明实施例所述装置中未披露的技术细节，请参照本发明方法实施例的描述。
[0184]
本发明实施例还提供了一种电子设备，包括：
[0185]
存储器，用于存储可执行指令；
[0186]
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的视频处理方法。
[0187]
本发明实施例还提供了一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的视频处理方法。
[0188]
实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(ram，random access memory)、只读存储器(rom，read-only memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0189]
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ram、rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0190]
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。