一种短视频去重方法及计算机可读存储介质与流程

1.本发明属于视频处理技术领域，涉及一种短视频去重方法及计算机可读存储介质。


背景技术：

2.随着自媒体行业的迅速发展，短视频已成为新潮的娱乐和生活方式，越来越多的短视频被创造与传播。从海量视频库中发现相同内容的短视频，去除掉冗余视频，对于短视频运营平台来讲，不仅能够节约大量存储空间便于管理，还能避免同质化视频的泛滥，提高用户观看感。除此之外，对短视频内容去重审核同样也是对视频原创者的版权保护。因此，对重复内容的短视频进行检测和删除具有重要现实意义。
3.目前，常用的视频去重方法主要有三种：
4.1、视频的相关信息去重。将目标视频的相关信息(例如标题、作者、描述、封面等)与视频库已有视频相关信息进行遍历对比，以确定重复视频。
5.2、哈希算法去重。对目标视频按针提取关键帧，对关键帧进行降采样，采用哈希算法计算目标视频与视频库已有视频相似度，常用的哈希算法包括均值哈希算法、差值哈希算法、感知哈希算法。设定一定阈值，当相似度高于阈值则判定为重复视频。
6.3、特征去重。对目标视频按针提取关键帧，利用卷积神经网络提取目标视频图像特征，用聚类识别目标视频与视频库的相似特征，去除重复视频图像。
7.当下技术存在缺陷：1、视频去重效率低。通过目标视频的相关信息进行遍历耗时长且只能排除少量重复视频，去重效率并不高。2、视频去重准确度低。通过哈希算法计算视频相似度去重是针对视频全局特征计算相似度，对视频细微的变化并不敏感，去重准确率不是特别高。3、视频去重成本高。卷积神经网络利用特征提取虽然能对识别更细粒度的视频特征，但计算量大且复杂，面对迅速增长的短视频，耗费成本较高。
8.因此，提供一种去重效率高、准确率高、成本低的方法，成为了亟待解决的问题。


技术实现要素：

9.为了解决现有技术中存在的上述问题，本发明提供了一种短视频去重方法及计算机可读存储介质。本发明要解决的技术问题通过以下技术方案实现：
10.本发明实施例提供了一种短视频去重方法，所述短视频去重方法包括：
11.步骤1、创建特征数据库，所述特征数据库包括原始视频的第一关键帧生成的第一特征点描述子，所有所述第一特征点描述子按照标签层级存放于所述特征数据库中；
12.步骤2、提取目标视频的多个第二关键帧，所述第二关键帧生成有第二特征点描述子；
13.步骤3、将所述第二关键帧的第二特征点描述子与所述特征数据库中的第一特征点描述子进行匹配，以判断所述第二关键帧是否已经存在于所述特征数据库中，若是，则删除所述第二关键帧对应的目标视频，以得到去重后的视频集。
14.在本发明的一个实施例中，所述步骤1包括：
15.步骤1.1、获取所述原始视频；
16.步骤1.2、利用光流法计算所述原始视频的视频帧中物体运动的光流量，提取光流移动次数最少的视频帧，将光流移动次数最少的视频帧作为第一关键帧；
17.步骤1.3、识别所述第一关键帧中的视觉内容；
18.步骤1.4、基于预设规则，根据所述第一关键帧中的视觉内容为所述第一关键帧标注标签；
19.步骤1.5、判断所述第一关键帧的标签是否存在于所述特征数据库中，若所述第一关键帧的标签已经存在于所述特征数据库中，则继续迭代判断所述第一关键帧的标签层级是否为最底层标签级，若不是所述最底层标签级，则继续往下迭代，直至所述第一关键帧的标签层级到达所述最底层标签级，若所述第一关键帧的标签未存在于所述特征数据库中，则创建新标签类别，并将所述第一关键帧归于该新标签类别下；
20.步骤1.6、利用sift技术对所述第一关键帧的图像特征进行提取，以生成所述第一关键帧的第一特征点描述子；
21.步骤1.7、将所述第一关键帧生成的第一特征点描述子分别依据标签类别存入所述特征数据库中。
22.在本发明的一个实施例中，所述步骤1.3包括：
23.步骤1.31、获取训练集；
24.步骤1.32、利用方向梯度直方图从所述训练集中提取图像特征；
25.步骤1.33、利用所述图像特征训练svm分类器从而得到图像分类模型；
26.步骤1.34、利用所述图像分类模型对所述第一关键帧的标签进行识别和归类。
27.在本发明的一个实施例中，所述步骤1.6包括：
28.步骤1.61、利用高斯差分函数构建尺度空间；
29.步骤1.62、将所述第一关键帧的采样点与同尺度空间不同σ值的相邻点进行比较，若所述采样点为同尺度空间下的高斯差分函数的最大值或最小值，则所述采样点为该尺度下的第一特征点，σ为尺度坐标；
30.步骤1.63、根据对比度和主曲率比值保留所述第一特征点中的第二特征点；
31.步骤1.64、通过拟和三维二次函数定位所述第二特征点的位置和尺度；
32.步骤1.65、根据直方图的峰值得到所述第二特征点的主方向；
33.步骤1.66、将坐标轴旋转为所述第二特征点的主方向，对所述第二特征点形成多维sift特征，对所述sift特征的特征向量进行长度归一化处理得到第一特征点描述子。
34.在本发明的一个实施例中，所述步骤1.63包括：
35.判断所述第一特征点的对比度绝对值与第一阈值的关系、所述第一特征点的主曲率比值与第二阈值的关系，若所述第一特征点的对比度绝对值小于所述第一阈值、或者所述第一特征点的主曲率比值大于所述第二阈值，则去除所述第一特征点，所保留的第一特征点即为第二特征点。
36.在本发明的一个实施例中，所述步骤2包括：
37.步骤2.1、获取所述目标视频；
38.步骤2.2、利用光流法计算所述目标视频的视频帧中物体运动的光流量，提取光流
移动次数最少的视频帧，将光流移动次数最少的视频帧作为第二关键帧；
39.步骤2.3、识别所述第二关键帧中的视觉内容；
40.步骤2.4、基于预设规则，根据所述第二关键帧中的视觉内容为所述第二关键帧标注标签；
41.步骤2.5、判断所述第二关键帧的标签是否存在于所述特征数据库中，若所述第二关键帧的标签已经存在于所述特征数据库中，则继续迭代判断所述第二关键帧的标签层级是否为最底层标签级，若不是所述最底层标签级，则继续往下迭代，直至所述第二关键帧到达所述最底层标签级，若所述第二关键帧的标签未存在于所述特征数据库中，则创建新标签类别，并将所述第二关键帧归于改新标签类别下；
42.步骤2.6、利用sift技术对所述第二关键帧的图像特征进行提取，以生成所述第二关键帧的第二特征点描述子。
43.在本发明的一个实施例中，所述步骤3包括：
44.遍历所述特征数据库中最底层标签级下的特征点，依次计算所述目标视频中的第二特征点描述子与所述特征数据库中的第一特征点描述子点的相似性，若所述相似性小于距离阈值，说明所述第二关键帧已经存在于所述特征数据库中，则删除所述第二关键帧对应的目标视频，之后重复所述步骤2和所述步骤3，直至得到去重后的视频集，所述相似性为最近街区距离除以次近街区距离。
45.在本发明的一个实施例中，在所述步骤3之后，还包括：
46.步骤4、根据去重后的视频集中目标视频更新所述特征数据库和视频数据库。
47.在本发明的一个实施例中，所述步骤4包括：
48.步骤4.1、将去重后的视频集中目标视频的第二特征点描述子依据标签类别存入所述特征数据库中，以更新所述特征数据库；
49.步骤4.2、将去重后的视频集中的目标视频存入所述视频数据库中，以更新视频数据库。
50.本发明同时提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
51.与现有技术相比，本发明的有益效果：
52.本发明的方法分级分类创建图像标签特征数据库能提高对目标视频识别速度，提高去重效率。本发明的方法通过将第二关键帧的第二特征点描述子与特征数据库中的第一特征点描述子进行匹配，在保证了识别精度的同时也降低了识别成本。
53.通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。
附图说明
54.图1为本发明实施例提供的一种短视频去重方法的流程示意图；
55.图2为本发明实施例提供的另一种短视频去重方法的流程示意图；
56.图3为本发明实施例提供的一种标签判断示例示意图；
57.图4为本发明实施例提供的一种计算机设备模块示意图。
具体实施方式
58.下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
59.实施例一
60.请参见图1和图2，图1为本发明实施例提供的一种短视频去重方法的流程示意图，图2为本发明实施例提供的另一种短视频去重方法的流程示意图，本发明提供一种短视频去重方法，该短视频去重方法包括：
61.步骤1、创建特征数据库，特征数据库包括原始视频的第一关键帧生成的第一特征点描述子，所有第一特征点描述子按照标签层级存放于特征数据库中。
62.在一个具体实施例中，步骤1具体可以包括步骤1.1-步骤1.7，其中：
63.步骤1.1、获取原始视频。
64.具体地，原始视频为原始视频库中海量的视频。
65.步骤1.2、利用光流法计算原始视频的视频帧中物体运动的光流量，提取光流移动次数最少的视频帧，将光流移动次数最少的视频帧作为第一关键帧。具体公式如下所示：
66.m(k)＝∑∑|l
x
(i,j,k)|+|ly(i,j,k)|
67.m(ki)＝min[m(k)]
[0068]
其中，m(k)表示第k帧的光流量,l
x
(i,j,k)表示第k帧像素点(i,j)处光流x的分量，ly(i,j,k)表示第k帧像素点(i,j)处光流y的分量，m(ki)表示第k帧的最小光流量。
[0069]
步骤1.3、识别第一关键帧中的视觉内容。
[0070]
在一个具体实施例中，步骤1.3具体可以包括步骤1.31-步骤1.34，其中：
[0071]
步骤1.31、获取训练集。
[0072]
具体地，训练集是基于预设规则所收集的关键帧图像。
[0073]
预设规则是指根据训练集图像的不同属性按照不同层级所划分的多个不同类别的标签，例如一级标签可设为：物体、场景、概念；则物体标签下的二级标签可设为：动物、植物、人物等；动物标签下的三级标签可设为：猴子、兔子、老虎等，以此类推。
[0074]
步骤1.32、利用方向梯度直方图从所述训练集中提取图像特征。
[0075]
步骤1.33、利用图像特征训练svm(支持向量机，support vector machine)分类器从而得到图像分类模型。
[0076]
步骤1.34、利用图像分类模型对第一关键帧的标签进行识别和归类。
[0077]
步骤1.4、基于预设规则，根据第一关键帧中的视觉内容为第一关键帧标注标签，例如，视觉内容为猴子，则该第一关键帧的一级标签为物体、二级标签为动物、三级标签为猴子。
[0078]
步骤1.5、判断第一关键帧的标签是否存在于特征数据库中，若第一关键帧的标签已经存在于特征数据库中，则继续迭代判断第一关键帧的标签层级是否为最底层标签级，若不是最底层标签级，则继续往下迭代，直至第一关键帧的标签层级到达最底层标签级，若第一关键帧的标签未存在于特征数据库中，则创建新标签类别，并将第一关键帧归于该新标签类别下。
[0079]
例如，请参见图3，若第一关键帧的标签为猴子，则迭代的一级标签为物体，继续迭代的二级标签为动物，再继续迭代的三级标签为猴子，而猴子则为最底层标签级，因此不需要再继续迭代。
[0080]
步骤1.6、利用sift(尺度不变特征变换，scale-invariant feature transform)技术对第一关键帧的图像特征进行提取，以生成第一关键帧的第一特征点描述子。
[0081]
在一个具体实施例中，步骤1.6具体可以包括步骤1.61-步骤1.66，其中：
[0082]
步骤1.61、利用高斯差分函数(dog)构建尺度空间。
[0083]
具体地，模拟图像数据的多尺度特征，以确保图像特征不依赖比例。本实施例使用高斯差分函数构建尺度空间，具体公式如下：
[0084]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
[0085][0086]
d(x,y,σ)＝l(x,y,kσ)-l(x,y,σ)
[0087]
其中，(x,y)表示空间坐标，σ表示尺度坐标，l(x,y,σ)表示二维图像尺度空间函数，i(x,y)表示原始图像函数，g(x,y,σ)表示尺度可变高斯函数，d(x,y,σ)表示高斯差分尺度空间函数，k表示相邻两张图像尺度的比值。
[0088]
步骤1.62、将第一关键帧的采样点与同尺度空间不同σ值的相邻点进行比较，若采样点为同尺度空间下的最大值或最小值，则所述采样点为该尺度下的第一特征点。
[0089]
具体地，采样点为第一关键帧的点，即将第一关键帧中所有的点依次与同尺度空间不同σ值的相邻点进行比较，若当前所比较的点为同尺度空间下的高斯差分函数的最大值或最小值，则认为该点是图像在该尺度下的第一特征点。
[0090]
步骤1.63、根据对比度和主曲率比值保留所述第一特征点中的第二特征点。
[0091]
具体地，判断第一特征点的对比度绝对值与第一阈值的关系、第一特征点的主曲率比值与第二阈值的关系，若第一特征点的对比度绝对值小于第一阈值、或者第一特征点的主曲率比值大于第二阈值，则去除第一特征点，所保留的第一特征点即为第二特征点。本实施例通过该步骤去除了低对比度和不稳定的边缘效应的点，留下的为具有代表性的特征点。
[0092]
其中，低对比度的点指对比度绝对值小于0.03的特征点，不稳定的边缘效应点指主曲率比值大于10的特征点，即第一阈值优选地为0.03，第二阈值优选地为10。
[0093]
步骤1.64、通过拟和三维二次函数定位第二特征点的位置和尺度。
[0094]
步骤1.65、根据直方图的峰值得到第二特征点的主方向。
[0095]
具体地，对每个第二特征点统计以其为中心的邻域内的像素梯度方向，用直方图表示统计结果，直方图的峰值就是该第二特征点的主方向。其中梯度值与主方向计算公式分别为：
[0096][0097]
θ(x,y)＝tan-1
(l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x-1,y))
[0098]
其中，m(x,y)表示梯度值，θ(x,y)表示主方向。
[0099]
步骤1.66、将坐标轴旋转为第二特征点的主方向，对第二特征点形成多维sift特征，对sift特征的特征向量进行长度归一化处理得到第一特征点描述子，坐标轴是指特征点和特征点周围对其有贡献的像素点的坐标轴。有贡献的像素点区域一般可以以特征点为中心取4
×
4的窗口作为邻域。
[0100]
其中，上述步骤确定一个sift特征点有三个关键信息：位置、尺度、方向。为了后续提高匹配率，需要生成特征点描述子。特征点描述子包括特征点和特征点周围对其有贡献的像素点。特征点描述子的生成步骤包括将坐标轴首先旋转为特征点主方向，然后对特征点形成多维sift特征。
[0101]
优选地，sift特征为128维，因为128维特征向量的匹配稳健性更强。
[0102]
步骤1.7、将第一关键帧生成的第一特征点描述子分别依据标签类别存入特征数据库中。
[0103]
步骤2、提取目标视频的多个第二关键帧，第二关键帧生成有第二特征点描述子，其中，目标视频为需要判断的是否为重复的视频。
[0104]
在一个具体实施例中，步骤2具体可以包括步骤2.1-步骤2.6，其中：
[0105]
步骤2.1、获取目标视频。
[0106]
步骤2.2、利用光流法计算目标视频的视频帧中物体运动的光流量，提取光流移动次数最少的视频帧，将光流移动次数最少的视频帧作为第二关键帧。
[0107]
步骤2.3、识别第二关键帧中的视觉内容。
[0108]
具体地，利用图像分类模型对第二关键帧的标签进行识别和归类。
[0109]
步骤2.4、基于预设规则，根据第二关键帧中的视觉内容为第二关键帧标注标签。
[0110]
步骤2.5、判断第二关键帧的标签是否存在于特征数据库中，若第二关键帧的标签已经存在于特征数据库中，则继续迭代判断第二关键帧的标签层级是否为最底层标签级，若不是最底层标签级，则继续往下迭代，直至第二关键帧到最底层标签级，若第二关键帧的标签未存在于特征数据库中，则创建新标签类别，并将第二关键帧归于改新标签类别下。
[0111]
步骤2.6、利用sift技术对第二关键帧的图像特征进行提取，以生成第二关键帧的第二特征点描述子。
[0112]
对于步骤2，其详细的实施步骤请参见步骤1中的特征提取步骤，在此不再赘述。
[0113]
步骤3、将第二关键帧的第二特征点描述子与特征数据库中的第一特征点描述子进行匹配，以判断第二关键帧是否已经存在于特征数据库中，若是，则删除第二关键帧对应的目标视频，以得到去重后的视频集，视频集中包括有多个经去重后的目标视频。
[0114]
具体地，遍历特征数据库中最底层标签级下的特征点，依次计算目标视频中的第二特征点描述子与特征数据库中的第一特征点描述子点的相似性，若相似性小于距离阈值，说明第二关键帧已经存在于特征数据库中，则删除第二关键帧对应的目标视频，之后重复步骤2和步骤3，直至得到去重后的视频集。
[0115]
优选地，为了降低匹配过程的计算量，以街区距离度量相似性，其中，相似性为最近街区距离除以次近街区距离。街区距离计算公式如下：
[0116]
l0＝|x
1-x2|+|y
1-y2|
[0117]
其中，l0为街区距离，(x1,y1)(x2,y2)分别为两个像素的二维坐标。
[0118]
优选地，距离阈值为0.8，即如果最近的距离除以次近的距离(最优匹配和次优匹
配)小于0.8则认为存在相同的图像。
[0119]
进一步地，将判断为相同视频进行删除后，再次重复步骤2、步骤3操作，直至距离阈值大于0.8，得到去重后的视频集。
[0120]
步骤4、根据去重后的视频集中目标视频更新特征数据库和视频数据库。
[0121]
在一个具体实施例中，步骤4具体可以包括步骤4.1-步骤4.2：
[0122]
步骤4.1、将去重后的视频集中目标视频的第二特征点描述子依据标签类别存入特征数据库中，以更新特征数据库；
[0123]
步骤4.2、将去重后的视频集中的目标视频存入视频数据库中，以更新视频数据库，视频数据库可以作为下一次的原始视频数据库。
[0124]
本发明针对短视频去重时效率低、准确度低、成本高的问题。通过sift算法与图像识别技术分级分类创建图像特征标签数据库，对目标视频的关键帧特征进行匹配与去重。其中，本发明所创建的特征数据库避免了对特征数据库的全部遍历，极大降低了匹配时所需遍历的对象；sift算法计算简单，且不受图像大小或方向的影响快速帮助定位图像中的局部特征，因此基于sift算法提取目标视频关键帧的图像特征数据，可以准确对局部图像区域进行定位与识别，大大提高了去重准确度；本发明利用街区距离度量代替欧式距离计算视频图像特征相似性，减少了繁杂的计算量，降低了视频去重成本。
[0125]
实施例二
[0126]
本发明同时提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例一的步骤。
[0127]
一般的，该计算机可读存储介质可置于计算机设备中，请参见图4，该计算机设备可以包括处理器、通信接口、计算机可读存储介质和通信总线等单元或模块，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，
[0128]
计算机可读存储介质，用于存放计算机程序；
[0129]
处理器，用于执行计算机可读存储介质上所存放的程序时，实现如下步骤：
[0130]
步骤1、创建特征数据库，所述特征数据库包括原始视频的第一关键帧生成的第一特征点描述子，所有所述第一特征点描述子按照标签层级存放于所述特征数据库中；
[0131]
步骤2、提取目标视频的多个第二关键帧，所述第二关键帧生成有第二特征点描述子；
[0132]
步骤3、将所述第二关键帧的第二特征点描述子与所述特征数据库中的第一特征点描述子进行匹配，以判断所述第二关键帧是否已经存在于所述特征数据库中，若是，则删除所述第二关键帧对应的目标视频，以得到去重后的视频集。
[0133]
上述计算机设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
[0134]
通信接口用于上述电子设备与其他设备之间的通信。
[0135]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立
门或者晶体管逻辑器件、分立硬件组件。
[0136]
该计算机设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
[0137]
对于计算机设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例一的部分说明即可。
[0138]
本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0139]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征数据点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特征数据点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0140]
本领域技术人员应明白，本技术的实施例可提供为方法、设备、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“系统”。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过internet或其它有线或无线电信系统。
[0141]
本技术是参照本技术实施例的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0142]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。