一种基于多特征融合镜头聚类的视频关键帧提取方法与流程

本发明属于视频内容分析领域，具体涉及一种基于多特征融合镜头聚类的视频关键帧提取方法。

背景技术：

随着计算机、通信和多媒体技术的发展，多媒体视频数据的数据量正在呈井喷式地增长，同时传统的视频分析方法无法适应数据量的不断增长和视频数据结构的愈加复杂。在视频数据的结构化分析中，首先需要将完整视频片段分解成不同的镜头单元。但是一个镜头所包含的数据内容仍然很多，并且镜头内部的帧间冗余性依然较大，直接对视频镜头单元进行分析的计算量和计算重复率依然会比较高，这时候就需要继续从视频内容信息中提取具有代表性的关键帧序列。

关键帧提取技术是基于内容的视频分析中的关键技术，其性能会直接影响到视频分析处理的结果。传统的关键帧提取方法包括镜头分割法、运动分析法、直方图分析法等等。但是传统方法存在着关键帧提取灵活度较低、分布不均匀以及算法对视频种类受限，普适性不高的问题，这些问题都是今后所有提取方法都要解决的技术难题。

技术实现要素：

本发明目的在于针对目前视频关键帧提取存在的普遍问题，提出一种基于多特征融合镜头聚类的关键帧提取方法。该方法解决了现有方法存在的提取关键帧数量受初始条件约束、关键帧分布不均地问题，提高了算法对不同种类视频数据的提取效果，普适性较高。该方法克服了现有技术的不足，对图像的局部特征和全局特征进行融合，结合自适应聚类分析，提供一种新的关键帧提取方法。

本发明解决其技术问题所采取的技术方案是：本发明针对已完成镜头分割的视频，对每一镜头单元，首先提取每一图像帧的hsv颜色直方图特征和canny图像边缘轮廓特征，作为聚类分析的特征参数。接着，设计一种自适应的聚类方法，将镜头内的每一帧图像划分至对应聚类簇中，并实时更新聚类中心。然后，选取距离聚类中心最近的图像帧作为该聚类簇的代表帧，按时间顺序排列得到视频单元的关键帧集合。最后，给出了关键帧的关注度指数计算方法，得到视频的关注焦点。

方法流程：

本发明提供了一种基于多特征融合镜头聚类的视频关键帧提取方法，该方法包括以下步骤：

步骤1：提取视频镜头内的一组图像帧集合，提取每帧图像的hsv直方图特征以及canny边缘轮廓特征，加权组合成关键帧聚类的特征信息；

步骤2：采用自适应均值聚类方法对依次将每帧图像分类至对应聚类簇，并实时更新各聚类簇的聚类中心；

步骤3：分别提取出距离各自聚类中心最近的图像帧作为各自聚类的关键帧，按时间顺序排列形成关键帧集合；

步骤4：计算各关键帧的关注度指标，提取关注度指标最高的一帧为视频的代表帧。

进一步地，本发明的步骤1包括如下：

a)读取视频镜头内的一组图像帧数据，将rgb信息转换成hsv信息，并进行归一化；

b)对hsv三分量进行差异化量化，分别量化成16阶、8阶和2阶。；并且将图像的三维颜色空间压缩到一维空间内，计算公式如下：

l(i,j)＝16h(i,j)+2s(i,j)+v(i,j)(1)

其中，i,j是图像的像素位置横纵坐标，h(i，j)，s(i，j)，v(i，j)是当前像素位置的hsv三个分量值；

c)对图像数据l进行直方图统计，获取图像的hsv颜色直方图特征向量h；

d)采用canny算子进行图像帧边缘提取，获取边缘图像数据b(i，j)；

e)得到每一帧图像的多特征融合的聚类特征向量(h，b)。

进一步地，本发明的步骤2包括如下：

a)获取首帧图像的特征数据，新建聚类簇1号，将首帧加入聚类中，利用均值法并将首帧的特征向量设置为1号聚类簇的聚类中心。

b)依次获取每一图像帧，依据公式(2)-(4)计算其与每一聚类簇中心之间的距离。选取距离最近的聚类簇，若距离小于设定的阈值，则加入该聚类簇，并更新聚类中心；否则，新建聚类簇，设置当前帧的特征向量为聚类中心的参数。

d(f1,f2)＝αdc(f1,f2)+(1-α)dv(f1,f2)(2)

其中，f1，f2分别表示需要比较的两帧图像，α表示加权系数，本发明中取值为0.6，dc表示两帧图像之间的hsv颜色特征相似度，颜色直方图包含256个颜色分量，dv代表了边缘特征相似度，b(x,y)是通过canny算法提取出的图像边缘特征，对dv边缘特征的相似度进行归一化，其取值范围为0～1。

进一步地，本发明步骤3包括如下：

a)所有帧分类完毕后，针对每一聚类簇，依据公式(2)分别计算聚类簇中每一帧到聚类中心的距离；

b)选择距离最小的一帧作为当前聚类簇的代表帧，即为视频的关键帧。按照时间顺序依次排列关键帧，得到视频的关键帧集合kf。

进一步地，本发明步骤4包括如下：

a)对于关键帧集合kf中的每一个关键帧，按照公式(5)分别计算关键帧的关注度指数；

其中，nkf代表关键帧的个数，i，j是关键帧的序号，h(i，j)表示关键帧之间的互信息量。

b)选取kindex最高的关键帧作为当前视频的关注焦点。

本发明主要应用于多媒体视频数据分析与检索。

有益效果：

1、本发明采用的多特征融合方法，充分利用了直方图特征全局性的优点以及边缘轮廓特征对细节描述的局部特性，提高了算法对于不同种类视频的普适性。

2、本发明设计的一种自适应聚类关键帧提取方法，摆脱了传统聚类结果受聚类初始条件的约束问题，能够灵活根据镜头单元的具体内容灵活分配聚类个数，从而灵活地提取适量的关键帧。

3、本发明定义了一种关键帧关注度指数，对提取的关键帧进一步处理，得到关注度最显著的一帧图像，作为视频的关注焦点，对视频内容的表现最丰富，因此可以作为视频的封面或海报。

附图说明

图1为本发明方法流程图。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

如图1所示，本发明的关键帧提取方法，包括以下步骤：

1)获取视频帧的hsv颜色特征。

a)读取视频镜头内的一组图像帧数据，获取图像的rgb数据矩阵。由于hsv颜色模型更加直观，更符合人眼的视觉感受，通过以下公式(1)-(3)得到图像帧的hsv颜色信息矩阵：，并进行归一化；

其中，r,g,b分别代表图像像素点的红、绿、蓝三个颜色分量，h,s,v代表hsv颜色空间的色调、饱和度和亮度分量值，取值范围[0,1]。

b)对hsv三分量进行差异化量化，分别量化成16阶、8阶和2阶。并且将图像的三维颜色空间压缩到一维空间内，得到hsv颜色综合特征，计算公式如下：

l(i,j)＝16h(i,j)+2s(i,j)+v(i,j)(4)

其中，i,j是图像的像素位置横纵坐标，h(i，j)，s(i，j)，v(i，j)是当前像素位置的hsv三个分量值；

c)对每个图像帧的l进行直方图统计，获取图像帧对应hsv颜色直方图特征向量h：

其中，hj(i)表示第j帧图像直方图信息中的i分量的出现的频次占像素总数的比例，i的取值范围[0,255]，m和n分别表示图像的横纵维度。

2)获取图像局部边缘轮廓特征。

a)利用canny算子获取图像轮廓更加清晰完整的优点，进行边缘特征提取。canny检测法主要需要依次进行高斯平滑滤波、计算像素梯度、选取梯度变化率较大的点为图像的边缘点，这些功能已集成，直接调用canny函数即可完成图像的边缘特征提取。

b＝edge(i,'canny')(6)

得到每一帧图像的多特征融合的聚类特征向量(h，b)。

3)对镜头单元的图像帧进行聚类分析，获取关键帧集合。

a)获取首帧图像的特征数据，新建聚类簇1号，将首帧加入聚类中，利用均值法并将首帧的特征向量设置为1号聚类簇的聚类中心。

b)依次获取每一图像帧的融合特征信息(h，b)，依据公式(7)-(9)计算其与每一聚类簇中心之间的距离。寻找到与图像帧特征距离最接近的聚类簇，若特征距离距离小于阈值t，在本发明中取值0.65，则加入该聚类簇，并更新聚类中心；否则，新建聚类簇，设置当前帧的特征向量为聚类中心的参数。

d(f1,f2)＝αdc(f1,f2)+(1-α)dv(f1,f2)(7)

其中，f1，f2分别表示需要比较的两帧图像，α表示加权系数，在本发明中取值为0.6。dc表示两帧图像之间的hsv颜色特征相似度，颜色直方图包含256个颜色分量，dv代表了边缘特征相似度，b(x,y)是通过canny算法提取出的图像边缘特征，对dv边缘特征的相似度进行归一化，其取值范围为0～1。

4)提取视频关键帧。

a)对于每一个聚类簇的内部，利用公式(7)-(9)分别计算出每一图像帧到聚类中心的特征距离。

b)选择距离最小的一帧作为当前聚类簇的代表帧，即为视频的关键帧。镜头内提取的关键帧，按照时间顺序依次排列关键帧，得到视频当前镜头的关键帧。

c)对于完整视频的每一镜头单元，依次按照以上1)至4)步骤获取每一镜头的关键帧。按照时间顺序依次排列，即可得到视频的关键帧集合kf＝{key1，key2，key3，...，keyn}，可以达到在压缩率较高的情况下，关键帧的保真度较高，即更有效地反映视频的主要内容。

5)对于得到的关键帧集合kf，继续给出其关注度指数。计算公式如下：

其中，nkf代表关键帧的个数，i，j是关键帧的序号，h(i，j)表示关键帧之间的互信息量。

关注度指数概念的提出进一步地将提取的视频关键帧进行数值分析，能够得到每一关键帧所包含的信息量的大小。

最后，选取kindex最高的一个关键帧作为当前视频的关注焦点，关注焦点可以有效地作为视频的内容封面或者海报，起到最能反映视频内容的作用。