专利名称：基于图建模的视频指纹方法
技术领域：
本发明涉及一种视频指纹方法，尤其涉及一种基于图建模的视频指纹方法，属于视频、多媒体信号处理技术领域。
背景技术：
随着计算机与信息技术的发展，互联网已经成为日常生活中不可或缺的一部分，特别是随着多媒体技术的迅速发展，互联网视频网站越来越多，视频内容变的越来越丰富，但随之而来的网络信息安全问题也变的日渐突出。网络用户可以随意的下载、编辑视频并再次上传，由此网络中出现大量“垃圾视频”，据统计，在某些热点视频的检索结果中，视频拷贝的比例甚至高达93%，这大大降低了视频检索的效率。同时，由于互联网上对于海量视 频的管理缺乏规划和统一性，常常引起一些诸如知识产权等的纠纷，盗版和非法下载的出现也危害了版权所有者的利益，挫伤了创新的积极性。去除网络中的“垃圾视频”以及打击盗版进行有效的版权管理从本质上来说都是视频内容认证和识别问题。基于内容的视频指纹技术正是解决上述问题的主要方法。基于内容的视频指纹(ContentBased Video Fingerprinting :CBVF),又被称为视频哈希(Video Hashing),与数字视频水印不同，它不需要在视频发布或传播之前,人工地在视频对象中嵌入附加信息，因此，CBVF对于尚未发布和已经发布的视频都有效；同时，由于不需要在视频上嵌入附加信息，CBVF解决了数字视频水印技术中水印的不可见性和鲁棒性之间的矛盾，从而提高了 CBVF对于常见攻击的鲁棒性。利用CBVF技术不但可以在视频检索中搜索到多余的视频拷贝，并将其屏蔽，而且有助于规范数字视频版权、传播等的管理；同时，从另一个方面，也可以通过CBVF来对商业视频及其视频拷贝进行跟踪分析，以获得有价值的营销策略信息。因此，在个人视频制作与网络传播日益流行的情况下，CBVF具有重要的理论价值和应用价值，近年来已经成为了多媒体信息处理领域的研究热点，各种算法也相继被提出，目前的视频指纹算法大多都是基于关键帧的，但是关键帧的选取依赖于镜头的分割，且镜头分割是一个复杂的过程，镜头分割的好坏对关键帧的影响很大。本发明提出了一种基于二叉树理论的关键帧选取的方法，该方法避开了镜头的分割，且具有成熟的图论理论支持。另一方面，前景图像是人关注的主要对象，而目前的视频指纹算法恰恰忽略了人的关注特性，本发明正是基于前景图像这一人的关注对象来提取视频指纹的，这也是本发明的优势之一。视频由大量的帧组成，帧格式各种各样,但是从宏观的角度来看,可以把视频的每一帧当作高维空间中的一个点，点的坐标由帧的某种属性决定，点与点之间根据帧的关系连线就可以构成一个图。因此，视频可以看作高维空间里的一个权重图。另一方面，视频帧由若干像素组成，若以像素点为图顶点，像素点之间关系定义边，则帧也可以看作一个权重图，本发明从图建模的角度入手，利用图论相关理论来提取关键帧。视频的前景图像反映了视频的主要内容，同时前景图像也是人的主要关注对象，本发明利用前景图像构造视频指纹。
发明内容
本发明针对现有视频拷贝检测技术存在的不足，提供一种具有较好的鲁棒性和区分性的基于图建模的视频指纹方法。本发明的基于图建模的视频指纹方法，包括以下步骤(I)预处理将视 频帧的尺寸标准化，统一帧率，但是不改变视频内容；(2)视频关键巾贞的选取把视频建I吴成无向权重图，利用_■叉树来选取视频关键帧；(3)利用图割理论和能量函数优化来提取视频关键帧的前景图像，并利用前景图像的四阶累积量的离散余弦变换作为视频关键帧的特征，进而构成视频的特征；(4)计算视频特征序列的峭度作为匹配标签，对特征序列进行二值量化作为视频指纹；(5)对视频指纹进行分级匹配。所述步骤(2)的具体实现步骤是①以视频帧为顶点，以帧之间的关系来构造边，把视频等价为一个无向权重图；②利用二叉树选取视频关键帧；所述步骤(3)的具体实现步骤是①利用图割理论提取视频关键巾贞如景图像；②计算前景图像的四阶累积量，并计算四阶累积量的离散余弦变换系数。所述步骤(4)的具体实现步骤是①由每帧四阶累积量离散余弦变换的变换系数中较大的20个系数构造视频特征
向量;②计算特征向量的峭度，称为视频匹配标签；③利用密钥把视频特征向量量化成一个二值序列，由视频匹配标签和二值序列共同构成视频指纹。所述步骤(5)的具体实现步骤是①利用视频匹配标签在视频数据库中搜索，得到一个可疑匹配视频组；②在可疑匹配视频组中利用视频指纹中的二值序列对视频指纹进行精细匹配，以错误码元数作为两个视频的距离，然后计算误码率若误码率小于给定阈值，则说明两个视频中其一为拷贝。上述方法首先利用二叉树和优化理论对视频进行关键帧提取，然后利用图割理论提取视频前景图像，以高阶累计量的离散余弦变换系数作为视关键帧特征，利用关键帧的特征向量构造视频指纹。本发明具有较好的鲁棒性和区分性，利用图建模的方式选取关键帧，利用图割理论提取关键帧的前景图像生成视频指纹，把视频分析问题等价为图分析问题，从而成熟的图论理论可应用其中，为视频分析和视频指纹的生成提供了可靠的理论基础和分析工具。
图I是本发明方法的步骤框架示意图。
图2是二叉树提取关键帧的示意图。图3是利用图割理论提取前景图像示意图，其中(a)是原始图像，(b)是提取的前景图像。图4是原始视频和各种攻击后的视频(a)原始视频；(b)加入高斯噪声后的视频；(C)加入椒盐噪声后的视频；(d)遭受模糊攻击后的视频；(e)遭受黑框攻击后的视频(f)遭受logo嵌入后的视频。具体实施方法下面结合附图对本发明加以详细的说明。本发明的方法按图I所示流程，包括如下具体步骤(I)预处理视频在传输的过程中，因为干扰和攻击会导致视频帧率和分辨率发生变化，为了解决这个问题，增加算法的鲁棒性，首先在预处理的过程中通过重采样的方法，使视频具有相同的帧率，本文实验中统一帧率为5fps。然后对每帧的尺寸标准化，标准化的过程使视频的分辨率改变，但是不改变视频内容。视频指纹的目的是实行视频内容的安全认证，因此，帧率和分辨率的改变不会影响内容认证的效果。在本文方法中，帧放缩处理函数S定义如下fk = S (Fk)(I)其中Fk G Rmxn和fk G Rwxh分别代表标准化前后的第k帧，且w = 144，h = 176。(2)关键帧选取①把视频转化为无向权重图，把视频的每一帧当作高维空间中的一个点，点的坐标由帧的各种属性决定，点与点之间根据帧之间的关系连线就可以构成一个图。因此，视频可以看作高维空间里的一个无向权重图G = (V，E)，其中V和E分别代表图顶点集和边集。②利用二叉树选取视频关键帧。在图理论中，图G = (V，E)通过去除两部分相连的边，被分解为不相交的集合A和B，AUB = V，AnB= 两部分相异程度等于去除边
的权重和，此相异程度称为分割(cut)，即为I _，为两点之间边的权重，
isAj'GB
图分割理论被广泛应用于图像分割等领域——通过最小化分割值得到图像的最优分割。本文定义权重如下 Hh j) = exp{ n，,)}(2)
I Jj Ji Isim(z, j) = max mini//, (u), Hj (u) }(3)其中，sim(i，j)和I fj-fi I分别代表第i帧和第j帧亮度相似值和时域距离，k是一个常数。P是两帧相同亮度等级的集合，Hi (u)，Hj (u)分别是第i帧和第j帧在亮度u等级上的归一化直方图的值。从式(2)可以看出，权重的计算充分考虑了视频的时空因素，两帧在时间轴上的距离越远，两帧之间距离越大，同时，两帧的亮度相似值越大，两帧之间的距离就越小。这与实际情况是相吻合的。利用归一化图割理论来最优的得到视频分割的二叉树。二叉树的每个叶节点对应于视频的一个簇，在每个簇中选取固定数量的帧作为关键帧，选取方法如下对第m个簇中，计算簇内每帧的平均四阶累积量，记为(V则该簇内所有帧的平均四阶累计量构成序列Ic1J 1XN，N为簇的数目。计算该序列的均值和方差，分别记为和O111，选取该簇中平均累计量约等于三类帧作为关键帧。关键帧的数目和二叉树叶节点的数目以及每簇中选择的帧的数目有关，假设二叉树共有j层，每簇中选择的帧数为n，则共有n 2J个关键帧。(3)视频指纹的生成①视频关键巾贞如景提取视频的前景内容反映了视频的主要信息和人关注的区域，对基于内容的视频应用来讲，首要任务就是把视频分成运动前景和背景，而前景内容反映了视频的主要内容，对于视频指纹技术来说，准确有效地提取视频的前景内容作来生成视频指纹是非常重要的。本方案采用能量函数优化，并结合网络图中的图割理论来实现视频前景内容的分割。首先，对视频关键帧进行马尔科夫随机场建模，对于视频前景分割问题，设V为视频帧所有像素点的集合，D表示该帧像素值的集合,L = {0，1}为标号集,0和I分别代表视频的前景和背景，把L中标号以概率P分配给V，构成一个马尔科夫随机场，设像素点Vi的标号为Xi G L,所有像素点的标号组成了马尔科夫随机场的一个组态X,—个组态对应于该帧的一个分割。视频前景的最佳分割就是寻找一个最优组态使后验概率p(xId)最大。在实际应用中概率P很难确定，根据Hammersley-Clifford定理描述的马尔科夫随机场和Gibbs分布的关系，可以用Gibbs分布来描述= ，其中EU)是一个能量函数。根据Hammersley-Clifford定理,视频巾贞前景分割问题可以转化为如下能量优化问题。X* = argminE (X)(4)能量函数做如下定义
权利要求
1.一种基于图建模的视频指纹方法，其特征在于所述方法包括以下步骤 (1)预处理将视频帧的尺寸标准化，统一帧率，但是不改变视频内容； (2)视频关键帧的选取把视频建模成无向权重图，利用二叉树来选取视频关键帧； (3)利用图割理论和能量函数优化来提取视频关键帧的前景图像，并利用前景图像的四阶累积量的离散余弦变换作为视频关键帧的特征，进而构成视频的特征； (4)计算视频特征序列的峭度作为匹配标签，对特征序列进行二值量化作为视频指纹； (5)对视频指纹进行分级匹配。
2.根据权利要求I所述的基于图建模的视频指纹方法，其特征在于所述步骤(2)的具体实现步骤是 ①以视频帧为顶点，以帧之间的关系来构造边，把视频等价为一个无向权重图； ②利用二叉树选取视频关键帧；
3.根据权利要求I所述的基于图建模的视频指纹方法，其特征在于所述步骤(3)的具体实现步骤是 ①利用图割理论提取视频关键帧前景图像； ②计算前景图像的四阶累积量，并计算四阶累积量的离散余弦变换系数。
4.根据权利要求I所述的基于图建模的视频指纹方法，其特征在于所述步骤(4)的具体实现步骤是 ①由每帧四阶累积量离散余弦变换的变换系数中较大的20个系数构造视频特征向量; ②计算特征向量的峭度，称为视频匹配标签； ③利用密钥把视频特征向量量化成一个二值序列，由视频匹配标签和二值序列共同构成视频指纹。
5.根据权利要求I所述的基于图建模的视频指纹方法，其特征在于所述步骤(5)的具体实现步骤是 ①利用视频匹配标签在视频数据库中搜索，得到一个可疑匹配视频组； ②在可疑匹配视频组中利用视频指纹中的二值序列对视频指纹进行精细匹配，以错误码元数作为两个视频的距离，然后计算误码率若误码率小于给定阈值，则说明两个视频中其一为拷贝。
全文摘要
本发明提供了一种基于图建模的视频指纹方法，包括以下步骤(1)预处理将视频帧的尺寸标准化并归一化帧率；(2)关键帧的选取根据二叉树理论来选取视频关键帧；(3)利用图割和能量优化理论提取视频前景图像，利用前景图像四阶累积量的离散余弦变换作为关键帧的特征，进而构成整个视频特征；(4)构造视频指纹匹配标签和二值化视频指纹；(5)分级匹配，利用匹配标签进行初级匹配，然后利用二值化序列进行精细匹配。实验证明，本发明具有较好的鲁棒性和区分性。
文档编号G06K9/46GK102682298SQ201210132008
公开日2012年9月19日 申请日期2012年4月28日 优先权日2012年4月28日
发明者孙建德, 聂秀山 申请人:聂秀山