专利名称：视频指纹提取方法
技术领域：
本发明属于计算机多媒体技术领域，尤其涉及视频指紋提取技术。
背景技术：
随着信息技术的飞速发展，尤其是网络通信技术和多媒体技术的应用，
视频点播、网络播客、流媒体、P2P系统等大量网络多媒体资源急剧增加。 方便快捷的共享和传播使得网络多媒体盗版事件日益增多，为了有效防止 网络多媒体盗版事件的发生，出现了多种版权保护技术，主要有数字版权 管理(Digital Rights Management, DRM ) 4支术，it字水印(Digital Watermarking, DWM )技术和数字指紋(Digital Fingerprinting, DF )技术等。
其中DF技术可以利用多媒体内容本身的信息，提取出其特有的内容 身份信息，称为"内容指紋"或"数字DNA",利用其特有的内容身份信息来 检测网络多媒体内容是否被复制，该方法又被称为基于内容的复制检测 (Content-based Copy Detection, CBCD )技术。在CBCD技术中，目前研 究相对成熟的指紋技术是序数度量(Ordinal Measurement),具体技术例 如可参考文献"Dinkar N. Bhat and Shree K. Nayar, "Ordinal Measures for Visual Correspondence", in Pro" 1996 IEEE Computer Society Conference . June 1996. pp:351 — 357"等。
在视频复制盗版事件中，复制视频通常会对原始视频进行一定的变换 处理，例如剪切、模糊、宽屏、插入、缩放、拉伸以及混合使用以上变换 处理。经过变换处理后的复制视频在视觉上可能变的和原始视频不太相似， 但要求提取的内容指紋仍然能够检测出他们之间的盗版关系，即内容指紋 具有鲁棒性。同时对于非复制视频即使在视觉上和原始视频非常相似，提 取的内容指紋要能够检测出他们之间的非盗版关系，即内容指紋具有唯一 性。鲁棒性和唯一性是视频复制检测技术中的两个技术难点。
然而，传统的序数度量并不能很好的解决内容指紋的鲁棒性和唯一 性问题。序数度量是一种典型的全局描述子，对于视频的全局变换具有一定 的鲁棒性而唯一性比较差，对于视频的局部变换具有一定的唯一性而鲁棒 性比较差。序数度量方法的基础是对视频帧进行分块，块数的多少对鲁棒 性和唯一性影响较大。例如视频变换处理中最常见的宽屏幕情形，如果序
数度量把视频帧划分为2x2的4块，由于宽屏幕对于4块灰度值的影响相 同，所以对应的序数度量矢量不变；如果把视频帧划分为3x3的9块，则 对应的序数度量矢量会发生变化。所以序数度量中块数取值越小，指紋的 鲁棒性越高，而唯一性越低；块数取值越大，指紋的唯一性越高，而鲁棒 性越低。对于复制视频检测，序数度量的块数取值并不能很好的平衡鲁棒 性和唯一性之间的关系。因此，现有视频复制检测技术的指紋提取存在指 紋检查全面性和准确性矛盾，从而提取精度不高的问题。
发明内容
本发明的目的旨在至少解决现有技术中的上述问题之一。 为此，本发明的实施例提出 一种高精度的视频指紋提取方法。 根据本发明的一个方面，本发明实施例提出了一种视频指紋提取方法， 所述检测方法包括以下步骤a)提取视频的关4定帧以及每个关4定帧的所有 兴趣点；b)根据每个关键帧对应的边界和提取的兴趣点，将每个关键帧划 分成多个具有相等面积的同心圆环；c)将每个同心圆环划分成多个具有相 等面积的扇环；d)根据每个同心圆环中扇环的灰度平均值t计算对应同心 圆环的序数度量矢量，以获得每个关键帧的环形特征及其对应视频的环形 指紋。
根据本发明进一步的实施例，所述步骤b包括根据所述兴趣点计算 所述同心圆环的中心点；选择所述中心点到所述边界和最远兴趣点的最小 值为所述同心圆环的半径；以及利用所述中心点和所述半径划分得到所述 多个同心圆环。
根据本发明进一步的实施例，所述步骤d包括根据模板圆环和每个 同心圆环中每个扇环的灰度平均值t计算对应同心圆环的圆形值，其中所 述模板圆环包括与同心圓环对应的多个划分扇环；根据所述圓形值确定对应同心圆环中扇环的起始位置；对每个同心圆环中对应所述起始位置排列 的每个扇环的灰度平均值t，进行大小排序；以及利用每个扇环的灰度平均 值t，及其对应的排序灰度平均值f计算对应同心圓环的序数度量矢量。
根据本发明再一步的实施例，所述确定对应同心圆环中扇环的起始位 置包括依次旋转所述模板圓环转过一个扇环的角度；利用旋转后模板圆 环分别计算所述同心圆环的圆形值；以及选择最小的圓形值对应的扇环作 为所述起始位置。
根据本发明进一步的实施例，根据每个关键帧所有同心圆环对应的序 数度量矢量确定每个关键帧的环形特征，以及根据所有关键帧的环形特征 确定所述视频的环形指紋。
本发明基于兴趣点，将视频帧划分为若干个面积相等的同心圆环，并 把同心圓划分成若干个面积相等的扇环。因此提高了内容指紋的唯一性， 很好地平衡了视频复制检测中提取指紋的唯一性和鲁棒性，从而兼顾视频 指紋提取的全面性和准确性，提高指纹提取的精度。
此外，本发明以一种相对比较度量作为内容指紋。因此，在视频的扇 环均发生变化时，这种方式可以使得它们之间的相对值关系保持不变化， 从而可以提高视频指紋提取的精度。
再者，本发明通过旋转模板圆环而对每一个圓环内不同扇环的内容指 紋进行了循环处理，所以对旋转变换具有鲁棒性。因此，在视频发生旋转 的情况下，仍可以保证较高的指紋提取精度。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面 的描述中变得明显，或通过本发明的实践了解到。
本发明的上述和/或附加的方面和优点从下面结合附图对实施例的描 述中将变得明显和容易理解，其中
图1为本发明实施例的视频指紋提取方法步骤流程图； 图2为本发明 一 个实施例的视频指紋提取方法的原理图； 图3为本发明实施例的划分扇环示意图； 图4为本发明另 一个实施例的视频指紋提取方法的原理图；图5为本发明实施例的圆环的环形值计算原理图。
具体实施例方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其
能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发 明，而不能解释为对本发明的限制。
参考图1，该图显示了本发明实施例的视频指紋提取方法步骤流程。 如图所示，首先提取给定视频的关键帧，针对每个关键帧并提取其所有兴 趣点(步骤102)。
然后，根据每个关键帧对应的边界和提取的兴趣点，将每个关键帧划 分成多个具有相等面积的同心圓环(步骤104)。在划分同心圓环时，可 以先根据提取的所有兴趣点计算对应每个同心圆环的中心点。然后，选择 所得中心点到对应关键帧边界和其上最远兴趣点的最小值为上述划分同心
圆环的半径。因此，以中心点为圆心，以上述最小值为半径，将关^t定帧对 应划分成若干个面积相等的同心圓环。
接着，将每个同心圆环划分成多个具有相等面积的扇环(步骤106)。 根据每个同心圆环中每个划分扇环的灰度平均值，计算对应同心圆环的序
数度量矢量。根据所有同心圆环的序数度量矢量进而获得每个关键帧的环 形特征，由所有关键帧的环形特征即可组成得到整个视频的环形指紋。
下面，结合图2的实施例对本发明的视频指紋提取方法的工作原理给 出i举细i兌明。
对于给定视频V，例如以等距离(1秒)从其对应视频内容中提取一帧 作为关键帧，得到视频V的关键帧序列12^，A，…，A)，其中n为从视频V 中提取的关键帧的数量。
对于每个关键帧f,提取其对应的兴趣点。在一个实施例中，可以提 取关键帧的surf ( Speeded-Up Robust Features,加速鲁棒性特征)特征点作 为兴趣点，或者也可以提取sift ( Scale Invariant Feature Transform,尺度不 变特征转换)特征点、stip ( Space Time Interest Points,时空兴趣点)特征点等其他特征点作为兴趣点。从而得到关键帧《的n个兴趣点14,表示为 a (X, m ), a 02, a )，…,p" 0"，凡)，
其中x'为兴趣点a的横坐标，x为兴趣点a纵坐标。 根据兴趣点14的坐标，可以确定中心点为^。"。，A),其中中心点横坐 标x。和纵坐标少。的计算公式如下
&=丄1^, 少。=丄1]乂
若关键帧《的宽为w,高位h，则圓半径R为 i = min(x。，j;o,1 w-x。 |，| / -y。 |，《)
其中x。，y。，1 w —x。 |，| A-_y。 I为圆心p。(x。，;;。)到关键帧边界的距离，《为圆心 A"Jo)到所有兴趣点的最长距离，即
c/p = max"Oo —乇)2 + Oo — x )2) (i = 1 2…n )。
也就是说，通过比较中心点到关键帧边界和最远兴趣点的距离大小， 确定最小距离为划分关键帧《的同心圆半径。
然后，以A)K，A)为圆心，以R为半径的圓，将关键帧《划分为m个面
积相同的同心圓环16。则每个同心圆环16的半径之比为1:V^:V^:…:V^，
第i个圓环的半径为
(i^,2,…，m)
接着，将每个同心圆环16进一步划分为多个具有相同面积的扇环18。 基于视频指紋的鲁棒性考虑，通常划分的扇环数量取值不易过大。 例如图3的实施例所示， 一个关键帧被划分为3个具有相同面积的同 心圆环，分别对应编号32、 34和36。并且利用水平、垂直、45度和135 度四条直线可以将每一个同心圆环划分为面积相等的八个扇环或扇形。如 图3所示，同心圆环34对应的划分扇环有8个，并按逆时针依次浮皮标记为 n0，nl,…n7。
当然，本发明不局限于该实施例数量的扇环划分，其他合适的数量仍 落在本发明的保护范围内。
假如同心圆环34每个扇环对应的灰度平均值t= ( 13， 34， 75， 21， 50, 86, 49， 67)，则按照灰度平均值大小对每个扇环进行排序，从而得到同心圆环 34的序数度量矢量p= ( 1， 3, 7， 2, 5, 8， 4, 6 )(以1开始计算)或者p= ( 0,2， 6， 1, 4, 7， 3, 5)(以0开始计算)。
同样地，根据每个同心圆环中扇环的灰度平均值t,可计算得到对应同 心圆环的序数度量矢量24,从而得到整个视频的环形指紋。
本实施例以视频帧的兴趣点为基础进行视频指紋提取，兴趣点是一种 典型的局部描述子，在视频的变换处理中兴趣点遭受攻击的可能性最小。 因此，本发明可以在兼顾视频指紋提取鲁棒性的前提下。很好的提高指紋 的唯一性。并且，通过在提取兴趣点基础上对视频帧进行划分得到对应的 序数度量，序数度量是一种典型的全局描述子，对于视频的全局变换具有 一定的鲁棒性。因此本发明可以很好地平衡提取指紋的唯一性和鲁棒性之 间的关系，兼顾视频指紋提取的全面性和准确性。
图4给出了本发明另一个实施例的视频指紋提取方法的原理图，与图 2实施例的不同之处在于，该实施例利用才莫々反圆环20进一步对每个圆环16 划分的扇环18进行循环处理，以实现视频存在旋转变换的情况下具有较好 的鲁棒性。
下面结合图4的实施例进行详细说明，其中与实施例2相同的步骤将 不再赘述。
在该实施例中，在划分得到多个具有相等面积的扇环18之后，根据模 板圆环20和每个同心圓环中每个扇环的灰度平均值t计算对应同心圓环16 的圓形值，其中^^莫板圓环20包括与同心圆环16对应的多个划分扇环。
根据圆形值确定对应同心圆环16中扇环的起始位置，同心圆环的圆形 值^计算公式如下
w fl
，其中 L" t"'-、 i=0~n-l, n为每个同心圆环
/=0
包括的划分扇环的数量，^和"表示相邻扇环分别对应的灰度平均值，
为才莫^反圓环20对应的函数。
在一个实施例中，^" = 2\ k = i。对于8个扇环的实施例，该函数计 算得到的圆形值通常位于0~ 255 ( 8比特)的范围内，因此具有运算方便 的优点。当然模板圓环20还可以是其他合适函数，而不局限于该具体实施例。
因此，通过在0~n-l之间依次确定k,从而将模板圆环20依次旋转一个扇环的角度。利用旋转后模板圓环分别计算对应同心圆环的圓形值，并 从中选择最小的圆形值对应的扇环作为该同心圆环的起始位置。
例如对于图3的实施例，如果同心圆环34的每一个扇环块的灰度平均 值分别为t0,tl，…t7,则第k个圆环的圆形值、计算公式如下
<formula>formula see original document page 10</formula>其中Lu f,s^， i-o，i，2,…，7,当1 = 0时，i画l取7。 。
环形值计算原理如图5的实施例所示
在计算同心圆环34的圆形值&时，将计算时使用的模板圆环20按照 顺/逆时针旋转。每次旋转一个扇环的角度，即45度，也就是在W卟-^中， k依次取i,i+l，i+2，…，i+7，并分别计算此时的圆形值v(,将《取最小值时作 为起始位置，即
v4 二min(《v,…,v。二v
则第Z个扇环作为该该同心圆环34的起始位置。
以M乍为起始位置，每个扇环的灰度平均值为,="，""'")，对纟'进行排
序后得到^&^，…，0。
如上文所述，^艮如同心圆环34每个扇环对应的灰度平均值1= ( 13，34， 75,21,50,86,49,67)，并且结合才莫板圆环20依次:旋转后确定起始位置扇 环为t2,即对应平均灰度值为70的扇环，则t，=:"，"，"";)= ( 75, 21, 50，
86, 49， 67, 13， 34) , "H"= ( 13， 21, 34， 49， 50， 67， 75, 86)。 由,="""'"0和,=""""，"计算得到圆环34的环形序数度量矢量^， 其中A-(《W,…,W)的公式如下
如果(=& ，则^'=* 。对于上述具体例子，则^=(7, 2, 5， 8, 4, 6， 1,3)。
由关键帧《中的所有同心圆环的环形序数度量矢量，可得关键帧《的圓 形特征
<formula>formula see original document page 10</formula>由所有关键帧《的圆形特征可组成整个视频V的圆形指紋P，即 户=(尸"，...，化
当然，关于灰度平均值t，的排序算法也不局限于上述具体公式，本领 域技术人员根据t，^(d…，")对应的灰度平均值可以将其直接进行序号排 序，得到相应的序数度量矢量。
本发明基于兴趣点，将视频帧划分为若干个面积相等的同心圆环，并 把同心圆划分成若干个面积相等的扇环。因此提高了内容指紋的唯一性。
一种相对比较度量作为内容指紋。因此，相比传统序数度量对块的灰度平 均值进行绝对排序，本发明在视频的扇环均发生变化时，这种方式可以使 得它们之间的相对值关系保持不变化，从而可以提高视频指紋提取的精度。
再者，本发明实施例采用了圓环的划分方法，并对每一个圆环内不同 扇环的内容指紋进行了循环处理，所以对旋转变换具有鲁棒性。因此，在 视频发生旋转的情况下，仍可以保证较高的指紋提取精度。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员 而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例 进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等 同限定。
权利要求
1.一种视频指纹提取方法，其特征在于，所述检测方法包括以下步骤a)提取视频的关键帧以及每个关键帧的所有兴趣点；b)根据每个关键帧对应的边界和提取的兴趣点，将每个关键帧划分成多个具有相等面积的同心圆环；c)将每个同心圆环划分成多个具有相等面积的扇环；以及d)根据每个同心圆环中扇环的灰度平均值t计算对应同心圆环的序数度量矢量，以获得每个关键帧的环形特征及其对应视频的环形指纹。
2. 如权利要求1所述的提取方法，其特征在于，所述兴趣点为所述关 键帧的加速鲁棒性特征surf兴趣点、尺度不变特征转换sift兴趣点或者时 空兴趣点stip。
3. 如权利要求1所述的提取方法，其特征在于，所述步骤b包括 根据所述兴趣点计算所述同心圆环的中心点；选择所述中心点到所述边界和最远兴趣点的最小值为所述同心圆环的 半径；以及利用所述中心点和所述半径划分得到所述多个同心圆环。
4. 如权利要求1所述的提取方法，其特征在于，所述步骤d包括 根据模板圆环和每个同心圆环中每个扇环的灰度平均值t计算对应同心圓环的圆形值，其中所述模板圆环包括与同心圓环对应的多个划分扇环； 才艮据所述圆形值确定对应同心圆环中扇环的起始位置； 对每个同心圆环中对应所述起始位置排列的每个扇环的灰度平均值t，进行大小排序；以及利用每个扇环的灰度平均值t，及其对应的排序灰度平均值F计算对应同心圓环的序数度量矢量。
5. 如权利要求1或4所述的提取方法，其特征在于，根据每个关键帧 所有同心圓环对应的序数度量矢量确定每个关键帧的环形特征，以及根据 所有关键帧的环形特征确定所述视频的环形指紋。
6. 如权利要求4所述的提取方法，其特征在于，所述确定对应同心圓环中扇环的起始位置包括依次旋转所述模板圆环转过一个扇环的角度；利用旋转后模板圓环分别计算所述同心圆环的圆形值；以及选择最小的圓形值对应的扇环作为所述起始位置。
7. 如权利要求4或6所述的提取方法，其特征在于，所述同心圆环的圓形值^计算公式如下"-i f 1 ^ > /w'=。 ，其中 L f' "， i=0~n-l, n为每个同心圆环包括的扇环的数量，r,和"表示相邻扇环分别对应的灰度平均值，/K"为所述模板圓环。
8. 如权利要求6所述的提取方法，其特征在于，W" = 2i, k = i。
9. 如权利要求4所述的提取方法，其特征在于，所述序数度量矢量计 算公式表示如下如果〈=^ ，则^=* 。
全文摘要
本发明公开了一种视频指纹提取方法，包括以下步骤提取视频的关键帧以及每个关键帧的所有兴趣点；根据每个关键帧对应的边界和提取的兴趣点，将每个关键帧划分成多个具有相等面积的同心圆环；将每个同心圆环划分成多个具有相等面积的扇环；以及根据每个同心圆环中扇环的灰度平均值计算对应同心圆环的序数度量矢量，以获得每个关键帧的环形特征及其对应视频的环形指纹。本发明可以提高视频指纹提取的精度。
文档编号H04N7/26GK101635851SQ20091009109
公开日2010年1月27日 申请日期2009年8月24日 优先权日2009年8月24日
发明者丁贵广, 超 夏, 聂荣显 申请人:清华大学