专利名称：一种基于二部图的视频指纹匹配方法
技术领域：
本发明涉及计算机多媒体技术领域，特别涉及一种基于二部图的视频指纹匹配方法。
背景技术：
随着信息技术的飞速发展，尤其是网络通信技术和多媒体技术的应用，视频点播、 网络播客、流媒体、P2P系统等大量网络多媒体资源急剧增加。方便快捷的共享和传播使得 网络多媒体盗版事件日益增多，为了有效防止网络多媒体盗版事件的发生，出现了多种版 权保护技术。基于内容的复制检测(Content-based Copy Detection，CBCD)技术是目前研 究比较多的一种网络视频版权保护技术。该方法的优势是利用多媒体内容本身的信息，提 取出其特有的内容身份信息，称为“内容指纹，，或“数字DNA”，利用其特有的内容身份信息 来检测网络多媒体内容是否被复制。在CBCD技术中，目前滑动窗口匹配算法是一种相对比 较成熟的视频指纹匹配技术。滑动窗口算法最初是计算机网络通信领域的数据帧传输的一种技术，该技术主要 是用来解决计算机网络系统间通信时候的流量拥塞及控制问题。在图像处理领域中，有一 类算法也同样具有滑动窗口算法的特点[1]，即对图像中一个窗口里面的像素点进行某种 运算，运算完成后将窗口滑到图像中另一个新的位置继续进行相同的运算，如此重复操作， 直至完成整幅图像。图像处理中的滑动窗口算法最典型是中值滤波算法和边缘检测算法。因为滑动窗口可以看作是一个窗口在一段数据序列上进行滑动，所以很多指纹序 列匹配技术同样具有滑动窗口的特点。计算序数度量指纹特征的距离公式，如式1所示。
其中R(i)表示目标视频R的指纹向量，T(i)表示查询视频T(长度为LT)的指 纹向量，D(t)表示在时间为t时，查询视频R与目标视频T之间的距离。可以将查询视频 T在目标视频R上滑动，分别计算出每一个对应时间点上的距离D(t)，最后取距离最小值 min(D(t))作为两段视频R和T的整体距离。对于给定的由N帧组成的查询视频序列Vq和 由M(M>>N)帧组成的目标视频序列Vt，可以使用滑动窗口方法比较:p+N-l], 具体匹配算法步骤如下(l)p —0;(2)计算视频序列 Vq 和 Vt[p :p+N-l]之间的距离 D(Vq，Vt[p :p+N_l])；(3)p — p+1，如果p < M-N+l，则返回步骤⑵，否则执行步骤⑷；(4)计算由步骤(3)得到的D(Vq，Vt[p :p+N-l])的最小值。如果该最小值小于我 们预先设定的阈值￡，则该查询视频是目标视频的复制视频。 滑动窗口匹配算法是将查询视频与视频数据库中的所有视频分别进行一一匹配， 分别计算其相似度，并根据相似度的大小返回匹配结果序列。当视频数据库中包含海量数 据的时(这种情况在实际应用中非常常见)，这种指纹序列匹配显然会因为遍历所有视频而花费较多的时间成本。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一。特别解决因视频数据库中包含海 量数据时计算所带来的时间复杂度，效率不高的缺陷。为达到上述目的，本发明提出了一种基于二部图的视频指纹匹配方法，包括以下 步骤分别提取数据库视频与查询视频的关键帧指纹特征信息；判断所述数据库视频和查 询视频的关键帧指纹特征信息之间的相似度，以根据所述相似度建立所述查询视频关键帧 的匹配链表集合；根据所述查询视频的关键帧指纹信息与匹配链表集合的关系构造由所述 数据库视频与查询视频的关键帧组成的二部图集合；对所述二部图集合进行筛选以得到匹 配结果。在本发明的一个实施例中，把所述查询视频的所有关键帧指纹组成一个指纹集
口 o在本发明的一个实施例中，所述提取数据库视频的关键帧指纹特征信息进一步包 括提取数据库中所有视频关键帧的指纹信息；建立所述数据库中所有视频关键帧的指纹 信息库；提取所述指纹信息库中的数据库视频关键帧指纹特征。在本发明的一个实施例中，所述判断数据库视频和查询视频的关键帧指纹特征的 相似度，以根据所述相似度建立所述查询视频关键帧的匹配链表集合，进一步包括计算所 述指纹信息库中的数据库视频与所述查询视频的关键帧指纹之间的距离或相似度；根据所 述相似度建立所述查询视频中每个关键帧的匹配链表；根据所有查询视频中每个关键帧的 匹配链表建立所述匹配链表集合。在本发明的一个实施例中，所述根据查询视频的关键帧指纹信息与匹配链表集合 的关系构造由所述数据库视频与查询视频的关键帧组成的二部图集合，进一步包括在与 所述查询视频的指纹集合对应的匹配链表集合中，查询所述匹配链表集合中满足预定条件 的关键帧；建立由所述查询视频每个关键帧与对应所述满足预定条件的关键帧的二部图； 根据所述二部图构建二部图集合。在本发明的一个实施例中，所述对二部图集合进行筛选以得到匹配结果进一步包 括通过选择具有二部图最大匹配的视频序列对所述二部图集合进行筛选以得到匹配结^ o在本发明的一个实施例中，当所述具有二部图最大匹配的视频序列不唯一时，通 过以下公式计算二部图的距离以过滤掉距离相对较大的二部图 其中，N为二部图的边数，gf和乂分别为边gi的两个顶点。本发明的另一方面提出一种基于二部图的视频指纹匹配装置，包括指纹信息提 取模块，用于提取数据库视频与查询视频的关键帧指纹特征信息；匹配链表集合构建模块， 用于判断所述数据库视频和查询视频的关键帧指纹特征信息之间的相似度，以根据所述相 似度建立所述查询视频关键帧的匹配链表集合；二部图集合构建模块，用于根据所述查询视频的关键帧指纹信息与匹配链表集合的关系，构造由所述数据库视频与查询视频的关键 帧组成的二部图集合；和二部图过滤模块，用于对所述二部图集合进行筛选以得到匹配结^ o通过本发明提出的基于二部图的视频指纹匹配方法，即减少了在查询匹配过程中 算法的计算量，又降低了算法的时间复杂度。另外，该方法对视频的时间编辑具有一定的鲁 棒性，即在视频存在一定的跳帧和丢帧现象时仍然能够复制视频。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图la，图lb，图lc为二部图的结构图；图2为本发明实施例基于二部图的视频指纹匹配方法的整体流程图；图3为本发明实施例提出的二部图的结构图；图4为本发明实施例的建立二部图的示意图；图5为二部图的过滤示意图；和图6为本发明实施例的基于二部图的视频指纹匹配装置结构图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本发明是针对现有视频匹配技术存在的花费时间较多和时间成本的问题，而提出 的一种基于二部图的视频指纹匹配方法，该方法不是对所有视频进行逐一匹配，而是基于 二部图的视频指纹序列匹配方法，通过该方法能够有效地节省匹配时间，提高匹配准确性。由于本发明是基于二部图而提出的视频指纹匹配方法，所以以下就对二部图做简 要说明。二部图也称二分图，是指顶点可以分成两个不相交的集合，并使得在同一集合内的 顶点不相邻(没有公共边)的图。即图G = <V，E>，如果VI U V2 = V，V1 nV2=①，对于 每一个(x,y) G E，都有x G Vl,y G V2，或者x G V2, y G VI，则称G为二部图。如图la, lb, lc所示，为三个不同二部图的结构图。另外本发明提出的基于二部图而提出的视频指纹匹配方法还用到了二部图最大 匹配的概念，所谓二部图最大匹配指对于一个给定的二部图，在其子图中，边集的任意两 条边都不具有公共顶点，则该子图称为此二部图的一个匹配，而包含边数最多的那个匹配 即为该二部图的最大匹配。有时二部图的最大匹配也指最大匹配子图的边数。如图2所示，为本发明实施例基于二部图的视频指纹匹配方法的整体流程图，包 括以下步骤步骤S101，分别提取数据库视频与查询视频的关键帧指纹特征信息。具体地，首先提取数据库中所有视频关键帧的指纹信息，然后建立所述数据库中所有视频关键帧的指纹信息库，最后分别提取所述指纹信息库中与所述查询视频的关键帧 指纹特征信息。步骤S102，判断所述数据库视频和查询视频的关键帧指纹特征信息之间的相似 度，以根据所述相似度建立所述查询视频关键帧的匹配链表集合。具体地，首先通过计算得到所述指纹信息库中与所述查询视频的关键帧指纹之间 的距离或相似度，然后按所述相似度建立所述查询视频每个关键帧的匹配链表，最后把所 有查询视频关键帧的匹配链表组成所述匹配链表集合。在本发明的一个实施例中，按所述相似度建立所述查询视频每个关键帧的匹配链 表是根据相似度从大到小的顺序建立查询视频每一个关键帧的匹配链表。在本发明的一个 实施例中，匹配链表集合为所有匹配链表依据特定方式组合而成。例如可以按照建立匹配 链表的时间顺序组合而成的匹配链表集合。步骤S103，根据所述查询视频的关键帧指纹信息与匹配链表集合的关系构造由所 述数据库视频与查询视频的关键帧组成的二部图集合。具体地，首先在与所述查询视频的指纹集合对应的匹配链表集合中，查询所述匹 配链表集合中满足预定条件的视频帧，然后建立由所述查询视频每个关键帧与对应所述视 频帧的二部图，最后把所有所述二部图组合成为一个二部图集合。更为具体地，在本发明的一个实施例中，把所述查询视频的所有关键帧指纹组成 一个指纹集合，在本实施例中指纹集合记为Q，与之对应的匹配链表集合记为L。则可以 通过查询匹配链表集合L中满足一定条件(比如查询视频与数据库视频的关键帧的来源 视频名称相同，或者关键帧的时间顺序满足递增关系等)的视频帧，建立起由查询视频关 键帧与数据库中某一视频的关键帧组成的二部图，并最终得到一个二部图的集合，在本发 明的实施例中所述二部图集合记为G。另外，在本发明提出的基于二部图的视频指纹匹配方法中，构建二部图集合G是 基于二部图的视频指纹匹配算法的关键，其具体构建二部图集合G的过程如表1所示的伪 代码。 表1构建二部图集合算法伪代码在本发明的实施例中，根据表1，第(2)行到第(13)行是在链表集合L中查询满足 第(8)行所示条件的视频指纹序列，第(8)行所表示的条件是链表集合L中的两帧必须来 自同一视频，并且要遵循关键帧在时间上的序列关系。由于视频序列具有很强的时间顺序关系，所以在本发明实施例中建立的二部图集 合中的二部图并不是普通的二部图，而是如图3所示的一类特殊的二部图。
为了对本发实施例提出的视频指纹匹配算法有更加清楚的理解，尤其是对该算法 建立二部图集合的部分，如图4所示，为本发明实施例的建立二部图的示意图。在本发明的 具体例子中，依据图4，查询视频Query的关键帧Q1后面是其对应的匹配关键帧链表A6，
D3，A2，C5, F6, B1,......，K9，同理，其余的关键帧Q2，Q3，Q4， ，Qn所对应的匹配链表
从图中能够明显看到。在本发明的具体实施例中，根据表1所示的构建二部图算法，结合图 4，可以在Query的匹配链表中得到其前4帧对应的二部图G = <(Q1，A2)，(Q2，A5)，(Q4， A8)>,因为A2，A5和A8满足构建二部图算法的条件。步骤S104，对所述二部图集合进行筛选以得到匹配结果。具体地，因为基于二部图的视频指纹匹配算法主要是针对数据库中视频量比较大 的情况，所以基于海量视频信息建立的二部图集合中，存在很多来自同一个视频并且具有 关键帧交叉关系的视频序列，在这种情况下，我们只选择具有二部图最大匹配的视频序列。如果具有二部图最大匹配的视频序列不唯一，那么可以通过以下公式 计算该二部图的距离，过滤掉距离较大的二部图。其中N为二部图的边数，gf和g 分别为边gi的两个顶点，即对应关键帧的指纹特征。在本发明的具体实施例中，以含有四 个交叉关键帧序列的二部图集合为例，运用公式(式2)，其过滤过程如图5所示，为二部图 的过滤示意图。通过公式(式2)计算图5所示二部图的距离，过滤掉距离较大的二部图， 得到最终匹配的二部图。在本发明的另一方面还提出了一种基于二部图的视频指纹匹配装置，如图6所 示，为本发明实施例的基于二部图的视频指纹匹配装置结构图。该基于二部图的视频指纹 匹配装置100包括指纹信息提取模块110，用于提取数据库视频与查询视频的关键帧指纹 特征信息；匹配链表集合构建模块120，用于判断所述数据库视频和查询视频的关键帧指 纹特征信息之间的相似度，以根据所述相似度建立所述查询视频关键帧的匹配链表集合； 二部图集合构建模块130，用于根据所述查询视频的关键帧指纹信息与匹配链表集合的 关系，构造由所述数据库视频与查询视频的关键帧组成的二部图集合；和二部图过滤模块 140，用于对所述二部图集合进行筛选以得到匹配结果。通过本发明提出的基于二部图的视频指纹匹配方法是在数据库视频关键帧的指 纹特征之上建立的二部图，它打乱了关键帧的视频属性，所以不需要与视频进行逐一匹配， 可以在具有大量视频信息的情况下提高视频复制检测的在线匹配速度。另外，该算法还对 视频的时间编辑具有一定的鲁棒性，即允许复制视频存在一定的跳帧和丢帧现象。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同限定。
9
权利要求
一种基于二部图的视频指纹匹配方法，其特征在于，包括以下步骤分别提取数据库视频与查询视频的关键帧指纹特征信息；判断所述数据库视频和查询视频的关键帧指纹特征信息之间的相似度，以根据所述相似度建立所述查询视频关键帧的匹配链表集合；根据所述查询视频的关键帧指纹信息与匹配链表集合的关系构造由所述数据库视频与查询视频的关键帧组成的二部图集合；和对所述二部图集合进行筛选以得到匹配结果。
2.如权利要求1所述的基于二部图的视频指纹匹配方法，其特征在于，还包括把所述 查询视频的所有关键帧指纹组成一个指纹集合。
3.如权利要求1所述的基于二部图的视频指纹匹配方法，其特征在于，所述提取数据 库视频的关键帧指纹特征信息进一步包括提取数据库中所有视频关键帧的指纹信息； 建立所述数据库中所有视频关键帧的指纹信息库； 提取所述指纹信息库中的数据库视频关键帧指纹特征。
4.如权利要求3所述的基于二部图的视频指纹匹配方法，其特征在于，所述判断数据 库视频和查询视频的关键帧指纹特征的相似度，以根据所述相似度建立所述查询视频关键 帧的匹配链表集合，进一步包括计算所述指纹信息库中的数据库视频与所述查询视频的关键帧指纹之间的距离或相 似度；根据所述相似度建立所述查询视频中每个关键帧的匹配链表； 根据所有查询视频中每个关键帧的匹配链表建立所述匹配链表集合。
5.如权利要求2所述的基于二部图的视频指纹匹配方法，其特征在于，所述根据查询 视频的关键帧指纹信息与匹配链表集合的关系构造由所述数据库视频与查询视频的关键 帧组成的二部图集合，进一步包括在与所述查询视频的指纹集合对应的匹配链表集合中，查询所述匹配链表集合中满足 预定条件的关键帧；建立由所述查询视频每个关键帧与对应所述满足预定条件的关键帧的二部图； 根据所述二部图构建二部图集合。
6.如权利要求1所述的基于二部图的视频指纹匹配方法，其特征在于，所述对二部图 集合进行筛选以得到匹配结果进一步包括通过选择具有二部图最大匹配的视频序列对所述二部图集合进行筛选以得到匹配结
7.如权利要求6所述的基于二部图的视频指纹匹配方法，其特征在于，当所述具有二 部图最大匹配的视频序列不唯一时，通过以下公式计算二部图的距离以过滤掉距离相对较 大的二部图 其中，N为二部图的边数，gf和g分别为边gi的两个顶点。
8. 一种基于二部图的视频指纹匹配装置，其特征在于，包括 指纹信息提取模块，用于提取数据库视频与查询视频的关键帧指纹特征信息； 匹配链表集合构建模块，用于判断所述数据库视频和查询视频的关键帧指纹特征信息 之间的相似度，以根据所述相似度建立所述查询视频关键帧的匹配链表集合；二部图集合构建模块，用于根据所述查询视频的关键帧指纹信息与匹配链表集合的关 系，构造由所述数据库视频与查询视频的关键帧组成的二部图集合；和 二部图过滤模块，用于对所述二部图集合进行筛选以得到匹配结果。
全文摘要
本发明提出了一种基于二部图的视频指纹匹配方法，包括以下步骤分别提取数据库视频与查询视频的关键帧指纹特征信息；判断所述数据库视频和查询视频的关键帧指纹特征信息之间的相似度，以根据所述相似度建立所述查询视频关键帧的匹配链表集合；根据所述查询视频的关键帧指纹信息与匹配链表集合的关系，构造由所述数据库视频与查询视频的关键帧组成的二部图集合；和对所述二部图集合进行筛选以得到匹配结果。通过本发明的基于二部图的视频指纹匹配方法，即减少了算法的计算量，又降低了算法的时间复杂度。另外，该方法对视频的时间编辑具有一定的鲁棒性，即在视频存在一定的跳帧和丢帧现象时仍然能够复制视频。
文档编号G06F17/30GK101894156SQ20101022948
公开日2010年11月24日 申请日期2010年7月12日 优先权日2010年7月12日
发明者丁贵广, 聂荣显 申请人:清华大学