专利名称::一种基于内容的视频拷贝监测的方法及系统的制作方法
技术领域:
:本发明属于多媒体领域,特别涉及一种基于内容的视频拷贝监测的方法及系统。
背景技术:
:基于内容的视频拷贝监测(CBCD:Content-basedCopyDetection)是近年来发展起来的一项重要技术,它被广泛地应用于基于内容的盗版监测、广告监测等领域。CBCD方法包括两个步骤(1)根据计算得到的敏感视频的各关键帧的特征向量,生成敏感视频的指紋,建立纟见频指紋库;(2)获取待监测视频,根据计算得到的待监测视频关键帧的特征向量,生成待监测视频的指紋,在视频指紋库中进行查询匹配,以判断是否有和待监测视频内容相同的拷贝;CBCD的核心技术包括视频指紋的生成和指紋的匹配查询。这里视频指紋指根据视频内容生成的用于唯一标识该视频的特征数据,是包括多个关键帧的特征相量的一个向量序列。关^l建帧为代表一段视频多个图1^象帧的一个图像帧,如代表一个镜头(一个视频由多个镜头组成,一个镜头是同一个摄像机连续拍摄下的一组图像帧)中所有图像帧的一个图像帧,特征向量可以由一个特征点的描述数据组成,也可以由一阵图像中各个分块的统计特征组成,关键帧的特征向量是指,由一个关键帧抽取出的一个表示其特征的高维向量。简单来说,向量就是若干数字。我们日常生活中用到的向量一般都是二位或者三维,即二位空间中的点p气x,y)或者三维空间中的点p=(x,y,z)。图像处理中一个图像的特征向量则可能有几千维。一般认为低于20维的是低维,高于这个维度被认为是高维。在现有的CBCD系统实现中遇到的问题是一个待监测视频是一个指紋库中敏感视频的完整拷贝,实际情况往往是一个待监测视频由多个视频片段剪辑而成,而指紋库中的敏感视频也可能是由多个视频片段剪辑而成,如图1所示。所以可能一个待监测视频的某个视频片段是指紋库中的视频1片段的拷贝,但待监测视频的另外一段是指紋库中另外一个敏感视频2的片段的拷贝,现有技术仅能判断一个待监测视频是否为指紋库中一个敏感视频的完整拷贝,无法确定,待监测视频的一个片段中的内容(多个图像帧)是否为视频指紋库中的敏感视频的拷贝内容,可见现有技术对于相同拷贝的查询匹配能力较弱。
发明内容为了解决现有技术对于相同拷贝的查询匹配能力较弱的问题,本发明实施例提供了一种基于内容的视频拷贝监测方法,包括抽取待监测视频中代表多个图像帧的关键帧,获取抽取的关键帧的特征向量;在视频指紋库敏感视频的关键帧特征相量中,若查找到与获取的特征向量属于同一拷贝的特征相量;则确定待监测视频关键帧代表的多个图像帧属于视频指紋库敏感视频。同时本发明实施例还提供一种基于内容的视频拷贝监测的系统,包括获取模块用于抽取待监测视频中的关键帧,获取抽取的关键帧的特征向量,所述关键帧为代表一组图像帧的一个图像帧;匹配模块用于在视频指紋库敏感视频的关键帧特征相量中,查找到与获取的特征向量之间的距离小于预设定阈值的特征相量;确定模块用于确定在视频指紋库的敏感视频中有和待监测视频内容相同的拷贝内容。由上述本发明提供的具体实施方案可以看出,正是由于在指紋库的特征相量中,查找与待监测视频中抽取的特征向量属于同一拷贝的特征相量,进而可以确定待监测视频关键帧代表的多个图像帧属于视频指紋库敏感视,提高了相同拷贝的查询匹配能力。图1为现有技术中待监测视频由多个视频片段剪辑示意图;图2为本发明提供的第一实施例方法流程图;图3为本发明提供的第二实施例系统结构图。具体实施例方式为了确定待监测视频的一个片段中的内容(多个图像帧)是否属于视频指紋库中的敏感视频,本发明实施例公开的方案的基本思想是从待监测视频中抽取代表一组图像帧中多个图像帧的关键帧,获取该关键帧的特征向量,通过用户上传的敏感视频计算各关键帧对应的特征向量,组织敏感视频的视频指紋库,在视频指紋库敏感视频的关键帧特征相量中,查找与获取的特征向量属于同一拷贝的特征相量,确定在视频指紋库敏感视频中有和待监测视频内容(关键帧代表的一组图像帧)相同的拷贝。相对于传统的视频拷贝监测方法,该方法可以确定待监测视频关键帧代表的多个图像帧组成的视频片段属于视频指紋库敏感纟见频。本发明提供的第一实施例是一种基于内容的视频拷贝监测方法,方法流程如图2所示,包括步骤102:抽取待监测视频中代表一个镜头Cl的所有图像帧的关键帧A,获取关键帧A的特征向量一。步骤104:在视频指紋库(具体是视频指紋库中的视频指紋特征向量索引库)敏感视频的关键帧特征相量k......5"中,查找到和;之间的距离D(a,—)<R,5l和^属于同一拷贝。其中/7为正整^:,R为预i殳定阈值。步骤106:确定在视频指紋库中存储的敏感视频中,有和待监测视频镜头Cl内容相同的拷贝内容。至此,可以确定待监测视频的镜头C1为视频指紋库中的敏感视频的拷贝,提高了相同拷贝的查询匹配能力。进一步,为了提供与镜头C1相接近的镜头C,所属敏感视频C,的详细描述信息,及镜头C,在敏感视频C,中的起止时间,本实施例通过下面的步骤进行说明。<table>tableseeoriginaldocumentpage7</column></row><table>)<table>tableseeoriginaldocumentpage7</column></row><table>确定视频C,的详细描述信息。该详细描述信息为名称test、长度1小时、分辨率1024*768、码率500KBPS、格式RMVB、来源用户甲和发生拷贝匹配时的操作码1A2B,中的一个或多个。在-见频信息库中的编号详细描述信息1000名称test、长度l小时、分辨率1024*768、码率500KBPS、格式RMVB、来源用户曱和发生拷贝匹配时的操作码1A2B1001.......1010...表3作为优选方案,步骤i02中关键帧A代表一个镜头Cl的所有图像帧,也可以是关键帧A代表图像帧,不以每个镜头中的图像帧为集合,也可以是关键帧A代表镜头Cl和镜头C2两个镜头中的所有图像帧,或者,镜头Cl中的图像帧前半部分的关键帧为关键帧A,后半部分分的关键帧为关键帧B。或者连续的图像帧的特征向量的差值在一定范围内的图像帧,由一个关键帧代表。步骤104中视频指紋特征向量索引库由用户上传的敏感视频的关键帧特征向量按照空间分割、数据分割或者哈希方式组织。具体采用什么组织方法跟向量维度相关。之所以要给指紋的特征向量建索引库是为了快速查找,比如从1亿个特征向量中找出和手头待监测的特征向量最接近的特征向量,需要进行分类以加快搜索速度。空间分割、数据分割就是分类的方法,即先找到与待监测的向量接近的分类,然后在这个分类中进行一一比对,这样其他类的向量就不用做比对了。但分类的方法只适用于小于20维的向量,对于更高的维度,则需要使用PCA(PrincipalComponentsAnalysis,主成分分析)、HilbertCurve(希尔伯特曲线)等方法降维,或者使用VA-File(向量近似文件)、LSH(LocalitySensitiveHashing,位置敏感哈希)等近似搜索算法。步骤104中预设定阈值的R可以根据下面的步骤得到,在将敏感视频的关键帧特征向量加入视频指紋库时,对敏感视频的关键帧进行变换,然后计算变换后的特征向量,以变换前关键帧的特征向量和关键帧变换后的特征向量两两之间距离的最大值作为预设定阈值R。因为预设定阈值R是指各特征向量两两之间距离的最大值,因此如有一个特征向量和此处的敏感—见频的关键帧进行变换是指缩放、才莫糊、旋转、增减字幕和增减台标变换中的部分或全部变换。本发明提供的第二实施例是一种基于内容的视频拷贝监测系统,其结构如图3所示,包括获取模块202:用于抽取待监测视频中的关键帧,获取抽取的关键帧的特征向量,所述关键帧为代表一组图像帧的一个图像帧;匹配模块204:用于在视频指紋库敏感视频的关键帧特征相量中,查找到与获取的特征向量之间的距离小于预设定阈值的特征相量;确定模块206:用于确定在视频指紋库的敏感视频中有和待监测视频内容相同的拷贝内容。进一步,该系统还包括变换模块208:用于对待加入视频指紋库的敏感视频的关键帧进行变换,然后计算变换后的特征向量,以变换前关键帧的特征向量和关键帧变换后的特征向量两两之间距离的最大值作为预设定阈值。进一步,获取模块202:还用于抽取待监测视频中代表一个视频镜头所有图像帧的关键帧,获取抽取的关键帧的特征向量。进一步,确定模块206:还用于根据查找到的特征相量,以及敏感视频的关键帧特征相量和敏感视频的关键帧所属视频镜头描述信息的对应关系,确定查找到的特征相量对应的视频镜头描述信息,所述描述信息包括视频镜头所属的视频的编号和视频镜头在所属视频的起止时间,根据确定的视频镜头所属的视频的编号,确定该视频镜头所属视频的详细描述信息。明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。权利要求1、一种基于内容的视频拷贝监测的方法,其特征在于,包括抽取待监测视频中的关键帧,获取抽取的关键帧的特征向量;在视频指纹库敏感视频的关键帧特征相量中,若查找到与获取的特征向量之间的距离小于预设定阈值的特征相量;则确定在视频指纹库的敏感视频中有和待监测视频内容相同的拷贝内容。2、如权利要求1所述的方法,其特征在于,查找与获取的特征向量之间的距离小于预设定阈值的特征相量前包括对待加入视频指紋库的敏感视频的关键帧进行变换,计算变换后的特征向量;以变换前关键帧的特征向量和变换后关键帧的特征向量两两之间距离的最大值作为预设定阈值。3、如权利要求2所述的方法,其特征在于,所述对敏感视频的关键帧进行变换包括对敏感视频的关键帧进行缩放、模糊、旋转、增减字幕和增减台标变换中的部分或全部变换。4、如权利要求1所述的方法,其特征在于,抽取待监测视频中代表多个图像帧的关键帧,获取抽取的关键帧的特征向量具体为抽取待监测视频中代表一个视频镜头所有图像帧的关键帧,获取抽取的关键帧的特征向量。5、如权利要求4所述的方法,其特征在于,根据查找到的特征相量,以及敏感视频的关键帧特征相量和敏感视频的关键帧所属视频镜头描述信息的对应关系,确定查找到的特征相量对应的视频镜头描述信息,所述描述信息包括视频镜头所属的视频的编号和视频镜头在所属视频的起止时间;根据确定的^L频镜头所属的视频的编号,确定该^L频镜头所属视频的详细描述信息。6、如权利要求5所述的方法,其特征在于,所述^L频的详细描述信息包括编号、名称、长度、分辨率、码率、格式和来源任意之一或组合。7、一种基于内容的视频拷贝监测的系统,其特征在于,包括获取模块用于抽取待监测视频中的关键帧,获取抽取的关键帧的特征向量,所述关键帧为代表一组图像帧的一个图像帧;匹配模块用于在视频指紋库敏感视频的关键帧特征相量中,查找到与获取的特征向量之间的距离小于预设定阈值的特征相量;确定模块用于确定在视频指紋库的敏感视频中有和待监测视频内容相同的拷贝内容。8、如权利要求7所述的系统,其特征在于,还包括变换模块用于对待加入视频指故库的敏感视频的关键帧进行变换,然后计算变换后的特征向量,以变换前关键帧的特征向量和关键帧变换后的特征向量两两之间距离的最大值作为预设定阈值。9、如权利要求7所迷的系统,其特征在于,获取^莫块还用于抽取待监测视频中代表一个视频镜头所有图像帧的关键帧,获取抽取的关键帧的特征向量。10、如权利要求9所述的系统,其特征在于,确定模块还用于根据查找到的特征相量,以及敏感视频的关键帧特征相量和敏感视频的关键帧所属视频镜头描述信息的对应关系,确定查找到的特征相量对应的视频镜头描述信息,所述描述信息包括^L频镜头所属的视频的编号和—见频镜头在所属视频的起止时间,根据确定的视频镜头所属的视频的编号,确定该视频镜头所属视频的详细描述信息。全文摘要本发明公开了一种基于内容的视频拷贝监测方法及系统,为了解决现有技术对于相同拷贝的查询匹配能力较弱的问题,该方法包括抽取待监测视频中的关键帧,获取抽取的关键帧的特征向量,所述关键帧为代表一组图像帧的一个图像帧;在视频指纹库敏感视频的关键帧特征相量中,查找到与获取的特征向量之间的距离小于预设定阈值的特征相量;确定在视频指纹库的敏感视频中有和待监测视频内容相同的拷贝内容,由于在指纹库的特征相量中,查找与待监测视频中抽取的特征向量属于同一拷贝的特征相量,进而可以确定待监测视频关键帧代表的多个图像帧属于视频指纹库敏感视频,提高了相同拷贝的查询匹配能力。文档编号H04N5/913GK101442641SQ20081022710公开日2009年5月27日申请日期2008年11月21日优先权日2008年11月21日发明者浩尹,张焕强,雯惠,铮李,陈文涛,东黄申请人:清华大学;北京蓝汛通信技术有限责任公司