本申请涉及通信领域,尤其涉及一种用于检测视频重复度的技术。
背景技术:
随着时代的发展,越来越多的用户将视频上传到网络。尤其是短视频的盛行,催生了视频经济,例如,用户可以通过上传短视频获取一定的收益。同时也催生了盗版搬运行业,盗版视频往往是对原始视频进行部分修改或者不修改就作为自己的视频直接上传网络,导致原始视频的创作者的利益受损。
技术实现要素:
本申请的一个目的是提供一种用于检测视频重复度的方法与设备。
根据本申请的一个方面,提供了一种用于检测视频重复度的方法,该方法包括:
获取第一视频信息的一帧或多帧第一视频帧图像;
根据第二视频信息的第一特征组合逐帧检测所述一帧或多帧第一视频帧图像中是否存在满足重复度检测条件的目标视频帧图像;
对于检测出满足所述重复度检测条件的每一帧所述目标视频帧图像,根据出现在该目标视频帧图像的目标检测区域内的第二目标对象的数量与出现在该目标检测区域内的所有对象的总数量之比确定该目标视频帧图像的单帧重复度;
根据最终确定出的一帧或多帧所述目标视频帧图像中每一帧目标视频帧图像的单帧重复度确定所述第一视频信息与所述第二视频信息的视频重复度。
根据本申请的一个方面,提供了一种用于检测视频重复度的设备,该设备包括:
一一模块,用于获取第一视频信息的一帧或多帧第一视频帧图像;
一二模块,用于根据第二视频信息的第一特征组合逐帧检测所述一帧或多帧第一视频帧图像中是否存在满足重复度检测条件的目标视频帧图像;
一三模块,用于对于检测出满足所述重复度检测条件的每一帧所述目标视频帧图像,根据出现在该目标视频帧图像的目标检测区域内的第二目标对象的数量与出现在该目标检测区域内的所有对象的总数量之比确定该目标视频帧图像的单帧重复度;
一四模块,用于根据最终确定出的一帧或多帧所述目标视频帧图像中每一帧目标视频帧图像的单帧重复度确定所述第一视频信息与所述第二视频信息的视频重复度。
根据本申请的一个方面,提供了一种用于检测视频重复度的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上所述任一方法的操作。
根据本申请的一个方面,提供了一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如上所述任一方法的操作。
与现有技术相比,本申请在检测所述第一视频信息与所述第二视频信息之间的视频重复度时,获取所述第一视频信息的一帧或多帧第一视频帧图像。根据所述第二视频信息的第一特征组合逐帧确定所述目标视频帧图像。通过删选确定出所述目标视频帧图像,仅对所述目标视频帧图像做进一步的重复度检测,提高检测效率。
为进一步提高检测效率,对于每一帧所述目标视频帧图像,根据出现在该目标视频帧图像的目标检测区域内的第二目标对象的数量与出现在该目标检测区域内的所有对象的总数量之比确定该目标视频帧图像的单帧重复度。通过仅识别所述目标检测区域内的第二目标对象的数量与该目标检测区域内的所有对象的总数量确定该目标视频帧图像的单帧重复度,又进一步将重复度检测的区域缩小到所述目标检测区域,从而可以进一步提高重复度检测的效率。
最后,对于所述第一视频信息与所述第二视频信息之间的视频重复度,根据所述一帧或多帧目标视频帧图像中每一帧目标视频帧图像的单帧重复度即可确定该第一视频信息与该第二视频信息之间的整体的视频重复度。
综上,本申请提供了一种可以大大提高视频重复度检测效率,并且可以节约检测计算资源的方法。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个实施例的一种用于检测视频重复度的方法流程图;
图2示出根据本申请一个实施例的提取第二视频信息的第一特征组合、第二特征组合的流程图;
图3示出根据本申请一个实施例的一种用于检测视频重复度的设备结构图;
图4示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如,中央处理器(centralprocessingunit,cpu))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(randomaccessmemory,ram)和/或非易失性内存等形式,如只读存储器(readonlymemory,rom)或闪存(flashmemory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(phase-changememory,pcm)、可编程随机存取存储器(programmablerandomaccessmemory,pram)、静态随机存取存储器(staticrandom-accessmemory,sram)、动态随机存取存储器(dynamicrandomaccessmemory,dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(electrically-erasableprogrammableread-onlymemory,eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(compactdiscread-onlymemory,cd-rom)、数字多功能光盘(digitalversatiledisc,dvd)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于终端、网络设备、或终端与网络设备通过网络相集成所构成的设备。所述终端包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如android操作系统、ios操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(applicationspecificintegratedcircuit,asic)、可编程逻辑器件(programmablelogicdevice,pld)、现场可编程门阵列(fieldprogrammablegatearray,fpga)、数字信号处理器(digitalsignalprocessor,dsp)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(cloudcomputing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、vpn网络、无线自组织网络(adhoc网络)等。优选地,所述设备还可以是运行于所述终端、网络设备、或终端与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
在此,需要说明的是,本申请所述的一种用于检测视频重复度的方法的执行主体可以是网络设备,也可以是用户设备。例如,用户将所述第一视频信息上传到所述网络设备,由所述网络设备对该第一视频信息与所述第二视频信息进行视频重复度的检测。再例如,用户将所述第一视频信息传到用户设备端,由所述用户设备对该第一视频信息与所述第二视频信息进行视频重复度的检测。在一些实施例中,所述网络设备包括但不限于服务器(例如,视频重复度检测app对应的服务器)。在一些实施例中,所述用户设备包括但不限于手机、电脑、平板电脑等计算设备。本申请所述的“对象”包括但不限于房子、车子、书本等各种物品,例如,基于图像识别技术可以识别出出现在视频帧图像中物品,或者出现在某一区域内的物品。
图1示出了根据本申请一个实施例的一种用于检测视频重复度的方法流程图,该方法包括步骤s11、步骤s12、步骤s13以及步骤s14。具体而言,在步骤s11中,获取第一视频信息的一帧或多帧第一视频帧图像。在步骤s12中,根据第二视频信息的第一特征组合逐帧检测所述一帧或多帧第一视频帧图像中是否存在满足重复度检测条件的目标视频帧图像。在步骤s13中,对于检测出满足所述重复度检测条件的每一帧所述目标视频帧图像,根据出现在该目标视频帧图像的目标检测区域内的第二目标对象的数量与出现在该目标检测区域内的所有对象的总数量之比确定该目标视频帧图像的单帧重复度。在步骤s14中,根据最终确定出的一帧或多帧所述目标视频帧图像中每一帧目标视频帧图像的单帧重复度确定所述第一视频信息与所述第二视频信息的视频重复度。
具体而言,在步骤s11中,获取第一视频信息的一帧或多帧第一视频帧图像。在一些实施例中,所述第一视频信息包括待检测的视频信息。在一些实施例中,视频信息包括一帧或多帧按照时序顺序排列的视频帧图像。在一些实施例中,所述一帧或多帧第一视频帧图像是所述第一视频信息的全部视频帧图像;在另一些实施例中,所述一帧或多帧第一视频帧图像是抽取的所述第一视频信息中的部分视频帧图像(例如,抽取所述第一视频信息的一帧或多帧第一视频帧图像进行检测)。
在步骤s12中,根据第二视频信息的第一特征组合逐帧检测所述一帧或多帧第一视频帧图像中是否存在满足重复度检测条件的目标视频帧图像。在一些实施例中,所述第二视频信息包括被对比的视频信息,例如,需要检测所述第一视频信息与所述第二视频信息之间的视频重复度。在一些实施例中,为提高检测效率、节约计算资源,从获取的所述一帧或多帧第一视频帧图像确定满足所述重复度检测条件的目标视频帧图像,再进一步检测该目标视频帧图像的单帧重复度。对于不满足所述重复度检测条件的第一视频帧图像,则舍弃,不再计算该第一视频帧图像的单帧重复度。例如,获取的所述一帧或多帧第一视频帧图像包括:第一视频帧图像1、第一视频帧图像2、第一视频帧图像3、第一视频帧图像4、第一视频帧图像5(在一些实施例中,所述第一视频帧图像1、第一视频帧图像2、第一视频帧图像3、第一视频帧图像4、第一视频帧图像5是从所述第一视频信息中抽取的部分视频帧图像,其中,所述1、2、3、4、5仅用于表示视频帧图像的先后顺序,而不代表具体的帧数,例如,第一视频帧图像2位于第一视频帧图像1之后),若第一视频帧图像1满足所述重复度检测条件,将该第一视频帧1确定为目标视频帧图像。若所述第一视频帧1不满足所述重复度检测条件,则按序检测所述第一视频帧图像2是否满足所述重复度检测条件,若该第一视频帧图像2满足所述重复度检测条件,则将该第一视频帧图像2确定为目标视频帧图像,以此类推,按照所述一帧或多帧第一视频帧图像的顺序逐帧进行检测。在一些实施例中,根据所述第一特征组合在所述一帧或多帧第一视频图像中查询与该第一特征组合具有较高匹配度的第一视频帧图像,并将该第一视频帧图像确定为所述满足重复度检测条件的目标视频帧图像。例如,所述第一特征组合中包括一个或多个第一特征对象,根据所述一个或多个第一特征对象逐帧检测所述一帧或多帧第一视频帧图像中是否存在与所述一个或多个第一特征对象相匹配的对象,若存在,则确定该第一视频帧图像满足所述重复度检测条件。在一些实施例中,所述网络设备(例如,执行主体为网络设备时)或者所述用户设备(例如,执行主体为用户设备时)中建立有特征数据库,所述网络设备或者所述用户设备可以从所述特征数据库中获取所述第二视频信息的第一特征组合。
在步骤s13中,对于检测出满足所述重复度检测条件的每一帧所述目标视频帧图像,根据出现在该目标视频帧图像的目标检测区域内的第二目标对象的数量与出现在该目标检测区域内的所有对象的总数量之比确定该目标视频帧图像的单帧重复度。在一些实施例中,为了进一步提高检测效率,节约计算资源,在计算所述目标视频帧图像的单帧重复度时,需要确定所述目标视频帧图像的目标检测区域,再进一步识别该目标检测区域内的第二目标对象,通过计算该第二目标对象的数量与该目标检测区域内所有对象的总数量之比,确定该目标视频帧图像的单帧重复度。在一些实施例中,所述目标检测区域是基于第一目标对象确定出来的,关于该目标检测区域的确定过程请参见后面的实施例,在此不做赘述。在一些实施例中,所述第二目标对象是根据所述第一特征组合对应的第二特征组合识别出来的,关于该第二目标对象的识别过程请参见后面的实施例,在此不做赘述。例如,出现在所述目标检测区域内的所述第二目标对象的数量为2,出现所述目标检测区域内的所有对象的总数量为5,则该目标视频帧图像的单帧重复度为0.4。
在步骤s14中,根据所述一帧或多帧目标视频帧图像中每一帧目标视频帧图像的单帧重复度确定所述第一视频信息与所述第二视频信息的视频重复度。在一些实施例中,对于所述第一视频信息与所述第二视频信息的视频重复度的确定是基于每一帧目标视频帧图像的单帧重复度进行确定。例如,对于第一视频信息的一帧或多帧第一视频帧图像,一共确定出三帧目标视频帧图像,其中,目标视频帧图像1的单帧重复度为0.4,目标视频帧图像2的单帧重复度为0.2,目标视频帧图像3的单帧重复度为0.1,则所述第一视频信息与所述第二视频信息的视频重复度为0.4+0.2+0.1=0.7。进一步地,可以将该视频重复度与预设的视频重复度阈值进行比较,如果计算得出的视频重复度大于或等于该视频重复度阈值,则可以确定该第一视频信息有抄袭该第二视频信息的可能,或者该第二视频信息有抄袭该第一视频信息的可能。
在一些实施例中,所述第一特征组合包括至少三个第一特征对象,所述步骤s12包括:根据所述至少三个第一特征对象逐帧检测所述一帧或多帧第一视频帧图像中每一帧第一视频帧图像中是否存在至少三个第一目标对象,其中,所述至少三个第一目标对象与所述至少三个第一特征对象相匹配;若存在,将该第一视频帧图像确定为所述满足重复度检测条件的目标视频帧图像;所述方法在步骤s13之前还包括步骤s14(未示出),在步骤s14中,对于每一帧所述目标视频帧图像,根据存在于该目标视频帧图像中的所述至少三个第一目标对象确定该目标视频帧图像的目标检测区域。在一些实施例中,所述第一特征组合包括至少三个第一特征对象(例如,杯子、笔记本、铅笔),对于所述目标视频帧图像的确定则根据所述至少三个第一特征对象逐帧检测所述一帧或多帧第一视频帧图像中是否存在与所述至少三个第一特征对象相匹配的至少三个第一目标对象(例如,内容相匹配和/或位置相匹配),若存在,则将该第一视频帧图像作为所述目标视频帧图像。在一些实施例中,对于每一帧确定满足所述重复度检测条件的目标视频帧图像,都根据该目标视频帧图像中的所述至少三个第一目标对象确定该目标视频帧图像的目标检测区域,以便进一步地识别该目标检测区域内的第二目标对象,进行该目标视频帧图像的单帧重复度的计算。在一些实施例中,在所述第二视频信息中,所述至少三个第一特征对象用于确定特征区域,因此,基于与所述至少三个第一特征对象相匹配的至少三个第一目标对象确定出的所述目标检测区域与所述第二视频信息的特征区域是相对应的,从而可以将所述第一视频信息与所述第二视频信息之间的重复度检测限定在所述目标检测区域内(例如,识别所述目标检测区域内的第二目标对象的数量与该目标检测区域内的对象总数量之比),提高检测效率。在一些实施例中,为保证能够基于所述第一目标对象确定出所述目标检测区域,因此所述第一目标对象的数量需至少为三个。
在一些实施例中,所述至少三个第一目标对象与所述至少三个第一特征对象相匹配,包括:所述至少三个第一目标对象的内容信息与所述至少三个第一特征对象的内容信息相匹配,并且,所述至少三个第一目标对象的位置信息与所述至少三个第一特征对象的位置信息相匹配。在一些实施例中,所述内容信息相匹配包括但不限于大小、颜色、形象内容等相匹配。例如,所述第一特征组合包括5个第一特征对象(例如,杯子、笔记本、铅笔、纸巾、书包),基于图像识别技术逐帧检测所述第一视频帧图像中是否存在与该杯子、笔记本、铅笔、纸巾、书包相似的杯子、笔记本、铅笔、纸巾、书包。在一些实施例中,所述位置信息相匹配包括但不限于:坐标相近(例如,所述第一特征组合中还记录有每个第一特征对象的具体坐标,将识别出的与该第一特征对象相匹配的对象的坐标与该第一特征对象的坐标进行对比,若差值等于或小于差值阈值,则确定位置信息是相匹配的),或者对象之间的方位相同,(例如,所述第一特征组合中记录各第一特征对象之间的方位,比如,第一特征对象1在第一特征对象2的左下方…若识别出的与该第一特征对象1、第一特征对象2相匹配的对象1的与对象2之间的方位也是对象1在对象2的左下方,则确定位置信息是相匹配的)。若检测到所述第一视频帧图像中存在与该杯子、笔记本、铅笔、纸巾、书包的内容信息以及位置信息相匹配杯子、笔记本、铅笔、纸巾、书包,则确定该第一视频帧图像为满足所述重复度检测条件的目标视频帧图像,并将该第一视频帧图像中的杯子、笔记本、铅笔、纸巾、书包作为第一目标对象。
在一些实施例中,所述根据存在于该目标视频帧图像中的所述至少三个第一目标对象确定该目标视频帧图像的目标检测区域,包括:将所述至少三个第一目标对象作为连接端点确定该目标视频帧图像的目标检测区域。例如,所述第一特征组合包括:第一特征对象1、第一特征对象2、第一特征对象3,并且,所述第一特征对象1在第一特征对象2的左下方,所述第一特征对象3在第一特征对象2的右下方,则该第一特征对象1、第一特征对象2、第一特征对象3为连接端点做组成的目标检测区域为三角形。在一些实施例中,基于所述第一目标对象确定所述目标检测区域,以便识别所述目标检测区域内的第二目标对象。
在一些实施例中,所述步骤s13包括步骤s131(未示出)以及步骤s132。在步骤s131中,对于每一帧所述目标视频帧图像,根据所述第一特征组合对应的第二特征组合识别出现在该目标视频图像的目标检测区域内的第二目标对象;在步骤s132中,根据所述第二目标对象的数量与出现在该目标检测区域内的所有对象的总数量之比确定该目标视频帧图像的单帧重复度。在一些实施例中,所述第一特征组合存在对应的第二特征组合。在一些实施例中,所述第一特征组合与所述第二特征组合的对应关系体现在该第一特征组合与该第二特征组合是基于所述第二视频信息的同一帧第二视频帧图像确定出来的。在一些实施例中,所述第一特征组合用于确定与该第一特征组合存在较高匹配度的目标视频帧图像。例如,所述第一特征组合包括至少三个第一特征对象,根据所述至少三个第一特征对象从所述一帧或多帧第一视频帧图像中查询包括与该至少三个第一特征对象相匹配的至少三个第一目标对象的目标视频帧图像。在一些实施例中,所述第二特征组合用于识别所述目标检测区域内的第二目标对象,例如,所述第二特征组合包括第二特征对象,根据所述第二特征对象识别所述目标检测区域内与所述第二特征对象相匹配的第二目标对象。进一步地,根据识别出的所述第二目标对象的数量与所述目标检测区域内的对象的总数量之比确定该目标检测区域的单帧重复度。在一些实施例中,在所述第二视频信息中,所述第一特征对象组合用于确定特征区域,因此,基于与所述第一特征组合相匹配的至少三个第一目标对象确定出的所述目标检测区域与所述第二视频信息的特征区域是相对应的,从而可以将所述第一视频信息与所述第二视频信息之间的重复度检测限定在所述目标检测区域内(例如,识别所述目标检测区域内的第二目标对象的数量与该目标检测区域内的对象总数量之比),提高检测效率。在一些实施例中,所述第二特征组合是基于所述特征区域确定出来的(例如,识别所述特征区域内的对象,并将该对象作为所述第二特征组合中的第二特征对象),因此,通过根据所述第二特征组合去识别所述目标检测区域内与该第二特征组合相匹配的第二目标对象检测该目标视频帧图像的单帧重复度。
在一些实施例中,所述第二特征组合包括第二特征对象,所述步骤s131包括:对于每一帧所述目标视频帧图像,根据所述第二特征对象识别出现在该目标视频帧图像的目标检测区域内的第二目标对象,其中,所述第二目标对象的内容信息与所述第二特征对象的内容信息相匹配,并且所述第二目标对象的位置信息与所述第二特征对象的位置信息相匹配。在一些实施例中,所述第二特征对象包括但不限于房子、树木等物品。在一些实施例中,所述内容信息相匹配包括但不限于大小、颜色、形象内容等相匹配。例如,所述第二特征组合包括3个第二特征对象(例如,杯子、笔记本、铅笔),基于图像识别技术识别所述目标视频帧图像中是否存在与该杯子、笔记本、铅笔相似的杯子、笔记本、铅笔。在一些实施例中,所述位置信息相匹配包括但不限于:坐标相近(例如,所述第二特征组合中还记录有每个第二特征对象的具体坐标,将识别出的与该第二特征对象相匹配的对象的坐标与该第二特征对象的坐标进行对比,若差值等于或小于差值阈值,则确定位置信息是相匹配的),或者对象之间的方位相同,(例如,所述第二特征组合中记录各第二特征对象之间的方位,比如,第二特征对象1在第二特征对象2的左下方…若识别出的与该第二特征对象1、第二特征对象2相匹配的对象1的与对象2之间的方位也是对象1在对象2的左下方,则确定位置信息是相匹配的)。
在一些实施例中,所述第一特征组合包括至少三个第一特征对象,所述第二特征组合包括第二特征对象,所述至少三个第一特征对象与所述第二特征对象存在于所述第二视频信息的同一帧第二视频帧图像中。在一些实施例中,所述第一特征组合与所述第二特征组合的对应关系体现在该第一特征组合与该第二特征组合是基于所述第二视频信息的同一帧第二视频帧图像确定出来的。在一些实施例中,所述第一特征组合中的至少三个第一特征对象包括同时出现在同一第二视频帧图像,并且出现次数较多的一组,对于存在出现次数较多的几组对象组合的情况,可以从中选择最多的一组作为所述第一特征组合,或者随机从排在前n位的几组对象组合中选择一组作为所述第一特征组合。例如,在第二视频信息a的多帧第二视频帧图像中,同时出现在同一帧第二视频帧图像,并且出现次数较多的一组对象组合包括:杯子、笔记本、铅笔、纸巾,并确定该第二视频信息的第一特征组合包括该杯子、笔记本、铅笔、纸巾的第一特征对象。在一些实施例中,包括所述第一特征组合的每一帧第二视频帧图像中,都可以基于该第一特征组合的至少三个第一特征对象确定特征区域,所述第二特征对象为所述特征区域内的对象。由于所述第一特征组合为同时出现在多帧第二视频帧图像中、并且出现次数较多的一组对象组合,在每一帧所述第二视频帧图像中的第一特征组合都可以确定出一个特征区域,每一个特征区域内都可以识别出第二特征对象,因此,一个第一特征组合可能对应有多个第二特征组合。在一些实施例中,用于识别所述目标检测区域的第二特征组合可以是随机确定出的一个第二特征组合。
在一些实施例中,所述方法还包括步骤s15(未示出),在步骤s15中,确定所述第二视频信息的所述第一特征组合。在一些实施例中,需要确定出所述第二视频信息的第一特征组合,以便基于该第一特征组合与其他视频信息(例如,所述第一视频信息)进行视频重复度的检测。在一些实施例中,在确定出所述第二视频信息的第一特征组合后,可以将该第一特征组合存储在特征数据库中,以便在使用时,从所述特征数据库中查询获取该第二视频信息的第一特征组合,方便与其他视频信息进行及时的视频重复度的检测。
在一些实施例中,所述第二视频信息包括一帧或多帧第二视频帧图像,所述步骤s15包括步骤s151(未示出)、步骤s152以及步骤s153。在步骤s151中,识别所述一帧或多帧第二视频帧图像中每一帧所述第二视频帧图像中出现的对象;在步骤s152中,确定同时出现在多帧第二视频帧图像中的一个或多个对象组合,其中,每个所述对象组合中包括至少三个第一特征对象;在步骤s153中,根据所述一个或多个对象组合中每一个对象组合出现的次数确定所述第一特征组合。在一些实施例中,对于每一帧第二视频帧图像,识别出该第二视频帧图像中的对象,例如,所述第二视频信息包括第二视频帧图像1、第二视频帧图像2、第二视频帧图像3、第二视频帧图像4、第二视频帧图像5、第二视频帧图像6,其中,第二视频帧图像1包括第一特征对象1、第一特征对象2、第一特征对象3、第一特征对象4;第二视频帧图像2包括第一特征对象1、第一特征对象2、第一特征对象3;第二视频帧图像3包括第一特征对象4、第一特征对象5、第一特征对象6;第二视频帧图像4包括第一特征对象4、第一特征对象5、第一特征对象6;第二视频帧图像5包括第一特征对象3、第一特征对象4、第一特征对象5;第二视频帧图像6包括第一特征对象8。确定同时出现在多帧第二视频帧图像中的一个或多个对象组合,例如,第一特征对象1、第一特征对象2、第一特征对象3同时出现在第二视频帧图像1、第二视频帧图像2中;第一特征对象4、第一特征对象5、第一特征对象6同时出现在第二视频帧图像3、第二视频帧图像4、第二视频帧图像5中。根据所述一个或多个对象组合中每一个对象组合出现的次数确定所述第一特征组合,例如,将出现次数较多的一组对象组合确定为所述第二视频信息的第一特征组合(例如,所述第一特征对象3、第一特征对象4、第一特征对象5)。
在一些实施例中,所述步骤s152包括步骤s1521(未示出)以及步骤s1522,在步骤s1521中,确定同时出现在多帧第二视频帧图像中的一个或多个对象组合,其中,每个所述对象组合中包括至少三个备选对象;在步骤s1522中,根据所述至少三个备选对象之间的位置信息确定所述至少三个第一特征对象。在一些实施例中,每个对象组合中的第一特征对象是从备选对象中确定出来的。例如,确定出同时出现在多帧第二视频帧图像中的一个或多个对象组合,其中,每个对象组合中的至少三个对象作为备选对象,根据所述备选对象之间的位置信息从所述备选对象中确定出至少三个第一特征对象,以保证确定出的所述至少三个第一特征对象可以围成特征区域。
在一些实施例中,所述步骤s1522包括:若所述至少三个备选对象的数量大于三,并且,所述至少三个备选对象中存在至少一个备选对象与其他备选对象不在同一条直线上,则将该至少三个备选对象作为所述对象组合的至少三个第一特征对象。在一些实施例中,不限定所述第一特征对象的数量,若同一个对象组合中的至少三个备选对象的数量大于三(例如,4个、5个等),则只要存在一个备选对象与其他备选对象不在同一条直线上,则该至少三个备选对象就可以作为所述至少三个第一特征对象,以保证确定出的所述至少三个第一特征对象可以围成特征区域。
在一些实施例中,所述步骤s1522包括:从所述至少三个备选对象中确定三个第一特征对象,其中,所述三个第一特征对象之间的位置信息满足目标条件。在另一些实施例中,可以从所述至少三个备选对象中选择三个备选对象作为第一特征对象,则所述三个第一特征对象的位置信息需要满足目标条件。例如,所述目标条件包括但不限于,所述三个第一特征对象不在同一条直线上;所述三个第一特征对象两两之间的距离等于或大于距离阈值。以确保所述三个第一特征对象能够较好地形成特征区域。
在一些实施例中,所述步骤s153包括:根据所述一个或多个对象组合中每一个对象组合的出现次数对所述一个或多个对象组合进行降序排序;将排在前n位的对象组合确定为所述第一特征组合,其中,所述n为正整数。在一些实施例中,所述n包括但不限于1、2等正整数,例如,所述第二视频信息包括一组或多组第一特征组合。在一些实施例中,对于每组对象组合出现的次数进行排序,将排在前n位的对象组合确定为所述第二视频信息的第一特征组合。在一些实施例中,虽然所述第二视频信息包括n组第一特征组合,但是,在实际应用中,可以选取其中的一组第一特征组合,根据该第一特征组合进行视频重复度的检测(例如,根据该第一特征组合从所述一帧或多帧第一视频帧图像中逐帧确定目标视频帧图像)。为了提高检测的准确度,可以再从所述n组第一特征组合中选取一个第一特征组合进行视频重复度的检测(例如,根据该第一特征组合从所述一帧或多帧第一视频帧图像中逐帧确定目标视频帧图像)。
在一些实施例中,所述方法还包括步骤s16(未示出)。在步骤s16中,确定所述第一特征组合对应的第二特征组合。在一些实施例中,所述第二特征组合与所述第一特征组合为对应关系。在一些实施例中,由于所述第一特征组合为同时出现在多帧第二视频帧图像中、并且出现次数较多的一组对象组合,在每一帧所述第二视频帧图像中的第一特征组合都可以确定出一个特征区域,每一个特征区域内都可以识别出第二特征对象,因此,一个第一特征组合可能对应有多个第二特征组合。在一些实施例中,用于识别所述目标检测区域的第二特征组合可以是随机确定出的一个第二特征组合。
在一些实施例中,所述确定所述第一特征组合对应的第二特征组合,包括:对于每一个所述第一特征组合,在该第一特征组合的至少三个第一特征对象同时出现的每一帧所述第二视频帧图像中,将出现在该第二视频帧图像中的至少三个第一特征对象作为连接端点确定该至少三个第一特征对象所在的该第二视频帧图像中的特征区域;识别所述特征区域内的一个或多个对象,将该一个或多个对象确定为所述第二特征组合的第二特征对象。例如,在第二视频信息a的多帧第二视频帧图像中,同时出现在同一帧第二视频帧图像,并且出现次数较多的一组对象组合包括:杯子、笔记本、铅笔、纸巾,则确定该第二视频信息的第一特征组合包括该杯子、笔记本、铅笔、纸巾的第一特征对象。在一些实施例中,包括所述第一特征组合的每一帧第二视频帧图像中,都可以基于该第一特征组合的至少三个第一特征对象确定特征区域,所述第二特征对象为所述特征区域内的对象。在一些实施例中,由于所述第一特征组合为同时出现在多帧第二视频帧图像中、并且出现次数较多的一组对象组合,在每一帧所述第二视频帧图像中的第一特征组合都可以确定出一个特征区域,每一个特征区域内都可以识别出第二特征对象,因此,一个第一特征组合可能对应有多个第二特征组合。在一些实施例中,用于识别所述目标检测区域的第二特征组合可以是随机确定出的一个第二特征组合。
在一些实施例中,所述步骤s13包括:对于每一帧所述目标视频帧图像,根据该目标视频帧图像的目标检测区域内出现的第二目标对象的数量与该目标检测区域内出现的对象的总数量之比,并结合第一目标对象的数量与所述目标视频帧图像内的对象的总数量的第一比例、第一权重确定该目标视频帧图像的单帧重复度,其中,所述第一权重对应所述第一比例。在一些实施例中,为进一步提高检测的准确度,结合所述第一目标对象数量与所述目标视频帧图像内对象的总数量计算所述目标视频帧图像的单帧重复度。例如,单帧重复度r=(d/k)*(b/m*0.1),其中,d为第二目标对象的数量,k为该目标检测区域内出现的对象的总数量,b为第一目标对象的数量,m为所述目标视频帧图像内的对象的总数量,0.1为所述第一权重。
在一些实施例中,所述步骤s13包括:对于每一帧所述目标视频帧图像,根据该目标视频帧图像的目标检测区域内出现的第二目标对象的数量与该目标检测区域内出现的对象的总数量之比,并结合第一目标对象的数量与所述目标视频帧图像内的对象的总数量的第一比例、第一权重、所述目标检测区域的面积与所述目标视频帧图像的总面积的第二比例、第二权重确定所述目标视频帧图像的视频帧匹配度,其中,所述第一权重对应所述第一比例,所述第二权重对应所述第二比例。在一些实施例中,为进一步提提高检测的准确度,除结合所述第一目标对象数量与所述目标视频帧图像内对象的总数量外,还结合所述目标检测区域的面积与所述目标视频帧图像的总面积计算所述目标视频帧图像的单帧重复度。例如,单帧重复度r=(d/k)*(b/m*0.1)*(c/j*0.5),其中,d为第二目标对象的数量,k为该目标检测区域内出现的对象的总数量,b为第一目标对象的数量,m为所述目标视频帧图像内的对象的总数量,0.1为所述第一权重,c为目标检测区域的面积,j为所述目标视频帧图像的总面积,0.5为所述第二权重。
在一些实施例中,所述s14包括:确定所述一帧或多帧第一视频帧图像的帧数与所述第一视频帧信息的总帧数的第三比例;根据所述一帧或多帧目标视频帧图像中每一帧所述目标视频帧图像的单帧重复度,以及所述第三比例确定所述第一视频信息与所述第二视频信息的视频匹配度。在一些实施例中,获取的所述一帧或多帧第一视频帧图像为所述第一视频信息的部分视频帧图像(例如,抽取的所述第一视频信息的部分视频帧图像),在计算所述第一视频信息与所述第二视频信息的视频重复度时,需要结合抽取的所述第一视频帧图像的帧数与所述第一视频信息的总帧数进行计算。例如,所述第一视频信息的总帧数为n,抽取的所述一帧或多帧第一视频帧图像的帧数为n,所述视频重复度r=(∑r)/(n/n)。
图2示出了根据本申请一个实施例的提取第二视频信息的第一特征组合、第二特征组合的流程图。逐帧扫描视频1(例如,所述第二视频信息),识别物品(例如,所述对象),临时存储,选取出现频次最多的几种物品组合(例如,所述第一特征组合),确定所围范围(例如,所述特征区域),识别范围内物品(例如,所述第二特征对象)和大体方位关系(例如,所述位置信息)。存入视频特征库(例如,所述特征库)。在后续获取所述第一视频信息的一帧或多帧第一视频帧图像后,基于所述特征库中记录的所述第二视频信息的特征信息(例如,所述第一特征组合、第二特征组合)进行视频重复度的检测。
图3示出了根据本申请一个实施例的一种用于检测视频重复度的设备的设备结构图,该设备包括一一模块、一二模块、一三模块以及一四模块。具体而言,一一模块,用于获取第一视频信息的一帧或多帧第一视频帧图像。一二模块,用于根据第二视频信息的第一特征组合逐帧检测所述一帧或多帧第一视频帧图像中是否存在满足重复度检测条件的目标视频帧图像。一三模块,用于对于检测出满足所述重复度检测条件的每一帧所述目标视频帧图像,根据出现在该目标视频帧图像的目标检测区域内的第二目标对象的数量与出现在该目标检测区域内的所有对象的总数量之比确定该目标视频帧图像的单帧重复度。一四模块,用于根据最终确定出的一帧或多帧所述目标视频帧图像中每一帧目标视频帧图像的单帧重复度确定所述第一视频信息与所述第二视频信息的视频重复度。
具体而言,一一模块,用于获取第一视频信息的一帧或多帧第一视频帧图像。在一些实施例中,所述第一视频信息包括待检测的视频信息。在一些实施例中,视频信息包括一帧或多帧按照时序顺序排列的视频帧图像。在一些实施例中,所述一帧或多帧第一视频帧图像是所述第一视频信息的全部视频帧图像;在另一些实施例中,所述一帧或多帧第一视频帧图像是抽取的所述第一视频信息中的部分视频帧图像(例如,抽取所述第一视频信息的一帧或多帧第一视频帧图像进行检测)。
一二模块,用于根据第二视频信息的第一特征组合逐帧检测所述一帧或多帧第一视频帧图像中是否存在满足重复度检测条件的目标视频帧图像。在一些实施例中,所述第二视频信息包括被对比的视频信息,例如,需要检测所述第一视频信息与所述第二视频信息之间的视频重复度。在一些实施例中,为提高检测效率、节约计算资源,从获取的所述一帧或多帧第一视频帧图像确定满足所述重复度检测条件的目标视频帧图像,再进一步检测该目标视频帧图像的单帧重复度。对于不满足所述重复度检测条件的第一视频帧图像,则舍弃,不再计算该第一视频帧图像的单帧重复度。例如,获取的所述一帧或多帧第一视频帧图像包括:第一视频帧图像1、第一视频帧图像2、第一视频帧图像3、第一视频帧图像4、第一视频帧图像5(在一些实施例中,所述第一视频帧图像1、第一视频帧图像2、第一视频帧图像3、第一视频帧图像4、第一视频帧图像5是从所述第一视频信息中抽取的部分视频帧图像,其中,所述1、2、3、4、5仅用于表示视频帧图像的先后顺序,而不代表具体的帧数,例如,第一视频帧图像2位于第一视频帧图像1之后),若第一视频帧图像1满足所述重复度检测条件,将该第一视频帧1确定为目标视频帧图像。若所述第一视频帧1不满足所述重复度检测条件,则按序检测所述第一视频帧图像2是否满足所述重复度检测条件,若该第一视频帧图像2满足所述重复度检测条件,则将该第一视频帧图像2确定为目标视频帧图像,以此类推,按照所述一帧或多帧第一视频帧图像的顺序逐帧进行检测。在一些实施例中,根据所述第一特征组合在所述一帧或多帧第一视频图像中查询与该第一特征组合具有较高匹配度的第一视频帧图像,并将该第一视频帧图像确定为所述满足重复度检测条件的目标视频帧图像。例如,所述第一特征组合中包括一个或多个第一特征对象,根据所述一个或多个第一特征对象逐帧检测所述一帧或多帧第一视频帧图像中是否存在与所述一个或多个第一特征对象相匹配的对象,若存在,则确定该第一视频帧图像满足所述重复度检测条件。在一些实施例中,所述网络设备(例如,执行主体为网络设备时)或者所述用户设备(例如,执行主体为用户设备时)中建立有特征数据库,所述网络设备或者所述用户设备可以从所述特征数据库中获取所述第二视频信息的第一特征组合。
一三模块,用于对于检测出满足所述重复度检测条件的每一帧所述目标视频帧图像,根据出现在该目标视频帧图像的目标检测区域内的第二目标对象的数量与出现在该目标检测区域内的所有对象的总数量之比确定该目标视频帧图像的单帧重复度。在一些实施例中,为了进一步提高检测效率,节约计算资源,在计算所述目标视频帧图像的单帧重复度时,需要确定所述目标视频帧图像的目标检测区域,再进一步识别该目标检测区域内的第二目标对象,通过计算该第二目标对象的数量与该目标检测区域内所有对象的总数量之比,确定该目标视频帧图像的单帧重复度。在一些实施例中,所述目标检测区域是基于第一目标对象确定出来的,关于该目标检测区域的确定过程请参见后面的实施例,在此不做赘述。在一些实施例中,所述第二目标对象是根据所述第一特征组合对应的第二特征组合识别出来的,关于该第二目标对象的识别过程请参见后面的实施例,在此不做赘述。例如,出现在所述目标检测区域内的所述第二目标对象的数量为2,出现所述目标检测区域内的所有对象的总数量为5,则该目标视频帧图像的单帧重复度为0.4。
一四模块,用于根据所述一帧或多帧目标视频帧图像中每一帧目标视频帧图像的单帧重复度确定所述第一视频信息与所述第二视频信息的视频重复度。在一些实施例中,对于所述第一视频信息与所述第二视频信息的视频重复度的确定是基于每一帧目标视频帧图像的单帧重复度进行确定。例如,对于第一视频信息的一帧或多帧第一视频帧图像,一共确定出三帧目标视频帧图像,其中,目标视频帧图像1的单帧重复度为0.4,目标视频帧图像2的单帧重复度为0.2,目标视频帧图像3的单帧重复度为0.1,则所述第一视频信息与所述第二视频信息的视频重复度为0.4+0.2+0.1=0.7。进一步地,可以将该视频重复度与预设的视频重复度阈值进行比较,如果计算得出的视频重复度大于或等于该视频重复度阈值,则可以确定该第一视频信息有抄袭该第二视频信息的可能,或者该第二视频信息有抄袭该第一视频信息的可能。
在一些实施例中,所述第一特征组合包括至少三个第一特征对象,所述一二模块用于:根据所述至少三个第一特征对象逐帧检测所述一帧或多帧第一视频帧图像中每一帧第一视频帧图像中是否存在至少三个第一目标对象,其中,所述至少三个第一目标对象与所述至少三个第一特征对象相匹配;若存在,将该第一视频帧图像确定为所述满足重复度检测条件的目标视频帧图像;所述设备还包括一四模块(未示出),一四模块,用于对于每一帧所述目标视频帧图像,根据存在于该目标视频帧图像中的所述至少三个第一目标对象确定该目标视频帧图像的目标检测区域。
在此,所述一二模块对应的具体实施方式与所述步骤s12的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述至少三个第一目标对象与所述至少三个第一特征对象相匹配,包括:所述至少三个第一目标对象的内容信息与所述至少三个第一特征对象的内容信息相匹配,并且,所述至少三个第一目标对象的位置信息与所述至少三个第一特征对象的位置信息相匹配。在一些实施例中,所述内容信息相匹配包括但不限于大小、颜色、形象内容等相匹配。例如,所述第一特征组合包括5个第一特征对象(例如,杯子、笔记本、铅笔、纸巾、书包),基于图像识别技术逐帧检测所述第一视频帧图像中是否存在与该杯子、笔记本、铅笔、纸巾、书包相似的杯子、笔记本、铅笔、纸巾、书包。在一些实施例中,所述位置信息相匹配包括但不限于:坐标相近(例如,所述第一特征组合中还记录有每个第一特征对象的具体坐标,将识别出的与该第一特征对象相匹配的对象的坐标与该第一特征对象的坐标进行对比,若差值等于或小于差值阈值,则确定位置信息是相匹配的),或者对象之间的方位相同,(例如,所述第一特征组合中记录各第一特征对象之间的方位,比如,第一特征对象1在第一特征对象2的左下方…若识别出的与该第一特征对象1、第一特征对象2相匹配的对象1的与对象2之间的方位也是对象1在对象2的左下方,则确定位置信息是相匹配的)。若检测到所述第一视频帧图像中存在与该杯子、笔记本、铅笔、纸巾、书包的内容信息以及位置信息相匹配杯子、笔记本、铅笔、纸巾、书包,则确定该第一视频帧图像为满足所述重复度检测条件的目标视频帧图像,并将该第一视频帧图像中的杯子、笔记本、铅笔、纸巾、书包作为第一目标对象。
在一些实施例中,所述根据存在于该目标视频帧图像中的所述至少三个第一目标对象确定该目标视频帧图像的目标检测区域,包括:将所述至少三个第一目标对象作为连接端点确定该目标视频帧图像的目标检测区域。例如,所述第一特征组合包括:第一特征对象1、第一特征对象2、第一特征对象3,并且,所述第一特征对象1在第一特征对象2的左下方,所述第一特征对象3在第一特征对象2的右下方,则该第一特征对象1、第一特征对象2、第一特征对象3为连接端点做组成的目标检测区域为三角形。在一些实施例中,基于所述第一目标对象确定所述目标检测区域,以便识别所述目标检测区域内的第二目标对象。
在一些实施例中,所述一三模块包括一三一模块(未示出)以及一三二模块。一三一模块,用于对于每一帧所述目标视频帧图像,根据所述第一特征组合对应的第二特征组合识别出现在该目标视频图像的目标检测区域内的第二目标对象;一三二模块,用于根据所述第二目标对象的数量与出现在该目标检测区域内的所有对象的总数量之比确定该目标视频帧图像的单帧重复度。
在此,所述一三模块对应的具体实施方式与所述步骤s13的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述第二特征组合包括第二特征对象,所述一三一模块:对于每一帧所述目标视频帧图像,根据所述第二特征对象识别出现在该目标视频帧图像的目标检测区域内的第二目标对象,其中,所述第二目标对象的内容信息与所述第二特征对象的内容信息相匹配,并且所述第二目标对象的位置信息与所述第二特征对象的位置信息相匹配。
在此,所述一三一模块对应的具体实施方式与所述步骤s131的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述第一特征组合包括至少三个第一特征对象,所述第二特征组合包括第二特征对象,所述至少三个第一特征对象与所述第二特征对象存在于所述第二视频信息的同一帧第二视频帧图像中。在一些实施例中,所述第一特征组合与所述第二特征组合的对应关系体现在该第一特征组合与该第二特征组合是基于所述第二视频信息的同一帧第二视频帧图像确定出来的。在一些实施例中,所述第一特征组合中的至少三个第一特征对象包括同时出现在同一第二视频帧图像,并且出现次数较多的一组,对于存在出现次数较多的几组对象组合的情况,可以从中选择最多的一组作为所述第一特征组合,或者随机从排在前n位的几组对象组合中选择一组作为所述第一特征组合。例如,在第二视频信息a的多帧第二视频帧图像中,同时出现在同一帧第二视频帧图像,并且出现次数较多的一组对象组合包括:杯子、笔记本、铅笔、纸巾,并确定该第二视频信息的第一特征组合包括该杯子、笔记本、铅笔、纸巾的第一特征对象。在一些实施例中,包括所述第一特征组合的每一帧第二视频帧图像中,都可以基于该第一特征组合的至少三个第一特征对象确定特征区域,所述第二特征对象为所述特征区域内的对象。由于所述第一特征组合为同时出现在多帧第二视频帧图像中、并且出现次数较多的一组对象组合,在每一帧所述第二视频帧图像中的第一特征组合都可以确定出一个特征区域,每一个特征区域内都可以识别出第二特征对象,因此,一个第一特征组合可能对应有多个第二特征组合。在一些实施例中,用于识别所述目标检测区域的第二特征组合可以是随机确定出的一个第二特征组合。
在一些实施例中,所述设备还包括一五模块(未示出),一五模块,用于确定所述第二视频信息的所述第一特征组合。
在此,所述一五模块对应的具体实施方式与所述步骤s15的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述第二视频信息包括一帧或多帧第二视频帧图像,所述一五模块包括一五一模块(未示出)、一五二模块以及一五三模块。一五一模块,用于识别所述一帧或多帧第二视频帧图像中每一帧所述第二视频帧图像中出现的对象;一五二模块,用于确定同时出现在多帧第二视频帧图像中的一个或多个对象组合,其中,每个所述对象组合中包括至少三个第一特征对象;一五三模块,用于根据所述一个或多个对象组合中每一个对象组合出现的次数确定所述第一特征组合。
在此,所述一五模块对应的具体实施方式与所述步骤s15的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一五二模块包括一五二一模块(未示出)以及一五二二模块,一五二一模块,用于确定同时出现在多帧第二视频帧图像中的一个或多个对象组合,其中,每个所述对象组合中包括至少三个备选对象;一五二二模块,用于根据所述至少三个备选对象之间的位置信息确定所述至少三个第一特征对象。
在此,所述一五二模块对应的具体实施方式与所述步骤s152的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,一五二二模块用于:若所述至少三个备选对象的数量大于三,并且,所述至少三个备选对象中存在至少一个备选对象与其他备选对象不在同一条直线上,则将该至少三个备选对象作为所述对象组合的至少三个第一特征对象。
在此,所述一五二二模块对应的具体实施方式与所述步骤s1522的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一五二二模块:从所述至少三个备选对象中确定三个第一特征对象,其中,所述三个第一特征对象之间的位置信息满足目标条件。
在此,所述一五二二模块对应的具体实施方式与所述步骤s1522的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一五三模块:根据所述一个或多个对象组合中每一个对象组合的出现次数对所述一个或多个对象组合进行降序排序;将排在前n位的对象组合确定为所述第一特征组合,其中,所述n为正整数。
在此,所述一五三模块对应的具体实施方式与所述步骤s153的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述设备还包括一六模块(未示出)。一六模块,用于确定所述第一特征组合对应的第二特征组合。
在此,所述一六模块对应的具体实施方式与所述步骤s16的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述确定所述第一特征组合对应的第二特征组合,包括:对于每一个所述第一特征组合,在该第一特征组合的至少三个第一特征对象同时出现的每一帧所述第二视频帧图像中,将出现在该第二视频帧图像中的至少三个第一特征对象作为连接端点确定该至少三个第一特征对象所在的该第二视频帧图像中的特征区域;识别所述特征区域内的一个或多个对象,将该一个或多个对象确定为所述第二特征组合的第二特征对象。例如,在第二视频信息a的多帧第二视频帧图像中,同时出现在同一帧第二视频帧图像,并且出现次数较多的一组对象组合包括:杯子、笔记本、铅笔、纸巾,则确定该第二视频信息的第一特征组合包括该杯子、笔记本、铅笔、纸巾的第一特征对象。在一些实施例中,包括所述第一特征组合的每一帧第二视频帧图像中,都可以基于该第一特征组合的至少三个第一特征对象确定特征区域,所述第二特征对象为所述特征区域内的对象。在一些实施例中,由于所述第一特征组合为同时出现在多帧第二视频帧图像中、并且出现次数较多的一组对象组合,在每一帧所述第二视频帧图像中的第一特征组合都可以确定出一个特征区域,每一个特征区域内都可以识别出第二特征对象,因此,一个第一特征组合可能对应有多个第二特征组合。在一些实施例中,用于识别所述目标检测区域的第二特征组合可以是随机确定出的一个第二特征组合。
在一些实施例中,所述一三模块用于:对于每一帧所述目标视频帧图像,根据该目标视频帧图像的目标检测区域内出现的第二目标对象的数量与该目标检测区域内出现的对象的总数量之比,并结合第一目标对象的数量与所述目标视频帧图像内的对象的总数量的第一比例、第一权重确定该目标视频帧图像的单帧重复度,其中,所述第一权重对应所述第一比例。
在此,所述一三模块对应的具体实施方式与所述步骤s13的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一三模块用于:对于每一帧所述目标视频帧图像,根据该目标视频帧图像的目标检测区域内出现的第二目标对象的数量与该目标检测区域内出现的对象的总数量之比,并结合第一目标对象的数量与所述目标视频帧图像内的对象的总数量的第一比例、第一权重、所述目标检测区域的面积与所述目标视频帧图像的总面积的第二比例、第二权重确定所述目标视频帧图像的视频帧匹配度,其中,所述第一权重对应所述第一比例,所述第二权重对应所述第二比例。
在此,所述一三模块对应的具体实施方式与所述步骤s13的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一四模块用于:确定所述一帧或多帧第一视频帧图像的帧数与所述第一视频帧信息的总帧数的第三比例;根据所述一帧或多帧目标视频帧图像中每一帧所述目标视频帧图像的单帧重复度,以及所述第三比例确定所述第一视频信息与所述第二视频信息的视频匹配度。
在此,所述一四模块对应的具体实施方式与所述步骤s14的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
除上述各实施例介绍的方法和设备外,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
图4示出了可被用于实施本申请中所述的各个实施例的示例性系统;
如图4所示在一些实施例中,系统300能够作为各所述实施例中的任意一个设备。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或nvm/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的dram。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(i/o)控制器,以向nvm/存储设备320及(一个或多个)通信接口325提供接口。
例如,nvm/存储设备320可被用于存储数据和/或指令。nvm/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。
nvm/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,nvm/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,ram存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、rf、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(ram,dram,sram);以及非易失性存储器,诸如闪存、各种只读存储器(rom,prom,eprom,eeprom)、磁性和铁磁/铁电存储器(mram,feram);以及磁性和光学存储设备(硬盘、磁带、cd、dvd);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。