专利名称：关键帧的检测方法及装置的制作方法
技术领域：
本发明涉及计算机视觉技术领域，特别涉及一种关键帧的检测方法及装置。
背景技术：
视频由不同场景构成，场景由不同镜头组成，每个镜头则包含了几个至几百甚至以上的不等视频帧，关键帧的检测是指检测出这些不等视频的镜头边界，找出镜头变化时对应的视频帧。一般镜头变化包括镜头突变、淡入淡出型渐变和溶解型渐变。现有技术的关键帧的检测方法是利用图像直方图距离来表征相邻帧的帧差，从而找出镜头变化时对应的视频帧，例如直方图最小帧差法，这种方法存在的问题是，图像直方图只是通过简单的累积统计，不足以确切的变现出相邻两帧直方图之间的特征差异。现有技术可采用双阈值法进行关键帧的检测，能够同时检测出视频的突变型和渐变性关键帧，这种方法存在的问题是，一方面是对光照及大物体的运动干扰，存在明显的错检，另一方面对于部分渐变型的关键帧，例如溶解型渐变关键帧，并不能正确地检测出来，出现了错检及漏检的情况。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一。为达到上述目的，本发明的一方面提出一种关键帧的检测方法，包括以下步骤:S1:对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率；S2:根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差；S3:根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果；S4:根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。根据本发明实施例的关键帧的检测方法，具有以下优点:(1)计算速度快、处理效率高:对于任意分辨率的视频能够进行采样处理，可实现实时的关键帧检测；(2)查全率和查准率高:能够准确地定位关键帧，具有很高的查全率和查准率；(3)良好的拓展性和移植性、使用方便:可与其它关键帧检测方法以及其它应用结合起来，具有良好的拓展性和广阔的应用空间。为实现上述方法，本发明的另一方面还提出一种关键帧的检测装置，包括:分布概率统计模块，用于对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率；帧差计算模块，与所述分布概率统计模块相连，用于根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差；第一检测模块，与所述帧差计算模块相连，用于根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果；第二检测模块，与所述第一关键帧检测模块相连，用于根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。。根据本发明实施例的关键帧的检测装置，使用方便，处理效率高，查全率和查准率高，并具有良好的拓展性和移植性。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:图1为本发明一方面实施例的关键帧的检测方法流程图；图2为本发明实施例的非均匀分块及对应权重的示意图；图3为本发明实施例的第一次关键帧检测的原理示意图；图4为本发明实施例的像素点采样点的分布示意图；图5为本发明另一方面实施例的关键帧的检测装置的结构示意图；图6为本发明实施例的分布概率统计模块100的结构示意图；图7为本发明实施例的帧差计算模块200的结构示意图；图8为本发明实施例的第一检测模块300的结构示意图；以及图9为本发明实施例的第二检测模块400的结构示意图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。为说明本发明实施例的关键帧的检测方法及装置的效果优劣定义了查全率和查准率。查全率是指视频镜头分割中正确关键帧的检出数目除以实际关键帧数目，查准率是指视频镜头分割中正确关键帧的检出数目除以总关键帧的检出数目。图1为本发明一方面实施例的关键帧的检测方法流程图。如图1所示，根据本发明实施例的关键帧的检测方法，包括以下步骤:步骤S101，对输入的当前视频帧和当前视频帧的相邻视频帧进行非均匀分块，并统计两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率。具体地，首先，对两个相邻的视频帧按照1:3:1的比例分别对长和宽进行分块，获得9个非均匀分块m(m=l，2，...，9)，并根据非均匀分块的位置赋予权值W，其中，
权利要求
1.一种关键帧的检测方法，其特征在于，包括以下步骤: S1:对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率； 52:根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差； 53:根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果； S4:根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。
2.根据权利要求1所述的关键帧的检测方法，其特征在于，所述步骤SI进一步包括: 511:对所述两个相邻的视频帧按照1:3:1的比例分别对长和宽进行分块，获得9个非均匀分块m(m=l，2，...，9)，并根据所述非均匀分块的位置赋予权值W，其中，
3.根据权利要求2所述的关键帧的检测方法，其特征在于，所述步骤S2进一步包括: 521:根据所述两个相邻的视频帧的直方图分布概率(尺)、K(式)以及所述联合直方图分布概率尺，Α)，按照以下公式计算所述两个相邻的视频帧在m分块、R颜色分量上的交互信息量^1(A)，
4.根据权利要求1所述的关键帧的检测方法，其特征在于，所述步骤S3进一步包括: 531:将所述两个相邻的视频帧的帧差与预定的第一阈值和第二阈值进行比较； 532:如果所述两个相邻的视频帧的帧差大于所述第一阈值，则所述当前视频帧可能为突变关键帧，继续执行步骤S33， 如果所述两个相邻的视频帧的帧差小于所述第一阈值且大于所述第二阈值，则所述当前视频帧为渐变起始帧，继续执行步骤S34进行渐变结束帧检测； 533:根据环形阵列存储以所述当前视频帧为中心的、左右各r帧的两个相邻视频帧的帧差，其中，r=3飞， 判断所述两个相邻的视频帧的帧差与所述环形阵列中所有2r+l个相邻视频帧的帧差的大小，如果所述两个相邻的视频帧的帧差为最大值，则继续下一步判断，否则所述当前视频帧不是突变关键帧， 判断所述两个相邻的视频帧的帧差与所述环形阵列中所有2r+l个相邻视频帧的帧差中次大帧差的大小，如果所述两个相邻的视频帧的帧差比所述环形阵列中所有2r+l个相邻视频帧的帧差中次大帧差大3倍，则所述当前视频帧为突变关键帧，否则所述当前视频帧不是突变关键帧； 534:计算所述当前视频巾贞与其后的第k视频巾贞的巾贞差distt，k,其中k=t+l, t+2,..., 判断所述当前视频帧与其后的第k视频帧的帧差distt，k与所述第一阈值的大小，如果所述当前视频帧与其后的第k视频帧的帧差distt，k大于所述第一阈值，则所述第k帧为候选结束帧， 计算所述第k巾贞与其之后的第a视频巾贞的巾贞差distk+j+1,k+j,其中，j=0, 1，2，...，a_l ; 判断所述第k帧与其之后的第a视频帧的帧差distt，k与所述第二阈值的大小，如果所述第k帧与其之后的第a视频帧的帧差diStk+m, k+J小于所述第二阈值，则所述第k帧为渐变结束帧。
5.根据权利要求4所述的关键帧的检测方法，其特征在于，所述步骤S31进一步包括: 5311:计算所述当前视频巾贞的前一个关键巾贞和所述当前视频巾贞的相邻视频巾贞之间视频序列长度为S的视频帧的帧差ClisttHa=I,...，S-1)， 5312:计算所述序列长度为S的视频帧的帧差均值μ， 5313:根据所述帧差均值μ计算所述第一阈值和所述第二阈值，其中所述第一阈值等于所述帧差均值μ的5倍，所述第二阈值等于所述帧差均值的3倍；以及 S314:将所述两个相邻的视频帧的帧差与所述第一阈值和第二阈值进行比较。
6.根据权利要求4所述的关键帧的检测方法，其特征在于，所述步骤S4进一步包括: S41:获取所述当前视频帧的初检结果；542:如果所述当前视频帧的初检结果为突变关键帧，则继续执行步骤S43， 如果所述当前视频帧的初检结果为渐变关键帧，则继续执行步骤S44和步骤S45 ； 543:根据所述当前视频帧计算分块直方图差及像素差异直方图方差， 根据所述分块直方图差确定第一变化阈值，并根据所述像素差异直方图方差确定第二变化阈值， 判断所述像素差异直方图方差与所述第一变化阈值的大小以及所述分块直方图差与所述第二变化阈值的大小， 如果所述像素差异直方图方差大于所述第一变化阈值或所述分块直方图差小于所述第二变化阈值，则所述当前视频帧不是突变关键帧， 如果所述像素差异直方图方差小于或等于所述第一变化阈值且所述分块直方图差大于或等于所述第二变化阈值，则所述当前视频帧为突变关键帧； 544:根据所述步骤S34的初检结果，对所述当前视频帧即渐变起始帧到所述渐变结束帧之间视频帧序列进行像素点R、G、B的采样， 判断所述采样点序列中是否存在全黑采样点，如果存在所述全黑采样点，则所述当前视频帧及所述渐变结束帧为淡入淡出渐变关键帧，如果不存在所述全黑采样点，则初检结果为误检。
545:判断两个初检关键巾贞Sa和Sb间的视频巾贞序列长度是否大于30巾贞，如果所述视频帧序列长度大于30帧，则继续下一步计算和判断，如果所述视频帧序列长度不大于30帧，则所述两个初检关键帧Sa和Sb之间不存在溶解型渐变关键帧， 统计所述两个初检关键帧Sa，Sb间的相邻视频帧的帧差均值λ， 判断所述两个初检关键帧Sa，Sb间视频帧序列Sa，Sa+1，Sa+2，…，Sw, Sb中是否存在某帧Sk，其之后a帧的两个相邻视频帧的帧差都大于所述均值λ且小于第二阈值，如果存在则所述Sk是溶解型渐变的候选起始帧，此时已检测到帧序列Sk+a+1，继续下一步计算和判断，否则继续检测溶解型渐变的候选起始帧，其中a=5 8， 判断所述Sk+a+1，-,Sw, Sb中存在是否存在某帧&，其之后ω帧的两个相邻视频帧的帧差都小于所述均值λ ,如果存在则所述&是溶解型渐变的结束帧，令k=r+co转入步骤S44继续检测，当k>b时结束检测，其中ω=5 8。
7.一种关键帧的检测装置，其特征在于，包括: 分布概率统计模块，用于对输入的当前视频帧和所述当前视频帧的相邻视频帧进行非均匀分块，并统计所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率； 帧差计算模块，用于根据所述两个相邻的视频帧在各个分块和各个颜色分量上的直方图分布概率以及联合直方图分布概率计算所述两个相邻的视频帧之间的分块加权交互信息量，并根据所述分块加权交互信息量计算所述两个相邻的视频帧的帧差； 第一检测模块，用于根据所述两个相邻的视频帧的帧差对所述当前视频帧进行第一次关键帧检测以获得所述当前视频帧的初检结果； 第二检测模块，用于根据所述当前视频帧的初检结果对所述当前视频帧进行第二次关键帧检测以获得所述当前视频帧的最终检测结果。
8.根据权利要求7所述的关键帧的检测装置，其特征在于，所述分布概率统计模块进一步包括: 非均匀分块单元，用于对所述两个相邻的视频帧按照1:3:1的比例分别对长和宽进行分块，获得9个非均匀分块m(m=l，2，...，9)，并根据所述非均匀分块的位置赋予权值W，其中，
9.根据权利要求8所述的关键帧的检测装置，其特征在于，所述帧差计算模块进一步包括: 单颜色交互信息量计算单元，用于根据所述两个相邻的视频帧的直方图分布概率PD、以及所述联合直方图分布概率片!UdA)，按照以下公式计算所述两个相邻的视频帧在m分块、R颜色分量上的交互信息量AbU(A),
10.根据权利要求7所述的关键帧的检测装置，其特征在于，所述第一次检测模块进一步包括: 比较单元，用于将所述两个相邻的视频帧的帧差与预定的第一阈值和第二阈值进行比较； 第一判断单元，与所述比较单元相连，用于根据所述比较单元的比较结果，判断所述当前视频帧的第一检测方式， 第一突变关键帧检测单元，用于根据所述第一判断单元的判断结果，如果所述两个相邻的视频帧的帧差大于所述第一阈值，则所述当前视频帧可能为突变关键帧，根据环形阵列存储以所述当前视频帧为中心的、左右各r帧的两个相邻视频帧的帧差，其中，r=3飞， 判断所述两个相邻的视频帧的帧差与所述环形阵列中所有2r+l个相邻视频帧的帧差的大小，如果所述两个相邻的视频帧的帧差为最大值，则继续下一步判断，否则所述当前视频帧不是突变关键帧， 判断所述两个相邻的视频帧的帧差与所述环形阵列中所有2r+l个相邻视频帧的帧差中次大帧差的大小，如果所述两个相邻的视频帧的帧差比所述环形阵列中所有2r+l个相邻视频帧的帧差中次大帧差大3倍，则所述当前视频帧为突变关键帧，否则所述当前视频帧不是突变关键帧； 第一渐变关键帧检测单元，用于根据所述第一 判断单元的判断结果，如果所述两个相邻的视频帧的帧差小于所述第一阈值且大于所述第二阈值，则所述当前视频帧为渐变起始中贞，计算所述当前视频巾贞与其后的第k视频巾贞的巾贞差distt，k,其中k=t+l, t+2,..., 判断所述当前视频帧与其后的第k视频帧的帧差distt，k与所述第一阈值的大小，如果所述当前视频帧与其后的第k视频帧的帧差Distt，k大于所述第一阈值，则所述第k帧为候选结束帧， 计算所述第k巾贞与其之后的第a视频巾贞的巾贞差distk+j+1,k+j,其中，j=0, 1，2，...，a_l ;判断所述第k帧与其之后的第a视频帧的帧差distt，k与所述第二阈值的大小，如果所述第k帧与其之后的第a视频帧的帧差diStk+m, k+J小于所述第二阈值，则所述第k帧为渐变结束帧。
11.根据权利要求10所述的关键帧的检测装置，其特征在于，所述第一检测模块还包括: 阈值设置单元，用于计算所述当前视频帧的前一个关键帧和所述当前视频帧的相邻视频帧之间视频序列长度为S的视频帧的帧差Clist^1 (i = 1，...，S-1)， 计算所述序列长度为S的视频帧的帧差均值μ， 根据所述帧差均值μ计算所述第一阈值和所述第二阈值，其中，所述第一阈值等于所述帧差均值μ的5倍，所述第二阈值等于所述帧差均值的3倍。
12.根据权利要求10所述的关键帧的检测装置，其特征在于，所述第二检测模块进一步包括: 获取单元，用于获取所述当前视频帧的初检结果； 第二判断单元，用于根据所述获取单元的初检结果，判断所述当前视频帧的第二检测方式， 如果所述当前视频帧的初检结果为突变关键帧，则进入第二突变关键帧检测单元进行关键巾贞复检，如果所述当前视频帧的初检结果为渐变关键帧，则分别进入第二淡入淡出渐变关键帧检测单元和第二溶解型渐变关键帧检测单元进行关键帧复检； 第二突变关键帧检测单元，用于根据所述当前视频帧计算分块直方图差及像素差异直方图方差， 根据所述分块直方图差确定第一变化阈值，并根据所述像素差异直方图方差确定第二变化阈值， 判断所述像素差异直方图方差与所述第一变化阈值的大小以及所述分块直方图差与所述第二变化阈值的大小， 如果所述像素差异直方图方差大于所述第一变化阈值或所述分块直方图差小于所述第二变化阈值，则所述当前视频帧不是突变关键帧， 如果所述像素差异直方图方差小于或等于所述第一变化阈值且所述分块直方图差大于或等于所述第二变化阈值，则所述当前视频帧为突变关键帧； 第二淡入淡出渐变关键帧检测单元，对所述当前视频帧即渐变起始帧到所述渐变结束帧之间视频帧序列进行像素点R、G、B的采样， 判断所述采样点序列中是否存在全黑采样点，如果存在所述全黑采样点，则所述当前视频帧及所述渐变结束帧为 淡入淡出渐变关键帧，如果不存在所述全黑采样点，则初检结果为误检。
第二溶解型渐变关键帧检测单元，用于判断两个初检关键帧\和Sb间的视频帧序列长度是否大于30帧，如果所述视频帧序列长度大于30帧，则继续下一步计算和判断，如果所述视频帧序列长度不大于30帧，则所述两个初检关键帧Sa和Sb之间不存在溶解型渐变关键帧， 统计所述两个初检关键帧Sa，Sb间的相邻视频帧的帧差均值λ， 判断所述两个初检关键帧Sa，Sb间视频帧序列Sa，Sa+1，Sa+2，…，Sw, Sb中是否存在某帧Sk，其之后a帧的两个相邻视频帧的帧差都大于所述均值λ且小于第二阈值，如果存在则所述Sk是溶解型渐变的候选起始帧，此时已检测到帧序列Sk+a+1，继续下一步计算和判断，否则继续检测溶解型渐变的候选起始帧，其中a=5 8， 判断所述Sk+a+1，-,Sw, Sb中存在是否存在某帧&，其之后ω帧的两个相邻视频帧的帧差都小于所述均值λ ,如果存在则所述&是溶解型渐变的结束帧，令k=r+co转入步骤S44继续检测，当k>b时结束检测，其中ω=5 8。
全文摘要
本发明提出一种关键帧的检测方法及装置，所述方法包括以下步骤S1对输入的当前视频帧和当前视频帧的相邻视频帧进行非均匀分块，并统计两个相邻视频帧在各个分块和各个颜色分量上的直方图分布概率及联合直方图分布概率；S2根据两个相邻视频帧的直方图分布概率及联合直方图分布概率计算两个相邻视频帧之间的分块加权交互信息量，并根据分块加权交互信息量计算两个相邻视频帧的帧差；S3根据帧差对当前视频帧进行第一次关键帧检测以获得当前视频帧的初检结果；S4根据当前视频帧的初检结果对当前视频帧进行第二次关键帧检测以获得当前视频帧的最终检测结果。根据本发明的方法，计算速度快、查全率和查准率高、拓展性和移植性强。
文档编号G06T7/00GK103093458SQ20121059260
公开日2013年5月8日 申请日期2012年12月31日 优先权日2012年12月31日
发明者戴琼海, 张佳宏 申请人:清华大学