专利名称：立体图像检测的制作方法
技术领域：
本发明涉及对视频素材进行监测以检测立体图像的存在。
背景技术：
人们对立体电视的关注日益增长，其中，分别来自靠近地分隔的、水平相邻的视点的相同场景的一对图像被呈现给观看者的左眼和右眼，以获得“三维”图像。使用现有传输设备递送立体图像的一个普及方法是将每帧分割为两半，并且将一个半帧(half-frame) 用于左眼图像，而将另一个半帧用于右眼图像。如果帧在水平上被分割，则两个图像的水平尺度被(大约)二等分；可选地，如果帧在垂直方向上被分割，则两个图像的垂直尺度被 (大约)二等分。当然，在显示该图像之前逆向进行尺寸改变。该传输系统的修改使用需要仔细的监测和控制，以避免向2D观看者呈示双图像， 或者避免向立体观看者的左眼和右眼同时呈示相同图像的不同部分。因此，对于这样的系统具有极大的商业应用，该系统处理图像文件或数据并且判定是否分配了传统的二维图像，或者判定是否并且以何种方式在同一帧中发送立体图像的两个组成图像。如果在处理或传输图像文件或数据的任何时候都可以以此方式来监测图像文件或数据，这是特别有用的。因此，这对监测方法和监测装置的简单化和低成本是非常有益的，从而使得可以在传输链的许多点中包括监测处理，而不会产生不适当的额外成本。
发明内容
本发明的一个方面包括通过分析水平平均像素值的列和垂直平均像素值的行来检测在图像帧内立体图像的两个构成图像的存在方式的方法和装置。在优选的实施方式中，对一行垂直平均像素的值的有序集合进行分析，以检测与通过帧的宽度的一半在水平方向上分开的所述帧内的各个图像区域相对应的平均值的相似性，并且从所述相似性中推断立体图像的构成图像存在并排配置。适当地，对一列水平平均像素的值的有序集合进行分析，以检测对与通过帧的高度的一半在垂直方向上分开的所述帧内的各个图像区域相对应的平均值的相似性，并且从所述相似性中推断立体图像的构成图像存在上下配置。优选地，评价一行或一列平均像素值的一组值的组元之间的平均差异。在一些实施方式中，评价一行或一列平均像素值的一组值的组元之间的相关性， 并且可以使用相位相关性。在可选的实施方式中，从所述帧的上半部得到第一行垂直平均像素，并且将其与从所述帧的下半部得到的第二行垂直平均像素进行比较，并且当发现该第一行和第二行垂直平均像素相似时推断出立体图像的构成图像存在上下配置。适当地，从所述帧的左半部得到第一列水平平均像素，并且将其与从所述帧的右半部得到的第二列水平平均像素进行比较，并且当发现该第一列和第二列水平平均像素相似时推断出立体图像的构成图像存在并排配置。
优选地，评价成对的行的平均像素的相应组元之间或成对的列的平均像素的相应组元之间的平均差异。可选地，评价两行平均像素之间或两列平均像素之间的相关性，并且可以使用相位相关性。在优选实施方式中，当一行或一列像素值或者像素值的组合内的值的范围的测量值小时，像素值或像素值的组合之间的相似性的测量值朝不相似的方向进行偏离(bias)。在一些实施方式中，将靠近所述帧的边缘、靠近所述帧的垂直中心线或水平中心线的像素忽略。
现在，将参考附图描述本发明的实例，其中图1示出了示例性图像帧的限定区域。图2示出了根据本发明实施方式的处理的框图。
具体实施例方式图1示出了示例性图像帧(1)。该帧具有W个水平像素节距的宽度，以及H个垂直像素节距的高度。因此，其包括WXH个像素，每个像素均具有(针对特定的图像属性的) 值P(x，y)，其中，χ和y是分别以水平和垂直像素节距为单位的、相对于帧的左上角的坐标原点的像素位置坐标。应注意，y坐标随着帧往下的距离而增加，这也是光栅扫描的传统方向。如果该帧⑴用于以“并排”形式容纳立体图像的两个构成图像，则帧在垂直中心线O)的左边的部分将容纳一个构成图像，并且帧在垂直中心线O)的右边的部分将容纳另一个构成图像。可选地，如果以“上下”形式容纳两个构成图像，则帧在水平中心线(3)的上边的部分将容纳一个构成图像，并且帧在水平中心线(3)的下边的部分将容纳另一个构成图像。图1还示出了在以下将描述的某些处理中将要忽略的图像边缘区域的边界。线 (4)对应于左边缘区域(Ax水平像素节距宽)的内边缘；并且，线(5)对应于占据该帧的右手半部分的图像的左边缘区域的内边缘。分别通过线(6)和(7)来示出相对于帧以及帧的左手半部分对等的右边缘区域(Bx水平像素节距宽)的内边界。分别通过线⑶和(9)来示出相对于帧以及帧的下半部分对等的顶边缘区域(Ay 垂直像素节距宽)的边界。分别通过线(10)和(11)来示出相对于帧以及帧的下半部分对等的底边缘区域(民垂直像素节距宽)的边界。尽管“立体对”图像的两个构成图像是从不同的视角拍摄的，它们视角的紧密接近导致各个图像之间相当大的相似性。因此，通过评价帧的左侧和右侧的像素值之间的相关性以及帧的顶半部和底半部的像素值之间的相关性，可以进行对立体素材的识别。然而，可能需要像素值的集合的多维变换的二维交叉相关性函数的计算需要相当大的处理资源。当在分配链的许多点处监测大量的视频数据流或文件时，该方法通常是成本不经济的。发明人认识到可以通过将简单的处理应用于从每个帧得到的一行或两行垂直平均像素值以及一列或两列水平平均像素值，来识别上下立体素材以及并排立体素材。
适当的行表示像素值的水平变化，并且包括如下给出的W值R(χ) = (1/Η) X Σ P (x, y)[1]其中，H是帧在垂直像素节距上的高度；P (x, y)是在笛卡尔坐标(X，y)处像素的值；以及对于包括范围为0彡y彡(H-I)的全帧高度来计算和。适当的列表示像素值的垂直变化，并且包括如下给出的H值C(y) = (1/ff) X Σ P (x, y)[2]其中，W是帧在水平像素节距上的宽度；以及对于包括范围为0 < χ彡(W-I)的全帧高度来计算和。应注意，在各种情况中，通过高度或宽度的分割分别给出了要被处理的数值范围的相似性，而不考虑帧的大小。一种检测立体图像的构成图像的方法是评价两个一维交叉相关性参数(a)取自帧的顶半部(水平中心线(3)之上)的水平平均像素值的有序集合与相应的取自帧的底半部(水平中心线C3)之下)的水平平均像素值的有序集合之间的交叉相关性；以及(b)取自帧的左半部(垂直中心线( 左边)的垂直平均像素值的有序集合与相应的取自帧的右半部(垂直中心线( 右边)的垂直平均像素值的有序集合之间的交叉相关性。如果仅这两个交叉相关性评价中的一个返回了高的相关性测量值，则如果测量 (a)的值为高且测量(b)的值为低，则检测到立体图的上下容纳；如果测量(b)的值为高且测量(a)的值为低，则检测到立体图的并排容纳。如果没有一个测量显示了高相关性，则检测到不存在立体组成图像。从已知交叉相关性积分可以数学地评价相关性，其通过以下二者得到在空间域中通过对取自图像的不同半部分的像素值两个集合进行卷积；或者，在频率域中通过像素值的集合的各自的一维变换。合适的频率域技术是已知的一维相位相关性方法，其中，将各个频率成分的相位进行比较，并且相位差的集合从频率域变换回空间域，并且被分析以检测峰。可选地，可以评价像素值的差异以检测帧的半部分之间的相关性。这比上述相关性方法更简单，并且因此对于需要在许多不同位置处监测许多不同图像文件或流的系统来说更加节省成本。在图2中示出了利用该原理分析像素值的阵列以检测立体图对的两个组成图像的存在方式的系统。像素值的集合在终端00)处被输入到系统中。该集合包括H 个水平行的W个像素，以及W个垂直列的H个像素，构成了总共WXH个像素值。由平均器根据上述等式[1]分别对垂直列的像素值进行平均，以给出一行W 个平均值R(X)。并且，由第二平均器0 根据上述等式[2]分别对水平行的像素值进行平均，以给出一列H个平均值C(y)。通过一半的图像宽度而分开的、来自该行平均值R(x)的值对(pairs of values) 之间的差异的大小根据如下等式[3]在水平差异平均器中进行评价和平均Ax = GX Σ {R (χ) -R (x+ff/2)} + (ff/2-Ax-Bx+l) [3]其中，Δ x是平均水平差异测量值；
G是被选为给出便捷的数值范围的常数；对于以下范围进行加和AX彡χ彡(ff/2-Bx-l)；以及Ax和Bx是限定图像边缘区域(如图1所示)的常数。因此，水平差异测量值Δ χ是在帧的左半部和右半部中的对等水平位置处的像素的各垂直平均列之间的平均差异的测量值。通过对常数Ax和Bx的适当选择，防止图像边缘区域(包括填充帧的一半的构成立体图像的边缘)对差异测量起到作用。类似地，通过一半的图像高度而分开的、来自该列平均值C(y)的值对之间的差异的大小根据如下等式[4]在垂直差异平均器04)中进行评价和平均Ay = GX Σ {C(y)-C(y+H/2)} + (H/2_Ay-By+l)[4]其中，Ay是平均垂直差异测量值；对于以下范围进行加和Ay彡y彡(H/2-By-l)；以及Ay和民是限定图像边缘区域(如图1所示)的常数。因此，垂直差异测量值Ay是在帧的顶半部和底半部中的对等垂直位置处的像素的各水平平均行之间的平均差异的测量值。通过对常数Ay和民的适当选择，防止图像边缘区域(包括填充帧的一半的构成立体图像的边缘)对差异测量起到作用。对于通常的8位像素值来说，对于常数G的合适值是8 ；并且对于常数Ax、Ay、Bx和 By的合适值是10。当整个帧由典型的单个图像填充时，帧的左半部和右半部相似是不太可能的，并且帧的顶半部和底半部相似也是不太可能的，因此可预期都是较大的。如果帧用于立体图像的两个构成图像的上下传输，则由于构成图像的左半部和右半部很可能不同，所以可以预期水平差异测量值较大。但是，由于场景的左眼视图和右眼视图是通过像机在相同高度获得的，所以垂直差异测量值非常可能较小。可选地，如果帧用于立体图像的两个构成图像的并排传输，则由于构成图像的顶半部和底半部很可能不同，所以可以预期垂直差异测量值较大。但是，由于想要在显示器之前或之后描绘的物体的左眼和右眼位置之间的水平差异，水平差异测量值可能较小，但是不为零。因此，假定帧包含具有变化的像素值的图像，则应该可以检测是否正在使用立体图像的并排或上下表示。但是，如果对于图像像素值没有变化，可能随后褪色到黑色，则两个差异测量值都将是零，并且将不可能检测立体图像。如下将要描述的，通过向差异测量值添加校正因子，可以避免这种问题。由最大值检测器0 确定W列像素的各列中的最大像素值；并且，由最小值检测器06)确定W列像素的各列中的最小像素值。然后，由减法器、2Τ)计算这些最大和最小之间的各差异，以根据如下等式[5]给出W个像素值范围的集合Range (χ) = {Max (P (χ, y)) -Min (P (χ, y))}[5]其中，Max(P (χ，y)) = Max {P (χ，0)，P (χ，1)，P (χ，2)，· · · P (χ，H_l)}；且Min (P (χ, y)) = Min {P (χ, 0)，P (χ，1)，P (χ，2)，…P (χ, Η_1)}这些范围值在平均器08)中关于帧宽度而进行平均，以给出根据如下等式[6]的平均列范围值Rangecol = (1/ff) X Σ {Range (χ)}[6]
其中，对于范围0彡χ彡(W-I)进行加和将类似的处理应用于H行像素值以如下获得平均行范围值。由最大值检测器09) 确定像素行的各行中的最大像素值；并且，由最小值检测器(30)确定像素行的各行中的最小像素值。减法器(31)根据如下等式[7]确定H个范围值的集合Range (y) = {Max (P (χ, y))-Min (P (χ, y))}[7]其中，Max(P (χ，y)) = Max {P (0，y)，P (1，y)，P (2，y)，. . . P (W_l，y)}；且Min (P (χ, y)) = Min {P (0，y)，P (1，y)，P (2，y)，· · · P (W_l，y)}这些范围值在平均器(32)中关于帧高度而进行平均，以给出根据如下等式[8]的平均行范围值RangeEow= (1/H) X Σ {Range (y)}[8]其中，对于范围0彡y彡(H-I)进行加和。两个平均范围值Rangectjl和RangeK。w在加法器(3 中进行相加，以给出针对图像的像素值的变化的整体测量值。当关于图像像素值变化很小时来自加法器(3 的输出将是小的；在该情况下，如上所说明的，较小值给出了存在立体图像的不可靠的指示。加法器(33)的输出被输入到权重函数(34)以获得添加到动态范围校正因子。当像素值的范围足够大以给出代表值时，该校正因子应当是小的；并且在其他情况下该校正因子变大。适合的权重函数是δ = JXexp (-(ζ/Κ)2)[9]其中δ是要被添加到Ay的动态范围校正因子；ζ是非权重的输入范围值；以及J和K是常数。当输入范围ζ是零时将J的值设置为δ的最大值；值120被认为是合适的。K的值用于确定随着输入范围ζ的增加，权重减小多快；值2048被认为是合适的。返回图2，从权重函数(34)输出的动态范围校正因子在加法器(35)中被加至水平差异测量值Δχ，并且在加法器(36)中被加至垂直差异测量值Ay。如通常的情况，当分析一系列图像时，来自加法器(35)和(36)的输出在各个时间滤波器(37)和(38)中时间地滤波，时间滤波器(37)和(38)典型地递归组合来自多个图像的结果。两个经过滤波的差异测量值在各个比较器GO)和中与公共阈值(39)进行比较，以向逻辑块G2)提供二值(binary，二进制)真(TRUE)或假(FALSE)，逻辑块02)得到输出“并排”和“上下” 标记(43)和(44)。容纳立体图像的两个构成图像的帧一般将导致一个比较器的输出为TRUE而另一个比较器的输出为FALSE。容纳单个图像的帧一般将导致两个比较器都给出TRUE输出，这是因为水平差异测量值Δχ和垂直差异测量值Ay都高于阈值。因此，比较器GO)的输出处的FALSE状态表示并排构成图像；而比较器Gl)的输出处的FALSE状态表示上下构成图像。逻辑块02)保证输出标记03)和04)是互斥的，并且当对一系列图像进行处理时提供额外的时间平均。用于后者情况的合适算法是对于例如200个帧，对比较器00)和 (41)中的每个给出FALSE输出的帧的数量进行计数，并且对应于给出超过合适的阈值数量 (例如，50)的更多数量的FALSE输出的比较器来设置输出标记。因此，如果比较器00)在
8最近200帧中对多于50帧给出FALSE输出，并且比较器对于这些帧给出更少的FALSE 输出，则设置并排标记G3)。并且类似地，如果比较器对于这些帧给出超过50个的更多数量的FALSE输出，而比较器00)给出更少数量的FALSE输出，则设置上下标记(44)。 如果两个比较器在最近200帧中都没有给出多于50个的FALSE输出，则不设置任何输出标记。当在最近200帧中比较器(39)和00)都未给出多于50的FALSE输出时，通过使用来自垂直差异平均器和水平差异平均器04)的△,值可以改进逻辑处理。Δχ 和Ay值可以关于这200帧分别进行加和，并且各个加和彼此比较并且与一个阈值(例如， 14000)进行比较。如果较低的和低于阈值，则设置适当的标记；如果两个和都超过阈值，则不设置标记。该逻辑的其他变形也是可行的，例如可以为两个比较设置不同的阈值，并且该阈值可以取决于当前检测的标记以提供迟滞，其防止输出标记的改变，直到发生测量的水平或垂直差异值的显著改变为止。图2中示出的系统使用从所有帧中得到的一行垂直平均像素值R(X)和一列水平平均像素值C (y)。通过分析如下对半帧的分别平均而得到的两行垂直平均像素值和两列水平平均像素值，可以交替地完成立体图像的并排和上下传输的检测RUpper(x) = (2/Η)ΧΣΡ(χ,γ)[10]其中对于包括范围0彡y彡(H/2-1)的帧的上半部进行加和。RLower(x) = (2/Η)ΧΣΡ(χ,γ)[11]其中对于包括范围(Η/2)彡y彡H的帧的下半部进行加和。CLeft(y) = (2/ff)XXP(x,y)[12]其中对于包括范围(W/2-1)的帧的左半部进行加和。CEight(y) = (2/ff)XXP(x,y)[13]其中对于包括范围(W/2) ^ X^ff的帧的右半部进行加和。iRUppCT(x)和Rfjc)之间的相关性高且C^ft(y)和CKight(y)之间的相关性低时， 可以推断存在上下立体图像。类似地，当CLrft (y)和CKight(y)之间的相关性高且Ruppct(X)和Rlotct (χ)之间的相关性低时，可以推断存在并排立体图像。可以通过如下形成平均水平和垂直像素值差异测量值来避免相关性处理的复杂性Δχ' = GX Σ {CLeft(y)-CKight(y)} +(H-Ay-By+1)[14]其中Δχ'是可选的平均水平差异测量值；以及对于范围Ay彡y彡(H-By-I)进行加和。以及Δ y ‘ =GXE (Rupper (x) -RLower (χ)} ^ (W-Ax-Bx+1)[15]其中Δ/是可选的垂直水平差异测量值；对于范围Ax^ X^ (W-Bx-I)进行加和。当Δ/为低且Δχ'为高时，可以推断存在上下立体图像。类似地，当Δχ'为低且Δ/为高时，可以推断存在并排立体图像。如图2的系统所示，从平均的像素值的行和列中值的范围得到的动态范围校正因子可以被添加到水平和垂直差异测量值，以避免在缺乏代表性图像数据时的错误检测。 本发明可以应用于描述在各个像素位置的集合的任何方便的图像属性的值的集合；或者，可应用于组合的像素值的集合，其中，集合的每个组元是通过组合在相同像素位置处的不同图像属性的值来形成的。可以在适当的情况中以相反的顺序进行取平均和取差异的操作。通常可以使用亮度值，但是也可以使用其他像素值。在处理之前图像可以被二次采样或过采样。图像边缘值(包括靠近图像的水平或垂直中心线的值)可以包括在或者可以不包括在任何加和处理和平均处理中。本发明可以应用于单个帧或一系列帧；当然，当处理不相关图像时不能应用对水平差异值的时间滤波和对于多个帧的值的加和。上述描述以硬件块的形式给出，但是包括基于处理器实现方式的其他实现方式也是可行的，并且通过上述描述对本领域技术人员是显而易见的。
权利要求
1.一种方法，通过分析水平平均像素值的列和垂直平均像素值的行来检测在图像帧内立体图像的两个构成图像的存在方式。
2.根据权利要求1所述的方法，其中，对一行垂直平均像素的值的有序集合进行分析， 以检测与通过所述帧的宽度的一半而在水平方向上分开的所述帧内的各个图像区域相对应的平均值的相似性，并且由所述相似性推断立体图像的构成图像存在并排配置；和/或， 对一列水平平均像素的值的有序集合进行分析，以检测对与通过所述帧的高度的一半而在垂直方向上分开的所述帧内的各个图像区域相对应的平均值的相似性，并且由所述相似性推断立体图像的构成图像存在上下配置。
3.根据权利要求2所述的方法，其中，评价一行或一列平均像素值的一组值中的组元之间的平均差异。
4.根据权利要求2所述的方法，其中，评价一行或一列平均像素值的一组值中的组元之间的相关性，优选其中使用相位相关性。
5.根据权利要求1所述的方法，其中，从所述帧的上半部得到第一行垂直平均像素，并且将其与从所述帧的下半部得到的第二行垂直平均像素进行比较，并且当发现该第一行和该第二行垂直平均像素相似时推断出立体图像的构成图像存在上下配置；和/或，从所述帧的左半部得到第一列水平平均像素，并且将其与从所述帧的右半部得到的第二列水平平均像素进行比较，并且当发现该第一列和该第二列水平平均像素相似时推断出立体图像的构成图像存在并排配置。
6.根据权利要求5所述的方法，其中，评价成对的行的平均像素的相应组元之间或成对的列的平均像素的相应组元之间的平均差异。
7.根据权利要求5所述的方法，其中，评价两行平均像素之间或两列平均像素之间的相关性，优选其中使用相位相关性。
8.根据权利要求2至7中任一项所述的方法，其中，当一行或一列像素值或者像素值的组合内的值的范围的测量值小时，像素值或像素值的组合之间的相似性的测量值朝不相似的方向偏离。
9.根据权利要求2至8中任一项所述的方法，其中，将靠近所述帧的边缘的像素忽略。
10.根据权利要求2至9中任一项所述的方法，其中，将靠近所述帧的垂直中心线或水平中心线的像素忽略。
11.一种方法，在处理器中检测图像帧内立体图像对的两个构成图像是以并排配置存在还是以上下配置存在，包括以下步骤检测与通过所述帧的宽度的一半而在水平方向上分开的所述帧内的各个图像区域相对应的值的相似性；检测与通过所述帧的高度的一半而在垂直方向上分开的所述帧内的各个图像区域相对应的值的相似性；并且由所述相似性推断出立体图像对的构成图像是否存在并排配置或上下配置。
12.根据权利要求11所述的方法，其中，所述相似性通过关于图像帧的值的相似性的全局测量值而进行权重。
13.一种装置，用于检测图像帧内立体图像对的两个构成图像的存在方式，所述装置包括垂直平均器，对像素或像素之间的水平差异进行操作；水平平均器，对像素或像素之间的垂直差异进行操作；水平差异确定器，用于确定像素之间或通过特征水平距离、优选为所述帧的一半宽度而在水平方向上分开的垂直平均值之间的差异；垂直差异确定器，用于确定像素之间或通过特征垂直距离、优选为所述帧的一半高度而在垂直方向上分开的水平平均值之间的差异；以及逻辑块，用于推断是否存在立体图像对的构成图像的并排配置或上下配置。
14.一种可编程装置，被编程以实现根据权利要求1至12中任一项所述的方法。
15.一种计算机程序产品，用于使可编程装置实现根据权利要求1至12中任一项所述的方法。
全文摘要
本发明公开了立体图像检测，其中，为了检测图像帧内立体图像的两个构成图像的存在方式，从帧的上半部得到一行垂直平均像素，并且将其与从帧的下半部得到的第二行垂直平均像素进行比较。类似地，从帧的左半部得到一列水平平均像素，并且将其与从帧的右半部得到的一列水平平均像素进行比较。
文档编号H04N17/00GK102404601SQ201110266108
公开日2012年4月4日 申请日期2011年9月8日 优先权日2010年9月10日
发明者乔·迪金斯 申请人:史诺有限公司