专利名称：图像处理方法和设备的制作方法
技术领域：
一个或多个实施例涉及一种图像处理方法和设备，更具体地，涉及一种可使用参考层执行针对输出图像内的空洞的空洞恢复的方法和设备。
背景技术：
三维(3D)显示装置可显示3D图像以增强观看者感受的真实感和投入感。为了对在各种视点观看图像的观看者提供3D效果，输出视像可能需要在各 种视点被产生。可通过对若干输入视像进行内插或通过对单个输入视像进行外插来产生输出视像。当使用少量输入视像产生多个输出视像时，需要一种可对在输入视像中不可见而在输出视像中可见的区域进行处理的方法。这样的区域可被称为“空洞(hole)”。在现有技术中，可针对每个输出视像独立执行空洞填充，而无需考虑所有可用的图像数据。也就是说，在现有技术中，针对每个输出图像独立执行空洞恢复，从而迫使进行多次空洞恢复程序步骤。
发明内容
通过提供一种图像处理方法来实现前述和/或其他方面，所述图像处理方法包括使用至少一个输入视图产生关于参考视点的参考层；使用所述至少一个输入视图产生输出视点图像；使用参考层执行针对输出视点图像内的空洞的空洞恢复。每个输入视图可包括图像和视差信息，参考层可包括图像和视差信息。所述至少一个输入视图可以是左输入视图和右输入视图。参考视点可以是左输入视图的视点与右输入视图的视点之间的视点。参考视点可以是所述至少一个输入视图中的中心输入视图的视点。产生参考层的步骤可包括使用所述至少一个输入视图产生参考视点图像和参考视点视差信息；产生关于参考视点的空洞图，其中，在所述空洞图中，与每个输出视点图像内的空洞相关的信息被收集；使用空洞图、参考视点图像和参考视点视差信息来产生初始参考层；通过执行针对初始参考层内的空洞的空洞恢复来产生参考层。可基于包括在参考视点图像中的像素的视差之间的差来产生空洞图。可通过在参考视点图像和空洞图之间执行AND运算来产生初始参考层的图像。可使用与初始参考层内的空洞邻近的背景来执行针对初始参考层内的空洞的空洞恢复。当第一像素的第一视差比与第一像素的左侧邻近的第二像素的第二视差至少大一阈值时，从第一像素的右侧起的像素可被设置为空洞，并且所述像素的数量可与第一视差和第二视差之间的差成比例；当第一像素的第一视差比与第一像素的右侧邻近的第三像素的第三视差至少大一阈值时，从第一像素的左侧起的像素被设置为空洞，并且所述像素的数量与第一视差和第二视差之间的差成比例。产生输出视点图像的步骤可包括从所述至少一个输入视图选择至少一个参考视图；通过使用参考视图视差信息将参考视像扭曲至输出视点来产生输出视点图像；执行空洞恢复的步骤可包括通过使用参考层的视差信息将参考层图像扭曲至输出视点，来产生输出视点的参考层图像；将与输出视点的参考层图像中的空洞对应的区域复制到所述空洞。可提供多个输出视点图像。
通过提供一种图像处理设备来实现前述和/或其他方面，所述图像处理设备包括参考层产生器，用于使用至少一个输入视图产生关于参考视点的参考层；输出视点图像产生器，用于使用所述至少一个输入视图产生输出视点图像；空洞恢复单元，用于使用参考层执行针对输出视点图像内的空洞的空洞恢复。每个输入视图可包括图像和视差信息，参考层可包括图像和视差信息。参考层产生器可包括参考视点图像/视差信息产生器，用于使用所述至少一个输入视图产生参考视点图像和参考视点视差信息；空洞图产生器，用于产生关于参考视点的空洞图，其中，在所述空洞图中，与每个输出视点图像内的空洞相关的信息被收集；初始参考层产生器，用于使用空洞图、参考视点图像和参考视点视差信息来产生初始参考层；参考层产生器，用于通过执行针对初始参考层内的空洞的空洞恢复来产生参考层。输出视点图像产生器可包括参考视点选择器，用于从所述至少一个输入视图选择至少一个参考视图；参考视图扭曲单元，用于通过使用参考视图视差信息将参考视像扭曲至输出视点，来产生输出视点图像。空洞恢复单元可包括参考层扭曲单元，用于通过使用参考层的视差信息将参考层的图像扭曲至输出视点，来产生输出视点的参考层图像；空洞区域复制单元，用于将与输出视点的参考层图像中的空洞对应的区域复制到所述空洞。通过提供一种图像处理方法来实现前述和/或其他方面，所述图像处理方法包括基于至少一个输入视像和输入视差来计算参考视点图像和参考视点视差；基于参考视点视差构建与参考视点对应的空洞图；使用空洞图和参考视点图像来产生参考视点处的初始参考层；通过对产生的初始参考层内的空洞执行空洞恢复来产生参考层；从参考层向每个输出视点图像的空洞位置传播恢复的空洞信息。通过提供一种构建用于多视像数据的空洞图的方法来实现前述和/或其他方面。所述方法包括在单个参考视点处聚集在多个不同视点中的每一个视点处获得的空洞信息；在所述单个参考视点处构建包括聚集的空洞信息的空洞图。通过提供一种包括图像处理设备的多视图显示装置来实现前述和/或其他方面。所述多视图显示装置还包括参考视点图像/视差信息产生器，用于基于至少一个输入视像和输入视差来计算参考视点图像和参考视点视差；空洞图产生器，用于基于参考视点视差构建参考视点处的空洞图；初始参考层产生器，用于使用空洞图以及参考视点图像和参考视点视差，产生参考视点处的初始参考层；参考层产生器，用于通过对产生的初始参考层内的空洞执行空洞恢复来产生参考层；空洞恢复单元，用于从参考层向每个输出视点图像的空洞位置传播恢复的空洞信息。实施例的另外的方面将在描述中被部分阐述，还有部分从描述中将是清楚的，或者可通过本公开的实施而得知。
通过下面结合附图对实施例进行的描述，这些和/或其他方面将变得清楚并更易于理解，其中图I示出根据实施例的图像处理方法；图2示出用于描述根据实施例的基于两个输入视图确定参考视点并针对所述参考视点产生图像和视差的方法的示
图3示出用于描述根据实施例的基于2n_l个输入视图确定参考视点并针对所述参考视点产生图像和视差的方法的示图；图4示出用于描述根据实施例的使用参考视点图像和参考视点视差信息来产生参考层和所述参考层的视差信息的处理的示图；图5示出用于描述根据实施例的产生空洞图的原理的示图；图6示出用于描述根据实施例的产生空洞图的方法的示图；图7示出用于描述根据实施例的确定被设置为空洞的像素的数量的方法的示图；图8示出根据实施例的产生空洞图的处理；图9示出用于描述根据实施例的产生输出视点图像并执行针对输出视点图像内的空洞的空洞恢复的原理的示图；图10示出根据实施例的产生输出视点图像并执行针对输出视点图像内的空洞的空洞恢复的处理；图11示出根据实施例的图像处理设备的配置；图12示出根据示例实施例的包括图像处理设备的多视图(multi-view)显示装置的框图。
具体实施例方式现在将详细描述实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。以下描述实施例以通过参考附图解释本公开。在下文中，术语“视图(view)”可包括图像以及与所述图像相关的视差信息。术语视图可指示具有视差信息的图像。视图的图像可包括例如二维(2D)像素。视图的视差信息可包括每个像素的视差或视差值。视差信息可指示图像内的像素的视差。输入视图可指示被用作输入信息的视图。输出视图可指示基于输入视图产生的视图。在输入视图中，被用于产生输出视图的视图可被称为参考视图。内插可指示产生参考视图之间的图像。外插可指示产生参考视图的外部图像。可通过基于参考视像的视差信息，根据输出视图的视点扭曲(warp)参考视像来产生输出视像。
这里，扭曲可指示基于图像的视差信息使图像内的每个像素的坐标移位。具有较大视差的像素可能比具有较小视差的像素移位的更远。通过相互恒定的条件(mutual constant term),深度和视差可能负相关。因此,在以下实施例中，术语“深度”和“视差”可被可交换地使用。另外，将深度转换为视差或将视差转换为深度的操作可被添加到以下实施例。图I示出根据实施例的图像处理方法。在操作110，参考视点可被确定。参考视点可以是参考视点图像、参考视点视差信息、空洞图(hole map)和参考层的视点。例如，参考视点可以是被用作用于产生空洞图和参考层的参考的视点。
稍后将参照图2和图3进一步描述确定参考视点的示例。在操作122至128，可使用至少一个输入视图产生针对参考视点的参考层(例如，参考层的图像和参考层的视差信息)。每个输入视图可包括图像和与所述图像相关的视差信息。在操作122，可使用所述至少一个输入视图产生参考视点图像和参考视点视差信
肩、O参考视点图像和参考视点视差信息可被用于产生空洞图和参考层。稍后将描述空洞图的产生。所述至少一个输入视图中的中心输入视图的视点可被选为参考视点。也就是说，位于所述至少一个输入视图中的其他输入视图之间的视点可被选为参考视点。在操作124，与参考视点对应的空洞图可被产生。可通过收集作为参考视点图像的与每个视点图像内的空洞相关的信息来产生空洞图。也就是说，在多个不同视点中的每一个视点处获得的空洞信息可被聚集在参考视点图像。这里，每个视点图像可指示将稍后描述的输出图像。在操作126，可使用空洞图、参考视点图像和参考视点视差信息来产生初始参考层。在初始参考层中，可在参考视点图像内，或者在参考视点图像和参考视点视差信息内产生空洞分量。在操作128，可通过执行针对初始参考层内的空洞的空洞恢复来产生参考层(例如，参考层的图像和参考层的视差信息)。也就是说，初始参考层的空洞可被恢复以产生参考层。稍后将参照图4描述使用参考视点图像和参考视点视差信息来产生参考层的处理。在操作126和128，可使用空洞图、参考视点图像和参考视点视差信息产生执行针对每个输出图像内的空洞的空洞恢复所需要的信息。在操作130，可使用所述至少一个输入视图来产生输出视点图像或目标视点图像。输出视点可指示将被提供给观看者的目标视点。输出视点图像可包括空洞。在操作140，可使用参考层和所述参考层的视差信息来执行针对输出视点图像内的空洞的空洞恢复。
在操作150，已执行了空洞恢复的输出视点图像可被输出。可随后提供空洞已被恢复的多个输出视点图像。图2示出用于描述根据实施例的基于两个输入视图确定参考视点并针对所述参考视点产生图像和视差的方法的示图。图2示出第一输入视图210和第二输入视图220。第一输入视图210和第二输入视图220可分别是例如立体2路视图输入的左输入视图和右输入视图。第一输入视图210和第二输入视图220可以可选择地分别是多视图装置的2η个输入视图中的第η输入视图和第η+1输入视图。这里，η可以是大于或等于“I”的整数。第一输入视图210和第二输入视图220可以是被放在多个输入视图的中心的两个输入视图。 也就是说，第一输入视图210和第二输入视图220可被放在其他输入视图之间。第一输入视图210可包括图像212和视差信息214。第二输入视图220可包括图像222和视差信息224。参考视点可位于第一输入视图210的视点与第二输入视图220的视点之间的中心位置。参考视点可位于从所有输入视图选择的两个输入视图的视点之间的中心位置。作为一个不例，可基于与左输入视图对应的第一输入视图210和与右输入视图对应的第二输入视图220来产生参考视点视图230 (即，参考视点图像232和参考视点视差信息 234)ο作为另一示例，可通过使用第一输入视图210的图像212和视差信息214以及第二输入视图220的图像222和视差信息224执行扭曲，来产生参考视点视图230 (即，参考视点图像232和参考视点视差信息234)。图3示出用于描述根据实施例的基于2η_1个输入视图确定参考视点并针对所述参考视点产生图像和视差的方法的示图。图3示出三个输入视图，例如，第一输入示图310、第η输入示图320以及第2η_1输入示图330。输入视图的数量可以是2η_1。这里，η可指示大于或等于“I”的整数。与中心输入视图对应的第η输入视图320可包括图像322和视差信息324。参考视点可以是位于多个输入视图之间的输入视图的视点。例如，在2η_1个输入视图中，第η输入视图320的视点可以是参考视点。当参考视点与输入视图之中的预定视图的视点相同时，所述预定视图可被设置为或者可被用作参考视点视图340。所述预定视图的图像可被设置为参考视点图像342，所述预定视图的视差信息可被设置为参考视点视差信息344。例如，当参考视点是输入视图320的视点时，输入视图320可被设置为参考视点视图 340。当输入视图的数量为奇数(例如，2η_1)时，位于中心的输入视图320 (例如，第η输入视图)的图像322可被设置为参考视点图像342。输入视图320的视差信息324可被设置为参考视点视差信息344。图4示出用于描述根据实施例的使用参考视点图像和参考视点视差信息来产生初始参考层和所述初始参考层的视差信息以及参考层和所述参考层的视差信息的处理的示图。例如，可在多个视图的产生中使用图4的处理。如以上参照图I至图3所述，可基于至少一个输入视图(例如，输入视图410和415)来产生参考视点图像430和参考视点视差信息435。参考视点视图420可包括参考视点图像430和参考视点视差信息435。参考视点图像430可包括前景(foreground) 432和背景(background) 434。通常，前景432可能比背景434具有更大的视差(例如，更小的深度)。参考视点视差信息435可包括与前景432相关的前景视差信息436以及与背景434相关的背景视差彳目息438。空洞图440可与通过将在每个多视像中产生的空洞聚集在参考视点上而获得的数据对应，并且可包括空洞部分442和444以及非空洞部分446。 空洞图440可以是空洞部分442和444被表示为“O”而非空洞部分446被表示为“I”的二进制映射。稍后将参照图5至图8进一步描述产生空洞图440的示例。初始参考层450可与通过对被指示为空洞图440上的空洞的区域进行处理而获得的图像对应，并且可包括图像460和视差信息470。初始参考层450的图像460可包括前景462、背景464以及空洞466和468。可基于参考视点图像430和空洞图440来产生初始参考层450的图像460。例如，空洞466和468可与参考视点图像430的空洞部分442和444对应。前景462或背景464可与参考视点图像430的非空洞部分446对应。初始参考层450的视差信息470可以是参考视点视差信息435。可选择地，可基于参考视点视差信息435和空洞图440来产生初始参考层450的视差信息470。例如，视差信息470可包括与前景462对应的前景视差信息472、与背景464对应的背景视差信息474以及空洞476和478。可通过在参考视点图像430和空洞图440之间执行AND(逻辑与)运算来产生初始参考层450的图像460。通过执行AND运算，空洞466和468可与“O”对应，例如，与参考视点图像430中的空洞图440的空洞部分422和444对应。在参考视点图像430中，与“I”对应的部分(例如，空洞图440的非空洞部分446)可不受AND运算的影响。因此，即使在执行了 AND运算之后，所述部分可继续保持为前景462或背景464。也就是说，针对与初始参考层450的图像460中的非空洞部分446对应的前景462和464，参考视点图像430可被“原样”使用。同时，图像460中的空洞466和468可与空洞部分442和444对应。可选择地，针对与初始参考层450的视差信息470中的非空洞部分446对应的前景视差信息472和背景视差信息474，参考视点视差信息435可被原样使用。视差信息470中的与空洞部分442和444对应的区域可以是空洞476和478。可通过针对初始参考层450的图像460的空洞恢复处理来产生所有空洞已被填充的参考层480。参考层480可包括图像490和视差信息495。由于空洞已通过空洞恢复处理被填充，因此图像490和视差信息495通常不包括空洞。可使用例如修补、空洞填充等来填充初始参考层450内的空洞。例如，可使用与初始参考层450内空洞邻近的背景部分来执行针对初始参考层450内的空洞的空洞恢复。例如，可使用例如背景464的与空洞466或468邻近的部分的颜色的信息来填充初始参考层450的图像460内的空洞466或468。可使用背景视差信息474中的与空洞476或478邻近的部分的视差来填充初始参考层450的视差信息470内的空洞476或478。例如，可使用不同的视点输入视图(例如，不同输入视图的图像和视差信息)来执行针对初始参考层450内的空洞的空洞恢复。由于参考层被连续保存，因此可使用时间上在前的参考层(例如，使用时间上在前的参考层的图像和视差信息)，执行针对初始参考层450内的空洞的空洞恢复。例如，时间上在前的参考层可与先前帧的图像数据对应。可通过扩展空洞周围的背景的视差来执行针对初始参考层的视差信息495内的空洞的空洞恢复。
图5示出用于描述根据实施例的产生空洞图的原理的示图。可能由于参考视点图像内的邻近区域(例如，彼此相邻的左像素和右像素)的视差之间的差而出现输出图像内的空洞。当对应像素具有比所述像素的左像素更大的视差时(例如，当通过从所述像素的视差减去左像素的视差而获得的值大于“O”)时，在从参考视点向左扭曲的输出图像内的所述像素的左侧可能出现空洞。当所述像素具有比所述像素的右像素更大的视差时(例如，当通过从所述像素的视差减去右像素的视差而获得的值AdK大于“O”)时，在从参考视点向右扭曲的输出图像内的所述像素的右侧可能出现空洞。可通过将参考视点视图420或参考视点图像430向左扭曲来产生第一输出图像510。在第一输出图像510内的前景512的左侧可能出现与Λ 4 (例如，20个像素)对应的空洞516。可通过将参考视点视图420向右扭曲来产生第二输出图像520。在第二输出图像520内的前景522的右侧可能出现与AdK(例如，20个像素)对应的空洞526。因此，可通过分析参考视点视图420内的邻近像素之间的视差之差(disparitydifference)来预测在预定视点的输出图像内出现的空洞区域。可通过收集或聚集作为参考视点图像的通过将参考视点视图420扭曲到预定视点而出现的空洞来配置空洞图440。图6示出用于描述根据实施例的产生空洞图的方法的示图。为了预测当产生(诸如多视像中的)至少一个输出视图时可能出现的空洞区域，可计算参考视点视图420内的像素之间的视差之差。视差之差可包括左差(leftdifference) Δ dL 和右差(right difference) Δ dK 所述左差可以是相对于与所述像素的左侧邻近的像素(在下文中，左像素)的差。所述右差可以是相对于与所述像素的右侧邻近的像素(在下文中，右像素)的差。参考视点视差信息435内的预定水平线610的视差被表示为图(graph) 620。基于如图表620中所示的视差之差，通过参考视点图像430内的前景432封闭的区域可被确定为空洞区域。可基于I)左视差之差、2)右视差之差、3)输入视图之间的输入基线以及4)最外侧的输出视图的视点之间的距离，计算通过前景432封闭的区域。可基于参考视点图像430内的像素之间的视差之差(例如，Λ A和Λ dE)产生空洞图440。在下文中，将描述确定通过前景封闭的区域(例如，被设置为空洞的像素)的示例。当第一像素的第一视差比与第一像素的左侧邻近的第二像素的第二视差至少大一阈值时(例如，当第一像素的Λ 4大于所述阈值时)，从第一像素的右侧起的像素可被设置为空洞。所述像素的数量可对应于α ·Λ<。被设置为空洞的像素的数量可与第一视差和第二视差之间的差成比例。这里，α表示常量。当第一像素的第一视差比与第一像素的右侧邻近的第三像素的第三视差至少大一阈值时(例如，当第一像素的Λ dK大于所述阈值时)，从第一像素的左侧起的像素可被设置为空洞。像素的数量可对应于α ·Λ(1Κ。被设置为空洞的像素的数量可与第一视差和第二视差之间的差成比例。第一区域630和第二区域640可基于像素之间的视差之差来指示空洞区域(例如，被确定为通过前景432被封闭的区域)。第二图表650示出与差Λ 4或AdK以及α成比例地设置或计算第一区域630和第二区域640的示例。将参照图7进一步描述计算α的示例。通过复制至少一个像素而被设置为空洞的区域可被存储为单个空洞区域。图7示出用于描述根据实施例的确定被设置为空洞的像素的数量的方法的示图。输入基线可指不输入视图之中的最左输入视图710的视点与最右输入视图720的视点之间的距离。最左输出视图730可以是基于至少一个输入视图而产生的输出视图中具有最左视点的输出视图。最右输出视图740可以是具有最右视点的输出视图。例如，可根据等式I计算α。[等式I]
权利要求
1.一种图像处理方法，包括 使用至少一个输入视图产生关于参考视点的参考层； 使用所述至少一个输入视图产生输出视点图像； 使用参考层执行针对输出视点图像内的空洞的空洞恢复。
2.如权利要求I所述的方法，其中，每个输入视图包括图像和视差信息，参考层包括参考层的图像和参考层的视差信息。
3.如权利要求I所述的方法，其中 所述至少一个输入视图包括左输入视图和右输入视图； 参考视点包括左输入视图的视点与右输入视图的视点之间的视点。
4.如权利要求I所述的方法，其中，参考视点包括所述至少一个输入视图中的中心输入视图的视点。
5.如权利要求I所述的方法，其中，产生参考层的步骤包括 使用所述至少一个输入视图产生参考视点图像和参考视点视差信息； 产生关于参考视点的空洞图，其中，在所述空洞图中，与每个输出视点图像内的空洞相关的信息被收集； 使用空洞图、参考视点图像和参考视点视差信息来产生初始参考层； 通过执行针对初始参考层内的空洞的空洞恢复来产生参考层。
6.如权利要求5所述的方法，其中，基于包括在参考视点图像中的像素的视差之间的差来产生空洞图。
7.如权利要求5所述的方法，其中，通过在参考视点图像和空洞图之间执行AND运算来产生初始参考层的图像。
8.如权利要求5所述的方法，其中，使用与初始参考层内的空洞邻近的背景来执行针对初始参考层内的空洞的空洞恢复。
9.如权利要求5所述的方法，其中 当第一像素的第一视差比与第一像素的左侧邻近的第二像素的第二视差至少大第一阈值时，从第一像素的右侧起的像素被设置为空洞，并且所述像素的数量与第一视差和第二视差之间的差成比例； 当第一像素的第一视差比与第一像素的右侧邻近的第三像素的第三视差至少大第二阈值时，从第一像素的左侧起的像素被设置为空洞，并且所述像素的数量与第一视差和第二视差之间的差成比例。
10.如权利要求2所述的方法，其中，产生输出视点图像的步骤包括 从所述至少一个输入视图选择至少一个参考视图； 通过使用参考视图视差信息将参考视像扭曲至输出视点，来产生输出视点图像； 其中，执行空洞恢复的步骤包括 通过使用参考层的视差信息将参考层图像扭曲至输出视点，来产生输出视点的参考层图像； 将与输出视点的参考层图像中的空洞对应的区域复制到所述空洞。
11.如权利要求I所述的方法，其中，提供多个输出视点图像。
12.—种图像处理设备，包括参考层产生器，用于使用至少一个输入视图产生关于参考视点的参考层； 输出视点图像产生器，用于使用所述至少一个输入视图产生输出视点图像； 空洞恢复单元，用于使用参考层执行针对输出视点图像内的空洞的空洞恢复。
13.如权利要求12所述的图像处理设备，其中，每个输入视图包括图像和视差信息，参考层包括参考层的图像和参考层的视差信息。
14.如权利要求12所述的图像处理设备，其中 所述至少一个输入视图包括左输入视图和右输入视图； 参考视点包括左输入视图的视点与右输入视图的视点之间的视点。
15.如权利要求12所述的图像处理设备，其中，参考视点包括所述至少一个输入视图中的中心输入视图的视点。
16.如权利要求12所述的图像处理设备，其中，参考层产生器包括 参考视点图像/视差信息产生器，用于使用所述至少一个输入视图产生参考视点图像和参考视点视差信息； 空洞图产生器，用于产生关于参考视点的空洞图，其中，在所述空洞图中，与每个输出视点图像内的空洞相关的信息被收集； 初始参考层产生器，用于使用空洞图、参考视点图像和参考视点视差信息来产生初始参考层； 参考层产生器，用于通过执行针对初始参考层内的空洞的空洞恢复来产生参考层。
17.如权利要求16所述的图像处理设备，其中，基于包括在参考视点图像中的像素的视差之间的差来产生空洞图。
18.如权利要求16所述的图像处理设备，其中，通过在参考视点图像和空洞图之间执行AND运算来产生初始参考层。
19.如权利要求16所述的图像处理设备，其中，使用与初始参考层内的空洞邻近的背景来执行针对初始参考层内的空洞的空洞恢复。
20.如权利要求16所述的图像处理设备，其中 当第一像素的第一视差比与第一像素的左侧邻近的第二像素的第二视差至少大第一阈值时，从第一像素的右侧起的像素被设置为空洞，并且所述像素的数量与第一视差和第二视差之间的差成比例； 当第一像素的第一视差比与第一像素的右侧邻近的第三像素的第三视差至少大第二阈值时，从第一像素的左侧起的像素被设置为空洞，并且所述像素的数量与第一视差和第二视差之间的差成比例。
21.如权利要求13所述的图像处理设备，其中，输出视点图像产生器包括 参考视点选择器，用于从所述至少一个输入视图选择至少一个参考视图； 参考视图扭曲单元，用于通过使用参考视图视差信息将参考视像扭曲至输出视点来产生输出视点图像； 其中，空洞恢复单元包括 参考层扭曲单元，用于通过使用参考层的视差信息将参考层图像扭曲至输出视点，来产生输出视点的参考层图像； 空洞区域复制单元，用于将与输出视点的参考层图像中的空洞对应的区域复制到所述空洞。
22.如权利要求12所述的图像处理设备，其中，提供多个输出视点图像。
23.一种图像处理方法，包括 基于至少一个输入视像和输入视差来计算参考视点图像和参考视点视差； 基于参考视点视差构建与参考视点对应的空洞图； 使用空洞图和参考视点图像来产生参考视点处的初始参考层； 通过对产生的初始参考层内的空洞执行空洞恢复来产生参考层； 从参考层向每个输出视点图像的空洞位置传播恢复的空洞信息。
24.一种构建用于多视像数据的空洞图的方法，所述方法包括 在单个参考视点处聚集在多个不同视点中的每一个视点处获得的空洞信息； 在所述单个参考视点处构建包括聚集的空洞信息的空洞图。
25.—种包括图像处理设备的多视图显示装置，所述多视图显示装置包括 参考视点图像/视差信息产生器，用于基于至少一个输入视像和输入视差来计算参考视点图像和参考视点视差； 空洞图产生器，用于基于参考视点视差构建参考视点处的空洞图； 初始参考层产生器，用于使用空洞图以及参考视点图像和参考视点视差，产生参考视点处的初始参考层； 参考层产生器，用于通过对产生的初始参考层内的空洞执行空洞恢复来产生参考层； 空洞恢复单元，用于从参考层向每个输出视点图像的空洞位置传播恢复的空洞信息。
全文摘要
一种图像处理方法和设备。所述图像处理方法和设备可产生关于参考视点的参考层。所述参考层可包括用于执行针对输出图像内的空洞的空洞恢复。可通过将参考层扭曲至输出图像的视点来产生信息。
文档编号H04N13/00GK102821293SQ201210192069
公开日2012年12月12日 申请日期2012年6月11日 优先权日2011年6月10日
发明者黄圭荣, 朴斗植, 李晧荣, 赵良镐, 白艾伦 申请人:三星电子株式会社