专利名称：图像处理设备和方法
技术领域：
这里公开的示例实施例涉及ー种用于提供三维(3D)图像的显示装置和内部图像处理方法，更具体地讲，涉及一种当观看3D图像时可减少视觉疲劳的图像处理设备和方法。
背景技术：
最近，对三维(3D)图像处理的兴趣已增加。可通过针对多个视点提供与不同的视点相应的图像，配置3D图像。例如，3D图像可以是与多个视点相应的多视点图像，或可提供与两个视点相应的左眼图像和右眼图像的立体图像。与仅显示现有平面图像的ニ维(2D)显示器相比，3D显示器可向用户提供相对较高的真实感。然而，3D显示器可针对左视野和右视野显示不同的图像信息，并因此与2D显示器相比，可引起更多的视觉疲劳。因此，存在对减少视觉疲劳的解决方案的需求。用于减少视觉疲劳的传统方法包括统ー减小深度信息的方法、在近侧区域的情况下增加对比度并且在远侧区域的情况下减小对比度的方法等。
发明内容
通过提供一种图像处理设备实现上述和/或其他方面，所述图像处理设备包括:感兴趣区域(ROI)配置単元，根据与输入的三维(3D)图像相应的用户或观察者的视觉注意，产生视觉注意图；视差调整单元，利用视觉注意图调整包括在输入的3D图像中的视差信息。ROI配置単元可包括:区域划分器，利用输入的3D图像的视差信息，将包括在输入的3D图像中的深度值分布划分为多个区域；至少ー个区域计算器，计算与所述多个区域中的每个区域相应的视觉注意级别。ROI配置单元还可包括:视觉注意图计算器，通过集成由所述至少ー个区域计算器计算的所述多个区域的视觉注意级别，产生视觉注意图。所述至少ー个区域计算器可改变输入的3D图像的顔色空间，可将输入的3D图像的每个部分分类为具吸引力的顔色和不具吸引力的顔色，并可将具吸引力的顔色的视觉注意级别计算为高于不具吸引力的顔色的视觉注意级别。当输入的3D图像与红、绿、蓝(RGB)颜色空间相关时，颜色空间的改变可将颜色空间改变为CIECAM02顔色空间，并可基于颜色值的色相和色度，执行将每个部分分类为具吸弓I力的顔色和不具吸引力的顔色。当基于利用输入的3D图像的顔色信息确定的亮度信息，帧之间的亮度差大于或等于的预定阈值时，所述至少ー个区域计算器可将视觉注意级别计算为高。
所述至少一个区域计算器可将输入的3D图像划分为预定大小的块。当针对在不同的两个帧内位于相同的位置上的块的像素值的差大于或等于预定阈值时，所述至少一个区域计算器可将所述块确定为运动检测块，并将所述块的视觉注意级别计算为高。所述至少一个区域计算器可将块分组为多个组。当单个组内存在预定数量的运动检测块时，所述至少一个区域计算器可将单个组内的整个块的视觉注意级别计算为高。当利用输入的3D图像的颜色信息确定的亮度值小于预定阈值时，所述至少一个计算器可将视觉注意级别计算为低。图像处理设备还可包括:感知深度增加处理单元，通过应用基于根据视觉注意产生的视觉注意图上预定区域的纹理类型的纹理增强方案，提高感知深度。通过提供一种图像处理设备实现上述和/或其他方面，所述图像处理设备包括:ROI配置单元，基于输入的3D图像的颜色值、视差值和运动检测结果中的至少一个，产生与输入的3D图像相应的视觉注意图；视差调整单元，利用视觉注意图重新调整输入的3D图像的视差。通过提供一种图像处理方法实现上述和/或其他方面，所述图像处理方法包括:通过图像处理设备的ROI配置单元根据与输入的3D图像相应的人类视觉注意，产生视觉注意图；通过图像处理设备的视差调整单元利用视觉注意图调整包括在输入的3D图像中的视差息。所述示例实施例可包括可维持3D效果并减小与人类视觉系统特征相关的视觉疲劳的图像处理设备和方法。所述示例实施例还可包括可基于观察者的视觉注意有效选择R0I，而没有使用可被用于减少视觉疲劳的其它传统方法而可能产生的3D效果的减少的图像处理设备和方法。实施例的另外方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本公开的实施可以被理解。
从下面的通过结合附图对实施例的描述中，这些和/或其它方面将会变得清楚，并且更易于理解，其中:图1示出根据实施例的图像处理方法；图2示出根据实施例的包括感知深度增加处理过程的图像处理方法；图3示出根据实施例的图像处理设备；图4示出根据实施例的图3的图像处理设备的感兴趣区域(ROI)配置单元的配置；图5示出根据实施例的通过ROI配置单元来计算区域图的处理；图6示出根据实施例的用于描述图3的图像处理设备的视差调整单元的操作的示图；图7示出根据实施例的用于描述图像处理设备的三维(3D)图像产生器的操作的示图；图8示出根据实施例的用于描述包括在图像处理设备的3D效果增强单元的操作的示图；图9A、图9B、图1OA和图1OB示出根据实施例的用于描述通过图像处理设备的3D图像生成器来调整视差之前和之后的差别的示图；图11示出根据实施例的用于描述利用图像处理方法产生正感知深度3D图像的处理的示图；图12示出根据实施例的用于描述利用图像处理方法产生负感知深度3D图像的处理的示图。
具体实施例方式现在将详细描述实施例，其示例在附图中示出，其中，相同的标号始終表示相同的部件。下面通过參照附图来描述这些实施例以解释本公开。图1示出根据实施例的图像处理方法。图像处理方法可分析将从3D显示器中提供的输入的三维(3D)图像的特征。图像处理方法可通过利用分析的特征调整输入的3D图像的视差信息，来減少由观看输入的3D图像引起的疲劳程度。根据这里公开的示例实施例的图像处理设备可利用用户的视觉感知特征(例如，视觉注意特征)有效并精确地预测感兴趣区域(R0I)。据此，图像处理设备可根据输入的3D图像的特征来増加视觉感知深度，还可明显减少视觉疲劳。根据关于与人类视觉感知特征相关的视觉注意的研究，与听觉相比，视觉可提供十倍的信息，因此视觉执行非常重要的功能。例如，相信所有获取的信息中的至少70%可从视觉信息中获取。在3D图像中，视觉信息可用作输入的信息的主要方式，因此视觉可变成有触觉的。眼睛执行可从周围环境接收各种大量信息(例如，形状、顔色、距离、运动、亮度、纹理、梯度、位置、方向等)的视觉功能。即使输入了大量信息，用户的大脑也可从进入眼睛的大量信息当中选择并专注于有意义的信息。这被称为视觉注意或选择性注意。例如，用户可利用视觉注意或选择性注意，确定看什么或看哪里。在下文中，将描述根据示例实施例的可通过重新调整输入的3D图像的视差而减少视觉疲劳的图像处理设备的图像处理方法。參照图1，在操作110，可输入3D图像。输入的3D图像可包括彩色图像和视差信息。3D显示装置可通过对彩色图像和视差信息进行解码来产生立体图像或多视点图像。在操作120，图像处理设备的ROI配置単元可通过分析输入的3D图像产生视觉注意图。ROI配置単元可利用3D输入图像的视差信息，将输入的3D图像划分为具有不同深度级别的多个层。在下文中，该层还可被称为区域。ROI配置単元可根据多个区域中的视觉模型，利用每个区域的顔色信息、每个区域的视差信息和每个区域的运动信息中的至少ー个，计算视觉注意级别。计算的视觉注意级别可被表示在相应的屏幕，因此可被理解为视觉注意图的配置。将參照附图，进一歩描述可产生视觉注意图的ROI配置単元的实施例。当计算出视觉注意图时，在操作130，图像处理设备的视差调整単元可重新调整包括在3D图像中的视差信息。上述的重新调整可被理解为使从视觉注意图验证的具有最高视觉注意级别的部分能够具有最小化人类视觉疲劳的视差级别的操作。根据实施例，最小化视觉疲劳的视差级别可以是与距离显示屏幕最近的点对应的视差。例如，当视差变为“零”的点被理解为显示屏幕时，具有最高视觉注意级别的部分的视差可被调整为“零”。在操作140，图像处理设备的3D图像产生器可利用重新调整的视差产生3D图像。在操作150，可输出产生的3D图像(例如，立体图像)。通过上述处理，可执行可减少视觉疲劳的、并可维持或进一步增强屏幕内的相对3D效果的图像处理。图2示出根据示例实施例的包括感知深度增加处理过程的图像处理方法。尽管图1的图像处理方法和图2的图像处理方法之间的差别在于在操作230之后的操作240执行增加感知深度的处理，但是剩余的操作(例如，接收3D图像的操作210、配置视觉注意图的操作220和重新调整视差的操作230)可与上面参照图1进行的描述相同。另外，在操作240之后的产生应用最佳深度的3D图像的操作250和输出3D图像的操作260也可与上面参照图1进行的描述相同。将参照图6至图8，描述用于增加感知深度的图像处理操作240。图3示出根据示例实施例的图像处理设备。当输入3D图像 时，ROI配置单元310可通过分析输入的3D图像产生视觉注意图。如上面参照图1描述的，ROT配置单元310可利用输入的3D图像的视差信息，将输入的3D图像划分为具有不同深度级别的多个区域。ROI配置单元310可根据多个区域中的视觉模型，利用每个区域的颜色信息、每个区域的视差信息和每个区域的运动信息中的至少一个，计算视觉注意级别。计算的视觉注意级别可被表示在相应的屏幕，因此可被理解为视觉注意图的配置。将参照图4和图5，进一步描述可产生视觉注意图的ROI配置单元310的操作。利用由ROI配置单元310产生的视觉注意图，视差调整单元320可调整输入的3D图像的视差，以达到视觉疲劳的最大减少。通过视差调整，从视觉注意图中验证的具有最高视觉注意级别的区域可被移动到可最小化用户视觉疲劳的深度。最小化视觉疲劳的视差级别可以是与距离显示屏幕最近的点相应的视差，因此具有最高视觉注意级别的区域的视差可被调整为“零”。将参照图9至图12，进一步描述视差调整单元320的操作。3D图像产生器330可产生利用重新调整的视差提供最少视觉疲劳的3D图像。将参照图7和图8，进一步描述3D图像生成器330的操作。图4示出根据实施例的图3的图像处理设备的ROI配置单元310的配置。ROI配置单元310可包括区域划分器410、区域I计算器421、区域2计算器422、……、区域N计算器423和视觉注意图计算器430。区域划分器410可利用包括在输入的3D图像中的视差信息，将输入的3D图像的深度值分布划分为N个区域。在上述处理期间,最小深度值和最大深度值之间的分布可被均等地划分为N个区域。
然而，这仅是示例，因此根据深度值的分布，与大量像素相应的深度值周围的区域可分配相对大量的层。在与少量像素相应的深度值的情况下，相对宽的范围可被分配为单个层。在此示例中，可在时间上按每ー帧适应地执行基于深度值的区域(层)划分。当深度值分布基于深度值级别被划分为区域I至区域N吋，每个区域计算器可计算每个区域的视觉注意级别。例如，区域I计算器421可计算区域I的视觉注意级别、区域2计算器422可计算区域2的视觉注意级别、区域N的计算器可计算区域N的视觉注意级另IJ。可根据用户(例如，人)的视觉识别模型，基于对象的顔色、视差和动作中的至少ー个来确定视觉注意级别。可执行上述计算，从而可针对人以高度的注意力观察的色相、具有将被强调的视差级别的部分和/或物体移动的部分，获取相对高的视觉注意级别。视觉注意图计算器430可利用由区域I计算器421、区域2计算器422、……、区域N计算器423计算的视觉注意级别，产生针对整个显示屏幕的视觉注意图。将參照图5，描述可计算·相应区域的区域图的每个区域计算器的处理。图5示出根据示例实施例的通过ROI配置単元计算区域图的处理。在操作510，可执行颜色空间变化，以针对基于深度值级别划分的每个区域，分析颜色信息。具有红、绿、蓝(RGB)顔色空间的输入的3D图像的顔色信息可被转换为基于最相似于人类视觉感知的CIECAM02 (国际照明委员会色貌模型02)的颜色空间的亮度(L)、色度(C)、色相正交(hue quadrature) (H)。这里，CIECAM02的L、C和H可分别指示亮度值、色度值和色相值。针对输入的3D图像的顔色空间可以是RGB数字信号并与人类视觉系统无关。因此，可利用被表现为人类视觉系统的最终输出的人类感知特征(例如，亮度、色度、色相)。每个区域计算器可利用从转换的顔色空间获取的顔色信息，产生与每个区域(例如，每个层)相应的颜色直方图。例如，可基于颜色信息中的色相信息产生直方图。作为预定区域而描述的将被使用的色相区域可被划分为所述的颜色空间中CIECAM02的色相正交或色相角，或可基于LCH颜色空间的色相值被划分。可通过对于每个区域产生的顔色直方图，确定能够代表相应层的代表色相。这里，代表色相可以是在顔色直方图中具有最大频率的顔色，并可被称为相应层的代表色相。然而，这仅是示例，因此可利用其他方法确定代表色相。例如，代表色相可以是与从颜色直方图确定的中间值或平均颜色相应的颜色。在操作520，确定的代表色相是相应干与视觉注意相关的具吸引力的色相区域还是相应于不具吸引力的色相区域可被确定。在操作530，针对与具吸引カ的颜色相应的每个像素，可确定相应像素是否相应于与视觉注意相关的亮度值。通常，当亮度低时(例如，当黑暗时)，即使在与视觉注意相应的色相区域的情况下(即，即使色相区域被确定为吸引用户时)，也不可识别色相。因此，视觉注意级别可不被计算为高。通过考虑上面描述的亮度，在计算视觉注意级别的处理期间，可移除噪声。在操作540，可确定预定像素是否与移动物体相应。通常，当运动差较大时，相应部分可根据视觉注意引起注意。基于上述的理论假设，可利用亮度计算运动差。例如，运动可基于几乎不存在图像输入设备(例如，相机)的平移或不期望的摇晃的假设。当每个帧的亮度差较大时，相应部分可被确定为具有物体运动的部分(例如，将被注意的部分)。在上述处理期间,TO输入帧和(ΤΟ+At)输入帧可被划分为预定大小的块。当针对在两个帧内位于相同位置上的块的像素值的差大于或等于预定阈值时，则可确定已发生运动。在上述处理期间，快速移动物体极有可能被检测为两个不同的区域。为了将两个不同的区域集成为单个区域，当至少预定数量的运动检测块出现在块组内时，可采用将整个块组显示为单个区域的方法。即，还可考虑邻近块而不是各个块。在操作550，可集成针对每个区域计算的区域图。因此，可配置整个视觉注意图。图6示出根据实施例的用于描述图3的图像处理设备的视差调整单元320的操作的示图。视差调整单元320可利用从ROI配置单元310提供的输入的3D图像的视差以及视觉注意图来产生重新调整的视差。图7示出根据实施例的用于描述图像处理设备的3D图像产生器330的操作的示图。利用视觉注意图，具有最高感兴趣级别的视差(例如，将被注意的视差(即，最优化用户的疲劳程度的视差))可被确定为代表值。当在上述处理期间，当输入由ROI配置单元310配置的视觉注意图和基于预定阈值划分为N个的区域视差时，可验证在视觉注意图中具有最大视觉注意值的像素的分布。可确定与所述像素相应的区域并可获取与确定的区域的深度值相应的视差的平均值或代表值区域。可采用设置将被重新调整的代表值的多个方法。可通过示例性地设置平均值来设置代表值。可如上所述确定视差代表值α，并可在移动深度时利用视差代表值α。例如，确定的视差代表值α可被应用为将与ROI或非感兴趣区域相应的每个像素的视差信息和视差代表值α之间的差改变为相应像素的视差值。通过针对每个像素应用计算的最终视差值，可在显示器上布置ROI，并除ROI以外的其他像素可基于ROI的视差代表值a而移动。这里描述的视差可以是指示感知深度的多个术语中的一个，因此可利用除了视差之外的指示感知深度的其他术语。图8示出根据示例实施例的描述包括在图像处理设备中的3D效果增强单元的操作的示图。当重新调整视差时，3D图像产生器可利用重新调整的视差再次渲染具有与输入的图像不同的视差的3D图像。基于深度图像的渲染(DIBR)方法可被用于上述操作。DIBR方法可利用参考图像和包括与参考图像的每个像素相应的距离信息的深度图像，渲染在预定视点上的图像。另外，利用DIBR技术可产生在预定视点上的场景。可通常使用下面的等式
1[等式I]
uv = Ur+ f3 d在等式I中，Uv表示期望获取的虚拟视点，A表示输入，d表示视差，0表示当设置期望的视点时可改变的预定数量。例如，当利用单个參考图像和深度图像的深度信息，在3D空间中再次投射图像时，与原始的颜色图像相比，左图像可将图像内的物体移动到右側，右图像可将物体移动到左侧。图9A、图9B、图1OA和图1OB示出根据示例实施例的用于描述通过图像处理设备的3D图像产生器来调整视差之前和之后的差别的示图。图9A、图9B、图1OA和图1OB示出将被显示在3D图像中的物体和显示屏幕的俯视图。物体运动可被确定为与感知深度成比例。当利用上面的方法移动物体时，如图9A、图9B、图1OA和图1OB显示，与深度相应的视差平移之前的感知深度可与视差平移之后的感知深度相同。例如，尽管物体910、920和930的深度值可从图9A改变为图9B，以最小化视觉疲劳，但是可维持物体910、920和930中的相对3D效果。由于关于人类的视觉特征，3D效果可被增强到大于或等于3D效果被維持的程度。再次參照图1OA和图10B，可减少视差，从而具有高视觉注意的代表物体1010可接近屏幕1001。然而，与其他物体1020和1030的相对3D效果差可被维持或增强。上述描述可被应用到在图9B中物体910、920和930被移动到更接近屏幕901的情況。图11示出根据示例实施例的用于描述利用图像处理方法产生正感知深度3D图像的处理的示图。图11示出输入的3D图像被移动到位于正感知深度上(例如，在显示器的后部上)。在图11中，当输入的3D图像1110或1120按视差代表值a被移动时，可通过在左图像1121和右图像1111中的每ー个中，将输入的3D图像切去a/2，并通过修补切去了a /2的空间，来执行孔洞填充。图12示出根据示例性实施例的用于描述利用图像处理方法产生负感知深度3D图像的处理的示图。图12示出作为负感知深度示例，其中，输入的图像1210或1220被移动到看上去从显示器的前方突出。类似于正感知深度的示例，图12示出这样的示例:在左图像1221和右图像1211的每ー个中，将输入的3D图像切去正a /2，并通过执行与切去的a/2相应的修复操作(诸如修补)。參照图7，可理解具体的处理。图7示出利用变形和修补的处理来获取输出的顔色和输出的视差值。即使所有上述示例假设最終的3D图像被输出为立体图像，本领域的普通技术人员也应该理解上述描述还可被应用到多视点图像。因此，即使在渲染中可存在微 小的差异，也可利用与用于立体图像的方法相同的方法，重新配置各种视点图像。当执行将被产生为图7和图8中的新输出的感知深度增加的图像处理时，可通过应用用于维持3D图像中的感知深度并产生最优化观看者体验的疲劳级别的图像的纹理相关技术，来产生更逼真的图像。例如，如图8中所示，例如，全局亮度映射可被应用到输入的图像的输入颜色，以改变对比度。在通过全局亮度映射增加输入的图像的对比度之后，可通过验证ROI的特征，分析纹理类型。通过应用基于分析的纹理类型或分类的预定亮度映射方法，可利用适用于需要视觉注意的区域的特征的纹理处理方法，提供具有更大感知深度的图像。另外，可采用许多增强方法，这里公开纹理增强方法作为一个示例。与利用空间透视增加感知深度的传统方法相比，前面所述的示例实施例可非常有效地减少视觉疲劳。利用空间透视提高感知深度的方法可相应于利用输入的3D图像的深度信息，与在近侧区域的情况下增加对比度、在远侧区域的情况下减小对比度的方法。因此，可增加感知深度(例如，3D效果)，然而与这里公开的示例实施例相比，可能不能充分地减少视觉疲劳。另外，在没有考虑用户的视觉特征，而仅利用可视距离和深度信息获取R0I，并基于从ROI的距离统一调整近/远的区域的感知深度的传统方法的情况下，视觉疲劳可全局减小到一定程度，然而可能无法获得感知深度，这与3D显示器的预期目的和作用相反。然而，根据这里公开的示例实施例，人类视觉系统特征可被用于增加感知深度并减少疲劳。在人类视觉感知特征中可有效选择与视觉注意相应的R0I，并且可重放图像，从而ROI可具有最小化视觉疲劳的视差级别。因此可减少视觉疲劳并增加感知深度。根据上述的示例实施例的图像处理设备和方法可使用一个或多个处理器，所述一个或多个处理器包括微处理器、中央处理单元(CPU)、数字信号处理器(DSP)或专用集成电路(ASIC)，以及这些和其他处理装置的一部分或组合。这里使用的术语“模块”和“单元”可表示但不限于执行特定任务的软件或硬件组件或装置，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。模块或单元可被配置为驻留在可寻址存储介质上或被配置为在一个或者多个处理器上执行。因此，作为示例，模块或单元可包括组件(诸如软件组件、面向对象的软件组件、类组件和任务组件的组件)、进程、函数、属性、程序、子程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。可将在组件和模块/单元中提供的功能组合为较少的组件和模块/单元，或可被进一步分成更多的组件和模块。根据上述实施例的图像处理方法可被记录在包括程序指令的非瞬时性计算机可读介质中，以执行通过计算机来实现的各种操作。所述介质还可单独包括程序指令、数据文件、数据结构等，或者还可包括程序指令、数据文件、数据结构等的组合。非瞬时性计算机可读介质的示例包括磁介质(例如，硬盘、软盘、磁带)、光学介质(例如，CD ROM盘、DVD)、磁光介质(例如，光盘)、被专门构造为存储和执行程序指令的硬件装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括机器代码(例如，由编译器所产生的)和包含可由计算机使用解释器执行的高级代码的文件。为了执行上述实施例的操作，描述的硬件装置可被配置为用作一个或多个软件模块，反之亦然。每个流程图说明的方框可代表单元、模块、片断或部分代码，其包括一个或多个执行特定逻辑功能的可执行指令。还应注意，在一些备选的实施方式中，可以以不同的顺序执行方框中提到的功能。例如，根据所涉及的功能，实际上可完全同时执行连续示出的两个方框，或可有时按相反的顺序执行方框。
尽管已示出和描述了示例性实施例，但是本领域的技术人员将理解，在不脱离本公开的原理和精神的情况下，可对这些示例性实施例进行改变，其中，本公开的范围由权利要求及其等同物来限定。
权利要求
1.一种图像处理设备，包括: 感兴趣区域(ROI)配置单元，产生与输入的三维(3D)图像相应的视觉注意图； 视差调整单元，利用视觉注意图调整包括在输入的3D图像中的视差信息。
2.按权利要求1所述的图像处理设备，其中，ROI配置单元包括: 区域划分器，利用输入的3D图像的视差信息，将包括在输入的3D图像中的深度值分布划分为多个区域； 至少一个区域计算器，计算与所述多个区域中的每个区域相应的视觉注意级别。
3.按权利要求2所述的图像处理设备，其中，至少一个区域计算器根据每个区域的颜色信息、每个区域的视差信息和每个区域的运动信息中的至少一个，计算视觉注意级别。
4.按权利要求2所述的图像处理设备，其中，ROI配置单元还包括: 视觉注意图产生器，通过集成由所述至少一个区域计算器计算的所述多个区域的视觉注意级别，产生视觉注意图。
5.按权利要求2所述的图像处理设备，其中，所述至少一个区域计算器改变输入的3D图像的颜色空间，将输入的3D图像的每个部分分类为具吸引力的颜色和不具吸引力的颜色，并将具吸引力的颜色的视觉注意级别计算为高于不具吸引力的颜色的视觉注意级别。
6.按权利要求5所述的图像处理设备，其中，当输入的3D图像与红、绿、蓝(RGB)颜色空间相关时，颜色空间的改变将颜色空间改变为国际照明委员会色貌模型2002 (CIECAM02)颜色空间，并基于颜色值的色相和色度，执行将每个部分分类为具吸引力的颜色和不具吸引力的颜色。
7.按权利要求2所述的图像处理设备，其中，当基于利用输入的3D图像的颜色信息确定的亮度信息，帧之间的亮度差大于或等于预定阈值时，所述至少一个区域计算器将视觉注意级别计算为高于当帧之间的亮度差小于预定的阈值时的视觉注意级别。
8.按权利要求2所述的图像处理设备，其中， 所述至少一个区域计算器将输入的3D图像划分为预定大小的块， 当针对在不同的两个帧内位于相同的位置上的块的像素值的差大于或等于预定阈值时，所述至少一个区域计算器将所述块确定为运动检测块，并将视觉注意级别计算为高于当像素值的差小于预定阈值时的视觉注意级别。
9.按权利要求8所述的图像处理设备，其中， 所述至少一个区域计算器将块分组为多个组， 当单个组内存在预定数量的运动检测块时，所述至少一个区域计算器将单个组内的块的视觉注意级别计算为高于当在单个组内的运动检测块的数量少于预定数量时的视觉注意级别。
10.按权利要求2所述的图像处理设备，其中，当利用输入的3D图像颜色信息确定的亮度值小于预定阈值时，所述至少一个区域计算器将视觉注意级别计算为低于当亮度值等于或大于预定阈值时的视觉注意级别。
11.按权利要求1所述的图像处理设备，还包括: 感知深度增加处理单元，通过应用基于根据计算的视觉注意级别产生的视觉注意图的预定区域的纹理类型的纹理增强方案，增加感知深度。
12.一种图像处理设备，包括:感兴趣区域(ROI)配置単元，基于输入的三维(3D)图像的颜色值、输入的3D图像的视差值和输入的3D图像的运动检测结果中的至少ー个，产生与输入的3D图像相应的视觉注意图； 视差调整単元，利用视觉注意图调整输入的3D图像的视差。
13.一种图像处理方法，包括: 通过图像处理设备的感兴趣区域(ROI)配置単元根据输入的三维(3D)图像产生视觉注意图； 通过图像处理设备的视差调整单元利用视觉注意图调整包括在输入的3D图像中的视差ィ目息。
14.按权利要求13所述的方法，其中，产生的步骤包括: 利用输入的3D图像的视差信息，将包括在输入的3D图像中的深度值分布划分为多个区域； 计算与所述多个区域中的每个区域相应的视觉注意级别。
15.按权利要求14所述的方法，其中，产生的步骤还包括:通过集成通过至少ー个区域计算器计算的所述多个区域的视觉注意级别而产生视觉注意图。
16.按权利要求14所述的方法，其中，计算的步骤包括: 改变输入的3D图像的颜色空间； 将输入的3D图像的每个部分分类为具吸引力的顔色和不具吸引力的顔色； 将具吸引力的顔色的视觉注意级别计算为高于不具吸引力的顔色的视觉注意级别。
17.按权利要求16所述的方法，其中，改变输入的3D图像的颜色空间的步骤包括:基于色相信息产生与姆个区域相应的颜色直方图。
18.按权利要求17所述的方法，其中，对每个部分进行分类的步骤包括:基于产生的颜色直方图确定代表色相，并利用确定的代表色相将输入的3D图像的每个部分分类为具吸弓I力的顔色和不具吸引力的顔色。
19.按权利要求14所述的方法，其中，计算的步骤包括:当基于利用输入的3D图像的顔色信息确定的亮度信息，帧之间的亮度差大于或等于当预定阈值吋，将视觉注意级别计算为高于当亮度差小于预定阈值时的视觉注意级别。
20.按权利要求14所述的方法，其中，计算的步骤包括:将输入的3D图像划分为预定大小的块，当针对不同的两个帧内位于相同的位置上的块的像素值的差大于或等于预定阈值时，将所述块确定为运动检测块，并将所述块的视觉注意级别计算为高于当像素值的差小于预定阈值时的视觉注意级别。
21.一种非瞬时性计算机可读介质，包括用于指示计算机执行图像处理方法的程序，该方法包括: 通过图像处理设备的感兴趣区域(ROI)配置単元根据输入的三维(3D)图像产生视觉注意图； 通过图像处理设备的视差调整单元利用视觉注意图调整包括在输入的3D图像中的视差ィ目息。
22.一种三维(3D)图像处理方法，包括: 通过将输入的3D图像划分为多个区域而产生视觉注意图，井根据视觉模型分析所述多个区域； 利用视觉注意图来调整输入的3D图像的视差信息。
23.按权利要求22所述的图像处理方法，其中，调整视差信息的步骤还包括: 利用视觉注意图计算与所述多个区域中的每个区域相应的代表视差值； 通过将代表视差值应用到每个像素来计算区域中的每个像素的最终视差值。
24.按权利要求23所述的图像处理方法，该方法还包括: 基于计算的代表视差值，重新定位输入的3D图像； 基于重新定位的输 入的3D图像执行孔洞填充和图像修补。
全文摘要
本发明提供一种图像处理设备和方法。图像处理设备包括感兴趣区域(ROI)配置单元，ROI配置单元根据与输入的三维(3D)图像相关的人类视觉特征，产生视觉注意图。视差调整单元可利用视觉注意图调整包括在输入的3D图像中的视差信息。利用视差信息调整的结果，可产生并显示减小用户可在观看3D图像时体验的视觉疲劳程度的3D图像。
文档编号H04N21/4728GK103096106SQ20121042311
公开日2013年5月8日 申请日期2012年10月30日 优先权日2011年11月1日
发明者洪智暎, 赵良镐, 李皓荣, 黄圭荣 申请人:三星电子株式会社