专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本公开涉及一种图像处理设备、图像处理方法和程序，更具体地，本公开涉及一种能够执行更适当的视差控制的图像处理设备、图像处理方法和程序。
背景技术：
在相关技术中，已经开发了使用显示装置显示立体图像的技术。立体图像所再现的对象的深度感取决于用户观看立体图像的观看条件或者立体图像的拍摄条件。为此，取决于各种情形，对象过分突出或过分下陷，从而所产生的深度感不自然，这使得用户感到疲惫。因此，已经有用于适当地控制显示的立体图像的视差的许多技术。例如，作为这样的技术，存在如下技术基于立体图像的每个像素的视差获得表示在观看立体图像时对 用户的压力程度的压力值，并且控制立体图像的视差以便最小化该压力值(例如，参见第2011-055022号日本未审查专利申请公布)。
发明内容
但是，存在在上述技术中不能执行完全适当的视差控制的各种情形。例如，在用于执行最小化压力值的视差控制的技术中，存在如下情形可以在立体图像的整体画面中再现舒适的深度感，然而，立体图像上用户所关注的对象的深度位置可能不适当。这样，如果用户所关注的主要对象的深度位置不适当，则用户在观看立体图像时会经受眼睛疲劳。期望更适当地执行立体图像的视差控制。根据本公开的一个实施例，提供了一种图像处理设备，包括关注区域估计单元，估计立体图像上被估计为用户对其关注的关注区域；视差检测单元，检测该立体图像的视差并生成表示立体图像的每个区域的视差的视差图；设置单元，基于关注区域和视差图设置用于校正立体图像的视差的转换特性；以及视差转换单元，基于该转换特性校正视差图。该图像处理设备还可以包括图像合成单元，基于校正的视差图校正立体图像的视差。该图像处理设备还可以包括最大和最小视差检测单元，基于视差图和关注区域检测视差图所表示的视差的最大值和最小值并检测关注区域的视差。在这种情况下，设置单元可以基于最大值、最小值和关注区域的视差设置转换特性。设置单元可以设置转换特性以使得将关注区域的视差转换为具有预先设置的预定大小的视差。设置单元可以针对立体图像上的关注区域和立体图像上除关注区域以外的区域设置不同的转换特性。设置单元可以设置立体图像上关注区域的转换特性以使得视差线性转换到包括关注区域的视差的预定视差部分中。
该图像处理设备还可以包括平滑単元，用于平滑关注区域或转换特性。根据本公开的另一个实施例，提供了ー种图像处理方法或程序，包括估计立体图像上被估计为用户对其关注的关注区域；检测该立体图像的视差并生成表示立体图像的每个区域的视差的视差图；基于关注区域和视差图设置用于校正立体图像的视差的转换特性；以及基于该转换特性校正视差图。在本公开的实施例中，估计立体图像上被估计为用户对其关注的关注区域；检测该立体图像的视差并生成表示立体图像的每个区域的视差的视差图；基于关注区域和视差图设置用于校正立体图像的视差的转换特性；以及基于该转换特性校正视差图。根据本公开的又一个实施例，提供了ー种图像处理设备，包括关注区域估计单元，估计立体图像上被估计为用户对其关注的关注区域；视差检测单元，检测该立体图像的视差并生成表示立体图像的每个区域的视差的视差图；直方图生成単元，通过对关注区域的视差加权生成由视差图表示的立体图像的视差的直方图；偏移量计算单元，基于直方图计算表示立体图像的视差的校正量的偏移量；以及图像处理单元，通过基于偏移量偏移形 成立体图像的左眼图像或右眼图像中的至少ー个来校正立体图像的视差。根据本公开的又一个实施例，提供了ー种图像处理方法或程序，包括估计立体图像上被估计为用户对其关注的关注区域；检测该立体图像的视差并生成表示立体图像的每个区域的视差的视差图；通过对关注区域的视差加权生成由视差图表示的立体图像的视差的直方图；基于直方图计算表示立体图像的视差的校正量的偏移量；以及通过基于偏移量偏移形成立体图像的左眼图像或右眼图像中的至少ー个来校正立体图像的视差。在本公开的实施例中，估计立体图像上被估计为用户对其关注的关注区域；检测该立体图像的视差并生成表示立体图像的每个区域的视差的视差图；通过对关注区域的视差加权生成由视差图表示的立体图像的视差的直方图；基于直方图计算表示立体图像的视差的校正量的偏移量；以及通过基于偏移量偏移形成立体图像的左眼图像或右眼图像中的至少ー个来校正立体图像的视差。根据本公开的又一个实施例，提供了ー种图像处理设备，包括场景识别单元，执行对立体图像的场景识别；视差检测单元，检测该立体图像的视差并生成表示立体图像的每个区域的视差的视差图；设置单元，基于视差图设置用于校正立体图像的视差的转换特性；以及视差转换单元，基于该转换特性和场景识别的结果来校正视差图。根据本公开的又一个实施例，提供了ー种图像处理方法或程序，包括执行对立体图像的场景识别；检测该立体图像的视差并生成表示立体图像的每个区域的视差的视差图；基于视差图设置用于校正立体图像的视差的转换特性；以及基于该转换特性和场景识别的结果来校正视差图。在本公开的实施例中，执行对立体图像的场景识别；检测该立体图像的视差并生成表示立体图像的每个区域的视差的视差图；基于视差图设置用于校正立体图像的视差的转换特性；以及基于该转换特性和场景识别的结果来校正视差图。根据本公开的实施例，可以更适当地执行立体图像的视差控制。
图I是示出了本公开的概要的图2是示出了适当的视差范围的图；图3是示出了根据一个实施例的图像处理设备的配置示例的图；图4是示出了图像转换处理的流程图；图5是示出了转换函数的示例的图；图6是示出了转换函数的示例的图；图7是示出了图像转换的图；图8是示出了用于每个区域的转换函数的图；
图9是示出了图像处理设备的另一个配置示例的图；图10是示出了图像转换处理的流程图；图11是示出了图像处理设备的又一个配置示例的图；图12是示出了图像转换处理的流程图；图13是示出了视差图的每个区域的图；图14是示出了直方图的生成的图；图15是示出了压力函数的示例的图；图16是示出了压力函数的示例的图；图17是示出了考虑关注区域的视差控制的效果的图；图18是示出了图像处理设备的又一个配置示例的图；图19是示出了图像转换处理的流程图；图20是示出了转换函数的示例的图；图21是示出了图像处理设备的又一个配置示例的图；图22是示出了图像转换处理的流程图；图23是示出了关注区域的平滑的图；图24是示出了转换函数的平滑的图；图25是示出了图像处理设备的又一个配置示例的图；图26是示出了视差转换单元的配置示例的图；图27是示出了图像转换处理的流程图；图28是示出了合成视差图的生成的图；以及图29是示出了计算机的配置示例的图。
具体实施例方式下文中，将参照附图描述本公开的实施例。第一实施例本公开的概要首先，将参照图I描述本公开的概要。在本公开中，例如，如图I的上部所示，执行包括左眼图像L和右眼图像R的立体图像的视差控制。当输入左眼图像L和右眼图像R时，首先生成表示左眼图像L和右眼图像R的视差的视差图DM11。另外，例如，如果根据视差图DMll生成立体图像上的每个像素的视差的直方图HT11，则可以得到立体图像中每个对象的视差分布。另外，直方图HTll的横轴表示视差，即对象的深度，纵轴表示每个视差的频率，即视差图的具有该视差的像素数。具体地，直方图HTll的横轴的右方向表示当由观看用户观看时对象位于前侧的情况下的视差的方向，横轴的左方向表示当由用户观看时对象位于深度侧的情况下的视差的方向。另外，具有视差“O”的对象位于显示立体图像的显示表面上，视差为正值的对象在由用户观看时比显示表面更位于前侧。这里，例如，立体图像上被估计为用户对其关注的区域被称为关注区域，且在视差图DMll上与关注区域位于相同位置处的区域假定为区域AR11。另外，假定区域ARll中相应像素的分布对应于直方图HTll的区域AR' 11部分。在这种情况下，立体图像上关注区域的视差具有正数，从而当由用户观看时在显示表面的前侧上观看关注区域中的对象。也就是说，对象看起来是突出的。通常，如果用户关注的对象的视差较小，对象位于显示表面附近，则不出现汇聚和调焦之间的矛盾，从而用户几乎感觉不到疲惫。因此，在本公开中，对视差图进行校正，成为校正的视差图DM12，以使得关注区域的对象位于显示表面附近，且立体图像上每个对象的视差具有给用户较少负担的适当视差 范围内的值。在根据校正的视差图DM12获得的视差直方图HT12中，与关注区域位于相同位置的区域AR12中的各个像素的视差分布对应于直方图HT12的AR' 12部分，从而可以看到关注区域的对象位于显示表面附近。如果以这种方式获得校正的视差图DM12，则对于左眼图像L和右眼图像R执行图像转换，以使得左眼图像L和右眼图像R的视差变为校正的视差图DM12中所示的视差，由此生成最終的左眼图像L'和右眼图像R'。在图像转换中，左眼图像L和右眼图像R中的一个图像可以不转换而只有其中的另ー个图像转换，或者左眼图像L和右眼图像R两者均转换，然后生成新的左眼图像L'和右眼图像!^。另外，当观看立体图像时给用户带来较少负担的适当视差范围根据立体图像的观看距离或者显示装置尺寸确定。例如，如图2中所示，假定用户在距离显示立体图像的显示表面DSll观看距离Ls的位置处观看立体图像，并且用户的双眼间距为も。另外，用户和立体图像上对象的位置，即生成对象的立体图像的位置之间的距离为Ld，在到生成立体图像的位置的距离Ld与观看距离Ls相同的情况下汇聚角为β。另外，假定相对于具有适当视差范围中视差的最小值的对象的位置(即，在最深侧上的对象的位置)的汇聚角为amin，且相对于具有适当视差范围中视差的最大值的对象的位置的汇聚角为α_。在用户以图2中所示的观看条件观看显示表面DSll上的立体图像的情况下，通常认为如果满足以下表达式(I)则用户可以舒适地观看立体图像。另外，在表达式(I)中，α表示相对于立体图像上对象的位置的汇聚角。[表达式I]丨0 —|8丨^1°= 1^(1=0±1^ * · * ( 1 )另外，观看距离Ls和汇聚角β之间的关系通过以下表达式(2)表达。[表达式2]
权利要求
1.ー种图像处理设备，包括 关注区域估计单元，估计立体图像上被估计为用户对其关注的关注区域； 视差检测单元，检测所述立体图像的视差并生成表示所述立体图像的每个区域的视差的视差图； 设置单元，基于所述关注区域和所述视差图设置用于校正所述立体图像的视差的转换特性；以及 视差转换单元，基于所述转换特性校正所述视差图。
2.根据权利要求I所述的图像处理设备，还包括图像合成単元，基于所校正的视差图校正所述立体图像的视差。
3.根据权利要求2所述的图像处理设备，还包括最大和最小视差检测单元，基于所述视差图和所述关注区域检测所述视差图所表示的视差的最大值和最小值并检测所述关注区域的视差， 其中，所述设置単元基于所述最大值、所述最小值和所述关注区域的视差设置所述转换特性。
4.根据权利要求3所述的图像处理设备，其中，所述设置单元设置所述转换特性，以使得将所述关注区域的视差转换为具有预先设置的预定大小的视差。
5.根据权利要求4所述的图像处理设备，其中，所述设置单元针对所述立体图像上的所述关注区域和所述立体图像上除所述关注区域以外的区域设置不同的转换特性。
6.根据权利要求5所述的图像处理设备，其中，所述设置单元设置所述立体图像上所述关注区域的所述转换特性，以使得视差线性转换到包括所述关注区域的视差的预定视差部分中。
7.根据权利要求6所述的图像处理设备，还包括平滑単元，所述平滑単元平滑所述关注区域或所述转换特性。
8.一种图像处理设备的图像处理方法，所述图像处理设备包括关注区域估计单元，估计立体图像上被估计为用户对其关注的关注区域；视差检测单元，检测所述立体图像的视差并生成表示所述立体图像的每个区域的视差的视差图；设置单元，基于所述关注区域和所述视差图设置用于校正所述立体图像的视差的转换特性；以及视差转换单元，基于所述转换特性校正所述视差图，所述图像处理方法包括 使得所述关注区域估计单元估计所述关注区域； 使得所述视差检测单元生成所述视差图； 使得所述设置单元设置所述转换特性；以及 使得所述视差转换单元校正所述视差图。
9.ー种程序，使得计算机能够执行 估计立体图像上被估计为用户对其关注的关注区域； 检测所述立体图像的视差并生成表示所述立体图像的每个区域的视差的视差图； 基于所述关注区域和所述视差图设置用于校正所述立体图像的视差的转换特性；以及 基于所述转换特性校正所述视差图。
10.ー种图像处理设备，包括 关注区域估计单元，估计立体图像上被估计为用户对其关注的关注区域；视差检测单元，检测所述立体图像的视差并生成表示所述立体图像的每个区域的视差的视差图； 直方图生成単元，通过对所述关注区域的视差加权生成由所述视差图表示的所述立体图像的视差的直方图； 偏移量计算单元，基于所述直方图计算表示所述立体图像的视差的校正量的偏移量；以及 图像处理单元，通过基于所述偏移量偏移形成所述立体图像的左眼图像或右眼图像中的至少ー个来校正所述立体图像的视差。
11.一种图像处理设备的图像处理方法，所述图像处理设备包括关注区域估计单元，估计立体图像上被估计为用户对其关注的关注区域；视差检测单元，检测所述立体图像的视差并生成表示所述立体图像的每个区域的视差的视差图；直方图生成単元，通过对所述关注区域的视差加权生成由所述视差图表示的所述立体图像的视差的直方图；偏移量计算単元，基于所述直方图计算表示所述立体图像的视差的校正量的偏移量；以及图像处理单元，通过基于所述偏移量偏移形成所述立体图像的左眼图像或右眼图像中的至少ー个来校正所述立体图像的视差，所述图像处理方法包括 使得所述关注区域估计单元估计所述关注区域； 使得所述视差检测单元生成所述视差图； 使得所述直方图生成単元生成所述直方图； 使得所述偏移量计算单元计算所述偏移量；以及 使得所述图像处理单元校正所述立体图像的视差。
12.—种程序，使得计算机能够执行 估计立体图像上被估计为用户对其关注的关注区域； 检测所述立体图像的视差并生成表示所述立体图像的每个区域的视差的视差图； 通过对所述关注区域的视差加权生成由所述视差图表示的所述立体图像的视差的直方图； 基于所述直方图计算表示所述立体图像的视差的校正量的偏移量；以及通过基于所述偏移量偏移形成所述立体图像的左眼图像或右眼图像中的至少ー个来校正所述立体图像的视差。
13.ー种图像处理设备，包括 场景识别单元，执行对立体图像的场景识别； 视差检测单元，检测所述立体图像的视差并生成表示所述立体图像的每个区域的视差的视差图； 设置单元，基于所述视差图设置用于校正所述立体图像的视差的转换特性；以及 视差转换单元，基于所述转换特性和所述场景识别的结果来校正所述视差图。
14.一种图像处理设备的图像处理方法，所述图像处理设备包括场景识别单元，执行对立体图像的场景识别；视差检测单元，检测所述立体图像的视差并生成表示所述立体图像的每个区域的视差的视差图；设置单元，基于所述视差图设置用于校正所述立体图像的视差的转换特性；以及视差转换单元，基于所述转换特性和所述场景识别的结果来校正所述视差图，所述图像处理方法包括使得所述场景识别单元执行所述场景识别；使得所述视差检测单元生成所述视差图；使得所述设置单元设置所述转换特性；以及使得所述视差转换单元校正所述视差图。
15.—种程序，使得计算机能够执行执行对立体图像的场景识别；检测所述立体图像的视差并生成表示所述立体图像的每个区域的视差的视差图；基于所述视差图设置用于校正所述立体图像的视差的转换特性；以及基于所述转换特性和所述场景识别的结果来校正所述视差图。
全文摘要
本发明公开了一种图像处理设备、图像处理方法和程序。所述图像处理设备包括关注区域估计单元，估计立体图像上被估计为用户对其关注的关注区域；视差检测单元，检测立体图像的视差并生成表示立体图像的每个区域的视差的视差图；设置单元，基于关注区域和视差图设置用于校正立体图像的视差的转换特性；以及视差转换单元，基于转换特性校正视差图。
文档编号H04N13/00GK102821291SQ20121018018
公开日2012年12月12日 申请日期2012年6月1日 优先权日2011年6月8日
发明者森藤孝文, 福田京子, 绪形昌美, 牛木卓 申请人:索尼公司