专利名称：三维显示设备、三维图像捕获设备、和指示确定方法
技术领域：
本发明涉及即使三维显示用于接收用户指示的指示图像时也能够适当确定用户指示位置的三维显示设备、三维图像捕获设备和指示确定方法。
背景技术：
传统上，已知这样的三维显示设备，其在显示屏幕上同时显示包括右眼用图像和左眼用图像的三维图像，并且当用户用手指或触摸笔触摸显示屏幕上设置的触摸板时，其检测被触摸显示屏幕上的指示位置。 例如，PTLl公开了用于检测显示屏幕上的指示位置的控制范围的位置在二维显示指示图像的情况下和在三维显示指示图像的情况下有所变化。当进行三维显示时，控制范围被设置在立体图像出现的位置。而且，PTL2公开了这样一种配置，其中右眼用二维图像和左眼用二维图像通过分别对三维物体执行右眼投影处理和左眼投影处理而产生，并且显示在三维显示设备上，其中，当使用光标在三维物体上选择动作点时，光标位置由操作员控制，三维物体上的动作点根据已用于基于操作员的主眼产生主眼用二维图像的投影条件而计算得出。特别地，连接投影平面上对应于光标位置的点和投影中心的线朝向三维物体延伸，并且三维物体与该线的交点被确定为用户期望的动作点。{引用列表}{专利文献}{PTL1}日本专利申请公开 No. 2010-55266{PTL2}日本专利申请公开 No. 2004-362218
发明内容
{技术问题}如图14所示,在显示包括右眼用指示图像53R和左眼用指示图像53L的三维指示图像53的三维显示设备中，当用户在观察三维指示图像53的同时用手指或触摸笔执行指示三维指示图像53的操作时，由于三维指示图像53出现的位置和作为三维指示图像53的源的二维指示图像(右眼用指示图像53R和左眼用指示图像53L)的显示位置彼此不一致，因此很难准确地检测用户指示的位置。其原因如下所述。即，三维指示图像通常出现在右眼用指示图像和左眼用指示图像之间的中间位置处，当用户想要在观察三维指示图像的同时指示三维指示图像时，指示位置取决于观察者的主眼。例如，当用户的主眼在右侧时，则趋于指示比右眼用指示图像与左眼用指示图像之间的中间位置更靠近右眼用指示图像位置的位置。在PTLl描述的配置中，指示位置的检测区域被设置在中间位置。但是，由于用户的主眼，用户不是总指示右眼用指示图像与左眼用指示图像之间的中间位置。因此，可能不能正确地确定用户指示。
在PTL2描述的配置中，将三维物体投影到二维平面的条件必不可少。因此，不使用这些投影条件则无法根据已产生的三维图像来计算动作点。本发明鉴于上述情况而提出。本发明的目的是提供即使在三维显示用于接收用户指示的指示图像时也能够适当确定用户指示位置的三维显示设备、三维图像捕获设备、和指示确定方法。{解决问题的方案}为了实现该目的，本发明提供了一种三维显示设备，包括三维显示单元，其显示用于接收用户指示的三维指示图像，三维指示图像包括右眼用指示图像和左眼用指示图像；指示位置检测单元，其在三维显示单元的显示表面上检测用户指示位置；主眼信息获得单元，其获得表示用户主眼的主眼信息；检测区域确定单元，其至少根据主眼信息在三维显示单元的显示表面上确定指示位置的检测区域；以及确定单元，其确定指示位置检测单元所检测到的指示位置是否位于检测区域内，从而接收对应于三维指示图像的用户指示。 S卩，由于三维指示图像的显示表面上的指示位置的检测区域根据用户的主眼而灵活改变，因此，即使显示具有立体效果的三维指示图像时，也能够适当确定用户指示位置。在描述中，“三维指示图像”是指用于使用诸如手指或触摸笔之类的指示部件进行指示操作的图像，其被立体可视地显示(三维显示)。作为“三维指示图像”的具体示例，所谓的按钮类型3D图像(例如，3D按钮、3D图标、3D缩略图)、所谓的滑动式3D图像(例如，3D滑动条)等都可用。触摸操作的方式(按钮操作、滑动操作等)以及三维指示图像的表达模式(形状种类、图形/符号/图案等)不被具体限定。根据本发明的一个实施例，检测区域确定单元根据主眼信息的存在与否来改变检测区域的位置、大小和形状中的至少一个。根据本发明的一个实施例，当主眼信息存在时，检测区域确定单元使检测区域的大小变得小于主眼信息不存在情况下检测区域的大小。即，由于通过获得主眼信息而将指示位置的检测区域的大小设置为较小，因此防止了指示位置的错误检测，并且能够密集地布置多个三维指示图像。根据本发明的一个实施例，当主眼信息存在时，检测区域确定单元根据用户主眼在右侧还是左侧来改变检测区域的位置、大小和形状中的至少一个。根据本发明的一个实施例，当主眼信息存在时，检测区域确定单元将检测区域布置得更靠近右眼用指示图像和左眼用指示图像中主眼用指示图像的显示位置。即，由于通过获得主眼信息而将指示位置的检测区域布置得更靠近主眼用指示图像的显示位置，因此可以准确地检测指示位置。根据本发明的一个实施例，当主眼信息存在时，检测区域确定单元确定检测区域以使其包括右眼用指示图像和左眼用指示图像中对应于主眼的指示图像的至少一部分。根据本发明的一个实施例，当主眼信息不存在时，检测区域确定单元确定检测区域以使其包括右眼用指示图像的至少一部分和左眼用指示图像的至少一部分。即，即使主眼不明确，也可以正确地确定用户指示位置。根据本发明的一个实施例，主眼信息获得单元根据三维指示图像显示在三维显示单元状态下由指示位置检测单元检测到的用户指示位置和三维指示图像的视差量来计算表示用户主眼和主眼强度水平的主眼信息。
S卩，由于在用户实际指示操作期间测量了用户主眼和主眼强度水平，并且基于测量结果确定了指示位置的检测区域，因此可以准确地确定用户指示位置。根据本发明的一个实施例，通过在改变视差量的同时在三维显示单元上显示多次三维指示图像以使用指示位置检测单元检测多次用户指示位置来计算主眼信息。根据本发明的一个实施例，通过在改变显示位置的同时在三维显示单元上显示多次三维指示图像以使用指示位置检测单元检测多次用户指示位置来计算主眼信息。根据本发明的一个实施例，通过在改变显示位置的同时在三维显示单元上显示多个三维指示图像以使用指示位置检测单元检测多次用户指示位置来计算主眼信息。根据本发明的一个实施例，主眼信息获得单元接收用户主眼信息的输入操作。根据本发明的一个实施例，还包括立体效果设置单元，其接收三维指示图像的立体效果大小的设置输入操作；以及三维指示图像生成单元，其生成视差量对应于所设置 和输入的立体效果大小的三维指示图像，其中三维显示单元显示三维指示图像生成单元所生成的三维显示图像，检测区域确定单元根据对应于立体效果等级的视差量来确定检测区域。S卩，用户感觉到的立体效果因人而异，但是通过接收三维指示图像的立体效果大小的设置输入操作，三维指示图像被显示为其视差量对应于该立体效果，并且指示位置的检测区域根据对应于该立体效果大小的视差量而确定。因此，可以在满足用户立体效果要求的同时适当地确定用户指示位置。根据本发明的一个实施例，包括用户改变检测单元，其检测通过指示位置检测单元输入指示的用户的改变。根据本发明的一个实施例，用户改变检测单元计算指示位置检测单元所检测到的指示位置位于检测区域确定单元所确定的检测区域范围之外的次数或频率，以基于计算结果来检测用户的改变。根据本发明的一个实施例，用户改变检测单元创建指示位置检测单元所检测到的指示位置的历史信息，并且基于指示位置的历史信息来检测用户的改变。根据本发明的一个实施例，用户改变检测单元通过根据指示位置的历史信息检测主眼或主眼强度水平的改变来检测用户的改变。根据本发明的一个实施例，包括控制单元，其执行以下处理中的至少任意一个校准处理，其中，当用户改变检测单元检测到用户改变时，获得新用户的主眼信息，并且确定检测区域关于左眼用指示图像和右眼用指示图像的显示区域的位置、大小和形状差异中的至少一个；检测模式切换处理，用于将模式从其中基于主眼信息确定检测区域的第一检测模式切换到其中检测区域的默认大小被设置为大于第一检测模式时检测区域的默认大小的第二检测模式；显示模式切换处理，用于将模式从显示三维指示图像的第一显示模式切换到显示平面指示图像的第二显示模式；以及警告处理，用于输出警告。根据本发明的一个实施例，包括选择接收单元，当检测到用户改变时，其从用户接收对将要执行的处理的选择。同时，本发明还提供了一种三维图像捕获设备，其包括三维显示设备；以及三维成像单元，其通过从多个视点拍摄物体的图像来获得三维拍摄图像，其中三维图像捕获设备将三维拍摄图像和三维指示图像彼此合成，以通过三维显示单元三维显示合成的图像。
同时，本发明还提供了一种使用三维显示单元、指示位置检测单元、以及主眼信息获得单元的指示确定方法，三维显示单元用于显示接收用户指示的包括右眼用指示图像和左眼用指示图像的三维指示图像，指示位置检测单元检测三维显示单元的显示表面上的用户指示位置，主眼信息获得单元获得表示用户主眼的主眼信息，该指示确定方法包括检测区域确定步骤，用于基于主眼信息获得单元所获得的主眼信息确定三维显示单元的显示表面上的指示位置检测区域；指示位置检测步骤，用于使用指示位置检测单元来检测三维显示单元的显示表面上的用户指示位置；以及确定步骤，用于确定指示位置检测单元检测到的指示位置是否位于检测区域内。根据本发明的一个实施例，包括根据在三维显示单元上显示三维指示图像状态下指示位置检测单元检测到的用户指示位置、以及根据三维指示图像的视差量来计算表示用 户主眼和主眼强度水平的主眼信息的步骤。根据本发明的一个实施例，包括接收用户主眼信息的输入操作的步骤。根据本发明的一个实施例，指示确定方法执行以下处理中的至少任意一个校准处理，其中检测通过指示位置检测单元输入指示的用户的改变，当检测到用户改变时，获得新用户的主眼信息，并且确定检测区域关于左眼用指示图像和右眼用指示图像的显示区域的位置、大小和形状差异中的至少一个；检测模式切换处理，用于将模式从其中基于主眼信息确定检测区域的第一检测模式切换到其中检测区域的默认大小被设置为大于第一检测模式时检测区域的默认大小的第二检测模式；显示模式切换处理，用于将模式从显示三维指示图像的第一显示模式切换到显示平面指示图像的第二显示模式；以及警告处理，用于输出警告。同时，本发明还提供了一种使计算机执行指示确定方法的程序。该程序可以记录在预定记录介质中，并且可以被提供和用作程序记录介质。{本发明的有益效果}根据本发明，即使三维显示用于接收用户指示的指示图像时，也能够适当确定用户指示位置。
图I是示出根据第一实施例的三维显示设备的配置示例的框图。图2是示出已获得主眼信息时右眼用指示图像、左眼用指示图像、和指示位置检测区域的示例的示图。图3是示出指示确定处理的基本流程的流程图。图4是示出尚未获得主眼信息时右眼用指示图像、左眼用指示图像、和指示位置检测区域的示例的示图。图5是示出根据第二实施例的三维显示设备的配置示例的框图。图6是示出根据第二实施例的指示确定处理的流程示例的流程图。图7是示出根据第三实施例的三维显示设备的配置示例的框图。图8是用于描述根据第三实施例的主眼测量处理的示图。图9是示出根据第三实施例的主眼测量处理的流程示例的流程图。图10是示出根据第四实施例的三维显示设备的配置示例的框图。
图11是示出根据第四实施例的用户改变检测的流程示例的流程图。图12是示出根据本发明的三维显示设备的基本硬件配置示例的框图。图13是示出应用了根据本发明的三维显示设备的三维图像捕获设备示例的框图。
图14是用于描述本发明的问题的示图。
具体实施例方式
以下将参照附图来详细描述本发明的实施例。<第一实施例>图I是示出根据第一实施例的三维显示设备10的配置示例的框图。图像输入单元11输入单眼2D图像。三维图像处理单元12将从图像输入单元11输出的单眼2D图像转换为包括多眼2D图像(右眼用图像和左眼用图像)的3D图像。三维显示单元13三维显示3D图像。本文中，“2D”是指二维(平面)，“3D”是指三维(立体)。即，“2D图像”是平面图像，“3D图像”是三维图像(立体可视图像)。图2A至图2C中的每一个示出了在三维显示单元13上显示3D指示图像以用于接收用户指示的情况，3D指示图像包括多眼2D指示图像(右眼用指示图像53R和左眼用指示图像53L)。图2A示出了视差量为零(没有立体图像突出)时右眼用指示图像53R、左眼用指示图像53L和指示位置检测区域56的示例。图2B示出了视差量很小(立体图像的突出量很小)时右眼用指示图像53R、左眼用指示图像53L和指示位置检测区域56的示例。图2C示出了视差量很大(立体图像的突出量很大)时右眼用指示图像53R、左眼用指示图像53L和指示位置检测区域56的示例。立体效果设置单元14接收关于3D指示图像的立体效果大小(强度水平)的设置输入操作，并且将对应于所设置和输入的立体效果大小的视差量存储在存储器15中。同时，立体效果设置单元14将存储在存储器15中的视差量提供给下文将要描述的三维图像处理单元12和指示位置检测区域确定单元18。例如，立体效果设置单元14在三维显示单元13上显示立体效果选择菜单“强”、“中”和“弱”，以接收来自用户的立体效果等级的选择输入，并且将对应于该立体效果等级的视差量d存储在存储器15中。由于用户感觉到的立体效果因人而异，因此这种提供可调立体效果的配置是有意义的。指示位置检测单元16位于三维显示单元13的显示表面上，其检测用户用手指或触摸笔在三维显示单元13的显示表面上指示的用户指示位置。主眼信息设置单元17接收用户主眼信息的设置和输入，并且将所设置和输入的主眼信息存储在存储器15中。即，主眼信息设置单元17通过接收用户的输入操作来获得该主眼信息。例如，在显示器上(或通过语音输出)来询问用户主眼信息(右/左)，并且接收来自用户的选择输入(右/左)。该实施例中，描述了通过设置输入操作获得主眼信息的配置。在下面的第三实施例中将描述通过自动确定用户主眼来获得主眼信息的模式。指示位置检测区域确定单元18根据主眼信息和3D指示图像的视差量来确定三维显示单元13的显示表面上的指示位置检测区域。例如，当已获得了主眼信息时，根据用户主眼(右眼/左眼)来改变指示位置检测区域在显示表面上的位置、大小和形状中的至少一个。确定单元19确定指示位置检测单元16所检测到的指示位置是否位于指示位置检测区域确定单元18所确定的指示位置检测区域的范围内，并且接收对应于3D指示图像的用户指示。即，确定单元19确定对应于3D指示图像的用户指示是否存在。控制单元20控制三维显示设备10中包含的诸如图像输入单元11和立体效果设置单元14之类的单元。例如通过微处理器来配置图I所示的图像输入单元11、三维图像处理单元12、指示位置检测区域确定单元18、确定单元19和控制单元20。例如通过触摸传感器来配置指示位置检测单元16。例如通过触摸传感器和微处理器来配置立体效果设置单元14。例如通过触摸传感器和微处理器来配置主眼信息设置单元17。可以通过包含诸如键盘和鼠标之类的其他输入设备代替触摸传感器来配置立体效果设置单元14和主眼信息设置单元17。例如通过内存来配置存储器15。可以通过软件根据程序或通过硬件经由电路来执行各单元 的处理。图3是示出使用3D指示图像的指示确定处理的基本流程的流程图。通过控制单元20根据程序进行控制来执行该处理。首先，图像输入单元11输入单眼2D指示图像(步骤SI)，以及立体效果设置单元14向三维图像处理单元12提供视差量d。三维图像处理单元12使用单眼2D指示图像生成包括视差量d的3D指示图像(步骤S2)。通过三维显示单元13来三维显示所生成的3D指示图像(步骤S3)。同时，主眼信息设置单元17向指示位置检测区域确定单元18提供主眼信息，以及立体效果设置单元14向指示位置检测区域确定单元18提供视差量d。指示位置检测区域确定单元18基于主眼信息和视差量d来确定指示位置检测区域(步骤S4)。当指示位置检测单元16检测到用户指示位置时(步骤S5)，确定单元19确定该用户指示位置是否位于指示位置检测区域内(步骤S6)。在显示(步骤S3)之前进行图3中指示位置检测区域的确定(步骤S4)。例如，如图2的(B)和(C)所示，右眼用指示图像53R和左眼用指示图像53L显示在三维显示单元13上在X方向(水平方向)上彼此分离视差量d的位置处，从而3D指示图像被三维显示。即，用户将包含右眼用指示图像53R和左眼用指示图像53L的“P”按钮的3D指示图像看作在图示中向前突出的立体图像。当进行图2的(B)和(C)所示的显示时，在右眼用指示图像53R的中心位置与左眼用指示图像53L的中心位置之间的区域内出现立体图像。当用户在观看立体图像的同时用手指、触摸笔等指示三维显示单元13的显示表面上的立体图像时，指示位置为依赖于用户主眼的位置。以下对用户主眼在右侧的情况进行具体描述。在用户主眼在右侧的情况下，用户指示的位置比右眼用指示图像53R的中心位置与左眼用指示图像53L的中心位置之间的中间位置C更靠近右眼用指示图像53R的中心位置。根据该实施例，设置包含右眼用指示图像53R和中间位置C的显示区域的指示位置检测区域。例如，将图2所示的右眼用指示图像53R和左眼用指示图像53L的P按钮的大小定义为NXN点，将右眼用指示图像53R的中心位置定义为(xl，yl)，以及将视差量定义为d,左眼用指示图像的中心位置被表示为(x2, y2) = (xl+d, yl)。通过以下公式来表示指示位置检测区域56的左上坐标(x_区域1，y_区域I)和右下坐标(x_区域2，y_区域2)。[公式I]当d 为正时，x_ 区域 l=xl-N/2, y_ 区域 l=yl_N/2，x_ 区域 2=xl+ (d+N) /2，y_ 区域 2=yl+N/2 ;当 d 为负时，x_ 区域 l=xl+ (d_N) /2, y_ 区域 l=yl_N/2, x_ 区域 2=xl+N/2,y_ 区域 2=yl+N/2。其中，三维显示单元的显示表面的左上坐标被定义为(0，0)，水平方向被定义为x轴，以及竖直方向被定义为y轴。同时，水平向右方向被定义为X轴的正向，竖直向下方向被定义为y轴正向。公式I仅作为示例。如上所述，当已获得了主眼信息时，指示位置检测区域确定单元18将指示位置检 测区域布置在其位置更靠近右眼用指示图像和左眼用指示图像中主眼的指示图像的显示位置。指示位置检测区域确定单元18根据主眼信息和视差量d来改变指示位置检测区域56的范围，从而根据用户主眼和3D指示图像的立体效果的强度水平来适当检测用户指示。这里，立体效果的强度水平与右眼用指示图像53R和左眼用指示图像53L在水平方向X上的位移量(视差量d)成比例。图2的(A)示出了视差量被设置为零时的指示位置检测区域56，图2的(B)示出了视差量被设置为很小时的指示位置检测区域56，以及图2的(C)示出了视差量被设置为很大时的指示位置检测区域56。当已获得了(存在)主眼信息时，根据该实施例的指示位置检测区域确定单元18根据用户主眼在右侧还是左侧来改变指示位置检测区域的位置、大小和形状中的至少一个。例如，当已获得了(存在)主眼信息时，指示位置检测区域被布置在靠近主眼的区域。使用图2给出如下示例，其中将指示位置检测区域确定为使其包含对应于主眼的2D指示图像(例如，右眼用指示图像53R)的整体。但是，可以将指示位置检测区域确定为使其包含对应于主眼的2D指示图像的至少一部分。当按照传统方式将指示位置检测区域设置在左眼用指示图像与右眼用指示图像之间的中间位置时，由于用户依赖于用户主眼而不是总用手指等指示中间位置，因此可能存在不能正确确定用户想要指示的指示位置。相比之下，根据该实施例，根据用户主眼和视差量的相关信息来可变地确定三维显示单元13的显示表面上的指示位置检测区域。从而，正确地确定用户想要的指示。<第二实施例>以下进行第二实施例的描述。在下文的描述中，仅描述不同于第一实施例的内容，对于在第一实施例中已描述了的内容，省略其描述。当用户主眼不明确时，必须相应地确定指示位置检测区域。在左眼用指示图像位置与右眼用指示图像位置之间的中间位置处检测用户指示的传统方式中，很难覆盖可能指示的整个区域。以下将描述其原因。即，主眼在右侧的用户倾向于指示靠近右眼用指示图像的区域，而主眼在左侧的用户倾向于指示靠近左眼用指示图像的区域。根据该实施例的指示位置检测区域确定单元18确定指示位置检测区域56以使得当没有获得主眼信息(不存在)时如图4A和图4B所示包含右眼用指示图像53R的至少一部分和左眼用指示图像53L的至少一部分。图4的(A)示出了视差量很小(立体图像的突出量很小)时右眼用指示图像53R、左眼用指示图像53L和指示位置检测区域的示例。图4的(B)示出了视差量很大(立体图像的突出量很大)时右眼用指示图像53R、左眼用指示图像53L和指示位置检测区域的示例。参照图4的(A)和图4的(B)，将2D指示图像(右眼用指示图像53R和左眼用指示图像53L)的大小定义为NXN，将右眼用指示图像53R的中心位置定义为(xl，yl)，将左眼用指示图像53L的中心位置定义为(xl+d，yl)，以及将d定义为3D指示图像的视差量，如下所示来计算指示位置检测区域56的范围。[公式2]当d 为正时,x_ 区域 l=xl_N/2, y_ 区域 I = yl-N/2, x_ 区域 2=xl+d+N/2, y_ 区域2=yl+N/2 ;当 d 为负时，x_ 区域 l=xl+d_N/2, y_ 区域 l=yl_N/2, x_ 区域 2=xl+N/2, y_ 区域2=yl+N/2o 这表示，当用户主眼不明确时，首先，如图5所示，存在从图I所示配置中省略了主眼信息设置单元17的情况，其次，存在图I所示配置中主眼信息设置单元17尚未设置用户主眼的相关信息的情况。图6是示出使用3D指示图像的指示确定处理的流程示例的流程图，其中3D指示图像被任意设置，即，图I所示配置中的主眼信息设置单元17设置或不设置用户主眼的相关信息都可以。该处理根据控制单元20控制的程序执行。在步骤S22中，确定是否已设置了主眼信息。即，确定存储器15中是否存储了(存在/不存在)用户主眼的相关信息。当存储器15中存储了用户主眼的相关信息时，处理进行到步骤S24，当存储器15中没有存储用户主眼的相关信息时，处理进行到步骤S30。在步骤S24中，基于主眼信息确定用户主眼是否为右眼。当主眼为右眼时，指示位置检测区域确定单元18针对右主眼确定指示位置检测区域，并且在步骤S26中将其设置给确定单元19。当主眼为左眼时，指示位置检测区域确定单元18针对左主眼确定指示位置检测区域，并且在步骤S28中将其设置给确定单元19。当没有设置主眼信息时，主眼信息设置单元17在步骤S30中开始主眼设置。例如，在显示器上(或通过语音输出)向用户发出主眼为右眼还是左眼的询问，并且接收来自用户的右/左的选择输入。在步骤S32中，确定是否已设置了主眼信息。当已设置了主眼信息时，处理进行到步骤S24。当没有设置主眼信息时，指示位置检测区域确定单元18针对如图4所示没有设置主眼的情况确定指示位置检测区域56，并且在步骤S34中将其设置给确定单元19。在步骤S36中，开始接收用户指示。在步骤S38中，确定是否已对指示位置检测单元16进行了任何用户指示操作(SP，指示位置检测单元16是否已检测到指示位置)。当指示位置检测单元16检测到指示位置时，处理进行到步骤S40，当指示位置检测单元16没有检测到指示位置时，重复步骤S38中的确定。在步骤S40中，从指示位置检测单元16获得指示位置(坐标值)。在步骤S42中，确定单元19确定检测到的指示位置是否位于指示位置检测区域内。在步骤S44中，确定指示操作在继续还是已完成。当指示操作在继续时，处理返回到步骤S38，当指示操作已完成时，处理结束。根据该实施例的指示位置检测区域确定单元18，主眼信息设置单元17根据主眼信息的存在与否改变指示位置检测区域的位置、大小和形状中的至少一个。这不同于仅在左眼用指示图像位置与右眼用指示图像位置之间的中间位置处检测用户指示的传统方式，即使用户主眼不明确，也能够适当覆盖用户可能指示的区域。从而，可以提高用户指示确定的准确性。例如，当已设置了(存在)主眼信息时，指示位置检测区域的大小被设置为小于没有设置(不存在)主眼信息时指示位置检测区域的大小。指示位置检测区域的形状可以在已设置了主眼信息的情况与没有设置主眼信息的情况之间不同。〈第三实施例〉以下描述第三实施例。图7是示出根据第三实施例的三维显示设备IOc的配置示例的框图。用相同的参考标号和符号来表示与图I所示相同的元件，对于已描述了的内容， 省略其描述。根据该实施例的三维显示设备IOc包括主眼测量单元21作为主眼信息获得单元。主眼测量单元21进行主眼测量，并且将主眼信息作为测量结果提供给指示位置检测区域确定单元18。根据该实施例的控制单元20控制包括主眼测量单元21在内的各单元。主眼测量单元21基于包含右眼用指示图像53R和左眼用指示图像53L的3D指示图像的视差量、以及在该3D指示图像显示在三维显示单元13上的状态下指示位置检测单元16检测到的用户指示位置来计算主眼参数。主眼参数为该实施例中的主眼信息，其表示用户主眼和主眼程度(也称其为“主眼水平”)。主眼水平表示三维显示单元13的显示表面上的用户指示位置朝向右眼用指示图像53R的显示位置和左眼用指示图像53L的显示位置中主眼用指示图像的显示位置位移的水平。例如，包含右眼用指示图像53R和左眼用指示图像53L的3D指示图像以如图8的(A)至(C)所示的三种不同立体效果显示在三维显示单元13上。该实施例中，以三种不同(即，小、中和大)的立体效果(即，立体图像的突出量)来显示3D指示图像。即，立体效果设置单元14通过将视差量改变为dl、d2和d3来改变3D指示图像的立体效果，以允许用户对各3D指示图像进行指示操作。指示位置检测单元16检测分别对应于视差量dl、d2和d3的指示位置pl、p2和p3作为三维显示单元13的显示表面上的坐标值。根据该实施例，将w=aXd用作主眼模型公式。这里，w是一个指示图像的基准位置(该实例中为右眼用指示图像53R的中心位置)到指示位置的距离，a是主眼参数，d是视差量。即，主眼测量单元21计算a=w/d的值作为主眼参数，其表示指示位置关于右眼用指示图像53R的基准位置(中心位置)和左眼用指示图像53L的基准位置(中心位置)更靠近哪个指示图像的基准位置(偏移)。例如，当用户主眼在右侧时，主眼参数a小于0. 5。即，指示位置的位置更靠近右眼用指示图像53R的中心位置。当用户主眼在左侧时，主眼参数a大于0.5。即，指示位置的位置更靠近左眼用指示图像53L的中心位置。当主眼参数a为0. 5时，用户的主眼很可能在两侧。但是，为了方便起见，可以将该情况视作主眼在右侧或主眼在右侧。根据该实施例，存在三种视差量d和距离w的组，即(dl,wl)、(d2,w2)和(d3,w3)。可以使用单个组来计算主眼参数a。但是，为了增大准确性，使用视差量的三个组通过最小二乘法来计算主眼参数a。平方误差J被定义为以下所示。[公式3]J=E (wi-aXdi)2 (i=l, 2, 3)用将要计算的a对平方误差J进行偏微分之后，令所获得的公式为零(0)，可以以相同的计算方法来获得a的值。[公式4] dj/'di = -2 X Z \di x ( ,i — ax A')] = 0[公式5]a=E (di X wi) / E (diXdi)这样，不仅可以获得用户主眼，还可以获得主眼水平(a越小，则右侧主眼水平越强)。该模型仅作为示例，还可以使用 其他模型。图9是示出根据第三实施例的主眼测量处理的流程示例的流程图。控制单元20根据程序执行处理。在步骤S52中，设置2D指示图像，在步骤S54中，初始化指数i (i=l);在步骤S56中，将3D指示图像的视差量设置为di ;在步骤S58中，三维显示3D指示图像；以及在步骤S60中，开始接收观察者指示。即，图像输入单元11向三维图像处理单元12提供2D指示图像，立体效果设置单元14向三维图像处理单元12提供视差量di，从而三维图像处理单元12生成视差量为di的3D指示图像。从而,在三维显示单元13的显示表面上显示3D指示图像。观察者在观察显示在三维显示单元13上的3D指示图像的同时用手指等在三维显示单元13的显示表面上进行指示操作。在步骤S62中，确定观察者是否已进行了任何指示操作。当观察者进行了指示操作时，在步骤S64中获得指示位置的坐标值，并且在步骤S66中，将指示位置的坐标值和视差量di彼此关联地保存。即，指示位置检测单元16检测三维显示单元13的显示表面上的观察者指示位置，主眼测量单元21将指示位置pi和视差量di彼此关联地存储在存储器15中。在步骤S68中，确定指数i是否已达到指定次数(该实施例中为3次)。当i没有达到指定次数时，在步骤S70中递增指数i，并且重复步骤S56至步骤S66。执行指定次数的步骤S56至S66后，在步骤S72中计算并保存主眼参数a。S卩，主眼测量单元21从存储器15中读取指示位置pi并且计算右眼用指示图像的基准位置(中心位置)与指示位置之间的距离wi。基于wi和视差量di，计算主眼参数a。a保存(存储)在存储器15中。根据该实施例的主眼参数a既表示观察者主眼，又表示主眼水平。主眼参数a根据观察者(用户)而改变。因此，主眼参数a优选地与用户ID (例如名称)关联地存储在存储器15中，指示位置检测区域确定单元18优选地针对每个用户确定指示位置检测区域的范围(位置和大小)。为了提高主眼测量单元21测量主眼的准确性，可以进行如下测量模式。首先，存在这样的模式，其中在改变视差量的同时在三维显示单元13上多次显示3D指示图像，指示位置检测单元16多次检测用户指示位置，然后计算主眼信息。其次，存在这样的模式，其中在改变显示位置的同时在三维显示单元13上多次显示3D指示图像，指示位置检测单元16多次检测用户指示位置，然后计算主眼信息。更优选地，每次显示3D指示图像时改变视差量。再次，存在这样的模式，其中在改变显示位置的同时在三维显示单元13上同时显示多个3D指示图像，指示位置检测单元16多次检测用户指示位置，然后计算主眼信息。更优选地，针对每个3D指示图像改变视差量。根据该实施例的三维显示设备IOc测量用户主眼以及主眼水平，并且基于测量结果来确定指示位置检测区域，从而更适当地确定用户指示。〈第四实施例〉以下描述第四实施例。图10是示出根据第四实施例的三维显示设备IOd的配置示例的框图。用相同的参考标号和符号表示与图I所示第一实施例以及图7所示第三实施例中相同的兀件，对于已描述了的内容，省略其描述。用户改变检测单元22检测通过指示位置检测单元16输入指示的用户的改变。根据该实施例，通过检测指示位置检测单元16中配置的触摸传感器所检测到的触摸操作(指示位置输入)趋势的改变来检测用户的改变。例如通过微处理器来配置用户改变检测单元
22。例如用户改变检测单元22以如下检测模式I和2中的任意一个来进行检测。 检测模式I :创建指示位置检测单元16检测到的指示位置的历史信息，通过基于指示位置的历史信息检测主眼和主眼水平中的至少一个的改变来检测用户的改变。特别地，由于指示位置检测单元16检测到的指示位置基于左眼用指示图像和右眼用指示图像的显示位置(或指示位置检测区域的位置)的差异的改变而检测到主眼或主眼强度水平的改变。检测模式2 :计算指示位置检测单元16所检测到的指示位置(触摸位置)位于指示位置检测区域确定单元18所确定的指示位置检测区域(反应区域)范围外的次数(未击中数)或频率，基于计算结果来检测用户的改变。例如，可以使用连续未击中的次数(连续未击中数)或未击中数相对预定触摸数的比率(未击中比率)作为上述次数或频率。当检测到用户的改变时，根据该实施例的控制单元20执行以下处理I至4中的至少一个处理。处理I (校准处理):获得新用户的主眼信息，基于左眼用指示图像和右眼用指示图像的显示区域确定指示位置检测区域的位置、大小和形状差异中的至少一个。处理2 (检测模式切换处理)将模式从基于主眼信息确定指示位置检测区域的第一检测模式切换到指示位置检测区域的大小被设置为大于第一检测模式时指示位置检测区域大小的默认大小的第二检测模式。在第一检测模式中，如在第一实施例中描述的那样，基于主眼信息而设置相对窄的指示位置检测区域，在第二检测模式中，如在第二实施例中描述的那样，设置比第一检测模式中宽的指示位置检测区域。处理3 (显示模式切换处理)将模式从显示3D指示图像的显示模式切换到显示2D指示图像的显示模式。处理4 (警告处理)输出警告。上述处理I至4可以组合执行。例如，执行警告处理以显示模式切换到二维显示模式的警告之后，执行上述显示模式切换处理，然后进行显示2D指示图像的切换。当检测到用户的改变时，可以从用户接收对将要执行的处理的选择。例如，在三维显示单元13上显示用户选择屏幕，以允许用户选择处理2或处理3，并且通过指示位置检测单元16接收用户选择操作。可以在用户选择屏幕上二维显示指示图像。图11是示出根据第四实施例的用户改变检测处理的流程示例的流程图。该处理通过控制单元20和用户改变检测单元22根据程序执行。
在步骤S102中,对各变量进行初始化。即,将表示触摸次数的触摸数t、表示指示位置检测区域内的触摸(也称为“击中”)次数的击中数h、表示指示位置检测区域之外的触摸次数的未触摸(也称为“未击中”)数ml、以及表示连续未击中次数的连续未击中数m2重置为零(t=h=ml=m2=0)。在步骤S104中，基于主眼信息在三维显示单元13上显示3D指示图像。在步骤S106中，确定是否已进行了任何指示操作。即，确定指示位置检测单元16中配置的触摸传感器是否检测到了任何触摸。当检测到触摸操作时，处理进行到步骤S108。在步骤S108中，从指示位置检测单元16获得指示位置的坐标值，并且递增触摸数
t (t=t+l)o在步骤SllO中，确定指示位置是否位于指示位置检测区域确定单元18所确定的指示位置检测区域内。 当确定指示位置位于指示位置检测区域内时，在步骤S112中，递增击中数h(h=h+l)，并且将连续未击中数m2设置为零(m2=0)。当确定指示位置位于指示位置检测区域外时，在步骤S114中，递增未击中数ml和连续未击中数 m2 (ml=ml+l，m2=m2+l)。在步骤S116中，确定连续未击中数m2是否大于阈值NI (例如，NI = 2)。如果m2>Nl，则处理进行到步骤S124。在步骤S118中，确定触摸数t是否大于阈值N2 (例如，N2=4)。如果t>N2，则在步骤S120中进一步确定未击中数ml是否大于N3 (例如，N3=2)。如果ml>N3，处理进行到步骤S124，如果ml < N3，则将触摸数t清零(t=0)，处理进行到步骤S126。在步骤S124中，主眼测量单元21计算主眼信息，并进行校准处理。在步骤S126中，确定是否已完成指示操作，如果没有完成，则处理返回到步骤S106，如果已完成，则处理结束。在第一实施例至第四实施例中，已描述了根据用户主眼信息来确定指示位置检测区域的位置和大小二者的示例。但是，也可以根据用户主眼来确定指示位置检测区域的位置和大小中的任意一个。同时，在以上描述中，给出了指示位置检测区域的形状为矩形的示例。但是，指示位置检测区域的形状没有特别限制。例如，指示位置检测区域可以为椭圆形。可以基于用户主眼来确定指示位置检测区域的形状。图12是示出应用了根据上述第一实施例至第四实施例的三维显示设备的基本硬件配置的框图。在图12所示的三维显示设备IOe中，通过微处理器110配置根据第一实施例至第四实施例的图像输入单元11、三维图像处理单元12、指示位置检测区域确定单元
18、确定单元19、控制单元20、主眼测量单元21、和用户改变检测单元22。介质接口 101执行可拆卸安装到三维显示设备IOd主体的介质(例如存储卡)上的数据读取和数据写入。可以使用经由网络进行通信的网络接口作为介质接口 101。作为上述三维显示设备10e，例如个人计算机、3D电视机、3D游戏机、3D移动终端的各种能进行三维显示的数字设备都可行。图13是示出应用了根据本发明的三维显示设备的三维显示设备IOf (3D相机)示例的框图。用相同的参考标号表示与图12所示三维显示设备IOe中相同的元件。图13所示的三维显示设备IOf包括三维成像单元202，其通过从多视点拍摄物体的图像来获得包括右眼用图像和左眼用图像的三维拍摄的图像。与图12所示三维显示设备IOe相同，根据该实施例的三维显示设备IOf包括由微处理器110配置的图像输入单元11、三维图像处理单元12、指示位置检测区域确定单元18、确定单元19、控制单元20、主眼测量单元21、用户改变检测单元22等。在上述三维显示设备IOf 中，用于接收用户指示的三维指示图像可以关于三维成像单元202所获得的三维拍摄的图像合成并且被三维显示。已描述了本发明的各种模式。当然，可以尽可能多地组合本文中已描述的各项来实现本发明。用于使计算机执行本文中描述了的各种方法的程序可以记录在诸如磁盘、存储卡等的预定记录介质中以供使用。本发明不限于已描述了的实施例和图示中所示的示例。可以在本发明的思想范围内进行各种设计改变和变型。
{参考符号列表}10 (10a，10b，10c，10d，10e，IOf)三维显示设备11图像输入单元12三维图像处理单元13三维显示单元14立体效果设置单元15存储器16指示位置检测单元17主眼信息设置单元(主眼信息获得单元)18指示位置检测区域确定单元19确定单元20控制单元21主眼测量单元22用户改变检测单元53R右眼用指示图像53L左眼用指示图像56指示位置检测区域
权利要求
1.一种三维显示设备，包括 三维显示单元，其显示用于接收用户指示的三维指示图像，三维指示图像包括右眼用指示图像和左眼用指示图像； 指示位置检测单元，其在三维显示单元的显示表面上检测用户指示位置； 主眼信息获得单元，其获得表示用户主眼的主眼信息； 检测区域确定单元，其至少根据主眼信息在三维显示单元的显示表面上确定所述指示位置的检测区域；以及 确定单元，其确定指示位置检测单元所检测到的指示位置是否位于检测区域内，从而接收对应于三维指示图像的用户指示。
2.根据权利要求I所述的三维显示设备，其中检测区域确定单元根据主眼信息的存在与否来改变检测区域的位置、大小和形状中的至少一个。
3.根据权利要求2所述的三维显示设备，其中，当主眼信息存在时，检测区域确定单元使检测区域的大小小于主眼信息不存在情况下检测区域的大小。
4.根据权利要求I至3中任一项所述的三维显示设备，其中，当主眼信息存在时，检测区域确定单元根据用户主眼在右侧还是左侧来改变检测区域的位置、大小和形状中的至少一个。
5.根据权利要求4所述的三维显示设备，其中，当主眼信息存在时，检测区域确定单元将检测区域布置得更靠近右眼用指示图像和左眼用指示图像中主眼用指示图像的显示位置。
6.根据权利要求I至5中任一项所述的三维显示设备，其中，当主眼信息存在时，检测区域确定单元确定检测区域以使其包括右眼用指示图像和左眼用指示图像中对应于主眼的指示图像的至少一部分。
7.根据权利要求I至6中任一项所述的三维显示设备，其中，当主眼信息不存在时，检测区域确定单元确定检测区域以使其包括右眼用指示图像的至少一部分和左眼用指示图像的至少一部分。
8.根据权利要求I至7中任一项所述的三维显示设备，其中，主眼信息获得单元根据三维指示图像显示在三维显示单元上的状态下由指示位置检测单元检测到的用户指示位置和三维指示图像的视差量来计算表示用户主眼和主眼强度水平的主眼信息。
9.根据权利要求8所述的三维显示设备，其中，通过在改变视差量的同时在三维显示单元上显示多次三维指示图像以使用指示位置检测单元检测多次用户指示位置来计算主眼信息。
10.根据权利要求8或9所述的三维显示设备，其中，通过在改变显示位置的同时在三维显示单元上显示多次三维指示图像以使用指示位置检测单元检测多次用户指示位置来计算主眼信息。
11.根据权利要求8或9所述的三维显示设备，其中，通过在改变显示位置的同时在三维显示单元上显示多个三维指示图像以使用指示位置检测单元检测用户指示位置多次来计算主眼信息。
12.根据权利要求I至7中任一项所述的三维显示设备，其中，主眼信息获得单元接收用户主眼信息的输入操作。
13.根据权利要求I至12中任一项所述的三维显示设备，还包括 立体效果设置单元，其接收三维指示图像的立体效果大小的设置输入操作；以及 三维指示图像生成单元，其生成视差量对应于所设置和输入的立体效果大小的三维指示图像，其中， 三维显示单元显示三维指示图像生成单元所生成的三维显示图像，以及 检测区域确定单元根据对应于立体效果大小的视差量来确定检测区域。
14.根据权利要求I至13中任一项所述的三维显示设备，还包括用户改变检测单元，其检测通过指示位置检测单元输入指示的用户的改变。
15.根据权利要求14所述的三维显示设备，其中，用户改变检测单元计算指示位置检测单元所检测到的指示位置位于检测区域确定单元所确定的检测区域范围之外的次数或频率，以基于计算结果来检测用户的改变。
16.根据权利要求14所述的三维显示设备，其中，用户改变检测单元创建指示位置检测单元所检测到的指示位置的历史信息，并且基于指示位置的历史信息来检测用户的改变。
17.根据权利要求16所述的三维显示设备，其中，用户改变检测单元通过根据指示位置的历史信息检测主眼或主眼强度水平的改变来检测用户的改变。
18.根据权利要求14至17中任一项所述的三维显示设备，包括控制单元，其执行以下处理中的至少任意一个 校准处理，其中，当用户改变检测单元检测到用户改变时，获得新用户的主眼信息，并且确定检测区域关于左眼用指示图像和右眼用指示图像的显示区域的位置、大小和形状差异中的至少一个； 检测模式切换处理，用于将模式从其中基于主眼信息确定检测区域的第一检测模式切换到其中检测区域的默认大小被设置为大于第一检测模式时检测区域的默认大小的第二检测模式； 显示模式切换处理，用于将模式从显示三维指示图像的第一显示模式切换到显示平面指示图像的第二显示模式；以及 警告处理，用于输出警告。
19.根据权利要求14至18中任一项所述的三维显示设备，包括选择接收单元，当检测到用户改变时，其从用户接收对将要执行的处理的选择。
20.一种三维图像捕获设备，包括 如权利要求I至19中任一项所述的三维显示设备；以及 三维成像单元，其通过从多个视点拍摄物体的图像来获得三维拍摄图像，其中， 三维图像捕获设备将三维拍摄图像和三维指示图像彼此合成，以通过三维显示单元三维显示合成的图像。
21.一种使用三维显示单元、指示位置检测单元、以及主眼信息获得单元的指示确定方法，三维显示单元显示用于接收用户指示的包括右眼用指示图像和左眼用指示图像的三维指示图像，指示位置检测单元检测三维显示单元的显示表面上的用户指示位置，主眼信息获得单元获得表示用户主眼的主眼信息， 该指示确定方法包括检测区域确定步骤，用于基于主眼信息获得单元所获得的主眼信息确定三维显示单元的显示表面上的指示位置的检测区域； 指示位置检测步骤，用于使用指示位置检测单元来检测三维显示单元的显示表面上的用户指示位置；以及 确定步骤，用于确定指示位置检测单元检测到的指示位置是否位于所述检测区域内。
22.根据权利要求21所述的指示确定方法,包括根据在三维显示单元上显示三维指示图像状态下指示位置检测单元检测到的用户指示位置、以及根据三维指示图像的视差量来计算表示用户主眼和主眼强度水平的主眼信息的步骤。
23.根据权利要求22所述的指示确定方法，包括接收用户主眼信息的输入操作的步骤。
24.根据权利要求21至23中任一项所述的指示确定方法，执行以下处理中的至少任意一个 校准处理，其中检测通过指示位置检测单元输入指示的用户的改变，当检测到用户改变时，获得新用户的主眼信息，并且确定检测区域关于左眼用指示图像和右眼用指示图像的显示区域的位置、大小和形状差异中的至少一个； 检测模式切换处理，用于将模式从其中基于主眼信息确定检测区域的第一检测模式切换到其中检测区域的默认大小被设置为大于第一检测模式时检测区域的默认大小的第二检测模式； 显示模式切换处理，用于将模式从显示三维指示图像的第一显示模式切换到显示平面指示图像的第二显示模式；以及警告处理，用于输出警告。
25.一种使计算机执行如权利要求21至24中任一项所述的指示确定方法的程序。
26.一种存储数字处理设备可执行和机器可读的指示程序以执行如权利要求21至24中任一项所述的指示确定方法的可编程记录介质。
全文摘要
本发明的目的是即使三维显示用于接收用户指示的指示图像时也能够适当确定用户的指示位置。包括三维显示单元13，其显示用于接收用户指示的三维指示图像，三维指示图像包括右眼用指示图像和左眼用指示图像；指示位置检测单元16，其在三维显示单元13的显示表面上检测用户指示位置；主眼信息设置单元17，其设置表示用户主眼的主眼信息；指示位置检测区域确定单元18，其至少根据主眼信息在三维显示单元13的显示表面上确定指示位置检测区域；以及确定单元19，其确定指示位置检测单元16所检测到的指示位置是否位于检测区域内，从而接收对应于三维指示图像的用户指示。
文档编号G06T19/00GK102971692SQ20118003297
公开日2013年3月13日 申请日期2011年5月18日 优先权日2010年6月29日
发明者田中康一, 林淳司 申请人:富士胶片株式会社