视频处理装置以及视频处理方法

专利名称：视频处理装置以及视频处理方法
技术领域：
本发明涉及视频处理装置以及视频处理方法。
背景技术：
近年来，由电视观众不使用特殊眼镜也能够由裸眼看到立体视频的立体视频显示装置(所谓的裸眼3D电视)正在普及。该立体视频显示装置显示视点不同的多个图像。并且，这些图像的光线例如通过视差障壁、双凸透镜等控制输出方向，并引导至观众的双眼。只要观众位置合适，观众就能以左眼和右眼看到不同视差图像，因此，能够立体地识别视频。但是，在裸眼3D电视中，存在因观众的位置而无法立体看到视频的问题。

发明内容
鉴于上述所要解决的课题，本发明提供一种能够根据观众的位置适当显示立体视频的视频处理装置以及视频处理方法。根据本发明的实施方式，提供一种包括观众位置检测部、视域信息计算部、控制信息保持部以及视域控制部的视频处理装置。上述观众位置检测部使用由摄像装置拍摄的视频检测出观众位置。上述视域信息计算部算出第一控制参数，以便在与上述观众位置对应的区域中设定能够立体看到显示于显示部的多个视差图像的视域。上述控制信息保持部保持用于在预定的区域设定视域的第二控制参数。当上述观众位置检测部能够检测出观众位置时，上述视域控制部根据上述第一控制参数设定上述视域，并且，当所述观众位置检测部不能检测到观众位置时，根据上述第二控制参数设定上述视域。根据上述构成的视频处理装置，能够根据观众的位置适当地显示立体视频。


图I是具有视域控制功能的视频显示装置100的外观图；图2是表示视频显示装置100的构成示意框图；图3是从上方从看到液晶面板I以及双凸透镜2的局部的示图；图4是表示算出视域信息的方法一个例子的框图；图5是表示向视频显示装置100发送信号的遥控器20的一个例子的示图；图6是表示用于设定视域控制模式的OSD —个例子的框图；图7是表示第一实施方式的视频显示装置100的控制器10的处理动作的一个例子的流程图；图8是表示第二实施方式的视频显示装置100的控制器10的处理动作的一个例子的流程图；图9是表示第三实施方式的视频显示装置100的控制器10的处理动作的一个例子的流程图10是表示第四实施方式的视频显示装置IOOa的示意框图；图11是表示第四实施方式的视频显示装置IOOa的控制器IOa的处理动作的一个例子的流程图；图12是表示第五实施 方式的视频显示装置IOOb的示意框图；图13是表示第五实施方式的视频显示装置IOOb的控制器IOb的处理动作的一个例子的流程图；图14是表示第六实施方式的视频显示装置IOOc的示意框图；图15是表示第六实施方式的视频显示装置IOOc的控制器IOc的处理动作的一个例子的流程图；图16是表示第七实施方式的视频显示装置IOOc的控制器IOc的处理动作的一个例子的流程图；图17是表示保持于控制信息保持部18中的内容(contents)类别与视域位置之间关系的一个例子的框图；图18是表示第八实施方式的视频显示装置IOOc的控制器IOc的处理动作的一个例子的流程图；以及图19是表示图2中作为变形例的视频显示装置10(V的示意框图。
具体实施例方式以下，参照附图具体说明实施方式。首先，说明视域控制功能概要。图I是具有视域控制功能的视频显示装置100的外观图，图2是表示其构成的示意框图。视频显示装置100具有液晶面板I、双凸透镜2、摄像装置3、受光部4以及控制器10。液晶面板(显示部)1是例如55英寸大小的面板，沿水平方向配置11520(=1280X9)个像素，沿垂直方向配置720个像素。而且，在各像素中，沿着垂直方向形成有三个亚像素即、R子像素、G子像素以及B子像素。光从设置于背面的背光装置(未图示)照射到液晶面板I。各像素使与由自控制器10供给的视差图像信号(后述)相对应的亮度的光透过。双凸透镜(开口控制部)2具有沿液晶面板I的水平方向配置的多个凸部，其数量为液晶面板I的水平方向像素数的1/9。并且，以每隔沿水平方向配置的九个像素便对应一个凸部的方式，将双凸透镜2粘贴到液晶面板I的表面上。透过各像素的光从凸部的顶点附近带有指向性，并向特定的方向输出。本实施方式的液晶面板I能够以三视差以上的多视差方式(积分成像方式)或二视差方式显示立体视频，除此以外，还能够显示通常的二维视频。在以下的说明中，对能够与双凸透镜2的各凸部对应地设置九个像素、并采用九视差的多视差方式的例子进行说明。在多视差方式中，在与各凸部对应的九个像素上分别显示第一 第九视差图像。第一 第九视差图像是指，从沿着液晶面板I的水平方向并列的九个视点分别看被摄体的图像。观众经由双凸透镜2分别以左眼看到第一 第九视差图像中的一个视差图像、以右眼看到另一个视差图像，从而能够立体看到视频。根据多视差方式，能够使视差的数目越大，则视域越宽大。视域是指，从液晶面板I的前方观看液晶面板I时能够看到立体视频的区域。另一方面，在二视差方式中，分别在与各凸部对应的九个像素中的四个像素上显示右眼用视差图像，在其余五个像素上显示左眼用视差图像。左眼用和右眼用视差图像是指，从沿水平方向并列的两个视点中的左侧视点和右侧视点分别看到被摄体的图像。观众经由双凸透镜2，通过左眼看到左眼用视差图像，且通过右眼看到右眼用视差图像，由此，能够立体看到视频。根据二视差方式，与多视差方式相比更易于获得所显示的视频的立体感，但与多视差方式相比视域变窄。而且，液晶面板I也能够通过在与各凸部对应的九个像素上显示同一图像，而显
示二维图像。 而且，在本实施方式中，根据双凸透镜2的凸部与所显示的视差图像的相对位置关系即、能够根据如何在与各凸部对应的九个像素上显示视差图像而对视域进行可变控制。以下，以多视差方式为例，对视域的控制进行说明。图3是从上方看液晶面板I和双凸透镜2的局部的示图。同图中带网点的区域表示视域，如果从视域看液晶面板1，能够立体看到视频。其他区域为产生逆视或串扰的区域，即为难以立体看到视频的区域。图3表示基于下述条件视域发生变化的情况，即、基于液晶面板I与双凸透镜2的相对位置关系，具体而言，基于液晶面板I与双凸透镜2之间的距离、或者液晶面板I与双凸透镜2之间的水平方向偏移量。实际上，对于双凸透镜2，被高精度地定位于液晶面板I上并粘贴，因此，物理上难以改变液晶面板I与双凸透镜2的相对位置。因此，在本实施方式中，通过使液晶面板I的各像素上所显示的第一 第九视差图像的显示位置移位，在外观上，改变液晶面板I与双凸透镜2的相对位置关系，由此进行视域的调整。例如，与在与各凸部对应的九个像素上分别显示第一 第九视差图像的情况(图3(a))相比，当将视差图像整体向右侧移位并显示时(图3(b))，视域向左侧移动。反之，当将视差图像整体向左侧移位并显示时，视域向右侧移动。而且，在水平方向的中央附近，视差图像不移位，当越靠近液晶面板I的外侧，使视差图像越向外侧大幅位移并显示时(图3(c))，视域向靠近液晶面板I的方向移动。而且，对于移位的视差图像与未移位的视差图像之间的像素、或移位量不同的视差图像之间的像素，只要与周围像素相对应地进行适当插补即可。而且，与图3(c)相反，在水平方向的中央附近，视差图像不移位，当越靠近液晶面板I的外侧，使视差图像越向中心侧大幅位移并显示时，视域向远离液晶面板I的方向移动。如上所述，使视差图像的整体或一部分移位并显示，能够使视域相对于液晶面板向I在左右方向或前后方向移动。为了简化说明，在图3中仅仅示出一个视域，但实际上存在多个视域，这些视域联动地移动。视域由后述的图2中的控制器10控制。返回到图1，摄像装置3以规定的仰角安装在液晶面板I的下部中央附近，拍摄液晶面板I的前方规定的范围。将所拍摄的视频供给至控制器10，以用于检测出观众的位置、观众的面孔等有关观众的信息。摄像装置3也可以拍摄动态图像或静止图像。受光部4例如设置在液晶面板I的下部左侧。并且，受光部4接收从观众所使用的遥控器发送的红外线信号。该红外线信号包括表示以下信号显示立体视频还是显示二维视频；当显示立体视频时，是采用多视差方式还是二视差方式；是否进行视域的控制等。接着，对控制器10的构成要素进行详细说明。如图2所示，控制器10包括调谐解码器11、视差图像变换部12、观众位置检测部13、视域信息计算部14以及图像调整部15。控制器10例如作为一个IC (集成电路,Integrated Circuit)来安装,且配置在液晶面板I的里侧。当然，也可以将控制器10的一部分通过软件进行安装。调谐解码器(接收部)11用于接收所输入的广播波并调谐，并对编码的视频信号解码。如果广播波中叠加有电子节目表(EPG)等数据广播信号，调谐解码器11提取该信号。或者，调谐解码器11从光盘再生装置或个人电脑等视频输出设备接收被编码的视频信号，而不是广播波，并将该信号解码。被解码的信号也被称为基带视频信号，其被供给视差图像变换部12。而且，当视频显示装置100不接收广播波而专门显示从视频输出机器接收到的视频信号时，也可以只将具有解码功能的解码器设为接收部，以代替调谐解码器11。 调谐解码器11所接收的视频信号可以是二维视频信号，也可以是以帧封装(FP，frame packing)、并列拼接(SBS, side by side)或上下拼接(TAB, top and bottom)方式等包括左眼用和右眼用图像的三维视频信号。而且，视频信号也可以是包括三视差以上的图像的三维视频信号。为了立体显示视频，视差图像变换部12将基带视频信号变换为多个视差图像信号后，供给图像调整部15。视差图像变换部12根据采用多视差方式或二视差方式而两者的处理内容不同。而且，根据基带视频信号为二维视频信号或三维视频信号，视差图像变换部12的处理内容不同。如果采用二视差方式，视差图像变换部12生成分别与左眼用和右眼用视差图像对应的左眼用和右眼用视差图像信号。具体而言，如下所述。当采用二视差方式、且输入包括左眼用和右眼用的图像的三维视频信号时，视差图像变换部12生成能够在液晶面板I上显示的形式的左眼用和右眼用视差图像信号。而且，当输入包括三个以上图像的三维视频信号时，例如使用其中的任意两个图像，视差图像变换部12生成左眼用和右眼用视差图像信号。与此相对，当采用二视差方式、且输入了不包括视差信息的二维视频信号时，视差图像变换部12根据视频信号中的各像素的深度值，生成左眼用和右眼用视差图像信号。深度值是表示各像素以哪种程度显示以能够看到各像素是在液晶面板I的跟前或在相对于液晶面板I更里位置的值。深度值也可以预先附加在视频信号中，也可以根据视频信号的特征进行动态检测、构图识别以及人的面孔的检测等，并生成深度值。在左眼用视差图像中，需要前面可见的像素与里面可见的像素相比更向右侧偏移地显示。因此，视差图像变换部12进行使视频信号中的前面可见的像素向右侧位移的处理，并生成左眼用视差图像信号。深度值越大，使位移量越大。另一方面，当采用多视差方式时，视差图像变换部12生成分别与第一 第九视差图像对应的第一 第九视差图像信号。具体如下所述。当采用多视差方式、且输入二维视频信号或包括八视差以下的图像的三维视频信号时，与从二维视频信号生成左眼用和右眼用视差图像信号一样，视差图像变换部12根据深度信息生成第一 第九视差图像信号。
当采用多视差方式、且输入了包括九视差图像的三维视频信号时，视差图像变换部12使用其视频信号生成第一 第九视差图像信号。观众位置检测部13使用由摄像装置3拍摄的视频检测出观众的位置，并将其位置信息供给至视域信息计算部14。将观众的位置信息表示为例如以液晶面板I的中央为原点的X轴(水平方向)、Y轴(垂直方向)以及Z轴(与液晶面板I垂直的方向)上的位置。具体而言，观众位置检测部13首先通过从由摄像装置3拍摄到的视频检测出出人脸，以识别观众。接着，观众位置检测部13从视频中的人脸的位置检测出X轴以及Y轴上的位置，根据人脸大小来检测Z轴上的位置。当有多个观众时，观众位置检测部13也可以检测规定的数量例如10个观众的位置。在该情况下，当所检测的人脸数量大于10时，例如以距离液晶面板I近的即、Z轴 上的位置数值小的顺序检测10个观众的位置。为了根据被检测的观众的位置信息适当设定视域，视域信息计算部14算出控制参数(例如使在图3中说明的视差图像位移的量)，并将该参数供给至图像调整部15。而且，并没有特别限定以位置检测部13检测观众的位置的方法，摄像装置3也可以是红外线摄像装置，也可以使用声波检测观众的位置。图4是表示计算视域信息的方法的一个例子的示图。视域信息计算部14预先确定多个能够设定的视域图案。并且，视域信息计算部14对于各视域计算出视域与被检测的观众重叠的面积，将其面积最大的视域判定为适当的视域。在图4例子中，在预定的图4的
(a) 图4的(e)的五个视域(带网点的区域)的图案中朝向液晶面板I在左侧设定视域的图4的(b)中，观众20与视域重叠的面积最大。因此，视域信息计算部14判断图4的
(b)中的视域图案为适当的视域。在该情况下，将用于以图4的(b)的图案显示视差图像的控制参数供给至图2中的图像调整部15。具体而言，为了设定期望的视域，视域信息计算部14也可以使用使控制参数与由该控制参数设定的视域相对应的视域数据库。视域信息计算部14通过检索视域数据库，能够找到可容纳被选择的观众的视域。为了控制视域，图像调整部(视域控制部)15根据算出的控制参数对视差图像信号进行位移或插补的调整之后，供给至液晶面板I。液晶面板I显示与被调整的视差图像信号对应的图像。始终自动检测观众的位置并控制如上所述的视域，由此，对观众而言，实时设定适当的视域。但是，即使是在观众静止地观看视频的情况下，如果视频显示装置100的前方有他人移动时，就会出现视域与所移动的人相应地移动。在该情况下，对于静止观看视频的观众而言，则不易看到视频。因此，作为视域控制模式，观众能够选择通过始终检测出观众的位置来自动控制视域的“自动跟踪模式”以及在特定时刻(见后述)控制视域的“手动跟踪模式”。该选择能够例如使用遥控器来进行。图5是表示用于向视频显示装置100发送信号的遥控器(遥控装置)20的一个例子的示图。在遥控器20上设置有电源键21、音量调整键22、频道选择键23、菜单键24、确定键25、光标键26、3D键27以及跟踪键28等。例如，当按下3D键27时，不管输入的视频信号是二维视频信号还是三维视频信号，都生成用于指示在液晶面板I上显示立体视频的信号。当操作菜单键24、光标键26以及确定键25等选择视域控制模式设定菜单时，则显示用于设定视域控制模式的OSD (On Screen Display)。图6是表示用于设定视域控制模式的OSD的一个例子的示图。图6的(a)表示在自动跟踪模式上有光标的状态，例如显示“自动进行视域控制”的说明。在该状态下按下确定键25时，设定为自动跟踪模式。另一方面，图6的(b)表示在手动跟踪模式上有光标的状态示，例如显示“不进行自动视域控制”的说明。在该状态下按下确定键25时，设定为手动跟踪模式。而且，未必需要使用遥控器20，也可以例如与视频显示装置100的受光部4或摄像装置3相邻地设置与遥控器相同的按钮。而且，当视频显示装置100为平面终端等包括触摸面板功能时，也可以在液晶面板I显示按钮，用户由此能够进行设定。
下述的第一 第三实施方式涉及手动跟踪模式。手动跟踪模式是在特定的时刻控制视域的模式，在第一、第二实施方式中，示出了该时刻为开始显示立体视频时的例子，在第三实施方式中，表示其时刻是在立体视频显示中按下遥控器20的跟踪键28的时刻的例子。而且，即使是采用二视差方式或多视差方式的情况，也能够适用以下的实施方式。(第一实施方式)图7是表示第一实施方式的视频显示装置100的控制器10的处理动作的一个例子流程图。以下，专注于预先设定为位置捕捉模式的情况。首先，当受光部4接收表示观众按下遥控器20的3D键27的红外线信号或者视频信号从二维视频信号转换到三维视频信号时，视域信息计算部14检测出立体视频的显示开始(步骤Sll的YES)。根据立体视频的显示开始，观众位置检测部13使用由摄像装置3拍摄到的视频检测出观看的者位置(步骤S12)。视域信息计算部14算出控制参数，以便在被检测的观众的位置上设定视域(步骤S13)。然后，图像调整部15根据控制参数调整视差图像信号(步骤S14)，在液晶面板I上显示与调整过的视差图像信号相对应的视差图像。由此，在观众的位置上设定视域，观众能够通过双凸透镜2立体观看显示于液晶面板I上的视差图像。在手动跟踪模式中，所设定的视域被保持在相同的位置上，直到从观众接收到视域调整的指示。而且，虽然在图7中示出了根据立体视频的显示开始检测出观众的位置(步骤S12)的例子，但是，只要与立体视频的显示开始同步地设定视域即可，例如也可以始终检测观众的位置，根据立体视频的显示开始计算控制参数，也可以始终进行观众的位置检测以及控制参数的计算，根据立体视频的显示开始进行图像调整。而且，也会出现在以下情况下，观众位置检测部13也无法识别出观众的情况当摄像装置3的视域受到某个障碍物干扰时、当观众的面孔处于摄像装置3的拍摄范围以外时、在即使观众的面孔处于摄像装置3的拍摄范围内但由于遮掩或朝下而难以进行人脸检测的情况等。此时，如果有在检测立体视频的显示开始的例如3 4秒前识别出观众的历史的记录，也能够将视域设定在此时的观众的位置上。如果没有历史记录，也可以显示无法识别观众的位置的相关警告。而且，当观众位置检测部13检测出出观众的位置时，当观众过于接近液晶面板I时，例如当观众与液晶面板I之间的距离小于3H(H为液晶面板I的高度)时，难以获得立体感，因此，也可以显示催促离开画面的相关警告。这样，在第一实施方式中，进行视域的控制，以便与立体视频的显示开始同步地将视域设定在观众位置上，其后的视域不与观众的位置随动。因此，第三者即使有时在液晶面板I的前方移动，视域也不会移动，观众能够舒适立体地观看视频。而且，通常，观众一边观看视频一边操作遥控器20，因此，使用来自遥控器20的红外线信号来检测出立体视频的显示开始与否，由此，能够适当检测出观众的位置。(第二实施方式)在上述第一实施方式中，当立体视频的显示开始时，将视域设定到实际的观众的位置。与此相对，在第二实施方式中，先存储在显示前一次的立体视频时的视域，接着当开 始立体视频的显示时，再次设定已存储的视域。在以下的实施方式中，以与第一实施方式不同点为中心进行说明。图8是表示第二实施方式的视频显示装置100的控制器10的处理动作的一个例子的流程图。当结束立体视频的显示时(步骤S21)，视域信息计算部14存储此时的控制参数(步骤S22)。结束立体视频的显示时是指，例如关闭视频显示装置100的电源的时候、按下遥控器20的3D键27从立体显示转换至二维显示的时候、以及将视频信号从三维视频信号转换至二维视频信号的时候等。而且，此时所存储的控制参数也可以是通过自动跟踪模式算出的参数，也可以是如第一实施方式相同地根据手动跟踪模式算出的参数。而且，也可以采用别的方法算出的参数。其后，当视域信息计算部14检测出立体视频的显示开始时(步骤S23为YES)，根据经步骤S22存储的控制参数，图像调整部15调整视差图像信号(步骤S24)。由此，对准观众的位置来设定视域。将所设定的视域保持在相同位置上，直到从观众接收到视域调整的指示。如上所述，在第二实施方式中，当立体视频的显示开始时，设定前一次的立体视频的显示结束时的视域。因此，当再次开始立体视频的显示时，无需或检测观众的位置或重新计算控制参数，而迅速设定视域。考虑到观众大多是从放置沙发等一定的位置观看视频显示装置100的。因此，即使不检测观众的位置而是设定前一次立体视频的显示结束时的视域，在多数情况下，也能够将视域设定在观众的位置上。而且，本实施方式特别有利于再生二维视频信号与三维视频信号混在一起并频繁转换的视频信号的情况，如照片的幻灯放映显示。即，在每次从二维视频信号转换到三维视频信号时重新设定视域的情况下，或每次视域均不同，或视域的设定花费时间，但是，在本实施方式中，由于使用存储于视域信息计算部14中的控制参数，因此，能够迅速设定一定的视域。而且，在立体视频的开始显示时，观众也可以选择，如第一实施方式的说明，或通过检测出观众的位置设定视域，或如第二实施方式的说明，设定正在显示前一次立体视频时的视域。(第三实施方式)在上述第一、第二实施方式中，在开始立体视频的显示的时刻控制视域。在立体视频的显示开始的时刻即使设定了视域，观众也未必静止在一定的位置进行收看，而是还会移动。在手动跟踪模式中，由于视域不与观众的位置随动，因此，当观众移动时，也会出现无法立体地观看视频的情况。因此，在第三实施方式中，当正在显示立体视频时，以观众按下遥控器20的跟踪键28时刻控制视域。图9是表示第三实施方式的视频显示装置100的控制器10的处理动作的一个例子的流程图。首先，正在显示立体视频时，如果观众按下遥控器20的跟踪键(信号生成机构)28，则生成红外线的视域调整信号，并发送至视频显示装置100的受光部4。当接收部接到视域调整信号(步骤S31为YES)时，观众位置检测部13使用由摄像装置3拍摄到的视频检测出观众的位置(步骤S32)。视域信息计算部14算出控制参数，以便在被检测出的观众的位置上设定视域(步骤S33)。并且，图像调整部15基于控制参数调整视差图像信号(步骤S34)，在液晶面板I上显示与已调整的视差图像信号相对应的视差图像。
由此，在观众位置上设定视域，观众能够经由双凸透镜2立体观看液晶面板I上显示的视差图像。在手动跟踪模式中，将已设定的视域保持在相同位置，直到从观众接受到视域调整指示。视域调整指示是指，例如观众再次按下跟踪键28的情况，或者如第一、第二实施方式所述的按下3D键27的情况。这样，在第三实施方式中，在观众按下遥控器20的跟踪键28的时刻接收观众的位置，并进行视域控制。由于观众能够指示视域设定的时刻，因此，正在观看立体视频时，如果观众移动，也能够适当地再次设定视域。而且，通常，观众一边观看视频一边操作遥控器20，因此，通过发送来自遥控器20的视域调整信号，能够适当检测出观众的位置。而且，再次设定视域之后的视域不与观众的位置随动。因此，第三者即使有时在液晶面板I的前方移动，视域也不移动，观众能够舒适立体地观看视频。而且，未必在遥控器20中设置跟踪键28，当视频显示装置100为平面终端的情况下，也可以在视频显示装置100中设置相当于跟踪键28的按钮等(信号生成装置)；或者，当视频显示装置100具有触摸面板功能时，也可以在液晶面板I上显示跟踪键28。(第四实施方式)如上所述，为了控制视域，需要检测出观众的位置、算出控制参数、进行图像调整。虽然图像的调整不会那么花费时间，但是，观众的位置检测和控制参数的计算比较花费时间。特别是，如使用图4说明的，为了计算出控制参数，需要从预先确定的视域中找出最佳的视域。因此，在第四实施方式中，正在显示二维视频时，也要定期地算出控制参数，在从二维视频转换到立体视频的时刻(例如图7中的步骤Sll)，能够迅速设定视域。图10是表示第四实施方式的视频显示装置IOOa的构成示意框图。在图10中，对与图2共有的构成部分标注相同的附图标记。图10中的视频显示装置IOOa的控制器IOa还包括控制参数保持部16。控制参数保持部16保持视域信息计算部14所算出的控制参数。图11表示第四实施方式的视频显示装置IOOa的控制器IOa的处理动作的一个例子的流程图。在该图中，首先在液晶面板I上显示二维视频。正在显示二维视频时，观众位置检测部13也要使用由摄像装置3拍摄的视频检测出观众的位置(步骤S41)。然后，视域信息计算部14算出控制参数，以便在检测出的观众的位置上设定视域(步骤S42)。将该控制参数保持在控制参数保持部16中(步骤S43)。在此，或者受光部4接收表示观众按下遥控器20的3D键27的红外线信号，或者视频信号从二维视频信号转换到三维视频信号，当控制器IOa检测出立体视频的显示开始时(步骤S44中为YES)，图像调整部15根据保持于控制参数保持部16中的控制参数调整视差图像信号(步骤S45)，在液晶面板I上显示与被调整的视差图像信号相对应的视差图像。转换到立体视频之后的处理仅仅是进行图像调整(步骤S45)，因此，可迅速设定适当的视域。另一方面，在未转换到立体视频的显示而是继续进行二维视频的显示时(步骤S44中为NO)，例如控制器IOa以一定的间隔在后台重复步骤S41 S43，更新保持于控制参数保持部16中的控制参数。 如上所述，在第四实施方式中，即使是在不显示立体视频的期间，也要预先算出并保持控制参数。因此，在开始立体视频的显示时，能够迅速设定适当的视域。(第五实施方式)第五实施方式为上述第四实施方式的变形例。在第四实施方式中，当正在显示二维视频时算出并保持控制参数，但在第五实施方式中，当正在显示二维视频时，检测并保持观众的位置。图12是表示第五实施方式的视频显示装置IOOb的构成示意框图。在图12中，在与图2相同的构成部分上标注相同的附图标记。图12中的视频显示装置102的控制器IOb还包括观众位置保持部17。观众位置保持部17保持观众位置检测部13检测到的观众位置。图13是表示第五实施方式的视频显示装置IOOb的控制器IOb的处理动作的一个例子流程图。在同图中，首先在液晶面板I上显示二维视频。即使是正在显示二维视频时，观众位置检测部13也使用由摄像装置3拍摄到的视频检测出观众的位置(步骤S51)。将该观众位置保持在观众位置保持部17中(步骤S52)。在此，或者受光部4接收表示观众按下遥控器20的3D键27的红外线信号，或者视频信号从二维视频信号转换到三维视频信号，然后当控制器IOb检测出立体视频的显示开始时(步骤S53的YES)，视域信息计算部14算出控制参数，以便在保持在观众位置保持部17中的观众的位置上设定视域(步骤S54)。然后，图像调整部15根据算出的控制参数调整视差图像信号(步骤S55)，在液晶面板I上显示根据被调整的视差图像信号的视差图像。转换至立体视频后的处理仅仅是控制参数的计算(步骤S54)以及图像调整(步骤S55)，因此，与立体视频的显示开始后检测观众的位置的情况相比，能够迅速设定适当的视域。另一方面，当不转换到立体视频的显示而是继续二维视频的显示时(步骤S54中为NO)，例如控制器IOb以一定的间隔在后台重复步骤S51、S52，更新观众位置保持部17中保持的观众的位置。如上所述，在第五实施方式中，即使是在不显示立体视频的期间，也检测并保持观众的位置。因此，开始立体视频的显示时，能够迅速设定适当的视域。(第六实施方式)
观众位置检测部13并不限于能够经常检测观众的位置。例如，对于有时在摄像装置3的视域受到某一障碍物干扰时、在观众的面孔处于摄像装置3的拍摄范围外时、即使观众的面孔处于摄像装置3的拍摄范围内但或遮掩或朝下而难以进行人脸检测的情况下等，观众位置检测部13也无法识别出观众。在该情况下，视差信息计算部无法根据观众的位置算出控制参数。而且，也会出现因视域信息计算部14的故障等而无法算出控制参数的情况。下述的第六 第八实施方式涉及不能算出控制参数时的处理动作。图14是表示第六实施方式的视频显示装置IOOc的构成示意框图。在图14中，将与图2相同的构成部分标注相同的附图标记。图14中的视频显示装置IOOc的控制器IOc还包括控制信息保持部18。控制信息保持部18将预先算出的控制参数保持为所谓的默认 值，以便在规定的区域设定视域。规定的区域例如为液晶面板I的正面，将液晶面板I与观众之间的距离被设定为3H(H为液晶面板I高度)。这是因为，考虑观众在该位置观看液晶面板I上而设计视频显示装置的情况为多数。或者，也可以设定观众通常收看的区域。图15是表示第六实施方式的视频显示装置IOOc的控制器IOc的处理动作的一个例子的流程图。在进行视域控制的时刻，当视域信息计算部14能够算出控制参数时(步骤S61中为YES)，图像调整部15根据所算出的控制参数(第一控制参数)调整图像(步骤S62)。在此，进行视域控制的时刻是指，例如图8中的步骤S11、图9中的步骤S24、图10中的步骤S31中以自动跟踪模式进行视域控制的时刻等。另一方面，在因上述理由等视域信息计算部14无法算出控制参数时(步骤S61中为NO)，图像调整部15根据保持于控制信息保持部18中的控制参数(第二控制参数)进行用于设定视域的调整(步骤S63)。如上所述，在第六实施方式中，将用于在规定的区域设定视域的控制参数预先保持在控制信息保持部18中。因此，即使在无法顺利检测到观众的情况下等无法算出控制参数时，也能够设定视域。特别是，根据液晶面板I的高度设定保持于控制信息保持部18中的控制参数，或者根据观众的通常的收看位置进行设定，由此，设定适当的视域。(第七实施方式)在第七实施方式中，将多个控制参数预先保持在控制信息保持部18中，根据用户设定选择其中的一个参数，并将其应用到视域的设定中。而且，本实施方式的视频显示装置的构成示意图与图15大致相同，因而省略其说明。多个控制参数中的一个参数是指，例如首先考虑在家庭中观看视频显示装置100c、并在液晶面板I与观众的距离为3H的区域上设定视域的控制参数；另一个是指，用于例如首先考虑在店面展示视频装置100c，由此在距离远的区域中设定视域的控制参数。用户预先设定是否使用多个控制参数中的任一参数。图16是表示第七实施方式的视频显示装置IOOc的控制器IOc的处理动作的一个例子的流程图。视域信息计算部14能够算出控制参数时的处理动作与第六实施方式相同(步骤 S71 中为 YES，S72) ο另一方面，当视域信息计算部14不能算出控制参数时(步骤S71中NO)，图像调整部15根据用户设定选择保持于控制信息保持部18中的多个控制参数中的一个参数(步骤S73)。然后，图像调整部15根据所选择的控制参数设定用于进行图像调整的视域(步骤S74)。如上所述，在第七实施方式中，由于选择保持于控制信息保持部18中的多个控制参数中的一个参数，因此，即使是无法算出控制参数时，也能够根据用户的设定来适当设定视域。(第八实施方式)在第八实施方式中，将多个控制参数预先保持在控制信息保持部18中，根据所显示的内容自动选择其中的一个控制参数，并将其应用到视域的设定中。而且，本实施方式的视频显示装置的构成示意图与图15大致相同，因而省略其说明。
图17是表示保持于控制信息保持部18中的显示内容类别与视域位置之间的关系的一个例子示图。例如，当所显示的内容类别为动画时，假设儿童观看的可能性大、且此时离开液晶面板I。因此，保持有如同在离开液晶面板I的位置设定视域的控制参数。而且，在显示类别为体育时，靠近液晶面板I观看使人兴奋的内容的可能性大。因此，保持有如同在靠近液晶面板I的位置上设定视域的控制参数。当类别为电视剧或电影时，保持有如在动画和体育之间的中间程度的位置上设定视域那样的控制参数。图17仅表示一个例子，但是，也可以设定其他的显示类别，或者进一步将观看时刻等考虑为内容信息。图18是表示第八实施方式的视频显示装置IOOc的控制器IOc的处理动作的一个例子显示的流程图。视域信息计算部14能够算出控制参数时的处理动作与第六实施方式相同(步骤S81的YES，S82)。另一方面，当视域信息计算部14无法算出视域信息时(步骤S81中为NO)，调谐解码器11从叠加在广播波中的数据广播中获得电子节目表，并提取基于此在液晶面板I上显示的内容的内容信息(步骤S83)。或者，也可以通过互联网获得显示内容信息。并且，图像调整部15根据内容的类别选择保持于控制信息保持部18中的多个控制参数中的一个参数(步骤S84)。例如，当类别为动画时，图像调整部15选择用于在液晶面板I近处设定视域的控制参数(图17)。然后，图像调整部15根据所选择的控制参数进行用于设定视域的图像调整(步骤S85)。如上所述，在第八实施方式中，在控制信息保持部18中保持按照各内容信息预先设定的控制参数，因此，能够根据内容自动适当地设定视域。如以上的各实施方式所述，视频显示装置能够适当设定视域。而且，在上述各实施方式的视频显示装置100中，示出了通过使用双凸透镜2使视差图像位移来进行视域控制的例子，但是，也可以采用其他方法进行视域控制。例如，也可以将视差障壁设置为开口控制部，以代替双凸透镜2。而且，图19是表示图2中的作为变形例的视频显示装置100'的构成示意框图。如同图所示，也可以不进行视差图像的位移处理，而在控制器10'内设置视域控制部15'，并控制开口控制部2'。在该情况下，将液晶面板I与开口控制部2'之间的距离、液晶面板I与开口控制部之间的水平方向偏移量等作为控制参数，对显示于液晶面板I上的视差图像的输出方向进行控制，由此进行视域控制。图19的视频显示装置也能够适用于各实施方式。
在上述实施方式中说明的视频处理装置的至少一部分也可以由硬件构成，也可以由软件构成。在由软件构成时，也可以将用于实现视频处理装置至少一部分的功能的程序存储在软盘或CD-ROM等记录介质中，并将其读入电脑中运行。记录介质并不局限于磁盘或光盘等能够装卸的记录介质，也可以是硬盘装置或存储器等固定型的记录介质。而且，也可以经由互联网等通信线路(也包括无线通信)来颁发用于实现视频处理装置至少一部分的功能的程序。而且，也可以在使该同一程序密码化、调制化或压缩化的状态下，经由互联网等有线通信线路或无线通信线路，或存储于记录介质中进行颁发。以上对本发明的几个实施方式进行了说明，但这些实施方式只是作为例子示出，不意味着对本发明范围的限定。这些实施方式能够采用其他各种方式来实施，在不背离本 发明宗旨的范围内，能够进行各种省略、置换以及变更。这些实施方式或其变形与本发明的范围或要旨中所包含的内容一样，也包含在请求保护的范围中所记载的本发明及其均等的范围内。
权利要求
1.一种视频处理装置，其特征在于，包括 观众位置检测部，使用由摄像装置拍摄的视频检测出观众的位置； 视域信息计算部，算出第一控制参数，以便在与所述观众的位置对应的区域中，设定能够立体地看到显示于显示部的多个视差图像的视域； 控制信息保持部，保持用于在预定的区域中设定视域的第二控制参数；以及 视域控制部，当所述观众位置检测部能够检测出观众的位置时，根据所述第一控制参数设定所述视域，当所述观众位置检测部不能检测出观众的位置时，根据所述第二控制参数设定所述视域。
2.根据权利要求I所述的视频处理装置，其特征在于，所述预定的区域由所述显示部的高度决定。
3.根据权利要求2所述的视频处理装置，其特征在于，所述预定的区域与所述显示部之间的距离为所述显示部的高度的大致三倍。
4.根据权利要求I所述的视频处理装置，其特征在于，所述预定的区域与所述显示部之间的距离由用户设定。
5.根据权利要求I所述的视频处理装置，其特征在于，所述控制信息保持部保持多个所述第二控制参数，当所述观众位置检测部不能检测到观众的位置时，所述视域控制部根据所述多个第二控制参数中的一个参数设定所述视域。
6.根据权利要求5所述的视频处理装置，其特征在于，所述视域控制部根据用户的设定选择所述多个第二控制参数中的一个参数，并根据所选择的所述第二控制参数设定所述视域。
7.根据权利要求5所述的视频处理装置，其特征在于，所述视域控制部根据所述显示部所显示的视频的内容信息，选择所述多个第二控制参数中的一个参数，并根据所选择的所述第二控制参数设定所述视域。
8.根据权利要求7所述的视频处理装置，其特征在于，所述内容信息包括内容的类别信息。
9.根据权利要求7所述的视频处理装置，其特征在于，所述视频处理装置包括接收部，所述接收部用于接收并调谐广播波，将经调谐的广播波解码的同时获得内容信息。
10.根据权利要求I所述的视频处理装置，其特征在于， 所述视域控制部根据所述第一控制参数或第二控制参数对显示于所述显示部上的所述多个视差图像的显示位置进行调整， 或者，根据所述第一控制参数或第二控制参数，对显示于所述显示部上的所述多个视差图像的输出方向进行控制。
11.根据权利要求I所述的视频处理装置，其特征在于，还包括 显示部，用于显示所述多个视差图像；以及 开口控制部，用于向规定的方向输出显示于所述显示部的多个视差图像。
12.根据权利要求I所述的视频处理装置，其特征在于，还包括 接收部，用于对输入视频信号进行解码；以及 视差图像变换部，根据所述解码的输入视频信号生成所述多个视差图像。
13.—种视频处理方法，其特征在于，包括检测步骤，使用由摄像装置拍摄的视频检测出观众的位置； 计算步骤，算出第一控制参数，以便在与所述观众的位置对应的区域中，设定能够立体地看到显示于显示部上的多个视差图像的视域；以及 设定步骤，当能够检测出所述观众的位置时，根据所述第一控制参数设定所述视域，当不能检测出所述观众的位置时，根据用于在预定的区域中设定视域的第二控制参数设定所述视域。
14.根据权利要求13所述的视频处理方法，其特征在于，根据所述显示部的高度决定所述预定的区域。
15.根据权利要求14所述的视频处理方法，其特征在于，所述预定的区域与所述显示部之间的距离为所述显示部的高度的大致三倍。
16.根据权利要求13所述的视频处理方法，其特征在于，所述预定的区域与所述显示部之间的距离由用户设定。
17.根据权利要求13所述的视频处理方法，其特征在于，当不能检测到所述观众的位置时，根据多个所述第二控制参数中的一个参数设定所述视域。
18.根据权利要求17所述的视频处理方法，其特征在于，还包括根据用户的设定选择所述多个第二控制参数中的一个参数的步骤，并根据所选择的所述第二控制参数设定所述视域。
19.根据权利要求17所述的视频处理方法，其特征在于，还包括根据所述显示部所显示的视频的内容信息选择所述多个第二控制参数中的一个参数的步骤，并根据所选择的所述第二控制参数设定所述视域。
20.根据权利要求19所述的视频处理方法，其特征在于，所述内容信息包括内容的类别信息。
21.根据权利要求19所述的视频处理方法，其特征在于，还包括接收并调谐广播波，并将经调谐的广播波解码的同时，获得所述内容信息的步骤。
22.根据权利要求13所述的视频处理方法，其特征在于， 在设定所述视域的步骤中， 根据所述第一控制参数或第二控制参数，对显示于所述显示部上的所述多个视差图像的显示位置进行调整， 或者，根据所述第一控制参数或第二控制参数，对显示于所述显示部上的所述多个视差图像的输出方向进行控制。
23.根据权利要求13所述的视频处理方法，其特征在于，还包括 解码步骤，对输入视频信号进行解码；以及 生成步骤，根据所述解码的输入视频信号生成所述多个视差图像。
全文摘要
本发明涉及视频处理装置以及视频处理方法，能够根据观众位置适当显示立体视频。该视频处理装置包括观众位置检测部、视域信息计算部、控制信息保持部及视域控制部。上述观众位置检测部使用由摄像装置拍摄的视频检测出观众的位置。上述视域信息计算部算出第一控制参数，以便在与上述观众的位置对应的区域中设定能够立体观看显示于显示部上的多个视差图像的视域。上述控制信息保持部对用于在预先规定的区域上设定视域的第二控制参数进行保持。当上述观众位置检测部能够检测出观众的位置时，上述视域控制部根据上述第一控制参数设定上述视域，当上述观众位置检测部无法检测出观众的位置时，上述视域控制部根据上述第二控制参数设定所述视域。
文档编号H04N13/04GK102970563SQ201210086888
公开日2013年3月13日 申请日期2012年3月28日 优先权日2011年8月31日
发明者王坦, 池田信之, 藤本宏, 熊谷隆, 诸星利弘 申请人:株式会社东芝