专利名称：视频信号处理装置、视频信号处理方法和计算机程序的制作方法
技术领域：
本公开涉及处理包括左眼的视频信号和右眼的视频信号的立体图像的图像信号处理装置、图像信号处理方法和计算机程序。具体地，本公开涉及将诸如字符或者图画 (figure)之类的图形显示与立体图像重叠的图像信号处理装置、图像信号处理方法和计算机程序。
背景技术：
在现有技术中，可以通过显示在左右眼中具有视差的视频来呈现向观看者三维地示出的立体图像。作为呈现立体图像的方法，提供了使观看者佩戴具有特殊光学特性的眼镜并且呈现给出双目视差的图像的方法。例如，分时立体图像显示系统由以分时方式显示彼此不同的多个图像的显示装置和视频的观看者佩戴的快门眼镜的组合形成。显示装置在屏幕上以非常短的周期交替地显示具有双目视差的左眼视频和右眼视频。同时，由观看者佩戴的快门眼镜包括由用于左眼和右眼的相应液晶透镜形成的快门机构。该快门眼镜具有这样的配置在显示左眼的视频时，快门眼镜的左眼部分允许光穿过，而其右眼部分屏蔽光。另外，在显示右眼的视频时，快门眼镜的右眼部分允许光穿过，而其左眼部分屏蔽光(例如，参见日本待审专利申请公开NO. 9-138384、日本待审专利申请公开NO. 2000-36969和日本待审专利申请公开 NO. 2003-45343)。即，可以通过使用显示装置以分时方式显示左眼部分和右眼的视频，并且通过使用快门机构与显示装置的显示切换同步地选择图像的快门眼镜来向观看者呈现立体图像。另一方面，提供了通过与原始视频进行重叠而显示诸如字符或图画之类的 OSD(SI)图形等的技术。如果在用于左眼的显示和用于右眼的显示之间存在双目视差，则可以类似于立体图像三维地观看诸如字符或者图画之类的图形数据。考虑到在深度方向上的布置位置，如果通过添加适当的深度将OSD信息与立体图像重叠，则可以进一步减少在观看OSD信息和立体图像时所造成的眼睛疲劳(例如，参见日本待审专利申请公开NO. 2009-135686)。例如，分别为左眼和右眼提供独立的OSD平面(plane)；向要写入到对应OSD平面的、为左眼和右眼绘制的对象给出对应于每个深度的相位差；并且将左眼的OSD平面与左眼的视频重叠，将右眼的OSD平面与右眼的视频重叠，以便以分时方式进行显示，由此可以与视频一起三维地观看字符和图画。然而，使用上述的方法，为了三维地显示字符和图画，必须为左眼和右眼绘制一组 OSD信息。相应地，与二维地进行OSD显示的情形相比较，由于加倍的绘图处理是必要的，因此期望加强绘图引擎的绘图能力。另外，由于用于左眼和右眼(即，用于两个屏幕)的单独 OSD平面分别是都需要的，因此与二维地进行OSD显示的情形相比较，使用加倍的存储器区域，由此装置的成本加倍。
发明内容
期望提供一种优异的视频信号处理装置、视频信号处理方法以及计算机程序，其可以显示要与包括左眼的视频信号和右眼的视频信号的立体图像重叠的、具有合适深度的诸如字符或者图画之类的图形数据。还期望提供一种优异的视频信号处理装置、视频信号处理方法以及计算机程序， 其可以以小的处理负荷并且以节约存储器的方式显示要与立体图像重叠的合适深度的图形数据。根据本公开的实施例，提供了一种视频信号处理装置，包括立体图像输入单元， 其以分时方式交替地输入左眼的视频帧和右眼的视频帧；平面存储器，其用于保持与视频帧重叠的图形数据；读取相位添加单元，其在显示左眼的视频帧时和显示右眼的视频帧时从平面存储器中读取图形数据的时候给出相位差；以及视频重叠单元，其将读取相位差异化了的每个图形数据分别与左眼的视频帧和右眼的视频帧中的每一个重叠。在所述视频信号处理装置中，读取相位添加单元可以配置为以在平面存储器中绘制的绘图对象为单位或者以位图为单位向读取相位给出差异。在所述视频信号处理装置中，读取相位添加单元可以用如下单元配置深度信息保存单元，其以在平面存储器中绘制的绘图对象为单位或者以位图为单位保持深度信息； 以及双目视差添加单元，其保持在左眼的视频帧和右眼的视频帧的每个显示时刻读取出的图形数据，并且通过基于深度信息保存单元中保持的深度信息设置延迟时间量，以在显示左眼的视频帧时以及显示右眼的视频帧时给出相位差。在所述视频信号处理装置中，视频信号处理装置可以进一步包括图形数据放大和缩小单元，其基于深度信息保存单元中保持的深度信息，放大或缩小在左眼的视频帧和右眼的视频帧的每个显示时刻读取的图形数据。根据本公开的又一实施例，提供了一种视频信号处理装置，包括立体图像输入单元，其以分时方式交替地输入左眼的视频帧和右眼的视频帧；平面存储器，其通过一个或多个窗口配置，用于与视频帧重叠的每个绘图对象；深度信息保存单元，其保持每个窗口的深度信息；读取相位添加单元，其基于深度信息保存单元中保持的深度信息，在显示左眼的视频帧时和显示右眼的视频帧时读取窗口的时候改变相位差；以及视频重叠单元，其将读取相位差异化了的每个窗口与左眼的视频帧和右眼的视频帧中的每一个重叠。该视频信号处理装置可以进一步包括窗口放大和缩小单元，其基于深度信息保存单元中保持的深度信息，放大或者缩小每个窗口。根据本公开的又一实施例，提供了一种视频信号处理方法，包括将与视频帧重叠的图形数据保持至平面存储器；在显示左眼的视频帧时和显示右眼的视频帧时，通过将差异给予读取相位，从平面存储器读取图形数据；以及将读取相位差异化了的每个图形数据分别与左眼的视频帧和右眼的视频帧重叠中的每一个相重叠。根据本公开的又一实施例，提供了一种视频信号处理方法，包括将与视频帧重叠的每个绘图对象保持至平面存储器所对应的窗口 ；在显示左眼的视频帧时和显示右眼的视频帧时，基于深度信息，将差异给予读取相位，以从平面存储器读取窗口 ；以及将读取相位差异化了的每个窗口与左眼的视频帧和右眼的视频帧中的每一个重叠。根据本公开的又一实施例，提供了一种计算机程序，其被描述为由计算机读取以便在该计算机上执行视频信号的处理，其使得计算机用作立体图像输入单元，其以分时方式交替地输入左眼的视频帧和右眼的视频帧；平面存储器，其保持与视频帧重叠的图形数据；读取相位添加单元，其在显示左眼的视频帧时和显示右眼的视频帧时从平面存储器读取图形数据的时候给出相位差；以及视频重叠单元，其将读取相位差异化了的每个图形数据与左眼的视频帧和右眼的视频帧中的每一个重叠。根据本公开的又一实施例，提供了一种计算机程序，其被描述为由计算机读取以便在该计算机上执行视频信号的处理，其使得计算机用作立体图像输入单元，其以分时方式交替地输入左眼的视频帧和右眼的视频帧；平面存储器，其通过一个或多个窗口配置，用于与视频帧重叠的每个绘图对象；深度信息保存单元，其保持每个窗口的深度信息；读取相位添加单元，其基于深度信息保存单元中保持的深度信息，在显示左眼的视频帧时和显示右眼的视频帧时从平面存储器读取窗口时改变相位差；以及视频重叠单元，其将读取相位差异化了的每个窗口与左眼的视频帧和右眼的视频帧中的每一个重叠。根据本公开的实施例的计算机程序是指被描述为计算机可读的计算机程序，以便通过计算机实现预定处理。换言之，根据本公开的实施例的计算机程序被安装到计算机上以通过计算机执行协同操作，由此获得与根据本公开的实施例的视频信号处理装置的操作效果相同的操作效果。根据本公开的实施例，可以提供优异的视频信号处理装置、视频信号处理方法以及计算机程序，其可以以小的处理负荷并且以节约存储器的方式显示要与立体图像重叠的具有合适深度的图形数据。根据本公开的实施例，由于对于左眼和右眼共享一个平面存储器而无需将单独的平面存储器用于左眼和右眼二者以保持图形数据，因此图形数据的绘图处理的负荷变小， 并且可以使得保持图形数据的平面存储器具有小的容量。平面存储器可以具有与在显示二维视频时使用的大小相同的正常大小。根据本公开的实施例，通过在从左眼的视频帧和右眼的视频帧共享的一个平面存储器中读取时提供相位差，向图形数据应用合适的深度，可以使得左眼的视频帧和右眼的视频帧彼此重叠。由于可以与立体图像一起三维地看见图形数据，所以可以减少观看者的眼睛疲劳。根据本公开的实施例，通过在从平面读取时提供相位差，可以基于深度信息放大或者缩小与左眼的视频帧和右眼的视频帧重叠的图形数据以加强视觉上的深度(距离)感。此外，本公开的优点将通过基于稍后要描述的本公开的实施例或者附图的详细描述而清晰化。
图IA和IB是示意性地示出视频显示系统的配置示例的图；图2是示出显示装置的内部配置示例的图；图3是示出快门眼镜的内部配置示例的图；图4是示出在L子帧时间段中快门眼镜的控制操作的图；图5是示出在R子帧时间段中快门眼镜的控制操作的图6A是示意性示出用于将OSD信息重叠到立体图像的功能配置的图；图6B是示意性示出用于基于深度放大或缩小与立体图像重叠的OSD信息的功能配置的图；图7是示出将双目视差添加到与立体图像重叠的OSD信息的方式的图；图8A是示意性示出用于将OSD信息与立体图像重叠的另一功能配置示例的图；以及图8B是示意性示出用于基于深度放大或缩小与立体图像重叠的OSD信息的功能配置的图。
具体实施例方式将参照附图描述根据本公开的实施例。图1示意性地示出视频显示系统的配置示例。该视频显示系统由可以三维地(立体地)显示图像的显示装置11和具有分别用于左眼和右眼的快门机构的快门眼镜13的组合形成。在图IA示出的示例中，在通过外部终端连接到显示装置11的通信单元12和快门眼镜13之间传送和接收无线信号。另外，在图IB示出的示例中，在内置于显示装置11的主体中的通信单元12和快门眼镜13之间传送和接收无线信号。在许多情形下，在显示装置和快门眼镜之间使用红外传输作为通信单元；然而，在本实施例中，使用应用了诸如IEEE802. 15. 4之类的无线电通信的无线网络。在图1示出的系统配置示例中，显示装置11和快门眼镜13进行一对一的通信。然而，通过使得显示装置 11的通信单元12用作接入点，可以容纳(accommodate)分别用作终端站的多个快门眼镜。用于显示立体图像的显示装置不限于特定类型。例如，除了现有技术中的CRT(阴极射线管)显示器之外，还可以采用等离子显示面板(PDP)、液晶显示器(LCD)和电致发光 (EL)面板。下文将显示装置11设置为液晶显示器。图2中图示了显示装置11的内部配置示例。然而，在该图中(参照图1B)，其是在主体中内置无线网络的通信单元的显示装置。下文描述每个单元。可以使用天线204接收广播立体影像节目的广播电波。在广播电波从天线204输入时，调谐器电路205选择期望的流。MPEG解码器206从调谐器电路205选择的所选流提取视频信号和声音信号。另外，作为广播电波以外的获取视频信号的手段，存在从连接到作为图画接口的 HDMI (高清多媒体接口)终端214的外部源装置(未示出)输入立体影像内容的情形以及通过因特网接收立体影像内容的情形。HDMI接收电路215将连接到HDMI终端214的外部源装置输入的信号划分给视频信号处理电路217和声音信号处理电路211。另外，来自网络终端217的接收信号通过诸如以太网(商标)接口之类的通信处理电路216输入到MPEG解码器206。MPEG解码器206 从接收信号中提取视频信号和声音信号。视频信号输入到视频信号处理电路207，并且执行必要的信号处理。视频信号处理电路207执行的信号处理例如包括诸如色彩点校准或者强度降低之类的图像校正处理。面板驱动电路209控制栅极驱动器和数据驱动器(二者均未示出)的驱动时序，并且将从视频信号处理电路207提供的视频信号提供给数据驱动器。面板驱动电路209可以对视频信号进行过驱动处理。图形处理电路208在必要时生成由字符或图画形成的OSD信息，并且将该信息与视频信号处理电路207输出的视频信号重叠。图形处理电路208例如根据通过内部总线218 从CPU 219接收到的绘图指令来生成OSD信息。可替换地，通过内部总线218将OSD信息从CPU 219传送给图形处理电路208。图形处理电路208包括用于暂时地保持要绘制的OSD 信息的OSD平面；与视频信号同步地读取OSD信息；进行重叠处理；并且在对OSD显示进行显示时，向处于下一级的面板驱动电路209输出。在本实施例中，当显示并输出立体影像信号时，向与立体影像信号重叠并显示到立体影像信号的OSD信息给出适当的深度，然而，该处理的细节将在稍后描述。另外，声音信号输入到声音信号处理电路211中，并且在对其执行了必要的信号处理之后，在声音放大电路212中将其放大到期望的声音级别，并且然后驱动扬声器213。视频信号处理电路207处理视频信号，同时生成对于快门眼镜的快门的切换控制必需的帧切换信号，并且将该信号输入到控制电路224。控制电路2M基于输入帧切换信号的时序，生成指示快门眼镜的左右快门的切换时序的开启控制信号。通过无线电通信将该开启控制信号从通信单元203无线地传送给快门眼镜。在用户利用遥控器223执行遥控以操作显示装置11时，通过遥控接收单元222接收使用红外线传送的控制代码。在图2所示的示例中，采用红外通信类型用以遥控；然而， 通信单元203也可以用于遥控。为了控制整个显示装置11，安装了诸如CPU 219、闪存ROM 220、DRAM221之类的电路组件等。通过内部总线218将遥控接收单元222(或者通信单元20 中接收的控制代码传送给CPU 219。CPU 219通过读取控制代码以控制显示装置11的操作。另外，通过控制电路2 将通信单元213中接收的眼镜信息输入至CPU 219。CPU 219将该眼镜信息与计算的信息一起存储在闪存ROM 220中。在图3中，图示了快门眼镜13的内部配置示例。快门眼镜13包括通信单元305， 其使用无线电通信向显示装置11传送无线信号并且从显示装置11接收无线信号；控制单元306 ；存储单元310，其存储眼镜信息或者其它数据；左眼快门308和右眼快门309，其分别由液晶材料形成；以及快门驱动电路307。从显示装置11向快门眼镜13传送的无线信号例如是指示快门眼镜的左右快门的切换时序的开启控制信号。通信单元305在接收到开启控制信号时将该开启控制信号输入给控制单元306。控制单元306读取该开启控制信号，区分左右快门308和309的切换时序，并且基于区分结果，通过快门驱动电路307控制左右快门308和309中每一个的切换操作。在图4中，图示了在L子帧时间段中快门眼镜13的控制操作。如图中所示，在L子帧时间段中，根据从显示装置11 一侧的通信单元203无线传送的切换控制信号，左眼快门 308设为开启状态，而右眼快门309设为关闭状态，并且基于左眼图像L的显示光LL只到达观看者的左眼。另外，在图5中，图示了在R子帧时间段中快门眼镜13的控制操作。如图中所示，在R子帧时间段中，根据来自显示装置11 一侧的切换控制信号，右眼快门309设为开启状态，而左眼快门308设为关闭状态，并且基于右眼图像R的显示光RR只到达观看者的右眼。
当在显示装置11中显示并输出立体图像时，还可以通过向以重叠方式显示的诸如字符图画之类的OSD信息给出合适的深度来减少在观看OSD信息和立体图像时造成的眼睛疲劳。然而，当分别为左眼和右眼绘制独立的OSD信息时，尽管具有相同的内容，但执行绘图处理两次。另外，必须使用两个OSD平面用于写入内容，由此增加绘图处理的负荷并且耗费存储器资源。另一方面，发明人提出这样的实施方式以小的处理负荷绘制立体OSD信息，使用小容量(capacity)的OSD平面，将具有深度的OSD信息与立体图像进行重叠，并且进行显示。在该实施方式中，在一个OSD平面上绘制由左眼和右眼共享的OSD信息，而没有用于左眼和右眼的独立OSD平面。另外，当将OSD信息重叠并显示至立体图像时，通过延迟从OSD 平面读取OSD信息的时序，向OSD信息给出合适的深度。在显示用于左眼的视频帧时和显示用于右眼的视频帧时，通过与深度对应的延迟量(即，左眼图像和右眼图像之间的双目视差)将相位差提供给从OSD平面读取OSD信息的时刻。即使OSD信息在OSD平面上具有相同的坐标位置，但由于在左眼的视频帧和右眼的视频帧中水平显示位置被位移了读取时刻的相位差，因此这被视为观看者的双目视差，于是，可以实现OSD信息的立体影像。在图2 (在之前描述)所示的显示装置11中，在图形处理电路208中执行OSD信息与视频的重叠处理。据此，当显示立体图像时，可以在图形处理电路208中执行向OSD信息给出深度的处理。图6A中示意性图示了用于将OSD信息与立体图像重叠的功能配置。图中的功能配置例如安装在图形处理电路208中，然而，在安装时，本公开的要点不限于特定示例。OSD平面61是暂时地保持与视频帧重叠的OSD信息的平面存储器。在此实施例中， 在通过以分时方式显示左眼的视频帧和右眼的视频帧以显示立体图像时，由单个平面存储器形成的OSD平面61由左眼和右眼共享。即，用于OSD的平面存储器的一个平面可以具有与在显示普通的二维图像时的一个平面相同的大小。OSD信息由诸如字符或者图画之类的绘图对象形成。在图6所示的示例中，字符图画NO. 1和字符图画NO. 2这两个绘图对象被配置为与视频帧重叠，并且被配置为绘制在 OSD平面61上的每个对应坐标位置处。根据通过内部总线218从CPU 219接收到的绘图指令，图形处理电路208生成诸如字符或者图画之类的对象，并且在OSD平面61的对应位置处执行绘图。可替换地，图形处理电路208在OSD平面61中绘制通过内部总线218从CPU 219传送的OSD信息。当显示立体图像时，与左眼的视频帧和右眼的视频帧的每个显示时序同步地从 OSD平面61读取OSD信息。通过链接，深度信息保存单元62保持与OSD信息有关的并且在OSD平面61中保持的深度信息。深度信息保存单元62可以以OSD信息中包括的绘图对象为单位或者以位图为单位保持深度信息。在以下描述中，为了简便起见，假设深度信息保存单元以绘图对象为单位保持深度信息(在图6所示的示例中，对于字符图画NO. 1和字符图画N0.2中的每一个)。假设深度信息保存单元62以下表中示出的数据结构为每个绘图对象保持左眼的视频帧中的深度信息屯和右眼的视频帧中的深度信息dK。表 权利要求
1.一种视频信号处理装置，包括立体图像输入单元，其以分时方式交替地输入左眼的视频帧和右眼的视频帧； 平面存储器，其保持与视频帧重叠的图形数据；读取相位添加单元，其在显示左眼的视频帧和右眼的视频帧时从平面存储器中读取图形数据的时候给出相位差；以及视频重叠单元，其将读取相位提供有差异的每个图形数据与左眼的视频帧和右眼的视频帧中的每一个重叠。
2.如权利要求1所述的视频信号处理装置， 其中，读取相位添加单元以在平面存储器中绘制的绘图对象为单位或者以位图为单位向读取相位给出差异。
3.如权利要求1所述的视频信号处理装置， 其中，读取相位添加单元包括深度信息保存单元，其以在平面存储器中绘制的绘图对象为单位或者以位图为单位保持深度信息；以及双目视差添加单元，其保持在左眼的视频帧和右眼的视频帧的每个显示时刻读取出的图形数据，基于深度信息保存单元中保持的深度信息设置延迟时间量，并在显示左眼的视频帧时以及显示右眼的视频帧时给出相位差。
4.如权利要求3所述的视频信号处理装置，还包括图形数据放大和缩小单元，其基于深度信息保存单元中保持的深度信息，放大或缩小在左眼的视频帧和右眼的视频帧的每个显示时刻读取的图形数据。
5.一种视频信号处理装置，包括立体图像输入单元，其以分时方式交替地输入左眼的视频帧和右眼的视频帧； 平面存储器，其通过一个或多个窗口配置，用于与视频帧重叠的每个绘图对象； 深度信息保存单元，其保持每个窗口的深度信息；读取相位添加单元，其基于深度信息保存单元中保持的深度信息，在显示左眼的视频帧时和显示右眼的视频帧时从平面存储器中读取窗口的时候改变相位差；以及视频重叠单元，其将读取相位差异化了的每个窗口分别与左眼的视频帧和右眼的视频帧重叠。
6.如权利要求3所述的视频信号处理装置，还包括窗口放大和缩小单元，其基于深度信息保存单元中保持的深度信息，放大或者缩小每个窗口。
7.一种视频信号处理方法，包括在平面存储器中保持与视频帧重叠的图形数据；在显示左眼的视频帧时和显示右眼的视频帧时，通过使读取相位差异化，从平面存储器读取图形数据；以及将读取相位差异化了的图形数据分别与左眼的视频帧和右眼的视频帧重叠。
8.一种视频信号处理方法，包括将与视频帧重叠的每个绘图对象保持在平面存储器的对应窗口中； 在显示左眼的视频帧时和显示右眼的视频帧时，基于深度信息，通过使读取相位差异化，从平面存储器读取窗口 ；以及将读取相位差异化了的每个窗口分别与左眼的视频帧和右眼的视频帧重叠。
9.一种计算机程序，其被描述为由计算机读取以使得在该计算机上执行视频信号处理，其中，该计算机程序使得计算机用作立体图像输入单元，其以分时方式交替地输入左眼的视频帧和右眼的视频帧； 平面存储器，其保持与视频帧重叠的图形数据；读取相位添加单元，其在显示左眼的视频帧时和显示右眼的视频帧时从平面存储器读取图形数据的时候给出相位差；以及视频重叠单元，其将读取相位差异化了的每个图形数据分别与左眼的视频帧和右眼的视频帧重叠。
10.一种计算机程序，其被描述为由计算机读取以使得在该计算机上执行视频信号处理，其中，该计算机程序使得计算机用作立体图像输入单元，其以分时方式交替地输入左眼的视频帧和右眼的视频帧； 平面存储器，其通过一个或多个窗口配置，用于与视频帧重叠的每个绘图对象； 深度信息保存单元，其保持每个窗口的深度信息；读取相位添加单元，其在显示左眼的视频帧时和显示右眼的视频帧时从平面存储器读取窗口时给出相位差；以及视频重叠单元，其将读取相位差异化了的每个窗口分别与左眼的视频帧和右眼的视频帧重叠。
全文摘要
在此公开视频信号处理装置、视频信号处理方法和计算机程序。所述视频信号处理装置包括立体图像输入单元，其以分时方式交替地输入左眼的视频帧和右眼的视频帧；平面存储器，其保持与视频帧重叠的图形数据；读取相位添加单元，其在显示左眼视频帧和右眼视频帧时从平面存储器中读取图形数据的时候给出相位差；以及视频重叠单元，其将读取相位提供有差异的每个图形数据与左眼的视频帧和右眼的视频帧中的每一个重叠。
文档编号H04N13/00GK102572463SQ20111030971
公开日2012年7月11日 申请日期2011年10月13日 优先权日2010年10月13日
发明者秋叶俊哉 申请人:索尼公司