专利名称：立体图像转换装置和方法、立体图像输出装置的制作方法
技术领域：
本文说明的实施方式总体上涉及立体图像转换装置、立体图像输出装置以及立体图像转换方法。
背景技术：
传统地，已开发了一种技术，使观看者可使用平面的视频显示画面识别立体图像。 在该技术中，立体视觉是通过以下方式实现的准备具有对应于人眼之间距离的视差的两种视频；使观看者的右眼视觉识别右眼视频，并使观看者的左眼视觉识别左眼视频。具体地，存在一种技术使观看者通过以下方式识别立体图像的技术以时间分割方式输出右眼视频和左眼视频，并在单个视频显示画面上交替地显示图像；以及控制观看者戴着的一副立体眼镜，使得当显示右眼图像时关闭左眼快门，而当显示左眼图像时关闭右眼快门。此类具有多个视点的多视差图像(右眼视频和左眼视频)是通过各种方法形成的，例如基于从一个或多个输入图像估算的景深(cbpth，深度)生成多视差图像。输入图像通常通过以下方式被转换为此类多视差图像以用于立体图像根据输入图像的特征量(例如，移动和颜色)估算画面的景深；并且根据景深将视差应用至输入图像，以生成视差图像。关于基于从输入图像估算的景深生成此类视差图像，如果用作输入图像的左端和右端的景深信息的景深值与屏幕表面相隔较远，则参考输入图像画面外部。因为没有用作基准的像素存在于要参考的输入图像画面外部，所以难以适当地生成视差图像。如果观看者观看基于此类视差图像的立体图像，则视差图像彼此不一致，并且画面端部看上去被破坏。鉴于以上所述的背景，本发明的目的在于提供一种立体图像转换装置、立体图像输出装置以及立体图像转换方法，能够防止根据视差量通过偏移(shift)原图像的像素生成的立体视频的左端和右端被破坏。
发明内容
总体上，根据一个实施方式，一种立体图像转换装置包括景深估算模块，被配置为生成第一景深图，第一景深图包括输出视频的像素的景深值，其中，景深值基于输入视频的特征量而估算，并且其中，景深值由像素浓淡表示；左端和右端景深校正器，被配置为通过将在离第一景深图的左端和右端中的每一个第一距离内的像素的景深值校正为更接近这样的景深值而生成第二景深图该景深值与当第一距离内的像素位于更接近第一景深图的左端和右端中的每一个时在立体视觉中不向前突出或向后退缩的显示器的屏幕表面相对应；以及视差图像生成器，被配置为通过基于第二景深图的景深值将输入视频的像素水平偏移一定量而生成多视差图像。根据另一实施方式，一种立体图像输出装置包括编码模块，被配置为对视频信号进行编码；立体图像转换装置，其中，该立体图像转换装置被配置为将由编码模块编码的输入视频信号转换为用于立体显示的视频信号；以及视频处理器，被配置为将经转换的用于立体显示的视频信号转换为用于在显示器上显示的格式，并且输出视频信号。其中，该立体图像转换装置包括景深估算模块，被配置为生成第一景深图，该第一景深图包括输入视频的像素的景深值，其中，该景深值基于输入视频的特征量而估算，并且其中，该景深值由像素浓淡表示；左端和右端景深校正器，被配置为通过将距离第一景深图的左端和右端中的每一个第一距离内的像素的景深值校正为更接近这样的景深值而生成第二景深图该景深值与当第一距离内的像素位于更接近第一景深图的左端和右端中的每一个时在立体视觉
中不向前突出或向后退缩的显示器的屏幕表面相对应；以及视差图像生成器，被配置为通过基于第二景深图的景深值使输入视频的像素水平偏移一定量而生成多视差图像。根据又一实施方式，一种立体图像转换方法包括生成第一景深图，该第一景深图包括输入视频的像素的景深值，其中，该景深值基于输入视频的特征量而估算，并且其中，该景深值由像素浓淡表示；通过将距离第一景深图的左端和右端中的每一个第一距离内的像素的景深值校正为更接近这样的景深值而生成第二景深图该景深值与当第一距离内的像素位于更接近第一景深图的左端和右端中的每一个时在立体视觉中不向前突出或向后退缩的显示器的屏幕表面相对应；并且通过基于第二景深图的景深值使输入视频的像素水平偏移一定量而生成多视差图像。
现将参考
实现本发明的各种特征的一般结构。提供附图和相关的说明仅用于示出本发明的实施方式并且不用于限制本发明的范围。图1是根据实施方式的数字电视机外观的示例性透视图；图2是该实施方式中数字电视机的信号处理系统的示例性框图；图3是该实施方式中合成处理器的构造的示例性框图；图4是该实施方式中一副立体眼镜的构造的示例性框图；图5是该实施方式中立体图像转换装置的构造的示例性框图；图6是该实施方式中景深估算模块的构造的示例性框图；图7A至图7B是用于说明该实施方式中的对比度计算器的操作的概念的示例性示图；图8是用于说明该实施方式中移动向量检测器的操作的概念的示例性示图；图9是用于说明该实施方式中的背景区域提取模块和背景向量计算器的操作的概念的示例性示图；图10是用于说明该实施方式中的相对移动向量计算器的操作的概念的示例性示图；图11是用于说明该实施方式中的景深设定模块的操作的概念的示例性示图12是用于说明该实施方式中的景深内插模块的操作的概念的示例性示图；图13是该实施方式中的景深图的示例性示意图；图14是用于说明该实施方式中关于屏幕表面的突出量和景深量的概念的示例性
示图；图15是用于概念性地说明传统生成视差图像的问题的示例性示图；图16是该实施方式中对景深图左侧进行景深校正处理的示例性流程图；图17是用于概念性地说明该实施方式中对应于屏幕表面的景深值的计算的示例
性示图；图18是用于说明本实施方式中景深图左侧加权和到待校正的像素距离之间的关系示例性图示，；图19是用于示意性地说明该实施方式中生成用于立体视频的多视差图像的实例的示例性示图；图20是用于说明该实施方式中从用于立体显示的视频信号搜索视差的方法的示例性示图；以及图21是用于说明该实施方式中将视差向量转换为景深的方法示例性示图。
具体实施例方式图1是用作根据本实施方式的立体图像输出装置的数字电视机I的外观的透视图。如图1中所示，在从正面观看的正视图(对于正面的平面图)中数字电视机I具有矩形的外观。数字电视机I包括壳体2和液晶显示(LCD)面板3。该IXD面板3是从视频处理器20接收视频信号(参考图2)，并显示图像，例如静止图像和动态图像的显示器。壳体2由支撑件4支撑。图2是本实施方式中数字电视机I的信号处理系统的框图。数字电视机I不仅能显示基于用于普通的平面视图(二维)显示的视频信号的视频，而且能显示基于用于立体(三维)显示的视频信号的图像。如图2所示，数字电视机I将天线12接收的数字电视机广播信号通过输入端子13提供至调谐器14，从而使得可选择期望频道的广播信号。然后，数字电视机I将调谐器14选择的广播信号提供至用作解码器的解调和解码模块15并将广播信号解码为数字视频信号、数字音频信号等。随后，数字电视机I将这些信号输出至信号处理器16。信号处理器16对从解调和解码模块15提供的数字视频信号和数字音频信号执行预定的数字信号处理。由数字处理器16执行的预定的数字信号处理包括用于将普通的平面视图(二维)显示的视频信号转换为立体(三维)显示的视频信号的处理；以及用于将立体显示的视频信号转换为平面视图显示的视频信号的处理，随后将进行说明。此外，信号处理器16将数字视频信号输出至合成处理器17，并且将数字音频信号输出至音频处理器18。合成处理器17将屏幕显示(OSD)信号叠加在从信号处理器16提供的数字视频信号上，并输出视频信号。该OSD信号是待叠加的视频信号，诸如，由OSD信号生成器19生成的标题、图形用户界面(GUI)和0SD。在该情况下，从信号处理器16提供的视频信号是用于普通平面视图显示的视频信号，则合成处理器17将OSD信号生成器19提供的OSD信号没有任何变化地叠加在视频信号上，并输出视频信号。相比之下，如果从信号处理器16提供的视频信号是用于立体显示的视频信号，则合成处理器17对从OSD信号处理器19提供的OSD信号执行信号处理，以进行与所接收的立体显示的视频信号相对应的立体显示。随后，合成处理器17将OSD信号叠加在所接收的视频信号上，并输出视频信号。数字电视机将从合成处理器17输出的数字视频信号提供至视频处理器20。视频处理器20将所接收的数字视频信号转换为能在LCD面板3上显示的格式的模拟视频信号。数字电视机I将视频处理器20输出的模拟视频信号提供至LCD面板3，从而将信号显示为图像。音频处理器18将所接收的数字音频信号转换为能够由扬声器22再生的格式的模拟音频信号。通过提供至扬声器22，从音频处理器18输出的模拟音频信号再生为声音。在数字电视机I中，控制器23集中控制所有操作，包括以上所述的各种接收操作。控制器23包括中央处理单元(CPU) 23a。控制器23从配置在数字电视机I主体中的操作模块24接收操作信息，或接收从远程控制器25传送的并由接收器26接收的操作信息，并控 制各个模块，从而反映操作的内容。控制器23使用存储器23b。存储器23b主要包括只读存储器(ROM)，其存储由CPU23a执行的控制程序；随机存取存储器(RAM)，用于为CPU 23a提供工作区域；以及非易失性存储器，其存储各种设定信息、控制信息等。此外，磁盘驱动器27连接至控制器23，并且磁盘驱动器27允许光盘28 (例如数字通用盘(DVD))插入其中并从中弹出。磁盘驱动器27具有在所插入的光盘28上记录数字数据并从光盘28再生数字数据的功能。基于由观看者执行的操作模块24以及远程控制器25的操作，控制器23可如下执行控制记录和再生处理器29对从解调和解码模块15获取的数字视频信号以及数字音频信号进行编码，并将这些信号转换为预定的记录格式；以及将这样转换的信号提供至磁盘驱动器27以记录在光盘28上。此外，基于由观看者执行的操作模块24以及远程控制器25的操作，控制器23可如下执行控制磁盘驱动器27从光盘28读取数字视频信号和数字音频信号；用作解码器的记录和再生处理器29解码信号；以及将这样解码的信号提供至信号处理器16，随后如上所述显示为图像且再生为声音。硬盘驱动器(HDD) 30连接至控制器23。基于由观看者执行的操作模块24和远程控制器25的操作，控制器23可如下执行控制记录和再生处理器29对从解调和解码模块15获取的数字视频信号以及数字音频信号进行编码，以及将这些信号转换为预定的记录格式；并且将这样转换的信号提供至HDD 30以记录在硬盘30a上。此外，基于由观看者执行的操作模块24和远程控制器25的操作，控制器23可如下执行控制HDD 30从硬盘30a读取数字视频信号和数字音频信号；记录和再生处理器29解码信号；将这样解码的这些信号提供至信号处理器16，随后如上所述显示为图像且再生
为声音。输入端子31也连接至数字电视机I。输入端子31用于直接从数字电视机I外部接收数字视频信号和数字音频信号。通过输入端子31接收的数字视频信号和数字音频信号基于由控制器23执行的控制而传送至记录和再生处理器29。接着，将信号提供至信号处理器16，随后如上所述显示为图像且再生为声音。
通过输入端子31接收的数字视频信号和数字音频信号基于由控制器23执行的控制传送至记录和再生处理器29。接着，这些信号通过磁盘驱动器27记录在光盘28上并从光盘28再生，或通过HDD 30记录在硬盘30a上并从硬盘30a再生。
此外，基于由观看者执行的操作模块24和远程控制器25的操作，控制器23执行磁盘驱动器27和HDD 30之间的控制。具体地，记录在光盘28中的数字视频信号和数字音频信号被记录至硬盘30a，而记录在硬盘30a中的数字视频信号和数字音频信号被记录至光盘28。
网络接口 32连接至控制器23。网络接口 32经由输入/输出端子33连接至外部网络34。多个(图2中两个)网络服务器35和36连接至网络34。网络服务器35和36 通过使用经由网络34的通信功能提供各种类型的服务。因此，控制器23经由网络接口 32、 输入/输出端子33以及网络34执行信息通信，从而访问网络服务器35和36之中所期望的网络服务器。结果，控制器23可使用在服务器上提供的服务。
数字电视机I可通过操作远程控制器25的播放和停止键以及播放/暂停键来播放、停止和暂停从硬盘27获取的视频、音频等的信息。此外，数字电视机I可通过操作远程控制器25的向前跳进键和向后跳进键对由硬盘驱动器27和HDD 30播放的视频、音频等的信息执行所谓的向前跳进和向后跳进。在向前跳进和向后跳进中，信息在相对于播放方向的向前方向和向后方向上跳过恒定的量。此外，数字电视机I可通过操作远程控制器25的快进键和快退键对由硬盘驱动器27和HDD 30播放的视频、音频等的信息执行所谓的快进播放和快退播放。在快进播放和快退播放中，信息在相对于播放方向的向前方向和向后方向上以较快的速度连续播放。
图3是本实施方式中合成处理器17的构造的框图，如图3所示，合成处理器17将从信号处理器16输出的数字视频信号经由输入端子37提供至用作视频生成器16的视频转换器38。
如果所接收的视频信号是用于立体(三维)显示的视频信号，则视频转换器38将视频信号转换为特定的视频格式，并且将视频信号输出至图像质量控制器39以及视差量提取模块40。换言之，对于立体显示的视频信号，采用各种类型的视频格式。视频格式的实例包括帧封装(上下)方法、并排方法和交错方法。在帧封装(上下)方法中，在一个帧同步期间中，右眼视频帧在左眼视频帧之后传送。在并排方法中，在一个水平期间中，右眼视频线在左眼视频线之后传送。此外，各个视频格式采用各种类型的视频尺寸、扫描方法 (隔行/逐行)等。因而，在根据本发明实施方式的数字电视机I中，视频转换器38对所接收的立体显示的视频信号执行适当的处理，例如缩放和隔行/逐行(IP)转换。从而，视频转换器38将视频信号转换为帧序列方法的视频格式，其具有在水平方向上1920像素并且在垂直方向上1080线的视频尺寸。随后，视频转换器38将视频信号输出至图像质量控制器39和视差量提取模块40。在帧序列方法中，L(左眼视频)和R(右眼视频)对于各个帧以时分方式输出，并且在IXD面板3上交替显示。
换言之，根据本发明实施方式的数字电视机I除了帧序列方法的视频格式之外还能处理用于立体显示的各种类型的视频格式。
此外，视频转换器38执行超分辨率处理。该超分辨率处理是一种技术，用于通过比较临时低分辨率图像与通过对原始输入图像施加锐化掩模(sharp mask)所强调的图像来恢复本应包含于原始输入图像中的图像信号，该临时低分辨率图像是通过对被上转换的临时高分辨率图像进行下转换而获得的。比较和恢复重复得越多，超分辨率处理就变得越准确。因而，执行一次比较和恢复的处理被定义为超分辨率处理，而执行多次比较和恢复的处理也被定义为超分辨率处理。如果时间足够，如在观看者随后观看记录的图像的情况下， 以及超分辨率处理导致的时间延迟是可接受的情况下，可以执行重复多次比较和恢复的超分辨率处理。
然而，由视频转换器38执行的超分辨率处理的方法不限于以上所述的方法，而是可应用多种方法。例如，通过从低分辨率或中分辨率图像估算原始分辨率值以增加像素来恢复高分辨率图像信号。超分辨率处理包含分析图像自身的分辨率直方图，并根据分辨率执行最佳的高分辨率处理。例如，该超分辨率处理包含分析以1920X 1080HD分辨率接收的视频信号的视频自身的分辨率直方图，并且根据该分辨率(例如，1920 X 1080分辨率)锐化该视频。在该情况下，当分辨率未被超分辨率处理改变时，可改善用户享用的图像分辨率感觉。
通过以此方式在视频转换器38中执行超分辨率处理，可实现更高分辨率的立体图像。特别地，在帧封装方法、并排方法和交错方法中输入原始视频一半分辨率的图像。因此，可通过超分辨率获得分辨率接近原始视频分辨率的立体图像。
此外，视频转换器38具有通过对帧进行内插和外插而上转换帧率的功能。使用该功能，可以较低的帧率来上转换视频。特别地，由于帧序列方法中视频数据的帧率通常较低，所以可通过上转换帧率来实现较高帧率的立体图像。
图像质量控制器39可基于由控制器23对所接收到的视频信号执行的控制，执行图像质量调节处理，如亮度调节、对比度调节和色相调节。然后图像质量控制器39将视频信号与垂直同步信号同步，并将视频信号输出至合成器41。
视差量提取模块40比较通过视频转换器38被转换为帧序列方法的视频格式的用于立体显示的视频信号的左眼视频帧中的视频和右眼视频帧中的视频，从而提取视差量。 视差量提取模块40通过以下方式提取视差量使用在左眼视频帧中显示的物体的位置作为参考；并且通过像素数量表示在右眼视频帧中显示的物体水平方向上的位置间隙。通过使用用于检测以连续帧显示的单个物体的移动位置的移动向量技术，可有利于实现视差量提取处理。
具体地，通过将I至1920分配给画面上以水平方向配置的1920个像素，并从在左眼视频帧中显示的物体的预定位置中的像素数量减去在右眼视频帧中显示的物体的预定位置中的像素数量，可通过像素数量来表示视差量。
在该情况下，如果视差量是负值，则右眼视频表示比左眼视频更靠近右侧，物体视频被形成为更靠近相对于画面的后侧。相比之下，如果视差量是正值，则右眼视频表示比左眼视频更靠近左侧，并且物体视频被形成为更靠近相对于画面的前侧。
视差量提取模块40提取的视差量提供至用作图像生成器的OSD位置计算器42。 根据所输入的视差量，当立体地显示OSD时，OSD位置计算器42执行计算以校正OSD的显示位置，并输出表示计算结果的视差控制信号。
在视差量提取模块40提取的视差量在时间轴方向上没有波动的状态下，或在视差量在时间轴方向上逐渐波动的视频显示状态下，当立体地显示OSD时，OSD位置计算器执行用于校正OSD显示位置的计算。换言之，如果视差量在时间轴方向上大幅波动，则视频在景深方向上显著移动。由于观看者关注在此状态下的视频，所以如果待叠加的OSD也在景深方向上显著移动，则难以看见0SD。因而，如果视差量大幅地波动，则OSD位置计算器42 输出表示当视差量的波动较小时计算的结果的视差控制信号。
从OSD位置计算器42输出的视差控制信号提供至OSD立体转换器43。从OSD信号生成器19输出的OSD信号经由输入端子44提供至OSD立体转换器43。基于视差控制信号，OSD立体转换器43从所接收的OSD信号，生成待叠加在左眼视频帧上的左眼OSD信号和待叠加在右眼视频帧上的右眼OSD信号。然后，OSD立体转换器43将左眼OSD信号和右眼OSD信号输出至OSD缓冲器45，并使OSD缓冲器存储这些信号。
具体地，如果从OSD信号生成器19提供用于调节亮度的OSD信号，则OSD立体转换器43使OSD缓冲器45如下存储左眼OSD信号和右眼OSD信号用于调节亮度的左眼OSD 和用于调节亮度的右眼OSD分别显示在左眼视频帧和右眼视频帧中，它们具有由视频转换器38生成的水平方向上1920像素和垂直方向上1080线的视频尺寸的帧序列方法的视频格式。用于调节亮度的左眼OSD和用于调节亮度的右眼OSD具有基于视差控制信号的像素数量的在水平方向上的视差量(位置间隙)。存储在OSD缓冲器45的左眼OSD信号和右眼 OSD信号与垂直同步信号同步地输出至合成器41。
因而，合成器41将从图像质量控制器39输出的视频信号和从OSD缓冲器45输出的视频信号合成。在此情况下，从OSD缓冲器45输出的左眼OSD信号叠加在从图像质量控制器39输出的左眼视频帧的视频信号上。相反，从OSD缓冲器45输出的右眼OSD信号叠加在从图像质量控制器39输出的右眼视频帧的视频信号上。
由合成器41合成的视频信号被提供至帧转换器46，并且视频信号的垂直同步频率转换为两倍，即，使帧频率为两倍速。结果，视频信号经由视频处理器20从输出端子47 输出至IXD面板3的IXD 3a。从而，IXD面板3的IXD 3a交替显示叠加有左眼OSD信号的左眼视频 帧以及叠加有右眼OSD信号的右眼视频帧。换言之，用作视频显示器的LCD 3a具有以时分方式输出左眼视频帧和右眼视频帧的功能。
此外，帧转换器46生成的帧同步信号提供至眼镜控制器48。基于从帧转换器46 提供的帧同步信号，眼镜控制器48生成左眼快门控制信号和右眼快门控制信号，并经由输出端子49输出这些信号至观看者佩戴的一副立体眼镜。
图4是本实施方式中一副立体眼镜50的构造的框图。如图4所示，这副立体眼镜 50包括一副液晶快门眼镜51和液晶快门眼镜控制器52。
这副液晶快门眼镜51包括用于允许或阻挡左眼视线的左眼液晶快门(L快门)511，以及用于允许或阻挡右眼视线的右眼液晶快门(R快门)512。观看者佩戴这副液晶快门眼镜51，并通过左眼和右眼交替地观看交替显示的左眼图像和右眼图像，从而在身体上感受立体视觉。
如图4中所示，合成处理器17输出用于使数字电视机I交替地显示左眼图像和右眼图像的帧信号，并且液晶快门眼镜控制器52接收与帧数据一起从合成处理器17输出的帧同步信号。基于该帧同步信号，液晶快门眼镜控制器52生成用于打开和关闭L快门511 的快门控制信号L以及用于打开和关闭R快门512的快门控制信号R，并将这些信号提供至这副液晶快门眼镜51。液晶快门眼镜控制器52包括自动调节器521，其自动调节快门控制信号L和快门控制信号R。
合成处理器17的眼镜控制器48执行控制使得当显示左眼视频时，用于这副立体眼镜50的右眼的R快门关闭，而当显示右眼视频时，用于这副立体眼镜50的左眼的L快门关闭。使用该控制，观看者可识别立体视频。
如果从信号处理器16输出的数字视频信号是用于普通的平面视图(二维)显示的视频信号，则以帧封装方法的视频格式从视频转换器38输出的左眼视频帧和右眼视频帧具有完全相同的视频。从而，由视差量提取模块40提取的视差量为O。因此，OSD立体转换器43使OSD缓冲器45存储从OSD信号生成器19提供的OSD信号，使得OSD信号以帧序列方法的视频格式显示在左眼视频帧和右眼视频帧中相同的位置。因而，叠加有OSD信号的用于平面视图(二维)显示的视频信号从合成器41输出，并且通过帧转换器46使其帧频率速度加倍。随后，视频信号经由视频处理器20从输出端子47输出至LCD面板3的LCD 3a，并显示为普通二维显示的视频。
当显示OSD时，基于待立体显示的左眼视频帧和右眼视频帧之间的视差量，数字电视机I确定左眼OSD信号和右眼OSD信号之间的视差量。然后数字电视机I分别合成左眼和右眼视频帧中的视频信号以及左眼和右眼OSD信号。利用该配置，可在立体视频上显示0SD，而不会感觉到任何异样。这允许了用户可在观看立体视频的同时读取显示的0SD， 并通过在观看立体视频时显示OSD而以简单的方式执行诸如各种调节和设定的操作。因此，观看者可更有效地处理0SD。
以对根据本发明的数字电视机I中显示立体图像的同时显示OSD的情况进行了说明。然而，待显示的信息不限于0SD。例如，除了基于从广播、光盘28、硬盘30a、或网络服务器35和36获取的视频信号的显示图像以外，本技术还可广泛地应用于由数字电视机I独立生成并能在其上显示的画面显示信号。
将详细说明根据本实施方式的数字电视机I的信号处理器16执行的立体图像转换处理。立体图像转换处理是用于将普通的平面视图(二维)显示的视频信号(输入信号) 转换为立体(三维)显示的视频信号的处理。图5是在本实施方式中信号处理器16的立体图像转换器160的构造的框图。如图5所示，立体图像转换器160用作立体图像转换装置，并且包括景深估算模块161、突出量/景深量设定模块162、左端和右端景深校正器163 以及视差图像生成器164。
景深估算模块161基于作为从解调和解码模块15提供的数字视频信号的输入图像的特征量(例如移动和颜色)来估算画面中的景深值，从而生成景深图。
现将详细说明景深估算模块161所采用的估算景深值的方法的实例。图6是本实施方式中景深估算模块161的构造的框图。如图6中所示，景深估算模块161包括对比度计算器171、移动向量检测器172、背景区域提取模块173、背景向量计算器174、相对移动向量计算器175、景深设定模块176以及景深内插模块177。
对比度计算器171接收从调解和解码模块15提供的二维数字视频信号。对比度计算器171计算二维图像中各个区域的对比度，并输出该对比度至移动向量检测器172。图 7A和图7B是说明本实施方式中对比度计算器171的操作的概念的示图。如图7A所示，该对比度计算器171将二维图像分割为预定尺寸的矩形区域。然后对比度计算器171获得各个区域内相邻像素的像素值之间的差异，从而计算每个区域中的对比度。此外，如图7B所示，对比度计算器171用A、B和C标记各个区域，使得对比度值基于对比度的计算结果按A、 B和C的顺序降低。
移动向量检测器172仅对标记有A和B的区域计算移动向量(特征量)并将移动向量输出至背景区域提取模块173。图8示出了计算移动向量(特征量)的状态。
背景区域提取模块173将通过对比度计算器171标记为B的区域确定为背景区域，并将背景区域输出至背景向量计算器174。
背景向量计算器174计算背景区域中的移动向量的平均值，并且将平均值确定为背景向量。然后，背景向量计算器174将背景向量输出至相对移动向量计算器175。图9示出了计算背景向量的状态。
相对移动向量计算器175通过从标记有A和B的区域中的移动向量减去背景向量来计算相对移动向量，并将相对移动向量输出至景深设定模块176。图10示出计算相对移动向量的状态。
景深设定模块176参考相对移动向量估算标记有A和B的区域的景深值，并将景深值输出至景深内插模块177。例如，景深设定模块176，确定具有较大的相对移动向量的区域位于前侧，并且确定具有较小的相对移动向量的区域位于后侧。图11示出该状态。
景深内插模块177对于标记有C的区域用与其相邻区域的景深值进行内插。景深内插模块177例如用在相邻区域的景深值中占多数的景深值对该区域进行内插。图12示出了该状态。
此外,在内插之后，景深内插模块177将景深图M输出至左端和右端景深校正器 163，其中各个像素的景深值由像素的浓淡(灰度)表示。图13是本实施方式中景深图M 的实例的示意图。如图13所示，景深图M是这样的图像数据，其中景深由灰度级表示，并且像素越暗，像素就越位于前侧。
返回参考图5，突出量/景深量设定模块162设定从外部输入的相对于LCD面板3 的屏幕表面的突出量和景深量。图14示出了本实施方式中相对于屏幕表面的突出量和景深量的概念。图14示出的LCD面板3的屏幕表面是在立体视觉中既不向前突出也不向后退缩的表面。相对于LCD面板3的屏幕表面的突出量和景深量不限于从外部输入的量，并且可以是在突出量/景深量设定模块162中预先设定的量。
左端和右端景深校正器163对位于离开由景深估算模块161生成的景深图M的左端和右端预定距离内的像素的景深值进行校正。左端和右端景深校正器163将各个景深值校正为当像素位于靠近端部时变得更靠近对应于IXD面板3的屏幕表面的景深值。
为何要以此种方式校正景深图M的左端和右端的景深值的原因如下。在如图15 示出的传统视差图像生成中，二维像素视频的像素基于景深值在水平方向上偏移，从而生成多视差图像(左眼视频和右眼视频)。在该情况下，如果使景深图M左端和右端的景深值与图15示出的屏幕表面离得较远，将参考输入图像的画面的外部。然而，没有用作基准的像素存在于待参考的输入图像的画面的外部，所以难以适当地生成视差图像。如果观看者基于这样的视差图像观看立体视频，视差图像将与其他视差图像不一致，并且画面的端部看上去被破坏。
将参考图16中的流程图说明由左端和右端景深校正器163执行左端和右端景深校正处理以解决以上所述的问题。图16中的流程图示出了本实施方式中对从景深估算模块161输出的景深图M的左端的景深校正处理的流程。
如图16所示，左端和右端景深校正器163基于由突出量/景深量设定模块162设定的突出量和景深量计算对应于LCD面板3的屏幕表面的景深值Dlis (SI)。如图17所示， 假设的DMAX是最大景深值，Z+是最大突出量，并且Z_+Z+是景深范围，对应于LCD面板3的屏幕表面的景深值D5is通过以下等式(I)进行计算
D 屏幕=DMAX*Z+/(Z-+Z+)(I)
随后，左端和右端景深校正器163确定离像素的景深值待校正的画面端部的任意距离d(S2)。要由左端和右端景深校正器163校正的目标是从景深估算模块161输出的景深图M的左端部分和右端部分。需要将从景深图M的画面端部至待校正的像素的距离d设定为等于或大于当视差图像生成器164在随后阶段生成视差图像时获得的最大偏移量。
然后，左端和右端景深校正器163初始化像素数量X (X = O) (S3)，并重复以下说明的S5至S8的处理，直到像素X的数量达到至待校正像素的距离d (在S4的“是”)。
如果左端和右端景深校正器163确定像素的数量X小于至待校正的像素的距离 d(在S4的“否”)，左端和右端景深校正器163进行至S5，并计算加权系数W。在本实施方式中，如图18所示，加权系数W在离景深图M的画面左端距离d内线性降低。在本实施方式中，当校正景深值时，线性加权用作加权系数W。然而，并不限于此，在不参考画面外部的情况下，可使用其他加权曲线。
随后，左端和右端景深校正器163获得当前(校正之前)的景深值D(x)(S6)。然后，左端和右端景深校正器163通过等式(2)计算校正的景深值D' (X)，然后用校正的景深值D/ (X)替代景深值D (X) (S7)。
D' (X) = W*D屏幕+ (1. 0-W)*D(x)(2)
然后，左端和右端景深校正器163在像素数量X上加一(S8)，并且进行至S4。
如果左端和右端景深校正器163确定这样处理的像素数量X达到距离d (在S4的 “是”)，则该处理终止。
上述景深校正处理也对景深图M的右端待处理的像素执行。
通过执行以上所述的处理，左端和右端景深校正器163生成校正的景深图M'。校正的景深图W通过以下方式获得将位于离景深估算模块161生成的景深图M的左端和右端预定距离内的像素的景深值校正为当像素位于更靠近端部时更靠近对应于IXD面板3 的屏幕表面的景深值。
返回参考图5，视差图像生成器164从输入图像和校正的景深图W生成用于立体视频的多视差图像于。更详细地，视差图像生成器164使二维图像的输入图像的像素基于校正的景深图M'的景深值在水平方向上偏移预定量，从而生成多视差图像(左眼视频和右眼视频)，用于立体视频。
图19是示意性地说明本实施方式中用于立体视频的多视差图像生成的实例。如图19所示，在从输入图像和校正景深图M'生成的用于立体视频的多视差图像中，如果左端和右端的图像位于前侧，其景深将从前侧至LCD面板3的屏幕表面逐渐增加。相反，如果左端和右端的图像位于后侧，其景深将从LCD面板3的屏幕表面至后侧逐渐增加。结果，多视差图像看上去具有疑似的边框。
如上所述，根据本实施方式的用作立体图像输出装置的数字电视机I使用校正的景深图M'，景深图M'是通过以下方式获得的将离左端和右端预定距离内的景深校正为靠近对应于在立体视觉中既不向前突出也不向后退缩的屏幕表面的景深值。结果，使输入图像的左端和右端的景深值不远离屏幕表面，由此可不参考输入图像的左端和右端的画面外部而生成用于立体视频的多视差图像。因此，可防止通过根据视差量偏移原图像的像素生成的用于立体视频的多视差图像的左端和右端被破坏。
在本实施方式中，用于将普通平面示图(二维)显示的视频信号(输入视频)转换为用于立体(三维)显示的视频信号的处理已作为数字电视机I的信号处理器16执行的立体图像转换处理进行了说明。然而，立体图像转换处理不限于此。换言之，信号处理器 16的景深估算模块161可通过以下方式生成景深图使用用于立体(三维)显示的视频信号(即，二视差图像(立体图像))作为输入视频；并且基于用于立体显示的视频信号(二视差图像)的特征量(例如，移动和颜色)估算画面中的景深值。此外，各种视频格式适用于这样的用于立体显示的视频信号(二视差图像)。视频格式的实例包括帧序列方法、并排方法和上下方法。在帧序列方法中，左眼视频和右眼视频以时分方式交替地显示。在并排方法中，画面分为左半部和右半部，并且在右半部显示右眼视频并且在左半部显示左眼视频。在上下方法中，屏幕分为上半部和下半部，并且在下半部显示右眼视频且在上半部显示左眼视频。
更具体地，如图20所示，景深估算模块161为各个像素框在用于立体显示(二视差图像)的视频信号中搜索从左眼图像到右眼图像的对应点。随后，如图21所示，景深估算模块161确定具有朝向左的视差向量的像素看上去在前侧，并且具有朝向右的视差向量的像素看上去在后侧。然后，景深估算模块161生成这样的景深图M，其中各个像素的景深值由像素的浓淡(灰度)表示，并将景深图M输出至左端和右端景深校正器163。
在根据本发明实施方式的数字电视机I和一副立体眼镜50中，采用了交替显示左和右视频并且与其同步地控制液晶快门的时分显示方法。然而，显示方法并不限于此。例如，也可采用直接示图显示方法，如Xpol方法和投射显示方法。在Xpol方法中，对于扫描线在不同方向上偏光的偏光透镜附在视频显示器的前表面并使用一副偏光眼镜。
此外，根据本实施方式的立体图像输出装置也适用于无眼镜方法中的数字电视机。在这样的无眼镜方法的数字电视机中，不使用一副立体眼镜50和一副偏光眼镜，而在 IXD面板13的屏幕表面上配置透镜片。
在本发明实施方式中，已经说明了立体图像输出装置应用于数字电视机I的情况。可选地，立体图像输出装置可应用于例如HDD记录器、调谐器和机顶盒。
此外，本文说明的系统的各模块可实现为软件应用、硬件和/或软件模块、或一个或多个电脑上的部件，如服务器。虽然分开示出了各种模块，但它们可以共用一部分或全部相同的基本逻辑和编码。
虽然已对特定实施方式进行了说明，但这些实施方式仅以示例的方式示出，而并未旨在限制本发明的范围。事实上，本文所述的新的实施方式可以各种其他形式实现；此夕卜，在不背离本发明的精神的情况下，可对本本所述的实施方式进行各种省略、替换和改变。所附权利要求和它们的等同物旨在包含落入本发明范围和精神内的这样的形式和修改。
权利要求
1.一种立体图像转换装置，包括景深估算模块，被配置为生成第一景深图，所述第一景深图包括输入视频的像素的景深值，其中，所述景深值基于所述输入视频的特征量而估算，并且其中，所述景深值由像素浓淡表示；左端和右端景深校正器，被配置为通过将距离所述第一景深图的左端和右端中的每一个第一距离内的像素的景深值校正为更接近这样的景深值而生成第二景深图该景深值与当所述第一距离内的像素位于更接近所述第一景深图的左端和右端中的每一个时在立体视觉中不向前突出或向后退缩的显示器的屏幕表面相对应；以及视差图像生成器，被配置为通过基于所述第二景深图的景深值使所述输入视频的像素水平偏移一定量而生成多视差图像。
2.根据权利要求1所述的立体图像转换装置，还包括突出量和景深量设定模块，被配置为设定关于所述显示器的屏幕表面的突出量和景深量，其中，所述左端和右端景深校正器被配置为，基于所设定的突出量和所设定的景深量，通过等式(I)计算对应于所述显示器的屏幕表面的景深值D 屏幕=DMAX*Z+/ (Z-+Z+)(I)其中，Dlis表示对应于所述显示器的屏幕表面的景深值，DMAX表示最大景深值，Z+表示最大突出量，并且Z_+Z+表示景深范围Z_+Z+。
3.根据权利要求1或2所述的立体图像转换装置，其中所述左端和右端景深校正器被配置为将所述第一距离设定为等于或大于当所述视差图像生成器生成所述多视差图像时获得的最大偏移量。
4.根据权利要求1至3中任一项所述的立体图像转换装置，其中，所述左端和右端景深校正器被配置为在距离所述景深图的左端和右端中的每一个的各端部所述第一距离内减小加权系数，并通过等式(2)校正所述第一距离内的所述像素的景深值D' (X) = W*D 屏幕+ (LO-W) *D(x)(2)其中，D' (X)表示校正的景深值,W表示所述加权系数,Dlis表示对应于所述显示器的屏幕表面的景深值，并且D (X)表示校正之前的景深值。
5.一种立体图像输出装置，包括编码模块，被配置为对视频信号进行编码；立体图像转换装置，包括景深估算模块，被配置为生成第一景深图，所述第一景深图包括输入视频的像素的景深值，其中，所述景深值基于所述输入视频的特征量而估算，并且其中，所述景深值由像素浓淡表示；左端和右端景深校正器，被配置为通过将距离所述第一景深图的左端和右端中的每一个第一距离内的像素的景深值校正为更接近这样的景深值而生成第二景深图该景深值与当所述第一距离内的像素位于更接近所述第一景深图的左端和右端中的每一个时在立体视觉中不向前突出或向后退缩的显示器的屏幕表面相对应；以及视差图像生成器，被配置为通过基于所述第二景深图的景深值使所述输入视频的像素水平偏移一定量而生成多视差图像，其中，所述立体图像转换装置被配置为将由所述编码模块编码的输入视频信号转换为用于立体显示的视频信号；以及视频处理器，被配置为将经转换的用于立体显示的视频信号转换为用于在显示器上显示的格式，并且输出所述视频信号。
6.一种立体图像转换方法，包括生成第一景深图，所述第一景深图包括输入视频的像素的景深值，其中，所述景深值基于所述输入视频的特征量而估算，并且其中，所述景深值由像素浓淡表示；通过将距离所述第一景深图的左端和右端中的每一个第一距离内的像素的景深值校正为更接近这样的景深值而生成第二景深图该景深值与当所述第一距离内的像素位于更接近所述第一景深图的左端和右端中的每一个时在立体视觉中不向前突出或向后退缩的显示器的屏幕表面相对应；并且通过基于所述第二景深图的景深值使所述输入视频的像素水平偏移一定量而生成多视差图像。
7.根据权利要求6所述的立体图像转换方法，包括设定关于所述显示器的屏幕表面的突出量和景深量，其中，基于所设定的突出量和所设定的景深量，通过等式(I)计算对应于所述显示器的屏幕表面的景深值D 屏幕=DMAX*Z+/ (Z>Z+)(I)其中，Dlis表示对应于所述显示器的屏幕表面的景深值，DMAX表示最大景深值，Z+表示最大突出量，并且Z_+Z+表示景深范围Z_+Z+。
8.根据权利要求6或7所述的立体图像转换方法，其中，生成第二景深图包括将所述第一距离设定为等于或大于当生成所述多视差图像时获得的最大偏移量。
9.根据权利要求6至8中任一项所述的立体图像转换方法，其中，生成第二景深图包括在距离所述景深图的左端和右端中的每一个的各端部所述第一距离内减小加权系数，并通过等式(2)校正所述第一距离内的所述像素的景深值D' (X) = W*D 屏幕+ (LO-W) *D(x)(2)其中，D' (x)表示校正的景深值，W表示加权系数^胃胃表示对应于所述显示器的屏幕表面的景深值，并且D (X)表示校正之前的景深值。
全文摘要
本发明涉及立体图像转换装置和方法、立体图像输出装置。根据一个实施方式，立体图像转换方法包括生成第一景深图，该第一景深图包括输入视频的像素的景深值，其中，该景深值基于输入视频的特征量而估算，并且其中，景深值由像素浓淡表示；通过将距离第一景深图的左端和右端中的每一个第一距离内的像素的景深值校正为更接近这样的景深值而生成第二景深图该景深值与当第一距离内的像素位于更接近第一景深图的左端和右端中的每一个时在立体视觉中不向前突出或向后退缩的显示器的屏幕表面相对应；并且通过基于第二景深图的景深值使输入视频的像素水平偏移一定量而生成多视差图像。
文档编号H04N13/04GK103024408SQ20121027581
公开日2013年4月3日 申请日期2012年8月3日 优先权日2011年9月22日
发明者押切亮 申请人:株式会社东芝