专利名称：图像处理器、图像显示装置和图像拍摄装置的制作方法
技术领域：
本发明涉及一种生成三维图像的图像处理器、一种包括该图像处理器的图像显示装置、以及一种包括该图像处理器的图像拍摄装置。
背景技术：
提出了一种设备，利用并排布置的左眼和右眼摄像机同时拍摄相同对象(在下文中简单称作同一对象)的图像，通过对两个摄像机生成的两个图像数据(在下文中，简单称作图像)执行不同图像处理，来生成三维图像(也被称作立体图像)(参见专利文献I)。通过交叠两个图像而生成的图像之间间隙被称作视差。该视差根据摄像机到对象的距离而变化。
例如，假定两个摄像机置于一条直线上，其中，两个摄像机的光轴平行布置以拍摄同一对象的图像。在这种情况下，如果对象相距较远，则对象的视差基本上为零。随着摄像机与对象之间距离的缩短，对象的视差增大。因此，如果基于包括具有较大视差的对象在内的两个图像生成和输出三维图像从而进行显示，则对象的投影量增加(看起来更接近)，并且三维效果增强。然而，如果增大的视差大于特定级别，则左眼感知到的图像不会与右眼感知到的图像融合，出现双图像，不可能实现立体观看(融合界限)。已知由于过度视差而引起的双图像引起视觉疲劳。因此。为了舒适地观看三维图像，在显示图像时必须限制对象的深度(投影、下压)。该限制在非专利文献I中公开。例如，专利文献I公开了一种生成三维图像而不会由于过度视差而导致生成双图像的技术。在专利文献I中公开的技术中，对深度范围进行非线性控制，使得在观察者的三维可观看范围内显示三维图像，以生成观察者易于以三维方式观看到的图像。现有技术文献专利文献专利文献I :日本待审专利公开No. 2005-91508非专利文献非专利文献I :3D consortium 3DC Safety Guidelines, URL http://www. 3dc.gr. jp/jp/scmt_wg_rep/3dc_guidelinej_200812. pdf
发明内容
本发明要解决的问题如果期望实现一种增强的三维效果的主对象不具有接近最大与最小可拍摄视差之间的中间值的视差，则存在无法充分获取主对象的三维效果的问题。具体参照图16和17描述该问题。图16是主对象1600、主对象1601和背景1602的示意图，并且从摄像机(未示出)到主对象1600的距离最短，按照主对象1601和背景1602的顺序，到摄像机的距离增大。
如上所述，针对通过置于一条直线上的两个摄像机拍摄主对象1600、1601和背景1602而获取的图像，执行不同图像处理，以生成三维图像，输出该三维图像以在三维图像显示装置(在下文中，简单称作显示装置)上显示。由于到摄像机的距离按照主对象1600、1601和背景1602的顺序增大，因此当Y表示主对象1600的视差，β表示主对象1601的视差时，满足Y > β。假定主对象1600的视差Y和主对象1601的视差β不是接近最大与最小可拍摄视差之间的中间值的视差。背景1602位于到摄像机最远的距离，因此背景1602具有最小视差α。图17是当通过对拍摄图16中所示主对象1600、1601和背景1602而获取的图像执行不同图像处理生成三维图像时观看者感知到的并在显示装置的显示平面P上显示的三维图像的状态的示意图。显示平面P上的字符“a”指示显示平面的位置。在位置1700附近感知到主对象1600 ;在位置1701附近感知到主对象1601 ;并且在位置1702附近感知到背景1602。当以这样的方式在显示平面P上显示图16中所示主对象1600、1601和背景1602的三维图像时,观察者感知到三维图像,使得主对象1600和1601被下压(depressed)在背景1602附近。因此，无法充分获取对象的三维效果，导致将削弱的三维效果感知作为三维图像。具体地，当主对象的视差与背景或前景的视差基本上相同时，主对象的三维效果显著劣化。本发明的目的是解决上述问题，并且提供一种图像处理器，生成观察者易于以三维方式观看到并难以引起观察者疲劳的三维图像，并可以容易地调节三维图像中任意部分的三维效果。解决问题的手段本发明的第一技术手段是一种图像处理器，使用来自一个视点的捕获图像和与捕获图像相对应的视差图像作为输入，以基于捕获图像和视差图像生成三维图像，该图像处理器包括视差校正部，用于在预定范围内校正视差图像的视差；以及主对象确定部，用于确定捕获图像的至少一个主对象，其中图像处理器对视差图像的视差进行转换，使得与主对象确定部所确定的至少一个主对象的图像相对应的视差达到预定值，并基于根据经转换的视差和捕获图像的视差图像来生成三维图像。本发明的第二技术手段是一种图像处理器，使用通过从两个观看位置拍摄同一对象而获取的两个捕获图像作为输入，以基于捕获图像生成三维图像，该图像处理器包括视差计算部，用于根据两个图像计算视差；视差校正部，用于在预定范围内校正视差计算部所计算的视差；以及主对象确定部，用于确定捕获图像的至少一个主对象，其中图像处理器对视差计算部所计算的视差进行转换，使得与主对象确定部所确定的至少一个主对象相对应的视差达到预定值，并基于经转换的视差和捕获图像生成三维图像。第三技术手段是第一或第二技术手段的图像处理器，其中，基于规定了输入视差与输出视差之间的关系的线性函数，将视差图像的视差转换为预定值，并通过连接具有不同斜率的多个线段来做出示出了输入视差与输出视差之间的关系的图。第四技术手段是第一至第三技术手段中任一个的图像处理器，其中，预定值是零或基于零的预定范围内的值。
第五技术手段是第一至第四技术手段中任一个的图像处理器，包括模糊处理部，用于基于视差图像和捕获图像，对与具有等于或小于第一预定值或等于或大于第二预定值的视差的对象相对应的捕获图像的像素值执行模糊处理。第六技术手段是第五技术手段的图像处理器，其中，模糊处理部与捕获图像中主对象的视差的绝对值成比例地增加与主对象的像素值相对应的模糊量。第七技术手段是一种图像显示装置，包括第一至第六技术手段中任一个的图像处理器。第八技术手段是一种图像拍摄装置，包括第一至第六技术手段中任一个的图像处理器。本发明的效果本发明的图像处理器生成观察者易于以三维方式观看到并难以引起观察者疲劳的三维图像，并且可以通过视差转换容易地调节三维图像中任意部分的三维效果，并且可以容易地增强三维效果并改变主对象的深度感知。
图I是第一实施例中描述的图像处理器的功能框图。图2是用于说明视差图像的图。图3是对视差归一化的视差校正等式的图。图4是削减视差的视差校正等式的图。图5是当观察者观看显示装置时左图像与右图像之间的视差和深度量的关系图。图6是说明当以设置为零并且增加/减小到正值/负值的视差显示对象时观察者如何感知对象的示意图。图7是对通过归一化校正的视差执行视差转换的视差转换等式的图。图8是对通过削减校正的视差执行视差转换的视差转换等式的图。图9是对通过削减校正的视差执行视差转换的视差转换等式的图。图10是观看者感知到的视差转换之后的三维图像的状态的示意图。图11是第二实施例中描述的图像处理器的功能框图。图12是视差扩大的示例的图。图13是对通过归一化校正的视差执行视差转换的视差转换等式的图。图14是第三实施例中描述的图像处理器的功能框图。图15是削减视差的视差校正等式的图。图16是主对象和背景的示意图。图17是观察者感知到的三维图像的状态的示意图。
具体实施例方式[第一实施例]现在参照附图详细描述本发明。附图中的配置夸张地示出以便于理解，并且具有与实际配置不同的间隔和尺寸。图I是第一实施例中描述的本发明的图像处理器100的功能框图。
图像处理器100包括视差校正部101、主对象确定部102、视差转换部103和图像生成部104，并且使用来自一个视点的捕获图像和与捕获图像相对应的视差图像作为输入，以基于捕获图像和视差图像来生成三维图像。向视差校正部101输入从外部设备(未示出)等输入的视差图像。向主对象确定部102和图像生成部104输入从外部设备等输入的捕获图像。视差校正部101在预定范围内校正输入视差图像的视差，并向视差转换部103输出存储经校正视差的视差图像。稍后描述视差图像。主对象确定部102确定输入的捕获图像的主对象，并向视差转换部103输出主对象的位置信息。视差转换部103基于从主对象确定部102输入的主对象的位置信息，从自视差校正部101输入的视差图像中提取与主对象的图像相对应的(经校正)视差。视差转换部 103基于预定的转换等式来转换提取的视差，并向图像生成部104输出存储经转换视差的视差图像。具体地，视差转换部103对视差图像的视差进行转换，使得与主对象确定部102所确定的主对象的图像相对应的视差达到预定值。预定值是当在三维显示装置上显示主对象时使得在显示屏上或附近显示主对象的值。具体地，例如，预定值是零、或者基于零的预定范围内的值。预定值是可调节的。因此，对视差进行转换，使得主对象的三维效果增强。图像生成部104基于输入的视差图像和输入的捕获图像生成左眼图像(左图像)和右眼图像(右图像)，并且向显示装置(未示出)输出图像。因此，图像生成部104基于使用视差转换部103转换的视差的视差图像、以及捕获图像来生成三维图像。在下文中详细描述功能框的细节。首先，参照图2描述输入至视差校正部101的视差图像。图2 (A)是摄像机202和203拍摄对象201的状态的示意图。摄像机202和203的光轴(虚线)平行，并且摄像机202和203置于一条直线上。图2(B)是左侧摄像机202所拍摄的对象201的捕获图像204 (在下文中称作左图像)以及右侧摄像机203所拍摄的对象201的捕获图像(下文中称作右图像)205的示意图。图2 (C)是示意性示出了通过将右图像205与左图像204交叠而获取的图像，以及图2(D)示出了视差图像206。如图2(C)所示，将右图像205中的对象201 (矩形虚线)相对于左图像204中的对象201 (矩形虚线)向左移动X个像素。X个像素对应于对两个捕获图像(左图像204和右图像205)中同一对象201的间隙加以指示的视差。视差图像意味着针对每个像素对应于对象的像素存储视差的图像，所述视差指示从两个观看位置拍摄的同一对象的两个捕获图像中同一对象的间隙。在上述示例中，针对视差图像的每个像素，对应于左图像204的对象存储对象的视差。图2⑶示意性示出了在视差图像206的像素206a中存储对象201的视差X的状态。视差图像206的另一像素206b也存储了左图像204的对象的与像素206b相对应的视差。视差可以基于像素或距离。视差校正部101校正视差图像的视差，以抑制过度视差。按照稍后描述的公知方法来执行视差校正。视差校正方法包括两个典型方法。一个方法是对视差进行归一化，另一个方法是削减视差。视差归一化的特征在于，保留总深度关系，而不使视差饱和；而视差削减的特征在于，保持视差在三维可观看范围的对象的深度量。图3示出了利用归一化方法执行视差校正的示例，图4示出了利用削减方法执行视差校正的不例。图3示出了归一化视差的视差校正等式的图，并且该视差校正方法由(等式I)表
[等式I]
权利要求
1.一种图像处理器，使用来自一个视点的捕获图像和与捕获图像相对应的视差图像作为输入，以基于捕获图像和视差图像生成三维图像，所述图像处理器包括 视差校正部，用于在预定范围内校正视差图像的视差；以及 主对象确定部，用于确定捕获图像的至少一个主对象，其中 所述图像处理器对视差图像的视差进行转换，使得与主对象确定部所确定的至少一个主对象的图像相对应的视差达到预定值；并基于根据经转换的视差和捕获图像的视差图像来生成三维图像。
2.一种图像处理器，使用通过从两个观看位置拍摄同一对象而获取的两个捕获图像作为输入，以基于捕获图像生成三维图像，所述图像处理器包括 视差计算部，用于根据两个图像计算视差； 视差校正部，用于在预定范围内校正视差计算部所计算的视差；以及 主对象确定部，用于确定捕获图像的至少一个主对象，其中 所述图像处理器对视差计算部所计算的视差进行转换，使得与主对象确定部所确定的至少一个主对象相对应的视差达到预定值；并基于经转换的视差和捕获图像生成三维图像。
3.根据权利要求I或2所述的图像处理器，其中，基于规定了输入视差与输出视差之间的关系的线性函数，将视差图像的视差转换为预定值，并通过连接具有不同斜率的多个线段来做出示出了输入视差与输出视差之间的关系的图。
4.根据权利要求I至3中任一项所述的图像处理器，其中，预定值是零或基于零的预定范围内的值。
5.根据权利要求I至4中任一项所述的图像处理器，包括模糊处理部，用于基于视差图像和捕获图像，对与具有等于或小于第一预定值或等于或大于第二预定值的视差的对象相对应的捕获图像的像素值执行模糊处理。
6.根据权利要求5所述的图像处理器，其中，模糊处理部与捕获图像中主对象的视差的绝对值成比例地增加与主对象的像素值相对应的模糊量。
7.一种图像显示装置，包括权利要求I至6中任一项中定义的图像处理器。
8.一种图像拍摄装置，包括权利要求I至6中任一项中定义的图像处理器。
全文摘要
公开了一种图像处理器，生成观察者易于以三维方式观看到并难以引起观察者疲劳的三维图像，并且易于调节三维图像中任意部分的三维效果。视差校正部101在预定范围内校正输入视差图像的视差，并向视差转换部103输出存储经校正视差的视差图像。视差转换部103转换视差图像的视差，使得与主对象确定部102所确定的主对象的图像相对应的视差达到预定值，并且向图像生成部104输出转换后获得的视差图像。图像生成部104基于输入的视差图像和输入的捕获图像，生成左眼图像和右眼图像，并且向显示装置输出图像。因此，对视差进行了转换，使得主对象的三维效果增强。
文档编号H04N13/02GK102939764SQ20118002591
公开日2013年2月20日 申请日期2011年5月24日 优先权日2010年5月26日
发明者涩久奈保, 德井圭 申请人:夏普株式会社