本实用新型涉及3d显示技术领域,例如涉及多视点裸眼3d显示屏、多视点裸眼3d显示设备。
背景技术:
目前,裸眼3d显示设备通过柱镜光栅折射像素实现3d显示效果。
在实现本实用新型实施例的过程中,发现相关技术中至少存在如下问题:固定光学性质的柱镜光栅配合像素能形成沿显示设备横向排列的多个视点,对于与显示设备距离不同的多个用户来说,部分用户看到的3d效果可能不佳,或者看不到3d效果。
技术实现要素:
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。该概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
本实用新型实施例提供了一种多视点裸眼3d显示屏、多视点裸眼3d显示设备,以解决前后位置的用户无法同时观看3d效果以及传输和渲染计算量大的问题。
在本实用新型的一些实施例中,提供了一种多视点裸眼3d显示屏,包括:显示面板,具有多个复合像素,多个复合像素中的每个复合像素包括多个复合子像素,多个复合子像素中的每个复合子像素包括呈阵列的多个子像素;和多个球面光栅,覆盖多个复合子像素。
在一些实施例中,每个复合子像素呈正方形。
在一些实施例中,多个子像素中的每个子像素呈正方形。
在一些实施例中,多个子像素呈i×j阵列,其中,j≥2,i≥2。
在一些实施例中,多个子像素中的每个子像素的纵横比为i/j。
在一些实施例中,i≥3,j≥3。
在一些实施例中,多个复合子像素具有不同颜色,具有不同颜色的多个复合子像素交替排列。
在一些实施例中,具有不同颜色的多个复合子像素呈三角形排列。
在一些实施例中,多个球面光栅中的至少一个球面光栅为圆球面光栅或椭圆球面光栅。
在一些实施例中,多个球面光栅中的至少一个球面光栅还包括至少一个侧面。
在本实用新型的一些实施例中,提供了一种多视点裸眼3d显示设备,包括:如上所述的多视点裸眼3d显示屏;和3d处理装置,被配置为渲染多视点裸眼3d显示屏中的多个复合子像素中的子像素。
在一些实施例中,每个复合子像素包括呈i×j阵列的多个子像素;其中,i×j阵列的多个子像素对应于多视点裸眼3d显示设备的i个第一方向视点和j个第二方向视点。
在一些实施例中,多视点裸眼3d显示设备还包括:人眼追踪数据获取装置,被配置为获取人眼追踪数据。
在一些实施例中,人眼追踪数据获取装置被配置为获取用户的眼睛的横向位置以确定用户眼睛所处的第一方向视点。
在一些实施例中,3d处理装置被配置为基于用户眼睛所处的第一方向视点渲染呈阵列的多个子像素中对应第一方向视点的子像素。
在一些实施例中,人眼追踪数据获取装置被配置为获取用户眼睛的深度位置和高度位置中至少之一以确定用户眼睛所处的第二方向视点。
在一些实施例中,3d处理装置被配置为基于用户眼睛所处的第二方向视点渲染呈阵列的多个子像素中对应第二方向视点的子像素。
本实用新型实施例提供的多视点裸眼3d显示屏、多视点裸眼3d显示设备,可以实现以下技术效果:
被球面光栅覆盖的i×j阵列同色子像素向与多视点裸眼3d显示屏距离不同的多个视点所对应的空间位置分别播放3d图像,满足前后位置的用户各自的3d观看需求。此外,以复合像素的方式定义多视点裸眼3d显示屏的显示分辨率,在传输和显示时均以由复合像素定义的显示分辨率为考量因素,在确保高清晰度显示效果的情况下减少了传输和渲染的计算量,实现高质量的裸眼式3d显示。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本实用新型。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件示为类似的元件,附图不构成比例限制,并且其中:
图1是根据本实用新型实施例的多视点裸眼3d显示屏的示意图;
图2是根据本实用新型实施例的复合像素的排布示意图;
图3是根据本实用新型一个实施例的球面光栅与相对应的复合子像素;
图4是根据本实用新型另一个实施例的球面光栅与相对应的复合子像素;
图5a至图5c是根据本实用新型实施例的多视点裸眼3d显示设备的结构示意图;
图6是根据本实用新型实施例的动态渲染的示意图;
图7a至图7e是根据本实用新型实施例的3d视频信号的视频帧包含的图像的格式。
附图标记:
100:多视点裸眼3d显示设备;110:多视点裸眼3d显示屏;111:显示面板;120:处理器;121:寄存器;130:3d处理装置;131:缓存器;140:视频信号接口;150:人眼追踪装置;160:人眼追踪数据接口;190:球面光栅;191:侧截面;192:圆球面;193:底平面;400:复合像素;410:红色复合子像素;420:绿色复合子像素;430:蓝色复合子像素;601:3d视频信号的视频帧包含的两幅图像之一;602:3d视频信号的视频帧包含的两幅图像之一;603:复合图像。
具体实施方式
为了能够更加详尽地了解本实用新型实施例的特点与技术内容,下面结合附图对本实用新型实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本实用新型实施例。
在本文中,“裸眼三维(3d)显示”涉及用户无需佩戴3d显示用的眼镜而能在平面显示器上观察到3d的显示图像的技术。
在本文中,“多视点”具有本领域的常规含义,意指在空间中不同位置(视点)处能观看到显示屏的不同像素或子像素显示的不同图像。在本文中,多视点将意味着至少3个视点。
在本文中,常规的“像素”意指2d显示器或者作为2d显示器显示时就其分辨率而言的最小显示单位。
然而,在本文的一些实施例中,当应用于裸眼3d显示领域的多视点技术时所称的“复合像素”指裸眼3d显示器提供多视点显示时的最小显示单位,但不排除用于多视点技术的单个复合像素可包括或呈现为多个2d显示的像素。在本文中,除非具体说明为“3d显示”或“多视点”应用的复合像素或3d像素,像素将指2d显示时的最小显示单位。同样,当描述为多视点的裸眼3d显示“复合子像素”时,将指裸眼3d显示器提供多视点显示时的复合像素中呈现的单个颜色的复合子像素。在本文中,“复合子像素”中的子像素将指单个颜色的最小显示单位,其往往是与视点相对应的。
根据本实用新型的实施例提供了一种多视点裸眼3d显示屏,可以应用于多视点裸眼3d显示设备。多视点裸眼3d显示屏包括显示面板和多个球面光栅。显示面板具有多个复合像素,每个复合像素包括多个复合子像素,每个复合子像素由i×j阵列子像素构成,其中i≥2,j≥2。多个球面光栅覆盖多个复合子像素。i×j阵列子像素中,i对应于多视点裸眼3d显示设备的第一方向视点(例如行视点,又称为横向视点),j对应于多视点裸眼3d显示设备的第二方向视点(例如列视点,又称为高度或深度视点)。在一些实施例中,每个复合子像素的i×j阵列子像素为i×j阵列同色子像素。
在一些实施例中,多视点裸眼3d显示屏中的球面光栅与复合子像素是一一对应的关系。
在一些实施例中,i≥3,j≥3。
图1至图3示出了根据本实用新型实施例的多视点裸眼3d显示屏110。多视点裸眼3d显示屏110包括显示面板111和覆盖显示面板111的多个球面光栅190。显示面板111具有多个复合像素400,每个复合像素400包括多个复合子像素。在所示出的实施例中,每个复合像素400包括三个不同颜色的复合子像素,分别为红色复合子像素410、绿色复合子像素420和蓝色复合子像素430。红色复合子像素410由i列j行(i×j阵列)红色子像素r构成,绿色复合子像素420由i列j行(i×j阵列)绿色子像素g构成,蓝色复合子像素430由i列j行(i×j阵列)蓝色子像素b构成。图1示出了由i×j阵列红色子像素r构成的红色复合子像素410作为示例。
在一些实施例中,每个复合子像素呈正方形。在每个复合子像素的i×j阵列同色子像素中,每个子像素的纵横比等于i/j。在一些实施例中,每个复合子像素中的每个子像素为正方形。
如图1和图2所示,红色复合子像素410的i×j阵列红色子像素r中,i=6,j=3。绿色复合子像素420的i×j阵列绿色子像素g中,i=6,j=3。蓝色复合子像素420的i×j阵列绿色子像素g中,i=6,j=3。每个颜色的复合子像素中的6×3阵列同色子像素对应于多视点裸眼3d显示设备的6个行视点和3个列视点。
可以想到在其他实施例中,复合子像素和子像素可以有其他的构型。例如,i×j阵列同色子像素中的每个子像素呈正方形,每个子像素的纵横比i/j=1。
在一些实施例中,不同颜色的复合子像素在所述显示面板中交替排列,每个复合像素的所述多个复合子像素呈三角形排列。
如图2所示,复合子像素400中的红色复合子像素410、绿色复合子像素420和蓝色复合子像素430呈三角形排列。在显示面板111的横向上,红色复合子像素410、绿色复合子像素420和蓝色复合子像素430交替排列。复合像素400之间交错排列。
在一些实施例中,多视点裸眼3d显示屏110的显示面板111可包括m列n行个(即m×n阵列)复合像素并因此限定出m×n的显示分辨率。在一些实施例中,m×n的显示分辨率可以为全高清(fhd)以上的分辨率,包括但不限于:1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。
在本实用新型的实施例中,每个复合子像素具有对应于视点的相应子像素。每个复合子像素的多个子像素在多视点裸眼3d显示屏上呈阵列布置,且呈阵列形式的多个子像素的颜色相同。由于3d显示设备的多个视点是大致沿多视点裸眼3d显示屏的横向和纵向排布的,这样,在用户前后和左右移动导致人眼处于不同方位的视点时,需要相应动态渲染每个复合子像素中对应于相应视点的不同子像素。由于每个复合子像素中的同色子像素呈阵列布置,所以能够避免由于视觉暂留带来的串色问题。此外,由于光栅的折射,有可能会在相邻的视点位置看见当前显示子像素的一部分,而通过同色、同行排列,即使当前显示子像素的一部分被看见,也不会出现混色的问题。
在一些实施例中,多个球面光栅在显示面板的表面排列且各自覆盖一个复合子像素。多个球面光栅中的每个球面光栅例如可以包括圆球面从而构成圆球面光栅。在另一些实施例中,多个球面光栅中的每个球面光栅包括椭圆球面从而构成椭圆球面光栅。在另一些实施例中,球面光栅包括圆球面和侧截面。在另一些实施例中,球面光栅包括椭圆球面和侧截面。
图3示出了球面光栅的一个示例。如图所示,一个球面光栅190对应于一个复合子像素,例如红色复合子像素410。球面光栅190包括例如呈正方形的底平面193和与底平面193对置的圆球面192,以及连接在圆球面192与底平面193之间的侧截面191。
图4示出了球面光栅的另一个示例。如图所示,一个球面光栅190对应于一个复合子像素,例如绿色复合子像素420。球面光栅190包括例如呈圆形的底平面193和连接底平面193的圆球面192。
在其他实施例中,球面光栅的底平面可以有其他形状,例如六边形、三角形等。
在一些实施例中,球面光栅的球面侧设有与球面光栅的折射率不同的另一折射层,这另一折射层的朝向球面光栅的表面为凹面并与球面光栅的球面以凹凸配合的方式贴合,背向球面光栅的表面为平面,例如为平行于球面光栅的底平面的平面。
根据本实用新型实施例的多视点裸眼3d显示屏110可以应用在多视点裸眼3d显示设备中。根据本实用新型的实施例,多视点裸眼3d显示设备包括多视点裸眼3d显示屏、视频信号接口和3d处理装置。视频信号接口配置为接收3d视频信号的视频帧。3d处理装置配置为依据所接收的3d视频信号的视频帧渲染每个复合子像素中的相关子像素。
图5a示出了根据本实用新型实施例的多视点裸眼3d显示设备100。如图5a所示,多视点裸眼3d显示设备100包括多视点裸眼3d显示屏110、3d处理装置130和配置为接收3d内容如3d视频信号的3d信号接口(如视频信号接口140)。
在一些实施例中,3d视频信号包括视频帧。
在一些实施例中,3d处理装置为fpga或asic芯片或fpga或asic芯片组。在一些实施例中,多视点裸眼3d显示设备100也可设置有一个以上3d处理装置130,它们并行、串行或串并行结合地处理对多视点裸眼3d显示屏110的各复合像素的各复合子像素的子像素的渲染。本领域技术人员将明白,一个以上3d处理装置可以有其他的方式分配且并行处理多视点裸眼3d显示屏110的多行多列复合像素或复合子像素,这落入本实用新型实施例的范围内。在一些实施例中,3d处理装置130还可以选择性地包括缓存器131,以便缓存所接收到的视频帧。
在一些实施例中,3d处理装置与多视点裸眼3d显示屏通信连接。在一些实施例中,3d处理装置与多视点裸眼3d显示屏的驱动装置通信连接。
参见图5a,多视点裸眼3d显示设备100还可包括通过视频信号接口140通信连接至3d处理装置130的处理器120。在一些实施例中,处理器被包括在计算机或智能终端中,这样的智能终端例如为移动终端。或者,处理器可以作为计算机或智能终端的处理器单元。但是可以想到,在一些实施例中,处理器120可以设置在多视点裸眼3d显示设备100的外部,例如多视点裸眼3d显示设备100可以为带有3d处理装置的多视点裸眼3d显示器,例如非智能的裸眼3d电视。
在一些实施例中,多视点裸眼3d显示设备内部包括处理器。基于此,3d信号接口140为连接处理器120与3d处理装置130的内部接口。这样的3d显示设备100例如可以是移动终端,3d信号接口140可以为mipi、mini-mipi接口、lvds接口、min-lvds接口或displayport接口。
在一些实施例中,如图5a所示,多视点裸眼3d显示设备100的处理器120还可包括寄存器121。寄存器121可配置为暂存指令、数据和地址。在一些实施例中,寄存器121可被配置为接收有关多视点裸眼3d显示屏110的显示要求的信息。在一些实施例中,多视点裸眼3d显示设备100还可以包括编解码器,配置为对压缩的3d视频信号解压缩和编解码并将解压缩的3d视频信号经3d信号接口140发送至3d处理装置130。
在一些实施例中,多视点裸眼3d显示屏110的每个复合子像素的i×j阵列同色子像素对应于多视点裸眼3d显示设备的i个第一方向视点和j个第二方向视点。第一方向视点可以是行视点,或者称为横向视点,对应于用户在多视点裸眼3d显示屏横向(x轴方向)上的视点位置。第二方向视点可以是列视点,或者称为深度或高度视点,对应于用户在多视点裸眼3d显示屏竖向(y轴方向)和/或深度方向(z轴方向)的视点位置。在本实用新型实施例中,深度由用户相对于多视点裸眼3d显示屏的距离来限定。
如图6所示,示出了由i×j阵列红色子像素r构成的红色复合子像素410与多视点裸眼3d显示设备的i个第一方向视点和j个第二方向视点的对应关系。为清楚起见,以每个视点对应的子像素的坐标来标识每个视点。每个红色子像素r的坐标以该子像素在红色复合子像素的i×j红色子像素阵列中的位置riijj为准进行标识。如图所示,i×j红色子像素阵列中,第一行左起第一个红色子像素r的坐标为ri1j1,第一行左起第二个红色子像素的坐标为ri2j1,以此类推,第三行左起第六个红色子像素r的坐标为ri6j3。相应地,与i×j红色子像素阵列中第一行左起第一个红色子像素ri1j1对应的视点为vi1j1,与第一行左起第二个红色子像素ri2j1对应的视点为vi2j1,以此类推,与第三行左起第六个红色子像素ri6j3对应的视点为vi6j3。其它颜色复合子像素与视点的对应关系可以参照上述红色复合子像素与视点的对应关系而类推。
下面参见图7a至图7e来描述根据本实用新型的实施例的多视点裸眼3d显示设备内的3d视频信号的传输和显示。在所示出的实施例中,多视点裸眼3d显示设备可限定出多个视点,例如i个第一方向视点和j个第二方向视点。用户的眼睛在每个视点(空间位置)可看到显示面板中每个复合像素的复合子像素中相应的子像素的显示。用户的两只眼睛在不同的视点看到的两个不同画面形成视差,在大脑中合成3d的画面。
在本实用新型的一些实施例中,3d处理装置130通过例如作为内部接口的视频信号接口140从处理器120接收例如为解压缩的3d视频信号的视频帧。每个视频帧可包含两幅图像或者包含复合图像,或者由其构成。
在一些实施例中,两幅图像或复合图像可以包括不同类型的图像以及可以呈各种排布形式。
在图7a所示的实施例中,3d视频信号的视频帧包含并列格式的两幅图像601、602或由其构成。在一些实施例中,两幅图像可以分别为左眼视差图像和右眼视差图像。在一些实施例中,两幅图像可以分别为渲染色彩图像和景深图像。
在图7b所示的实施例中,3d视频信号的视频帧包含上下格式的两幅图像601、602或由其构成。在一些实施例中,两幅图像可以分别为左眼视差图像和右眼视差图像。在一些实施例中,两幅图像可以分别为渲染色彩图像和景深图像。
在图7c所示的实施例中,3d视频信号的视频帧包含左右交织格式的复合图像603。在一些实施例中,复合图像可以为左右交织的左眼和右眼视差复合图像。在一些实施例中,复合图像可以为左右交织的渲染色彩图像和景深图像。
在图7d所示的实施例中,3d视频信号的视频帧包含上下交织格式的复合图像603。在一些实施例中,复合图像可以为上下交织的左眼和右眼视差复合图像。在一些实施例中,复合图像可以为上下交织的渲染色彩图像和景深图像。
在图7e所示的实施例中,3d视频信号的视频帧包含以棋盘形式交织的复合图像603。在一些实施例中,复合图像可以为以棋盘形式交织的左眼和右眼视差复合图像。在一些实施例中,复合图像可以为以棋盘形式交织的渲染色彩图像和景深图像。
本领域技术人员将明白,附图所示的实施例仅是示意性的,3d视频信号的视频帧所包含的两幅图像或复合图像可以包括其他类型的图像以及可以呈其他排布形式,这落入本实用新型实施例的范围内。
在一些实施例中,至少一个3d处理装置130在接收到包括两幅图像601、602的视频帧后,基于两幅图像之一渲染每个复合子像素中至少一个子像素并基于两幅图像中的另一幅渲染每个复合子像素中至少另一个子像素。
在一些实施例中,至少一个3d处理装置130在接收到包括复合图像的视频帧后,基于复合图像渲染每个复合子像素中至少两个子像素。例如,根据复合图像中的第一图像(部分)渲染至少一个子像素,根据第二图像(部分)渲染至少另一个子像素。
在一些实施例中,这例如是基于实时人眼追踪数据来进行的动态渲染。
在一些实施例中,多视点裸眼3d显示设备还包括配置为获取人眼追踪数据的人眼追踪数据获取装置,例如人眼追踪装置或人眼追踪数据接口。在一些实施例中,人眼追踪数据包括用户的眼睛的空间位置信息,例如用户的眼睛或脸部相对于多视点裸眼3d显示屏或人眼追踪装置的间距(也就是用户的眼睛/脸部的深度)、用户的眼睛或脸部在多视点裸眼3d显示屏竖向上的位置、用户的眼睛或脸部在多视点裸眼3d显示屏横向上的位置、用户的双眼所在的视点位置、用户视角等。
在图5b所示的实施例中,多视点裸眼3d显示设备100包括通信连接至3d处理装置130的人眼追踪装置150,由此3d处理装置130可以直接接收人眼追踪数据。
在一些实施例中,人眼追踪装置包括配置为拍摄用户图像(例如用户脸部图像)的人眼追踪单元、配置为基于所拍摄的用户图像确定人眼空间位置的人眼追踪图像信号处理器和配置为传输人眼空间位置的人眼空间位置信息的人眼追踪数据接口。
在一些实施例中,人眼追踪单元包括配置为拍摄第一图像的第一摄像头和配置为拍摄第二图像的第二摄像头,而人眼追踪图像信号处理器配置为基于第一图像和第二图像中的至少一副图像识别人眼的存在且基于第一图像和第二图像中存在的人眼所在的空间位置确定人眼视点位置。
在一些实施例中,人眼追踪单元包括配置为拍摄至少一幅图像的至少一个摄像头和配置为至少获取用户双眼的深度信息的至少一个深度获取装置,而人眼追踪图像信号处理器配置为基于所拍摄的至少一幅图像识别人眼的存在,并基于该至少一幅图像中存在的人眼所在的位置和用户双眼的深度信息确定人眼的视点位置。
在图5c所示的实施例中,人眼追踪装置(未示出)例如可以直接连接处理器120,而3d处理装置130经由人眼追踪数据接口160从处理器120获得人眼追踪数据。在另一些实施例中,人眼追踪装置可同时连接处理器和3d处理装置,使得一方面3d处理装置130可以直接从人眼追踪装置获取人眼追踪数据,另一方面可以人眼追踪装置获取的其他信息可以被处理器处理。
在一些实施例中,人眼追踪装置实时获取用户眼睛的横向位置以确定所述用户眼睛所处的第一方向视点。3d处理装置基于用户眼睛所处的第一方向视点渲染每个复合子像素的i×j阵列同色子像素中对应第一方向视点的子像素。
在一些实施例中,人眼追踪装置实时获取用户眼睛的深度位置以确定用户眼睛所处的第二方向视点。或者,人眼追踪装置实时获取用户眼睛的高度位置以确定用户眼睛所处的第二方向视点。或者,人眼追踪装置实时获取用户眼睛的高度位置和深度位置以确定用户眼睛所处的第二方向视点。3d处理装置基于用户眼睛所处的第二方向视点渲染每个复合子像素的i×j阵列同色子像素中对应第二方向视点的子像素。
参见图6,示出了在多视点裸眼3d显示设备中基于实时人眼追踪数据来动态渲染复合子像素中相应子像素的一个示例。图中示出了由i×j阵列红色子像素r构成的红色复合子像素410,其中i=6,对应于多视点裸眼3d显示设备的6个行方向视点,而j=3,对应于多视点裸眼3d显示设备的3个列方向视点。实时人眼追踪数据例如可以由人眼追踪装置实时获取。当人眼追踪装置获取一个用户双眼处于视点vi1j1、vi2j1时,基于3d视频信号的视频帧生成用户双眼所处的视点的图像,并渲染红色复合子像素410的i×j阵列红色子像素r中对应于视点vi1j1、vi2j1的两个红色子像素ri1j1、ri2j1。当人眼追踪装置获取另一个用户双眼处于视点vi3j2、vi4j2时,基于3d视频信号的视频帧生成用户双眼所处的视点的图像,并渲染红色复合子像素410的i×j阵列红色子像素r中对应于视点vi3j2、vi4j2的两个红色子像素ri3j2、ri4j2。当人眼追踪装置获取又一个用户双眼处于视点vi5j3、vi6j3时,基于3d视频信号的视频帧生成用户双眼所处的视点的图像,并渲染红色复合子像素410的i×j阵列红色子像素r中对应于视点vi5j3、vi6j3的两个红色子像素ri5j3、ri6j3。由此,处于显示面板前不同行位置(横向位置)、列位置(包括深度位置、高度位置)的用户都可以看到合适的3d图像。
根据本实用新型实施例的多视点裸眼3d显示设备可以应用在视频播放设备中,例如可以呈现为移动终端(如手机或平板电脑)、电视、移动电视、电脑、电影院观影系统或家庭观影系统。
以上描述和附图充分地示出了本实用新型的实施例,以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本实用新型实施例的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。本实用新型中使用的用词仅用于描述实施例并且不用于限制权利要求。当用于本实用新型中时,术语“包括”等指陈述的特征中至少一项的存在,但不排除其它特征的存在。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的每个示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能,但是这种实现不应认为超出本实用新型实施例的范围。