用于在终端中提供图像的设备和方法
【专利摘要】本发明提供了一种用于在终端中提供图像的设备和方法，所述设备和方法允许用户根据他或她的凝视位置和距离来感受终端上的图像的透视性。所述设备包括：相机模块，用于捕获脸部图像；控制器，用于通过根据从由相机模块捕获的脸部图像提取的两个眼睛图像的位置的改变重新布置构成图像的多个屏幕层来显示图像。
【专利说明】用于在终端中提供图像的设备和方法
【技术领域】
[0001]本发明涉及一种用于在终端中调整提供的图像的设备和方法。更具体地讲，本发明涉及一种用于允许用户根据他或她的凝视位置和距离来感受终端上的图像的透视性的图像提供设备和方法。
【背景技术】
[0002]近年，三维(3D)图像处理技术已被用于包括教育、培训、健康、电影、计算机游戏等的各种领域中。因为3D图像相对于二维(2D)图像可表现更好的存在感、真实感和自然感，所以3D图像处理技术正被用于这样的多元化领域中。
[0003]已经进行了用于实现3D图像显示装置的许多研究。对于3D图像显示装置的实现，这样的装置需要诸如输入技术、处理技术、发送技术、显示技术、软件技术等的各种技术。具体地讲，对显示技术、数字图像处理技术、计算机图形技术和人类视觉系统的研究是必要的。
[0004]根据现有技术的3D图像显示装置可被分类为立体显示装置和自动立体显示装置。立体显示装置可被亚分类为基于色彩分离的显示装置、基于偏振眼镜的显示装置以及基于液晶快门的显示装置，其中，基于色彩分离的显示装置允许用户使用不同波长的光利用有色眼镜查看图像；基于偏振眼镜的显示装置使用不同振动方向的光；基于液晶快门的显示装置允许用户以时分方式分别查看左眼图像和右眼图像。
[0005]自动立体3D显示装置以分别提供左眼图像和右眼图像的方式向用户提供3D立体图像，从而用户可在不佩戴3D眼镜的情况下查看3D立体图像。根据现有技术的3D立体图像提供技术可通过在检测到用户的头部或脸部图像的位置的改变时识别视点的改变并根据用户的凝视方向旋转或重新布置显示在显示器上的图像，来向用户提供生动的立体图像。
[0006]然而，由于远视点和近视点不同地响应于用户的凝视位置，因此简单根据用户的凝视方向的显示图像的旋转可能无法确保用户可犹如他或她观看真实世界场景一样感受图像的透视性的3D效果。
[0007]因此，存在对用于允许用户根据他或她的凝视位置和距离来感受终端上的图像的透视性的图像提供设备和方法的需要。
[0008]以上信息被呈现作为背景信息，仅帮助理解本公开。关于以上内容中的任意内容是否可用作关于本发明的现有技术，没做确定，并且没做断定。
【发明内容】
[0009]本发明的各方面在于至少解决上面提到的问题和/或缺点并至少提供下面描述的优点。因此，本发明的一方面在于提供一种用于允许用户根据他或她的凝视位置和距离来感受终端上的图像的透视性的图像提供设备和方法。
[0010]根据本发明的一方面，提供一种用于在终端中提供图像的设备。所述设备包括:相机模块，用于捕获脸部图像；控制器，用于通过根据从由相机模块捕获的脸部图像提取的两个眼睛图像的位置的改变重新布置构成图像的多个屏幕层来显示图像。
[0011]根据本发明的另一方面，提供一种用于在终端中提供图像的方法。所述方法包括:从由相机模块捕获的脸部图像提取两个眼睛图像；通过根据提取的两个眼睛图像的位置的改变重新布置构成图像的多个屏幕层来显示图像。
[0012]从以下结合附图进行的公开了本发明的示例性实施例的详细描述中，本发明的其他方面、优点和显著特点对本领域的技术人员而言将变得显然。
【专利附图】
【附图说明】
[0013]通过下面结合附图进行的描述，本发明的特定示例性实施例的以上和其他方面、特点和优点将更加清楚，其中:
[0014]图1示出根据本发明的示例性实施例的终端的结构；
[0015]图2A和图2B示出根据本发明的示例性实施例的在终端中提供图像的处理；
[0016]图3A和图3B示出根据本发明的示例性实施例的用于在处理(诸如例如图2A和图2B的处理)中将眼睛图像映射在三维(3D)空间中的分量；
[0017]图4示出根据本发明的示例性实施例的在处理(诸如例如图2A和图2B的处理)中映射眼睛图像的3D空间；
[0018]图5A和图5B示出根据本发明的示例性实施例的在3D空间(例如，图4的3D空间)中被左右和上下移动的眼睛图像的位置；
[0019]图6示出根据本发明的示例性实施例的在处理(诸如例如图2A和图2B的处理)中的多个屏幕层；
[0020]图7示出根据本发明的示例性实施例的在处理(诸如例如图2A和图2B的处理)中构成图像的多个屏幕层在它们的相关参考位置处被重新布置的操作；
[0021]图8示出根据本发明的示例性实施例的通过在处理(诸如例如图2A和图2B的处理)中根据用户的两个眼睛图像之间的距离的改变而改变多个屏幕层的位置来显示透视图像的操作；
[0022]图9示出根据本发明的示例性实施例的根据构成图像的多个屏幕层的移动而在终端上显示的图像。
[0023]贯穿附图，应注意的是，相同的标号用于描绘相同或相似的元件、特征和结构。【具体实施方式】
[0024]提供以下参照附图的描述来帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。以下描述包括各种特定细节以帮助理解，但是这些特定细节应被视为仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可对在此描述的实施例进行各种改变和修改。另外，为了清楚和简明，可省略对公知功能和构造的描述。
[0025]在以下描述和权利要求中使用的术语和词语不限于字面意义，而仅由发明人用来使本发明能够得到清楚和一致的理解。因此，本领域的技术人员应清楚的是，提供以下对本发明的示例性实施例的描述仅为了说明的目的，而不是为了限制由权利要求及其等同物限定的本发明的目的。
[0026]应理解的是，除非上下文另外明确地指示，否则单数形式包括复数指示物。因此，例如，对“组件表面”的提及包括对一个或多个这种表面的提及。
[0027]现在，将参照附图详细描述本发明的示例性实施例。贯穿附图，相同的附图标号将被理解为指示相同的元件、特征和结构。
[0028]对本发明的示例性实施例可用的终端可包括移动终端和固定终端两者。作为用户可容易携带的移动电子装置的移动终端可包括视频电话、移动电话、智能电话、国际移动电信2000 (IMT-2000)终端、宽带码分多址(WCDMA)终端、通用移动电信服务(UMTS)终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数字多媒体广播(DMB)终端、电子书、便携式计算机(例如，笔记本计算机、平板计算机等)、数字相机等。固定终端可包括桌面计算机、个人计算机(PC)等。
[0029]图1示出根据本发明的示例性实施例的终端的结构。
[0030]参照图1，所述终端包括控制器110、数据处理器120、射频(RF)单元123、音频处理器125、键输入单元127、存储器130、相机模块140、图像处理器150、显示器160和脸部图像提取器170。RF单元123负责终端的无线通信。RF单元123包括用于对发送信号的频率进行上变换并对上变换的发送信号进行放大的RF发送器以及用于对接收信号进行低噪声放大并对放大的接收信号的频率进行下变换的RF接收器。数据处理器120包括用于对发送信号进行编码和调制的发送器以及用于对接收信号进行解调和解码的接收器。换言之，数据处理器120可包括调制器/解调器(例如，调制解调器)和编码器/解码器(例如，编解码器)。编解码器包括用于处理数据信号(诸如包数据)的数据编解码器以及用于处理音频信号(诸如语音)的音频编解码器。音频处理器125播放从数据处理器120中的音频编解码器输出的接收音频信号，并将由麦克风拾取的发送音频信号发送到数据处理器120中的音频编解码器。
[0031]键输入单元127包括用于输入字母数字信息的字母数字键以及用于设置终端的各种功能的功能键。作为示例，键输入单元127可以是触摸屏。
[0032]存储器130可包括程序存储器和数据存储器。程序存储器可存储用于控制终端的整体操作的程序、以及用于根据本发明的示例性实施例的通过根据用户的眼睛图像的位置的改变重新布置多个屏幕层来显示透视图像的程序。数据存储器可临时存储在程序的执行期间产生的数据。
[0033]根据本发明的示例性实施例，存储器130存储多个图像，并且每个图像包括多个屏幕层，其中，预先按顺序对所述多个屏幕层的深度进行不同的设置。所述多个屏幕层中的所有或一些可被配置为透明，从而当所述多个屏幕层互相重叠时，屏幕层可显示单个图像。
[0034]控制器110控制终端的整体操作。
[0035]根据本发明的示例性实施例，控制器110可通过根据眼睛图像的位置的改变重新布置构成一个图像的多个屏幕层来显示透视图像，其中，所述眼睛图像是从由相机模块140捕获的脸部图像提取的。
[0036]控制器110可从由相机模块140捕获的脸部图像提取两个眼睛图像，计算并测量提取的两个眼睛图像之间的距离，并且将测量的两个眼睛图像之间的距离设置为两个眼睛图像之间的参考距离Em根据本发明的示例性实施例，控制器110可如相应于一个眼睛图像的中心与另一眼睛图像的中心之间的距离来计算两个眼睛图像之间的距离。
[0037]控制器110从存储器130提取用户与显示器160的屏幕之间的预定距离Dtl，预定距离Dtl与两个眼睛图像之间的参考距离Etl相应。
[0038]通常，用户在与用户可观看显示器160的屏幕的距离相应的适当距离处开始查看图像。在图像提供模式下，控制器110可将由相机模块140捕获的两个初始眼睛图像的位置之间的距离(例如，通过图像捕获所提取的两个眼睛图像之间的距离)设置为两个眼睛图像之间的参考距离Em在通过初始图像捕获而设置两个眼睛图像之间的参考距离Etl之后，控制器110可从存储器130提取相关预定距离Dtl，估计用户位于用户可观看显示器160的屏幕的适当距离处。
[0039]根据本发明的示例性实施例，在图像提供模式下，控制器110可提供两个眼睛图像之间的预定参考距离Etl以及屏幕与用户之间的相关距离Dtl,并且两个眼睛图像之间的参考距离Etl的中心与显示器160的屏幕的中心相应。
[0040]在设置两个眼睛图像之间的参考距离Etl之后，控制器110可从由相机模块140捕获的脸部图像提取两个眼睛图像，计算并测量提取的两个眼睛图像之间的距离En。控制器110可将测量的两个眼睛图像之间的距离En与两个眼睛图像之间的参考距离Etl进行比较，并且如果测量的距离EnF同于参考距离Etl,则提取用于将测量了其之间的距离En的两个眼睛图像映射在3D空间中的分量。
[0041]作为用于将两个眼睛图像映射在3D空间中的分量，控制器110可提取与测量的两个眼睛图像之间的距离应的屏幕与用户之间的距离Dn，并提取从两个眼睛图像之间的参考距离Etl的中心％至测量的两个眼睛图像之间的距离En的中心\的左/右移动距离Wn和/或上/下移动距离Hn。
[0042]控制器110可计算测量的两个眼睛图像之间的距离En与两个眼睛图像之间的参考距离Etl之间的差，并通过将所述差应用于屏幕与用户之间的距离Dtl来提取屏幕与用户之间的距离Dn。
[0043]另外，控制器110可计算测量的两个眼睛图像之间的距离En与两个眼睛图像之间的参考距离Etl之间的差，并从存储器130提取与所述差相应的距离值，作为屏幕与用户之间的距离Dn。
[0044]在将测量的两个眼睛图像之间的距离En与两个眼睛图像之间的参考距离Etl进行比较之后，如果测量的距离En等于参考距离Etl，则控制器110可通过在构成图像的多个屏幕层的预定参考位置处重新布置所述多个屏幕层来在显示器160的屏幕上显示图像。
[0045]基于用于将两个眼睛图像映射在3D空间中的分量，控制器110将测量了其之间的距离En的两个眼睛图像映射在3D空间中，并将以下线设置为中心线Vm，所述线将在3D空间中在屏幕的背部设置的虚拟消失点V连接至两个眼睛图像之间的参考距离Etl的中心a。。
[0046]控制器110可根据以下等式(I)根据眼睛图像相对于中心线Vm移动的位置来测量所述多个屏幕层中的每个的左右移动距离和/或上下移动距离。
[0047]
【权利要求】
1.一种用于在终端中提供图像的设备，所述设备包括: 相机模块，用于捕获脸部图像； 控制器，用于通过根据从由相机模块捕获的脸部图像提取的两个眼睛图像的位置的改变重新布置构成图像的多个屏幕层来显示图像。
2.根据权利要求1所述的设备，还包括: 脸部图像提取器，用于从由相机模块捕获的对象提取脸部图像，从脸部图像提取两个眼睛图像，并将提取的图像提供给控制器； 存储器，用于存储包括多个屏幕层的图像，其中，按顺序不同地设置了所述多个屏幕层的深度。
3.根据权利要求1所述的设备，其中，控制器测量从由相机模块捕获的脸部图像提取的两个眼睛图像之间的距离，将测量的两个眼睛图像之间的距离设置为两个眼睛图像之间的参考距离Etl,并提取针对两个眼睛图像之间的参考距离Etl预先设置的屏幕与用户之间的距离D0。
4.根据权利要求3所述的设备，其中，在设置两个眼睛图像之间的参考距离Etl之后，控制器测量在由相机模块捕获的脸部图像中的两个眼睛图像之间的距离En，将测量的两个眼睛图像之间的距离En与两个眼睛图像之间的参考距离Etl进行比较，并且如果测量的距离En不同于参考距离Etl，则提取用于将测量了其之间的距离En的两个眼睛图像映射在三维(3D)空间中的分量。
5.根据权利要求4所述的设备，其中，用于将两个眼睛图像映射在3D空间中的分量包括:与测量的两个眼睛图像之间的距离应的屏幕与用户之间的距离Dn、以及从两个眼睛图像之间的参考距离Etl的中心至测量的两个眼睛图像之间的距离En的中心an的左右移动距离Wn和上下移动距离Hn。
6.根据权利要求5所述的设备，其中，控制器根据测量的两个眼睛图像之间的距离En与两个眼睛图像之间的参考距离Etl之间的差，提取与测量的两个眼睛图像之间的距离Ejf应的屏幕与用户之间的距离Dn。
7.根据权利要求4所述的设备，其中，控制器基于用于将两个眼睛图像映射在3D空间中的分量，将测量了其之间的距离En的两个眼睛图像映射在3D空间中。
8.根据权利要求7所述的设备，其中，当两个眼睛图像被映射在3D空间中时，控制器将如下线设置为中心线Vm，所述线将在3D空间中在屏幕的背部设置的虚拟消失点V连接至两个眼睛图像之间的参考距离Etl的中心a。。
9.根据权利要求8所述的设备，其中，控制器根据以下等式根据两个眼睛图像相对于中心线Vm移动的位置来测量所述多个屏幕层中的每个的左右移动距离和上下移动距离:
10.根据权利要求9所述的设备，其中，控制器通过根据两个眼睛图像相对于中心线Vm移动的位置在相关位置处重新布置测量了左右移动距离和上下移动距离的所述多个屏幕层来显示图像。
11.一种用于在终端中提供图像的方法，所述方法包括: 从由相机模块捕获的脸部图像提取两个眼睛图像； 通过根据提取的两个眼睛图像的位置的改变重新布置构成图像的多个屏幕层来显示图像。
12.根据权利要求11所述的方法，其中，显示图像的步骤包括: 提取两个眼睛图像之间的参考距离Etl ； 提取针对两个眼睛图像之间的参考距离Etl预先设置的屏幕与用户之间的距离Dtl ；将两个眼睛图像之间的参考距离Etl与在由相机模块捕获的脸部图像中测量的两个眼睛图像之间的距离En进行比较； 如果测量的距离EnF同于参考距离Etl,则提取用于将测量了其之间的距离En的两个眼睛图像映射在三维(3D)空间中的分量； 基于用于将两个眼睛图像映射在3D空间中的分量，将测量了其之间的距离En的两个眼睛图像映射在3D空间中； 根据在3D空间中映射的两个眼睛图像的位置，测量所述多个屏幕层中的每个的移动距离； 通过在相关位置处重新布置测量了移动距离的所述多个屏幕层来显示图像。
13.根据权利要求12所述的方法，其中，提取距离Dtl的步骤包括: 测量从由相机模块捕获的脸部图像提取的两个眼睛图像之间的距离； 将测量的两个眼睛图像之间的距离设置为两个眼睛图像之间的参考距离Etl ； 提取针对两个眼睛图像之间的参考距离Etl预先设置的屏幕与用户之间的距离D。。
14.根据权利要求12所述的方法，其中，提取用于映射两个眼睛图像的分量的步骤包括: 提取与测量的两个眼睛图像之间的距离应的屏幕与用户之间的距离Dn ； 提取从两个眼睛图像之间的参考距离Etl的中心％至测量的两个眼睛图像之间的距离En的中心an的左右移动距离Wn和上下移动距离Hn。
15.根据权利要求14所述的方法，其中，提取距离Dn的步骤包括:根据测量的两个眼睛图像之间的距离￡?与两个眼睛图像之间的参考距离Etl之间的差，提取与测量的两个眼睛图像之间的距离应的屏幕与用户之间的距离Dn。
16.根据权利要求12所述的方法，其中，测量所述多个屏幕层中的每个的移动距离的步骤包括: 当两个眼睛图像被映射在3D空间中时，在3D空间中在屏幕的背部设置虚拟消失点V ； 将如下线设置为中心线Vm，所述线将虚拟消失点V连接至两个眼睛图像之间的参考距离Etl的中心aQ ； 根据两个眼睛图像相对于中心线Vm移动的位置来测量所述多个屏幕层中的每个的左右移动距离和上下移动距离。
17.根据权利要求16所述的方法，其中，根据以下等式实现对所述多个屏幕层中的每个的左右移动距离和上下移动距离的测量:
18.根据权利要求12所述的方法，其中，显示图像的步骤包括:通过在相关位置处重新布置测量了左右移动距离和上下移动距离的所述多个屏幕层来显示图像。
19.根据权利要求11所述的方法，其中，构成图像的所述多个屏幕层的深度预先按顺序被不同地设置。
【文档编号】H04N5/232GK103458179SQ201310209861
【公开日】2013年12月18日 申请日期:2013年5月30日 优先权日:2012年5月30日
【发明者】李致勋, 姜志营, 朴美贞, 吴繐琪 申请人:三星电子株式会社