用户终端及其显示图像的方法

用户终端及其显示图像的方法
【专利摘要】提供了一种用户终端及其显示图像的方法。所述方法包括：显示彼此重叠的具有不同的深度的多个显示层，并且响应于用户输入被感测到，根据用户输入来改变所述多个显示层中的至少一个显示层的深度，并提供响应于用户输入的视觉效果。
【专利说明】用户终端及其显示图像的方法
[0001]本申请要求于2013年2月15日提交到美国专利和商标局的第61/765，147号美国临时申请、于2013年10月10日提交到美国专利和商标局的第61/889，234号美国临时申请、于2013年9月26日提交到韩国知识产权局的第10-2013-0114316号韩国专利申请和于2014年I月24日提交到韩国知识产权局的第10-2014-0008674号韩国专利申请的优先权利益，所述申请中的每一个申请的内容通过弓丨用全部合并于此。
【技术领域】
[0002]本发明总体构思总体上涉及一种用户终端及其显示图像的方法，更具体地，涉及一种通过使用多个显示层来显示图像的用户终端及其显示图像的方法。
【背景技术】
[0003]目前使用各种类型的用户终端，例如智能电话、平板个人计算机(PC)等。这些用户终端中的大多数包括用于感测用户输入的触摸屏。
[0004]响应于通过用户终端的触摸屏感测到用户输入，用户终端仅仅在感测到用户输入的点提供二维图像效果。因为这样的用户终端仅提供二维图像效果，所以这样的图像效果由于不真实和不自然而受限。
[0005]因此，期望寻求一种提供响应于用户输入的更真实和更自然的图像的方法。

【发明内容】

[0006]本发明构思提供了一种用户终端及其显示图像的方法，其中，所述用户终端被配置为通过使用具有不同的深度的多个显示层来提供响应于用户输入的三维视觉效果。
[0007]本发明总体构思的其它特征和用途部分将在下面的描述中被阐述，部分将通过所述描述变得清楚，或者可通过本公开总体构思的实践而被获知。
[0008]本发明构思的前述和/或其它特征和用途可通过提供一种显示图像的方法而实现，其中，所述方法包括:在用户终端上显示彼此重叠的具有不同的深度的多个显示层，并且响应于用户输入被感测到，根据用户输入来改变所述多个显示层中的至少一个显示层的深度，并提供响应于用户输入的视觉效果。
[0009]所述多个显示层可包括:第一显示层，被配置为显示图像；第二显示层，被配置为具有水面的透明度。
[0010]第一显示层可具有固定深度，且第二显示层可具有被配置为根据用户输入而改变的深度。
[0011]提供的步骤可包括:响应于用户输入被感测到，改变第二显示层的感测到用户输入的点的深度，并且通过使用第一显示层和具有根据用户输入而改变的深度的第二显示层在感测到用户输入的点提供响应于用户输入的视觉效果。
[0012]在感测到用户输入的点提供响应于用户输入的视觉效果的步骤可包括:通过使用第一显示层和具有根据用户输入而改变的深度的第二显示层来计算感测到用户输入的点的折射率和反射率，并且根据计算出的折射率和反射率来提供响应于用户输入的视觉效
果O
[0013]视觉效果可以是涟漪效果。
[0014]当显示屏幕显示多个显示项时，第一显示层之中显示所述多个显示项的区域可具有高深度值，且第一显示层之中没有显示所述多个显示项的区域可具有低深度值。
[0015]第二显示层可具有在显示所述多个显示项的区域的深度值与没有显示所述多个显示项的区域的深度值之间的深度值。
[0016]提供的步骤可包括:响应于在所述多个显示项中的一个显示项上感测到用户输入，通过将第一显示层的感测到用户输入的点的深度值调整为低于第二显示层的深度值来提供感测到用户输入的显示项仿佛浸没在水中的视觉效果。
[0017]提供的步骤可包括:响应于用户输入被感测为用户终端的倾斜，根据用户终端的倾斜程度来改变所述多个显示层中的至少一个显示层的深度。
[0018]所述多个显示层可包括:第一显示层，被配置为显示图像；第二显示层，被配置为具有预设的透明度；第三显示层，被配置为示出重力的效果。
[0019]提供的步骤可包括:改变第三显示层的深度，使得位于与用户终端倾斜方向相反的方向的区域的深度值大于第三显示层的其它区域的深度值。
[0020]提供的步骤可包括:提供仅仅显示在第三显示层的深度值低于第二显示层的深度值的区域中的部分图像仿佛浸没在水中的视觉效果。
[0021]提供的步骤可包括:针对第二显示层的深度值在预设范围之内的区域提供水刻蚀效果。
[0022]提供水刻蚀效果的步骤还可包括:产生水刻蚀深度图；通过反转第二显示层的深度值来确定深度值在预设范围之内的水刻蚀区域；对水刻蚀深度图和水刻蚀区域的深度值进行插值。
[0023]本发明构思的前述/和或其它特征和用途还提供了一种用户终端，所述用户终端包括:显示器，被配置为显示彼此重叠的具有不同的深度的多个显示层；用户输入单元，被配置为感测用户输入；控制器，被配置为响应于通过用户输入单元感测到用户输入，控制显示器根据用户输入来改变所述多个显示层中的至少一个显示层的深度，并提供响应于用户输入的视觉效果。
[0024]所述多个显示层可包括:第一显示层，被配置为显示图像；第二显示层，被配置为具有水面的透明度。
[0025]第一显示层可具有固定深度，且第二显示层可具有被配置为根据用户输入而改变的深度。
[0026]响应于通过用户输入单元感测到用户输入，控制器可改变第二显示层的感测到用户输入的点的深度，并且可通过使用第一显示层和具有根据用户输入而改变的深度的第二显示层在感测到用户输入的点提供响应于用户输入的视觉效果。
[0027]控制器可通过使用第一显示层和具有根据用户输入而改变的深度的第二显示层来计算感测到用户输入的点的折射率和反射率，并且可根据计算出的折射率和反射率来提供响应于用户输入的视觉效果。
[0028]视觉效果可以是涟漪效果。[0029]当显示屏幕显示多个显示项时，第一显示层之中显示所述多个显示项的区域可具有高深度值，且第一显示层之中没有显示所述多个显示项的区域可具有低深度值。
[0030]第二显示层可具有在显示所述多个显示项的区域的深度值与没有显示所述多个显示项的区域的深度值之间的深度值。
[0031]响应于在所述多个显示项中的一个显示项上感测到用户输入，控制器可通过将第一显示层的感测到用户输入的点的深度值调整为低于第二显示层的深度值来提供感测到用户输入的显示项仿佛浸没在水中的视觉效果。
[0032]用户输入单元还可包括:传感器，被配置为感测用户终端的倾斜；其中，响应于用户输入被感测为用户终端的倾斜，控制器可通过根据经由传感器感测到的用户终端的倾斜程度改变所述多个显示层中的至少一个显示层的深度来提供视觉效果。
[0033]所述多个显示层可包括:第三显示层，被配置为示出重力效果的效果；第二显示层，其透明度可被预设。
[0034]控制器可被配置为:响应于用户输入被感测为用户终端的倾斜，通过改变第三显示层的深度来提供视觉效果，使得位于与用户终端的倾斜方向相反的方向的区域的深度值大于第三显示层的其它区域的深度值。
[0035]控制器可被配置为:响应于用户输入被感测为用户终端的倾斜，提供仅仅显示在第三显示层的深度值低于第二显示层的深度值的区域中的部分图像仿佛浸没在水中的视觉效果。
[0036]控制器可被配置为:响应于用户输入被感测为用户终端的倾斜，通过针对第二显示层的深度值在预设范围之内的区域提供水刻蚀效果来提供视觉效果。
[0037]控制器可被配置为:通过产生水刻蚀深度图来提供水刻蚀效果，通过反转第二显示层的深度值来确定深度值在预设范围之内的水刻蚀区域，并对水刻蚀深度图和水刻蚀区域的深度值进行插值。
[0038]显示器可具有弯曲的形状。
[0039]本发明构思的前述/和或其它特征和用途还提供了一种用户终端，所述用户终端包括:显示器，被配置为在具有重叠的深度的层上显示图像；用户输入单元，被配置为感测来自用户的信号；控制器，被配置为响应于所述信号控制显示器改变所述层中的至少一个层之中的部分的深度，以提供视觉效果。
[0040]所述层中的第一层可具有固定深度，且所述层中的第二层可具有可改变的深度。
[0041]所述层中的第一层可以是图像层，且所述层中的第二层可以是半透明层。
[0042]所述层中的第一层在对象的位置可具有第一深度并且在另一位置可具有第二深度，且所述层中的第二层可具有第三深度。
[0043]第三深度可在第一深度与第二深度之间。
[0044]对象的位置可以是所述部分的位置，且控制器可被配置为响应于信号控制显示器将所述部分的深度从第一深度改变为第四深度。
[0045]第四深度可以在第三深度和第二深度之间。
[0046]视觉效果可包括处于所述部分的对象浸没在水中且出现涟漪的呈现。
[0047]所述呈现可包括:光源和对象之间的折射效果和光源和对象之间的反射效果。
[0048]反射效果可包括镜面高光。[0049]本发明构思的前述和/或其它特征和用途还提供了一种显示图像的方法，所述方法包括:在控制器控制具有重叠的深度的层上的图像的显示，在控制器接收来自用户的信号，并在控制器响应于所述信号引起显示器改变所述层中的至少一个层的部分的深度，以提供视觉效果。
[0050]本发明构思的前述和/或其它特征和用途还提供了一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质包含当由控制器执行时引起控制器进行下列步骤的指令:控制具有重叠的深度的层上的图像的显示，接收来自用户的信号，并响应于所述信号引起显示器改变所述层中的至少一个层的部分的深度，以提供视觉效果。
【专利附图】

【附图说明】
[0051]通过以下结合附图的对实施例的描述，本发明构思的这些和/或其它特征和用途将变得清楚且更容易理解，其中:
[0052]图1是示出根据本发明构思的示例性实施例的用户终端的配置的框图。
[0053]图2是示出根据本发明构思的示例性实施例的用户终端的配置的框图；
[0054]图2A是示出图2中示出的存储器的配置的框图；
[0055]图3A和图3B是示出根据本发明构思的示例性实施例的第一显示层和第一显示层的深度图的示图；
[0056]图4A和图4B是示出根据本发明构思的示例性实施例的感测到用户输入之前及之后的第一显示层和第二显示层的示图；
[0057]图5是示出根据本发明构思的示例性实施例的根据折射率和反射率来渲染显示层的方法的流程图；
[0058]图6是示出根据本发明构思的示例性实施例的产生镜面(specular)高光的方法的示图；
[0059]图7A和图7B是示出根据本发明构思的示例性实施例的响应于用户输入的例如涟漪的视觉效果的示例的示图；
[0060]图8A至图SC是示出根据本发明构思的示例性实施例的当多个显示项被显示时第一显示层和第二显示层的示图；
[0061]图9A和图9B是示出根据本发明构思的示例性实施例的响应于用户输入的显示项仿佛浸没在水中的视觉效果的示例的示图；
[0062]图10是示出根据本发明构思的示例性实施例的显示来自用户终端的图像的方法的流程图；
[0063]图1lA至图1lC是示出根据本发明构思的示例性实施例的针对用户终端的倾斜程度的重力显示层和深度图的改变的示例性实施例的示图；
[0064]图12是示出根据本发明构思的示例性实施例的提供水刻蚀(caustic)效果的方法的示图；
[0065]图13是示出根据本发明构思的示例性实施例的针对用户终端的倾斜程度的水的流动的改变的视觉效果的示例的示图；
[0066]图14是示出根据本发明构思的示例性实施例的显示来自用户终端的图像的方法的流程图。【具体实施方式】
[0067]现在将详细参照本发明总体构思的实施例，在附图中示出所述实施例的示例，其中，相同的标号始终指示相同的元件。为了解释本发明总体构思，以下参照附图对实施例进行描述。
[0068]图1是示出根据本发明构思的示例性实施例的用户终端100的配置的框图。如图1中所示，用户终端100可包括:显示器110、用户输入单元130和控制器120。例如，用户终端100可被实现为智能电话，但本发明构思不限于此。用户终端100可被实现为各种电子装置，例如，诸如平板个人计算机(PC)、笔记本PC、台式PC、智能电视(TV)等。
[0069]在控制器130的控制下，显示器110可输出图像数据。具体地，显示器110可通过使用第一图像层310 (参见图4A和图4B)和第二显示层320 (参见图4A和图4B)来输出图像数据。第一显示层310的深度可不同于第二显示层320的深度。
[0070]在这种情况下，第一显示层310可以是被配置为显示图像且可具有固定深度的图像显示层。第二显示层320可以是被配置为具有特定透明度(例如，水面的透明度)且可具有可根据用户输入而改变的深度的半透明显示层。因此，显示器110可提供视觉效果，例如，在第一显示层310上显示的图像仿佛浸没在水中。此外，显示器110可根据第二显示层320的深度的改变来计算折射率(例如，使用斯涅耳定律)和反射率，并且可通过根据计算出的折射率和反射率提供例如镜面高光的视觉效果来调整第一显示层310的图像数据。
[0071]用户输入单元130可感测用于控制用户终端100的用户输入。例如，用户输入单元130可被实现为触摸屏，但本发明构思不限于此。用户输入单元130可被实现为各种其它输入单元，例如，诸如鼠标、指点装置等。
[0072]可选地，用户输入单元130可包括被配置为感测用户终端100的倾斜的传感器131(例如，加速度传感器、陀螺仪传感器等)。
[0073]控制器120可根据可通过用户输入单元130输入的用户命令来控制用户终端100的整体操作。
[0074]例如，当显示器110显示具有不同的深度的彼此重叠的多个显示层时，响应于通过用户输入单元130感测到用户输入，控制器120可控制显示器110通过根据用户输入改变所述多个显示层中的至少一个显示层的深度来提供响应于用户输入的图像效果。
[0075]例如，响应于通过用户输入单元130感测到用户输入，控制器120可改变第二显示层320的感测到用户输入的点的深度，并且可通过使用第一显示层310和具有改变的深度的第二显示层320在感测到用户输入的点提供与用户输入相应的视觉效果。
[0076]例如，当第二显示层320是具有水面的透明度的半透明显示层时，控制器120可通过使用第一显示层310和具有改变的深度的第二显示层320来计算感测到用户输入的点的折射度和反射度，并且可根据计算出的折射率和反射率来提供与用户输入相应的例如镜面闻光的视觉效果。
[0077]例如，控制器120可控制显示器110在感测到用户输入的点显示例如涟漪的视觉效果。
[0078]例如，当显示屏幕是被配置为显示多个显示项的壁纸屏幕时，第一显示层310之中显示多个显示项的区域可具有高深度值，且第一显示层310之中没有显示多个显示项的区域可具有低深度值。此外，第二显示层320可具有在显示多个显示项的区域的深度值与没有显示多个显示项的区域的深度值之间的深度值。
[0079]当显示器110显示初始屏幕(其显示多个显示项)时，响应于在所述多个显示项中的一个显示项上感测到用户输入，控制器120可提供视觉效果，例如，感测到用户输入的显示项仿佛浸没在水中。可通过将第一显示层310之中感测到用户输入的点的深度值调整为低于第二显示层320的深度值来提供这样的视觉效果。
[0080]以这种方式，用户终端100可向用户提供响应于用户输入的真实和自然的三维视觉效果。
[0081]以下参照图2至图9B更加详细地解释用户终端100。
[0082]图2是示出根据本发明构思的示例性实施例的用户终端200的配置的框图。如图2中所示，用户终端200可包括:通信单元210、显示器220、存储器230、用户输入单元240和控制器250。
[0083]图2示出在用户终端200可包括各种功能(例如，诸如提供通信的功能、输出图像的功能、提供视觉效果的功能等)的情况下集成的用户终端200的各个组件。因此，根据本发明构思的示例性实施例，可省略或改变在图2中示出的部分组件，并且/或者可添加其它组件。
[0084]通信单元210可以是被配置为根据各种类型的通信方法与各种类型的外表设备或外部服务器进行通信的组件。通信单元210可包括各种通信芯片，例如，诸如电气和电子工程师协会(IEEE) 802.1lb直接序列(W1-Fi)芯片、蓝牙芯片、近场通信(NFC)芯片、无线通信芯片等。在此，W1-Fi芯片、蓝牙芯片和NFC芯片可分别以W1-Fi方法、蓝牙方法和NFC方法执行通信。NFC芯片可指示使用各种射频识别(RF ID)频带(例如，诸如135kHz、
13.56MHz、433MHz、860?960MHz和2.45GHz)之中的13.56MHz频带的以NFC方法进行操作的芯片。当使用W1-Fi芯片或蓝牙芯片时，可首先发送并接收各种连接信息(例如，诸如子系统标识(SSID)和会话密钥)以便建立通信，随后通过使用连接信息来发送并接收各种信息。无线通信芯片可指示根据各种通信标准(例如，诸如IEEE的那些通信标准、ZigBee规范、第三代移动通信技术(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等)来执行通信的芯片。
[0085]在本发明构思的实施例中，通信单元210可从外部设备或外部服务器接收图像数据。
[0086]在控制器250的控制下，显示器220可输出图像数据。在本发明构思的实施例中，显示器220可通过使用具有不同的深度的多个显示层来输出图像数据。
[0087]例如，显示器220可通过使用被配置为显示图像的图像显示层310 (参见图4A和图4B)和被配置为具有水面的透明度的半透明显示层320 (参见图4A和图4B)来输出图像数据。
[0088]在这种情况下，图像显示层310可具有根据显示的图像的深度。例如，当图像显示层310显示如图3A中所示的图像时，图像显示层310可具有如图3B中所示的深度图。例如，在本发明构思的实施例中，图像显示层310可不根据用户输入而改变深度。可选地，图像显示层310可根据用户输入而改变深度。在本发明构思的实施例中，半透明显示层320可位于图像显示层310上，并且可根据用户输入而改变深度。在本发明构思的实施例中，半透明显示层320可整体上具有比图像显示层310的深度值高的深度值。可选地，半透明显示层320可在区域的一部分中具有比图像显示层310的深度值低的深度值。
[0089]例如，通过经由使用被配置为显示图像的图像显示层310和被配置为具有水面的透明度的半透明显示层320来输出图像，显示器220可向用户提供视觉效果，例如，显示在图像显示层310上的图像仿佛浸没在水中。也就是说，显示器220可针对显示在图像显示层310上的图像提供各种视觉效果。例如，控制器250可计算折射率(例如，使用斯涅耳定律)和反射率，且显示器220可根据计算出的半透明层320的表面形状的折射率和反射率来调整图像数据以提供视觉效果(例如，诸如镜面高光和由于折射的外观上的改变)。
[0090]在本发明构思的实施例中，在控制器250的控制下，响应于通过用户输入单元240感测到用户输入，显示器220可通过使用深度(或形状)被改变的半透明显示层320来显示由图像显示层310显示的图像。例如，显示器220可在感测到用户输入的点向用户提供例如涟漪的视觉效果。
[0091]显示器220可被实现为例如液晶显示器(IXD)，但本发明构思不限于此。可选地，显示器220可被实现为各种形式，例如，诸如有机发光二极管(0LED)、薄膜晶体管(TFT)、阴极射线管(CRT)等。
[0092]存储器230可存储用于操作用户终端200的各种模块。图2A是示出图2中示出的存储器230的配置的框图。例如，存储器230可存储包括基本模块231、传感器模块232、通信模块233、呈现模块234、web浏览器模块235和服务模块236的软件。在这种情况下，基本模块231可以是可处理从包括在用户终端200中的至少一个硬件装置发送的信号并且可将经处理的信号发送到上层模块的基本模块。传感器模块232可以是可从各个传感器237和238收集信息并且可分析和管理收集到的信息的模块。传感器模块232可包括例如面部识别模块232_1、语首识别模块232_2、运动识别模块232-3、NFC识别模块232-4等。呈现模块234可以是用于配置显示屏幕的模块，并且可包括例如:多媒体模块，用于播放并输出多媒体内容；用户界面(UI)渲染模块，用于执行Π处理和图形处理。通信模块233可以是用于与外部装置进行通信的模块。web浏览器模块235可指示通过执行web浏览来访问web服务器的模块。服务模块236可以是包括用于提供各种服务的各种应用的模块。
[0093]存储器230可包括如上所述的各种程序模块，但可根据用户终端200的类型和特性来省略、改变和/或添加程序模块。例如，当前述的用户终端200被实现为智能电话时，基本模块231还可包括:位置确定模块231-1，用于基于全球定位系统(GPS)确定位置；传感器模块232，还可包括用于感测用户动作的模块232-5。
[0094]用户输入单元240可接收用于控制用户终端200的用户命令。用户输入单元240可感测选择可显示在显示器220上的多个显示项中的一个显示项的用户输入。
[0095]在本发明构思的实施例中，当用户输入单元240被实现为触摸屏时，用户输入单元240可感测对于触摸屏的整个区域的一部分的用户触摸。
[0096]例如，在本发明构思的实施例中，用户输入单元240可被实现为触摸屏。可选地，用户输入单元240可被实现为被配置为控制用户终端200的另一种形式的输入单元，例如，诸如指点装置、鼠标等。
[0097]控制器250可通过使用存储在存储器230中的各种程序来控制显示器200的整体操作。[0098]如图2中所示，控制器250可包括随机存取存储器(RAM) 251、只读存储器(ROM)252、图形处理器253、主中央处理单元(CPU) 254、第I至第η接口 255-1至255_η和总线256。在这种情况下，RAM251、R0M252、图形处理器253、主CPU254和第I至第η接口 255-1至255-η可通过总线256彼此连接。
[0099]R0M252可存储用于启动系统的命令集。根据存储在R0M252中的命令，响应于输入开启命令且进行供电，主CPU254可将存储在存储器230中的操作系统(0/S)复制到RAM251中，可操作0/S，并且可启动系统。响应于启动被完成，主CPU254可将存储在存储器230中的各种应用程序复制到RAM251中，可执行被复制到RAM251中的应用程序，并且可执行各种操作。
[0100]图形处理器253可通过使用计算器(未示出)和渲染单元(未示出)来产生包括各种对象(例如，诸如图标、图像、文本等)的屏幕。计算器可根据从用户输入单元240接收到的控制命令来计算属性的值(例如，诸如根据屏幕的布局的对象被显示的坐标的值、对象的形状、对象的尺寸和/或对象的颜色)。渲染单元可基于由计算器计算出的属性的值来产生包括对象的具有各种布局的屏幕。由渲染单元产生的屏幕可被显示在显示器220的显示区域中。
[0101]主CPU254可访问存储器230，并且可通过使用存储在存储器230中的0/S来执行启动。此外，主CPU254可通过使用存储在存储器230中的各种程序、内容、数据等来执行各种操作。
[0102]第I至第η接口 255-1至255-η可连接到前述的各种组件。所述接口中的一个接口可以是例如可被配置为通过网络连接到外部设备的网络接口。
[0103]在本发明构思的实施例中，当显示器220显示彼此重叠的具有不同的深度的多个显示层时，响应于通过用户输入单元240感测到用户输入，控制器250可控制显示器220根据用户输入来改变所述多个显示层中的至少一个显示层的深度并且提供响应于用户输入的视觉效果。
[0104]例如，如图4Α中所示，显示器220 (参见图2)可通过重叠可具有不同的深度的图像显示层310和半透明显示层320来显示图像。在这种情况下，控制器250 (参见图2)可控制显示器220提供视觉效果(例如，显示在图像显示层310之中具有比半透明显示层320的深度值低的深度值的区域上的图像仿佛浸没在水中)。
[0105]例如，控制器250可控制显示器220计算图像显示层310的具有比半透明显示层的深度值低的深度值的区域的折射率和反射率，并且可根据计算出的折射率和反射率来提供图像仿佛浸没在水中的视觉效果。
[0106]参照图5来解释由控制器250根据反射率和折射率来渲染显示层的方法。在操作S510中，控制器250可产生光。例如，光可位于任意空间区域。
[0107]在操作S520，控制器250可计算半透明显示层320的法向量。例如，控制器250可计算每个像素的垂直向量作为半透明显示层320的每个像素的法向量。
[0108]在操作S530，控制器250可根据半透明显示层320的表面和相机(未示出)的位置来计算每个像素的折射率和反射率。例如，控制器250可通过使用菲涅耳方程，根据相机的位置和显示层的法向量的方向来计算每个像素的折射率和反射率。
[0109]在操作S540，控制器250可根据反射率来产生视觉效果，并且可根据折射率来渲染第一显示层310。例如，控制器250可根据计算出的反射率对光进行处理以产生镜面高光作为视觉效果，并且/或者可通过使用环境图(未示出)将光投射在半透明层320上。例如，控制器250可通过下述步骤来产生镜面高光:首先通过使用如图6中所示的涟漪的高度场来产生水面的三维网格，随后在任意位置添加光，其后根据相机、水面和光的位置和角度来执行三维着色操作。此外，例如，控制器250可通过使用可根据斯涅耳定律计算出的折射率来渲染图像显示层310。
[0110]在操作S550，控制器250可根据反射率和折射率来合成渲染结果。此外，例如，控制器250可控制显示器220输出根据反射率和折射率渲染的图像。
[0111]通过前述的处理，可提供显示在图像显示层上的图像仿佛浸没在水中的视觉效
果O
[0112]例如，如图4A中所示，当彼此重叠的具有不同的深度的图像显示层310和半透明显示层320显示图像时，响应于在触摸屏的任意区域感测到用户的触摸，如图4B中所示，控制器250可减小半透明显示层320之中感测到用户的触摸的点的深度值。例如，减小的深度值可根据用户的触摸的强度而变化。例如，响应于用户的较强的触摸，控制器250可较多地降低深度值，并且响应于用户的较弱的触摸，控制器250可较少地降低深度值。例如，图4B是示出当在半透明显示层320上感测到用户的触摸的时刻的示图。响应于感测到用户的触摸，半透明显示层320的深度值可被改变，以表现为在预定的时间段通过波浪上升。
[0113]响应于半透明显示层320的深度值被改变，控制器250可通过使用图5中示出的方法再次计算折射率和反射率,并且可渲染并输出显示层。
[0114]因此，控制器250可控制显示器220在感测到用户的触摸的点产生例如涟漪的视觉效果。例如，如图7A中所示，当渲染图像时，响应于在特定区域感测到用户的触摸，控制器250可控制显示器220提供例如如图7B中所示的涟漪的视觉效果。在这种情况下，控制器250可控制显示器220基于图像显示层310的深度来提供例如涟漪的视觉效果。也就是说，如图7B中所示，控制器250可控制显示器220在深度值低的方向比在深度值高的方向更多地形成并显示例如涟漪的视觉效果。
[0115]以这种方式，用户终端200可向用户提供更真实和更自然的例如涟漪的三维视觉效果。
[0116]以下参照图8A至图9B解释另一示例性实施例。
[0117]例如,如图9A中所示，当多个显示项910至990被显示时，图像显示层810 (参见图8A)可在显示项910至990所位于的区域具有高深度值，并且可在显示项910至990所不位于的区域具有低深度值。此外，如图8B中所示，半透明显示层820可具有在显示项910至显示项990所位于的区域的深度值与显示项910至990所不位于的区域的深度值之间的
深度值。
[0118]在这种情况下，如图8B中所示，当彼此重叠的具有不同的深度的图像显示层810和半透明显示层820显示图像时，响应于用户通过触摸多个显示项910至990中的一个显示项而发出的命令被输入，如图8C中所示，控制器250可将被触摸的显示项所位于的区域的深度值调整为低于半透明显示层820的深度值。因此，控制器250可向用户提供被触摸的显示项仿佛浸没在水中的视觉效果。
[0119]例如，如图8B和图9A中所示，当多个显示项910至990被显示时，响应于第五显示项950被触摸，如图8C和图9B中所示，控制器250可通过将图像显示层810上被触摸的第五显示项950所位于的区域的深度值调整为低于半透明显示层820的深度值，来向用户提供第五显示项950仿佛浸没在水中的视觉效果。
[0120]以这种方式，用户终端200可向用户提供响应于用户输入的真实和自然的三维视觉效果。
[0121]以下参照图10解释显示来自用户终端100的图像的方法。
[0122]在操作S1010，用户终端100可显示彼此重叠的具有不同的深度的多个显示层。例如，用户终端100可通过重叠被配置为显示图像的第一显示层310和被配置为具有水面的透明度的第二显示层320来显示图像。
[0123]在操作S1020，用户终端100可确定是否感测到用户输入。
[0124]在操作S1030，响应于感测到用户输入，用户终端100可根据用户输入来改变所述多个显示层中的至少一个显示层的深度，并且可提供响应于用户输入的视觉效果。例如，用户终端100可如以上参照图3A至图7B所解释的那样向用户提供涟漪的视觉效果，并且可如以上参照图8A至图9B所解释的那样向用户提供显示项仿佛浸没在水中的视觉效果。
[0125]在输出图像的方法中，用户终端100可向用户提供响应于用户输入的真实和自然的三维视觉效果。
[0126]以下参照图1lA至图14解释另一示例性实施例。例如，用户终端200可基于用户终端200的倾斜来提供由于重力的水的流动的改变的视觉效果。在本发明构思的示例性实施例中，用户终端200的显示器220可具有弯曲的形状。
[0127]例如，显示器220可显示彼此重叠的具有不同的深度的多个显示层。例如，显示层可包括显示图像的图像显示层、示出重力的效果的重力显示层和被配置为具有特定透明度(例如，水面的透明度)的半透明显示层。在这种情况下，图像显示层、重力显示层和半透明显示层可具有例如彼此不同的深度。此外，例如，图像显示层可具有固定的深度，且重力显示层和半透明显示层均可具有可根据用户输入而改变的深度。
[0128]例如，在显示器220显示彼此重叠的具有不同的深度的多个显示层的情况下，当通过用户输入240感测到用于倾斜用户终端200的用户输入时，控制器250可控制显示器220通过调整多个显示层之中的重力显示层的深度来提供响应于用户输入的视觉效果。
[0129]例如，如图1lA的示图1)中所示，当用户终端200不倾斜时，如图1lA的示图2)中所示，控制器250可显示重力显示层1110和半透明显示层1120可具有不同的深度、可彼此重叠的图像。在这种情况下，重力显示层1110的深度值可低于半透明显示层1120的深度值。此外，重力显示层1110可被表现为如图1lA的示图3)中所示的深度图。此外，虽然在图1lA中未示出图像显示层，但是图像显示层的深度值可例如低于重力显示层1110的深度值。
[0130]此外，如图1lB的示图1)中所示，当用户终端200被倾斜至第一角度(例如，10度)时，如图1lB的示图2)中所示，控制器250可改变用户终端200的倾斜的方向的反方向的区域的重力显示层1110的深度值。在这种情况下，重力显示层1110的最左侧部分的深度值可大于半透明显示层1120的深度值。此外，重力显示层1110可被表现为如图1lB的示图3)中所示的深度图。
[0131]此外，随着用户终端200的倾斜角度增大，可增加重力显示层1110的深度值比半透明显示层1120的深度值大的区域。例如，如图1lC的示图1)中所示，当用户终端200被倾斜至大于第一角度的第二角度(例如，20度)时，如图1lC的示图2)中所示，控制器250可使比用户终端200仅仅被倾斜至第一角度的程度时深度值被改变的区域宽的重力显示层1110的区域的深度值改变。在这种情况下，重力显示层1110的较大的最左侧部分的深度值可大于半透明显示层1120的深度值。此外，重力显示层1110可被呈现为如图1lC的示图3)中所示的深度图。
[0132]此外，控制器250可提供仅仅显示在重力显示层1110的深度值低于半透明显示层1120的深度值的区域中的部分图像仿佛浸没在水中的视觉效果。也就是说，控制器250可通过下列步骤来提供部分图像仿佛浸没在水中的视觉效果:针对显示在重力显示层1110的深度值高于半透明显示层1120的深度值的区域中的部分图像不提供涟漪的视觉效果(即，仅显示该部分图像)，但是针对显示在重力显示层1110的深度值低于半透明显示层的深度值1120的区域中的部分图像提供涟漪的视觉效果。由于以上已经描述了图像浸没在水中的视觉效果，因此省略进一步的解释。
[0133]此外，为了提供更真实的图像浸没在水中的视觉效果，控制器250可提供水刻蚀效果。在这种情况下，水刻蚀效果指示这样的效果:当光通过透明对象时，光经由折射被反射到另一区域。例如，控制器250可针对半透明显示层1120的深度值在预设范围之内的区域提供水刻蚀效果。
[0134]例如，控制器250可产生如图12的示图(a)中所示的水刻蚀深度图。在这种情况下，控制器250可使用例如存储在存储器230中的水刻蚀深度图。此外，如图12中的示图(b)中所示,控制器250可通过反转(reverse)半透明显示层1210的深度值来确定具有预设范围的深度值的水刻蚀区域。此外，控制器250可通过对图12的示图(a)中示出的水刻蚀深度图和图12的示图(b)中示出的水刻蚀区域的深度值进行插值来提供水刻蚀效果(在图12的示图(c)中示出通过这样的插值方式提供的水刻蚀效果的示例)。也就是说，控制器250可以通过仅仅针对与水刻蚀区域相应的区域设置水刻蚀深度值，并将其它区域的深度值设置为O来针对水刻蚀区域提供水刻蚀效果。在本发明构思的上述示例性实施例中，可针对水刻蚀区域设置水刻蚀深度值，并且针对其余区域设置深度值O。可选地，其它区域的水刻蚀深度值可被设置为低于水刻蚀区域的水刻蚀深度值。
[0135]如图13中所示，如上所述，控制器250可改变重力显示层1110的深度，提供水刻蚀效果，并根据用户终端200的倾斜程度来提供水的流动的改变的视觉效果。例如，当用户终端200向右方向倾斜时，控制器250可提供水仿佛向右方向流动且图像的左边区域仿佛浮出水面的视觉效果，并且当用户终端200转而向左方向倾斜时(例如，回到用户终端200的原始位置)，控制器250可提供水仿佛向左方向流动且图像的左边区域仿佛重新浸没在水中视觉效果。
[0136]以下参照图14解释根据本发明构思的示例性实施例的用户终端200的显示图像的方法。
[0137]在操作S1410，用户终端200可通过使重力显示层1110和半透明显示层1120彼此重叠来显示图像。例如，重力显示层1110的深度值可低于半透明显示层1120的深度值。
[0138]在操作S1420，用户终端200可感测用户终端200的倾斜。
[0139]如果在操作S1420-Y用户终端200的倾斜被感测到，则在操作S1430用户终端200可改变重力显示层1110的深度值。例如，用户终端200可改变位于与用户终端200的倾斜方向相反的方向的区域的深度值，且随着用户终端200的倾斜角度增大，可增加深度值被改变的区域的大小。
[0140]在操作S1440，用户终端200可通过比较重力显示层1110的深度值和半透明显示层1120的深度值来提供视觉效果。例如，用户终端200可提供这样的视觉效果:仅仅位于重力显示层1110的深度值低于半透明显示层1120的深度值的区域的部分图像仿佛浸没在水中，且位于重力显示层1110的深度值大于半透明显示层1120的深度值的区域的部分图像仿佛浮出水面(不提供涟漪的视觉效果)。此外，为了提供更真实的图像浸没在水中的视觉效果，用户终端200可针对半透明层1120的深度值在预定范围之内的区域提供水刻蚀效果O
[0141]如上所述，可通过根据用户终端200的倾斜程度调整重力显示层1110的深度值来在显示的图像上提供由于重力的水的流动的改变的视觉效果。此外，通过将水刻蚀效果与水的流动的改变的视觉效果一起提供，可提供更真实的图像。
[0142]根据本发明构思的上述各种示例性实施例的用户终端200的输出图像的方法可通过例如被实现为程序而提供给显示设备。在本发明构思的实施例中，包括用户终端100的输出图像的方法的程序可被存储并提供在计算机可读介质中。计算机可读介质可包括非暂时性计算机可读记录机制和计算机可读传输介质。
[0143]不同于诸如寄存器、缓存或类似类型的存储器的短时间存储数据的介质，非暂时性计算机可读记录介质指半永久性地存储数据且可被装置读取的介质。例如，上述各种应用和程序可被存储并提供在非暂时性计算机可读记录介质中，诸如只读存储器(ROM)、随机存取存储器(RAM)、致密盘(⑶)、⑶-ROM、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、磁带、软盘、光数据存储装置等。计算机可读记录介质还可分布在网络连接的计算机系统上，使得计算机可读代码以分布方式被存储并执行。计算机可读传输介质可通过载波或信号传输(例如，通过互联网进行有线或无线数据传输)。此外，实现本发明总体构思的功能程序、代码和代码段可被本发明总体构思所属领域的程序员容易地理解。
[0144]虽然本发明构思的一些实施例已经被示出并描述，但是本领域技术人员将理解的是，在不脱离本发明总体构思的原理和精神的情况下，可对这些实施例做出改变，其中，本发明总体构思的范围由权利要求及其等同物限定。
【权利要求】
1.一种显示图像的方法，所述方法包括: 在用户终端上显示彼此重叠的具有不同的深度的多个显示层； 响应于用户输入被感测到，根据用户输入来改变所述多个显示层中的至少一个显示层的深度，并提供响应于用户输入的视觉效果。
2.如权利要求1所述的方法，其中，所述多个显示层包括:第一显示层，被配置为显示图像；第二显示层，被配置为具有水面的透明度。
3.如权利要求2所述的方法，其中，第一显示层具有固定深度，且第二显示层具有被配置为根据用户输入而改变的深度。
4.如权利要求3所述的方法，其中，提供的步骤包括: 响应于用户输入被感测到，改变第二显示层的感测到用户输入的点的深度； 通过使用第一显示层和具有根据用户输入而改变的深度的第二显示层，在感测到用户输入的点提供响应于用户输入的视觉效果。
5.如权利要求4所述的方法，其中，在感测到用户输入的点提供响应于用户输入的视觉效果的步骤包括: 通过使用第一显示层和具有根据用户输入而改变的深度的第二显示层来计算感测到用户输入的点的折射率和反射率； 根据计算出的折射率和反射率来提供响应于用户输入的视觉效果。
6.如权利要求5所述的方法，其中，视觉效果是涟漪效果。
7.如权利要求2所述的方法，其中，当显示屏幕显示多个显示项时，第一显示层之中显示所述多个显示项的区域具有高深度值，且第一显示层之中没有显示所述多个显示项的区域具有低深度值。
8.如权利要求7所述的方法，其中，第二显示层具有在显示所述多个显示项的区域的深度值与没有显示所述多个显示项的区域的深度值之间的深度值。
9.如权利要求8所述的方法，其中，提供的步骤包括:响应于在所述多个显示项中的一个显示项上感测到用户输入，通过将第一显示层的感测到用户输入的点的深度值调整为低于第二显示层的深度值来提供感测到用户输入的显示项仿佛浸没在水中的视觉效果。
10.如权利要求1所述的方法，其中，提供的步骤包括:响应于用户输入被感测为用户终端的倾斜，根据用户终端的倾斜程度来改变所述多个显示层中的至少一个显示层的深度。
11.如权利要求10所述的方法，其中，所述多个显示层包括:第一显示层，被配置为显示图像；第二显示层，被配置为具有预设的透明度；第三显示层，被配置为示出重力的效果O
12.如权利要求11所述的方法，其中，提供的步骤包括:改变第三显示层的深度，使得位于与用户终端的倾斜方向相反的方向的区域的深度值大于第三显示层的其它区域的深度值。
13.如权利要求12所述的方法，其中，提供的步骤包括:提供仅仅显示在第三显示层的深度值低于第二显示层的深度值的区域中的部分图像仿佛浸没在水中的视觉效果。
14.如权利要求11所述的方法，其中，提供的步骤包括针对第二显示层的深度值在预设范围之内的区域提供水刻蚀效果，其中，提供水刻蚀效果的步骤还包括: 产生水刻蚀深度图； 通过反转第二显示层的深度值来确定深度值在预设范围之内的水刻蚀区域； 对水刻蚀深度图和水刻蚀区域的深度值进行插值。
15.一种用户终端，包括: 显示器，被配置为显示彼此重叠的具有不同的深度的多个显示层； 用户输入单元，被配置为感测用户输入；控制器，被配置为响应于通过用户输入单元感测到用户输入，控制显示器根据用户输入来改变所述多个显示层中的至少一个显示层的深度，并提供响应于用户输入的视觉效果 O
【文档编号】G02B27/22GK103997634SQ201410051940
【公开日】2014年8月20日 申请日期:2014年2月14日 优先权日:2013年2月15日
【发明者】郭永民, 朴赞敏, 申丞镐, 李俊石, 崔江植, 韩珍龙 申请人:三星电子株式会社