提供增强现实服务的移动通信终端和改变到其屏幕的方法

提供增强现实服务的移动通信终端和改变到其屏幕的方法
【专利摘要】提供一种用于提供增强现实服务的移动通信终端和改变到其屏幕的方法。所述在移动通信终端中改变到AR服务的屏幕的方法包括：显示不同于AR服务屏幕的现有屏幕；检测将显示从现有屏幕改变到AR服务屏幕的预定事件；如果已检测到预定事件，则驱动相机；使用相机捕捉图像；显示基于通过相机捕捉的图像而渲染的AR服务屏幕。
【专利说明】提供增强现实服务的移动通信终端和改变到其屏幕的方法
【技术领域】
[0001]本发明涉及一种用于提供增强现实(AR)服务的移动通信终端和改变到增强现实服务屏幕的方法。
【背景技术】
[0002]目前，正在进行积极研究和开发以提供增强现实(AR)服务。尤其，作为配备有相机、高性能计算单元、通信单元等的装置的结果，智能电话已出现。随着智能电话的出现，AR被更活跃地使用。AR服务是指通过将增强信息显示在通过相机捕捉的真实图像上(例如，在显示期间将增强信息覆盖在真实图像上)而最大化用户便利性的各种服务。
[0003]例如，AR服务可将接收到的道路信息添加到包括由用户使用他或她的智能电话捕捉的多条道路的真实图像上。作为示例，可从服务器接收道路信息。智能电话可渲染使用道路信息增强的图像，从而使用户直观地掌握路况(例如，屏幕上的道路沿哪个方向延伸)。
[0004]例如，AR服务可提供与虚拟信息(诸如道路信息)组合的现实信息(诸如捕捉的真实图像)。同时，根据现有技术的AR服务需要运行自身的功能。在这点上，用户必须从开始屏幕(诸如菜单屏幕)选择相应的应用的图标，这会给用户造成不便。
[0005]因此，需要一种更直观运行AR服务的方法。另外，当AR服务开始运行时，需要一种改变屏幕以使用户能够更直观地掌握运行的处理的方法。例如，需要一种用于改变到AR服务屏幕的设备和方法。
[0006]上述信息被呈现为仅助于本公开的理解的背景信息。关于任何上述内容是否可适用于关于本发明的现有技术，未做出任何确定，并且未做出任何断言。

【发明内容】

[0007]本发明的多个方面在于至少解决上述问题和/或缺点并在于至少提供以下描述的优点。因此，本发明的一方面在于提供一种用于更直观地提供增强现实(AR)服务的移动通信终端和改变到AR服务屏幕的方法。
[0008]根据本发明的一方面，提供一种在移动通信终端中改变到AR服务的屏幕的方法。所述方法包括:显示不同于AR服务屏幕的现有屏幕；检测将显示从现有屏幕改变到AR服务屏幕的预定事件；如果已检测到预定事件，则驱动相机；使用相机捕捉图像；显示基于通过相机捕捉的图像而渲染的AR服务屏幕。
[0009]根据本发明的另一方面，提供一种用于提供AR服务的移动通信终端。所述移动通信终端包括:相机；触摸屏，显示不同于AR服务屏幕的现有屏幕；事件检测器，用于检测将显示从现有屏幕改变到AR服务的预定事件；控制器，如果已检测到预定事件，则用于驱动相机，用于使用相机捕捉图像，并用于控制触摸屏显示基于通过相机捕捉的图像而渲染的AR服务屏幕。
[0010]通过结合附图公开本发明的示例性实施例的以下详细的描述，本发明的其它方面、优点和突出特征将对于本领域的技术人员变得清楚。【专利附图】

【附图说明】
[0011]从以下结合附图的描述中，本发明的特定示例性实施例的上述以及其它方面、特点和优点将更加清楚，在附图中:
[0012]图1是根据本发明的示例性实施例的具有触摸屏的移动通信终端的框图；
[0013]图2示出根据本发明的示例性实施例的增强现实(AR)服务的屏幕；
[0014]图3是示出根据本发明的示例性实施例的改变到AR服务屏幕的方法的流程图；
[0015]图4A和图4B示出根据本发明的示例性实施例的改变到AR服务屏幕的方法；
[0016]图5是示出根据本发明的另一示例性实施例的改变到AR服务屏幕的方法的流程图；
[0017]图6A至图6C示出根据本发明的另一示例性实施例的改变到AR服务屏幕的方法；
[0018]图7示出根据本发明的示例性实施例的改变屏幕；
[0019]图8A和图SB示出根据本发明的示例性实施例的提供AR服务屏幕的构思；
[0020]图9A和图9B示出根据本发明的示例性实施例的屏幕固定；
[0021]图1OA至图1OC示出根据本发明的示例性实施例的提供建筑物的室内图像的处理；
[0022]图1lA至图1lC示出根据本发明的示例性实施例的屏幕改变；
[0023]图12A和图12B示出根据本发明的示例性实施例的屏幕改变；
[0024]图13A和图13B示出根据本发明的示例性实施例的改变屏幕的方法；
[0025]图14A和图14B示出根据本发明的示例性实施例的改变屏幕的方法；
[0026]图15A至图15C示出根据本发明的示例性实施例的改变屏幕的方法；
[0027]贯穿附图，相同的标号将被理解为表示相同的部件、组件和结构。
【具体实施方式】
[0028]提供以下参照附图的描述以助于全面理解由权利要求及其等同物限定的本发明的示例性实施例。以下描述包括各种特定细节以助于理解，但是这些将仅被认为是示例性的。因此，本领域的普通技术人员将认识到在不脱离本发明的范围和精神的情况下可对在此描述的实施例进行各种改变和修改。另外，为了清楚和简明，可能会省略公知功能和构造的描述。
[0029]在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅被发明人使用，以能够使本发明得到清楚和一致的理解。因此，对本领域技术人员应该清楚的是，提供本发明的示例性实施例的以下描述仅用于说明目的，而不是限制由权利要求及其等同物限定的本发明的目的。
[0030]将理解，除非上下文明确指示，否则单数形式包括复数指示。因此，例如，参照“组件表面”包括参照一个或多个这样的表面。
[0031]仅作为非详尽的说明，这里描述的终端(例如，移动通信终端)可表示与这里公开的内容一致的能够进行无线通信或网络通信的移动装置(诸如蜂窝电话、个人数字助理(PDA)、数字相机、便携式游戏机、MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、便携式膝上型个人计算机(PC)、全球定位系统(GPS )等)。[0032]图1是根据本发明的示例性实施例的具有触摸屏的移动通信终端的框图。
[0033]参照图1，移动通信终端100包括触摸屏190和触摸屏控制器195。移动通信终端100还包括控制器110、移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块160、传感器模块170、存储器175和电源180。
[0034]具有触摸屏190的移动通信终端100可经由移动通信模块120、子通信模块130和/或连接器165连接到外部装置(未示出)。“外部装置”包括另一装置、蜂窝电话、智能电话、平板个人计算机(PC)和服务器，所有外部装置未示出。
[0035]子通信模块130包括无线局域网(WLAN)模块131和短程通信模块132中的至少一个。
[0036]多媒体模块140包括广播通信模块141、音频播放模块142和视频播放模块143中的至少一个。
[0037]相机模块150包括第一相机151和第二相机152中的至少一个。
[0038]输入/输出模块160包括按钮161、麦克风162、扬声器163、振动电机164、连接器165和键盘166中的至少一个。
[0039]控制器110可包括中央处理单元(CPU) 111、只读存储器(ROM) 112和随机存取存储器(RAM)113，其中，R0M112用于存储控制程序以控制移动装置100，RAM113用于存储从外部输入的信号或数据或用作用于移动通信终端100中的工作结果的存储器空间。CPUlll可包括至少一个核(例如，CPUlll可包括单核、双核、三核或四核)。CPU111、R0M112和RAM113可经由内部总线彼此连接。
[0040]控制器110可控制移动通信模块120、子通信模块130、多媒体模块140、相机模块150,GPS模块155、输入/输出模块160、传感器模块170、存储器175、电源180、触摸屏190和触摸屏控制器195。具体地讲，如以下将更详细描述的那样，控制器100可检测与屏幕改变或固定相应的预定事件。控制器110还可控制触摸屏190显示检测结果。
[0041]移动通信模块120在控制器110的控制下使用一个或多个天线(未示出)通过移动通信将移动通信终端100连接到外部装置。移动通信模块120将用于语音呼叫、视频会议呼叫、短消息服务(SMS)消息或多媒体消息服务(丽S)消息的无线信号发送到蜂窝电话(未示出)、智能电话(未示出)、平板PC (未示出)、其它装置、具有将输入移动通信终端100的电话号码的电话或者从蜂窝电话(未示出)、智能电话(未示出)、平板PC (未示出)、其它装置、具有将输入移动通信终端100的电话号码的电话接收用于语音呼叫、视频电话呼叫、短消息服务(SMS)消息或多媒体消息服务(丽S)消息的无线信号。
[0042]子通信模块130可包括WLAN模块131和短程通信模块132中的至少一个。例如，子通信模块130可包括WLAN模块131或近场通信模块132或者WLAN模块131和近场通信模块132两者。
[0043]WLAN模块131可在控制器110的控制下连接到存在接入点(AP)(未示出)的地方的互联网。WLAN模块131支持电气和电子工程师协会(IEEE)的WLAN标准IEEE802.1lx0短程通信模块132可在控制器110的控制下在移动通信终端100与图像渲染装置(未示出)之间进行短程通信。短程通信可包括蓝牙、红外数据协会(IrDA)等。
[0044]移动通信终端100基于性能可包括移动通信模块120、WLAN模块131和短程通信模块132中的至少一个。例如，移动通信终端100基于性能可包括移动通信模块120、WLAN模块131和短程通信模块132的组合。
[0045]多媒体模块140可包括广播通信模块141、音频播放模块142或视频播放模块143。广播通信模块141可在控制器110的控制下通过广播通信天线(未示出)接收从广播站发送的广播信号(例如，电视广播信号、无线电广播信号、数据广播信号等)和附加广播信息(例如电子节目指南(EPG)或电子服务指南(ESG))。音频播放模块142可在控制器110的控制下播放存储或接收的数字音频文件(例如，具有扩展名(诸如mp3、wma、ogg、wav等)的文件)。视频播放模块143可在控制器110的控制下播放存储或接收的数字视频文件(例如，具有扩展名(诸如mpeg、mpg、mp4、av1、mov、mkv等)的文件)。视频播放模块143还可播放数字音频文件。
[0046]多媒体模块140除了包括广播通信模块141之外，还可包括音频播放模块142和视频播放模块143。多媒体模块140的音频播放模块142或视频播放模块143可被包括在控制器110中。
[0047]相机模块150可包括用于在控制器110的控制下捕捉静止图像或视频图像的第一相机151和第二相机152中的至少一个。相机模块150可包括第一相机151或第二相机152或者第一相机151和第二相机152两者。此外，第一相机151或第二相机152可包括用于提供捕捉图像所需的足够多的光的辅助光源(例如，闪光灯(未示出)等)。第一相机151和第二相机152可被布置为彼此邻近(例如，第一相机151和第二相机152之间的距离可以在Icm至8cm之间的范围内)，并且可捕捉3D静止图像或3D视频图像。如果第一相机151与第二相机152之间的距离小于跨第一外壳IOOa的长度(例如，垂直于距离D1)，则第一相机151和第二相机152可被分别布置在移动通信终端100的前面和后面。
[0048]GPS模块155从地球轨道中的多个GPS卫星(未示出)接收无线电信号，并可通过使用从GPS卫星到移动通信终端100的到达时间来计算移动通信终端100的位置。
[0049]输入/输出模块160可包括至少一个按钮161、麦克风162、扬声器163、振动电机164、连接器165、键盘166等中的至少一个。
[0050]麦克风162通过在控制器110的控制下接收语音或声音来产生电信号。可布置一个或多个麦克风162。
[0051]扬声器163可在控制器110的控制下将与各种信号(例如,无线电信号、广播信号、数字音频文件、数字视频文件、照片信号等)相应的声音从移动通信模块120、子通信模块130、多媒体模块140或相机模块150输出到外部。扬声器163可输出与由移动通信终端100执行的功能相应的声音(例如,按压按钮声音或彩铃)。
[0052]振动电机164可在控制器110的控制下将电信号转换为机械振动。例如，在振动模式下的移动通信终端100在从另一装置(未示出)接收到语音呼叫时操作振动电机164。
[0053]根据本发明的示例性实施例，移动通信终端100的振动电机164可响应于触摸屏190的触摸而操作。
[0054]连接器165可被用作用于将移动通信终端100连接到外部装置(未示出)或电源(未示出)的接口。在控制器110的控制下，存储在移动通信终端100的存储器175中的数据可经由连接到连接器165的线缆被发送到外部装置，或者可从外部装置接收数据。可经由连接到连接器165的线缆从电源接收电能或者电池(未示出)可被充电。
[0055]键盘166可从用户接收键输入以控制移动通信终端100。键盘166包括在移动通信终端100中形成的物理键盘(未示出)或在触摸屏190上显示的虚拟键盘(未示出)。可根据移动通信终端100的性能或结构而排除在移动通信终端100中形成的机械键盘。
[0056]传感器模块170包括用于检测移动通信终端100的状态的至少一个传感器。例如，传感器模块170可包括接近传感器、照度传感器、运动传感器(未示出)等，其中，接近传感器用于检测用户对移动通信终端100的接近，照度传感器用于检测环境光量，运动传感器用于检测移动通信终端100的操作(例如，移动通信终端100的旋转、施加到移动通信终端100上的加速或振动)。至少一个传感器可检测状态并产生相应的信号以发送到控制器110。可根据移动通信终端100的性能添加或移除传感器模块170的传感器。运动传感器可包括旋转传感器、陀旋仪传感器、线性传感器等中的至少一个。传感器可被统称为传感器单元。作为示例，传感器单元可在移动通信终端100以特定角度倾斜时检测倾斜运动。
[0057]存储器175可在控制器110的控制下存储根据以下模块的操作而输入/输出的信号或数据:移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块、输入/输出模块160、传感器模块170、第一触摸屏190。存储器175可存储用于控制移动通信终端100或控制器110的控制程序。
[0058]术语“存储器”不仅意指存储器175，而且还意指控制器110中的R0M112和RAM113，或者存储卡(未示出)(例如，SD卡、记忆棒)和其它安装在移动装置100中的相似物。存储器还可包括非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)。
[0059]电源180可在控制器110的控制下将电能提供给一个或多个电池(未示出)。一个或多个电池向移动通信终端100提供电能。电源180可经由连接到连接器165的线缆向移动通信终端100提供从外部电源(未示出)输入的电能。
[0060]触摸屏190可向用户提供用于各种服务(例如，呼叫、数据传输、广播、摄影服务)的用户接口。触摸屏190可将与输入到用户接口的至少一个触摸相应的信号(例如，模拟信号)发送到触摸屏控制器195。触摸屏190可从用户的物理接触(例如，使用包括拇指的手指等)或经由可触摸的触摸装置(例如，触控笔)接收至少一个触摸。触摸屏190可接收至少一个触摸之一的连续移动。触摸屏190可将与输入的触摸的连续移动相应的信号(诸如模拟信号)发送到触摸屏控制器195。
[0061]根据本发明的示例性实施例，触摸不限于通过用户的物理接触的物理触摸或与可触摸的触摸装置的接触，而且还可包括无触摸的输入(例如，使触摸屏190与用户的身体或者可触摸的触摸装置之间的可检测的距离保持为小于1mm)。与触摸屏190的可检测的距离可根据移动通信终端100的性能或结构而变化。
[0062]可使用电阻式方案、电容式方案、红外线方案、声波方案等来实现触摸屏190。
[0063]触摸屏控制器195将从触摸屏190接收的模拟信号转换为数字信号(例如，XY坐标)并将所述数字信号发送到控制器110。控制器110可通过使用从触摸屏控制器195接收的数字信号来控制触摸屏190。例如，响应于触摸，控制器110可启用将被选择或执行的显示在触摸屏190上的快捷图标(未示出)。触摸屏控制器195还可包含在控制器110中。
[0064]图2示出根据本发明的示例性实施例的增强现实(AR)服务的屏幕。
[0065]参照图2，AR服务的屏幕200显示通过移动通信终端100的相机模块150捕捉的图像以及不同条增强信息201、211和221。增强信息可与道路的方向信息201、关于商店名称、联系方式、周围建筑物的级别等的信息211和221相应。[0066]移动通信终端100可将通过相机模块150捕捉的图像、移动通信终端的全球定位系统(GPS)信息等发送到服务器。服务器可从关于AR服务的数据库读出不同条增强信息并将增强信息发送到移动通信终端。之后，移动通信终端100可通过渲染捕捉的图像和增强信息来显示AR服务的屏幕200。服务器还可将渲染捕捉的图像和增强信息的结果发送到移动通信终端，从而移动通信终端可显示渲染的AR服务的屏幕200。
[0067]作为示例，AR服务的屏幕200显示中央的道路以及指示如果移动通信终端100继续前进并向右转则道路通向“中央公园”的一条增强信息210。在AR服务的屏幕200的右侦牝道路旁边的建筑物被捕捉并显示有建筑物的多条增强信息211(诸如商店名称“比萨A”、联系信息“031-555-4614”(例如，电话号码)和三星级别)。在AR服务的屏幕200的左侧，道路旁边的建筑物被捕捉并显示有建筑物的多条增强信息221 (诸如商店名称“时尚B”、联系信息“ 031-444-5044 ”和两星级别)。
[0068]AR服务的屏幕200仅作为示例，屏幕200中呈现的图像不限于此，而是还可包括许多不同种类的图像，包括周围建筑物的室内图、二维地图的鸟瞰图、街道图等。
[0069]图3是示出根据本发明的示例性实施例的改变到AR服务屏幕的屏幕的方法的流程图。
[0070]参照图3，在步骤S301，移动通信终端可显示与AR服务的屏幕(还称为AR服务屏幕)不同的二维现有屏幕。术语“现有屏幕”表示在改变到AR服务屏幕之前显示在移动通信终端上的任何屏幕。现有屏幕可以是用户(即，移动通信终端的)的周围环境的二维地图。现有屏幕还可以是在执行相机应用之后准备用于图像或视频捕捉的屏幕。尽管在当前屏幕中显示任何图像，但是移动通信终端可在检测到特定事件时立即改变到AR服务屏幕。
[0071]在步骤S303，移动通信终端可检测预定事件以改变到AR服务屏幕。如果在步骤S303移动通信终端未检测到预定事件，则随后移动通信终端返回到步骤S301，其中，在步骤S301中，移动通信终端可继续显示现有屏幕。否则，如果移动通信终端检测到预定事件，则随后移动通信终端进行到步骤S305，其中，在步骤S305中，移动通信终端可驱动相机模块150并显示基于通过相机模块150捕捉的图像所渲染的AR服务屏幕。如上所述，尽管显示任意其它应用屏幕，但是移动通信终端可一检查到预定事件就立即改变到AR服务屏幕。例如，移动通信终端可在特定事件发生时驱动相机模块150。移动通信终端可从相机模块150获得AR服务屏幕所需的捕捉的图像。移动通信终端可通过渲染捕捉的图像和增强信息或通过从服务器接收渲染的AR服务屏幕来显示AR服务屏幕。
[0072]图4A和图4B示出根据本发明的示例性实施例的改变到AR服务屏幕的方法。
[0073]参照图4A和图4B，现有屏幕可以是用户的周围环境或移动通信终端400的周围环境的二维地图411。用户可运行存储在移动通信终端400中的地图相关应用或可操作移动通信终端400以访问提供基于web浏览器的二维地图的网站。如图4A所示，移动通信终端400可将二维地图411显示在触摸屏410上。
[0074]根据本发明的示例性实施例，用于将屏幕改变到AR服务屏幕的预定事件可与倾斜移动通信终端400相应。例如，改变屏幕的预定事件可以是以大于预定角度倾斜移动通信终端400。例如，如图4B所示，当用户以大于预定角度倾斜移动通信终端400时，移动通信终端400可确定预定事件已发生。
[0075]移动通信终端400随后可驱动相机模块150并基于通过相机模块150捕捉的图像将AR服务屏幕200显示在触摸屏410上。
[0076]根据本发明的示例性实施例,用户可将移动通信终端400移动(例如，定位)回如图4A所示的第一位置(例如，通过沿相反方向倾斜移动通信终端400)。作为响应，移动通信终端400可将沿相反方向的倾斜运动确定为相反的屏幕改变事件，并相应地显示现有屏幕(例如，二维地图411)。例如，如果移动通信终端400确定其方位根据另一预定事件(例如，沿与引起AR服务屏幕200的显示的方位或移动相反的方向定位或移动)而改变，则随后移动通信终端400可自动地显示现有屏幕(例如，移动通信终端400可返回到显示现有屏幕)。
[0077]如上所述，可以用倾斜屏幕移动通信终端400的运动来给予用户AR服务屏幕200。如果用户期望结束显示AR服务屏幕200，则用户可沿相反方向倾斜移动通信终端400并且随后可被给予二维地图411。使用以上配置，当需要使用二维地图与AR服务之间的交替时可最大化用户便利性。此外，用户可执行符合用户的直觉的操作(诸如沿垂直方向提高二维平面以扩展为三维AR)，从而创造没有困难地运行AR服务的效果。
[0078]图5是示出根据本发明的另一示例性实施例的改变到AR服务屏幕的方法的流程图。
[0079]参照图5，在步骤S501，移动通信终端400可显示现有屏幕。现有屏幕可以是二维地图并且改变屏幕的事件可以是如图4A和图4B所示的倾斜移动通信终端。
[0080]在步骤S503，移动通信终端400可确定移动通信终端400是否在倾斜的处理中。更具体地讲，当移动通信终端400检测到倾斜运动时，移动通信终端400可确定是否已以大于预定角度倾斜移动通信终端400。例如，在步骤S503，如果移动通信终端400确定已以小于预定角度倾斜移动通信终端400，则在步骤S503移动通信终端400可确定移动通信终端400在倾斜的处理中。如果移动通信终端400未检测到倾斜运动，则随后移动通信终端400可确定移动通信终端400未在倾斜的处理中。在倾斜的处理中的移动通信终端400与移动通信终端400被倾斜但是未达到移动通信终端400的倾斜已达到预定角度这样的程度相应。
[0081 ] 如果在步骤S503移动通信终端400确定移动通信终端400在倾斜的处理中，则移动通信终端400进行到步骤S505，其中，在步骤S505中，移动通信终端400可显示与倾斜角度相应的至少一个改变屏幕。所述至少一个改变屏幕与现有屏幕或AR服务屏幕不同。在从现有屏幕改变到AR服务屏幕的处理中显示改变屏幕，这帮助用户更直观地识别改变处理(例如，从现有屏幕到AR服务屏幕)。移动通信终端400可基于从服务器接收的数据或存储在移动通信终端400中的数据来显示改变屏幕。
[0082]如之后将参照图6A至图6C更详细描述的那样，改变屏幕可以是二维地图的三维鸟瞰图。鸟瞰图可以是通过从空中特定观看角度观看二维地图(例如，从上面观看二维地图)所获得的鸟瞰地图。当用户倾斜移动通信终端400时，二维地图变成三维鸟瞰图，给予获得AR服务屏幕的视觉效果。
[0083]在步骤S507，移动通信终端400可确定倾斜处理是否已完成。如果在步骤S507移动通信终端400确定倾斜处理未完成，则移动通信终端400进行到步骤S505，其中，在步骤S505中，移动通信终端400可显示改变屏幕。具体地讲，移动通信终端400可通过转变改变屏幕来显示改变屏幕。例如，随着倾斜角度增大，移动通信终端400可显示从通过从空中较低观看角度观看所获得的屏幕到从空中较高观看角度观看所获得的屏幕的改变屏幕。[0084]相反，如果在步骤S507移动通信终端400确定倾斜处理已完成，则移动通信终端400进行到步骤S509，其中，在步骤S509中，移动通信终端400可显示AR服务屏幕。
[0085]图6A至图6C示出根据本发明的示例性实施例的改变到AR服务屏幕的方法。
[0086]参照图6A,移动通信终端400被示出为如图4A所示将二维地图411显示在移动通信终端400的触摸屏410上。用户可倾斜移动通信终端400。
[0087]参照图6B，移动通信终端400被示出为显示改变屏幕600。如图6B所示，当已以小于预定角度(例如，在位置“a”与当前方位或移动通信终端400的位置之间测量的角度)倾斜移动通信终端400时，移动通信终端400可确定移动通信终端400在倾斜的处理中。移动通信终端400可显示在倾斜的处理中的改变屏幕600。改变屏幕600可以是以下将参照图?更详细描述的与二维地图411相应的三维鸟瞰图。
[0088]根据本发明的示例性实施例，随着倾斜角度增大，可提供以空中更高视角获得的鸟瞰图。因此，当移动通信终端400正在倾斜时，具有空中逐渐增大的视角的鸟瞰图可给予动画效果。移动通信终端400可从服务器接收具有不同的视角的鸟瞰图。移动通信终端400可在显示地图(例如，二维地图411)的同时从服务器接收具有不同的视角的鸟瞰图，或者，移动通信终端400可从服务器接收针对相对大的地理区域的具有不同视角的鸟瞰图。这样的信息可被本地地存储在移动通信终端400上。
[0089]参照图6C，用户可以以大于预定角度倾斜移动通信终端400。响应于以大于预定角度倾斜移动通信终端400 (例如，当移动通信终端被倾斜大于位置“b”与位置“a”之间的角度时)，移动通信终端400可显示AR服务屏幕200。
[0090]相反，用户可沿向前倾斜方向的相反方向(例如，如果倾斜超出预定角度则使移动通信终端400显示AR屏幕200的倾斜方向)来倾斜移动通信终端400,这操作移动通信终端400显示回二维地图411。在这种情况下，移动通信终端400可显示至少一个改变屏幕600。可以以向前倾斜的相反顺序显示改变屏幕。
[0091]因此，当在二维地图411被改变到AR服务屏幕200之前倾斜移动通信终端400时，可以以改变屏幕创造动画效果，从而提供更符合用户直觉的服务。
[0092]图7示出根据本发明的示例性实施例的改变屏幕。
[0093]参照图7，改变屏幕600可以是通过从空中特定视角观看二维地图411所获得的三维鸟瞰图。在三维鸟瞰图中，周围建筑物601和602被提供为三维图像。视角可变化并且具有与倾斜角度相应的不同视角的多个鸟瞰图可被提供作为改变屏幕。
[0094]图8A和图SB示出根据本发明的示例性实施例的提供AR服务屏幕的构思。
[0095]参照图8A和图8B，改变到AR服务屏幕的预定事件可与从触摸屏的顶部801向下拖拽运动802相应。当检测到拖拽运动时，移动通信终端400可一起显示二维地图41 (例如，现有屏幕)和AR服务屏幕200。例如，在触摸屏410上，现有屏幕411可被显示在触摸屏幕的下部，AR服务屏幕200可被显示在上部。例如，AR服务屏幕200和现有屏幕411可倾斜在触摸屏上。即使在这种情况下，移动通信终端400可驱动相机模块150。同时向用户提供现有屏幕411和AR服务屏幕200可最大化用户便利性。现有屏幕411和AR服务屏幕200可具有通过保持输入点穿过触摸屏411的边界线，边界线可根据保持输入点的改变而变化。现有屏幕411的部分和AR服务屏幕200的部分可以是可调整的。
[0096]现有屏幕411的布置和AR服务屏幕200的布置仅作为示例，对于本【技术领域】的普通技术人员将显而易见的是:布置可以与图8B中示出的布置相反。此外，将理解，AR服务屏幕200可不限于以上描述的内容(诸如二维地图、三维鸟瞰图、周围建筑物的室内图像、周围建筑物的外部图像等)。
[0097]图9A和图9B示出根据本发明的示例性实施例的屏幕固定。
[0098]参照图9A和图9B，用户可触摸并保持触摸屏410上的点901并且随后倾斜移动通信终端400。移动通信终端400可将这样的触摸并保持确定为屏幕固定事件，并且因此即使倾斜移动通信终端400时也不执行屏幕改变。例如，移动通信终端400如果检测到触摸并保持事件，则可即使在倾斜(从位置“a”定向或移动)移动通信终端时也继续显示现有屏幕411。尽管未示出，但是移动通信终端400在显示AR服务屏幕时可触摸并保持触摸屏410上的点。移动通信终端400随后可将触摸并保持输入确定为屏幕固定事件并继续显示AR服务屏幕。
[0099]图1OA至图1OC示出根据本发明的示例性实施例的提供建筑物的室内图像的处理。
[0100]参照图1OA和图10B，用户可选择显示在触摸屏410上的二维地图411上的感兴趣的地方1001 (例如，多个周围建筑物之一)。在这种情况下，如图1OB所示，选择的感兴趣的地方(例如，建筑物)可被激活1011。然后，用户可倾斜具有显示建筑1001被激活的二维地图411的移动通信终端400。
[0101]参照图10C，当从位置“a”倾斜移动通信终端400时，移动通信终端400可提供如图1OC所示的选择的感兴趣的地方(建筑物)的详细信息(例如，室内图像)1020。例如，如图1OC所示，用户可以看到显示在触摸屏410上的选择的建筑物“比萨A”的室内图像。
[0102]相反，当移动通信终端400确定移动通信终端400在建筑物的(例如，建筑物“比萨A”的)内部时,移动通信终端400还可显示建筑物的室内图像1020。移动通信终端400可使用接收到的信息(例如，GPS坐标、无线保真(W1-Fi)信号等)来确定移动通信终端400是位于建筑物的内部还是位于建筑物的外部。
[0103]图1lA至图1lC示出根据本发明的示例性实施例的屏幕改变。
[0104]参照图11A，用户可倾斜具有显示在触摸屏410上的二维地图411的移动通信终端400。根据本发明的示例性实施例，可假设用户(例如，移动通信终端)位于建筑物(例如，“比萨A”)的内部。例如，移动通信终端400可基于接收到的信息或基于移动通信终端400上的传感器提供的信息来确定移动通信终端400位于建筑物的内部。
[0105]参照图11B，当假设移动通信终端400位于建筑物的内部时，移动通信终端400可提供改变屏幕1101。改变屏幕1101可以是建筑物“比萨A”的室内俯视图或室内鸟瞰图。改变屏幕1101还可提供关于移动通信终端400的位置处提供的服务的其它信息(例如，菜单、营业时间等)。
[0106]参照图11C，如果倾斜移动通信终端400大于预定角度(例如，如果倾斜移动通信终端400超过远离位置“a”的位置“b”)，则移动通信终端400可显示建筑物的室内图像1020。
[0107]图12A和图12B示出根据本发明的示例性实施例的屏幕改变。
[0108]参照图12A和图12B，现有屏幕可以是用于相机捕捉的屏幕。移动通信终端400可将通过相机模块150捕捉的图像1200连同捕捉开始图标1201以及菜单设置窗口 1210 —起显示在触摸屏410上。作为示例，菜单设置窗口 1210具有用户可选择照片、视频、AR服务等的标签(例如，按钮)。
[0109]如图12B所示，如果用户选择AR服务标签，则移动通信终端400可显示AR服务屏眷 200。
[0110]图13A和图13B示出根据本发明的示例性实施例的改变屏幕的方法。
[0111]参照图13A和图13B，显示在触摸屏410上的现有屏幕可以是开始菜单屏幕1301。改变到AR服务屏幕200的预定事件可以是指示改变到AR服务屏幕200的语音输入1350。当通过麦克风420接收到语音输入1350时，如图13B所示，移动通信终端400可显示AR服务屏幕200。
[0112]图14A和图14B示出根据本发明的示例性实施例的改变屏幕的方法。
[0113]参照图14A和图14B，移动通信终端400可将周围建筑物“比萨A”的室内图像1020显示在触摸屏410上。
[0114]根据本发明的示例性实施例，用于改变到AR服务屏幕200的预定事件可与沿第一方向的第一倾斜运动然后(例如，立即或在预定时间内)沿第二方向的第二倾斜运动相应。第二方向可以是与第一方向相反的方向。例如，用户可进行第一倾斜运动随后进行移动通信终端400沿与第一倾斜运动相反的方向的第二倾斜运动。更具体地讲，用户可进行移动通信终端400大于预定角度的第一倾斜运动并且随后进行沿与第一倾斜运动相反的方向的大于预定角度的第二倾斜运动。
[0115]移动通信终端400可将第一周围建筑物的室内图像改变并显示为与第一倾斜运动和第二倾斜运动相应的第二周围建筑物的室内图像。例如，移动通信终端400可将建筑物“比萨A”的室内图像1020改变并显示为建筑物“时尚B”的室内图像1410。尽管未示出，但是可以用建筑物“时尚B”被激活的二维地图来显示建筑物“时尚B”的室内图像1410。使用所述配置，用户可容易并方便地改变并比较地图上的周围建筑物的室内图像。
[0116]图14A和图14B中示出的本发明的示例性实施例中示出的周围建筑物的室内图像1020和1410仅作为示例。根据本发明的示例性实施例，移动通信终端400可改变并显示与第一倾斜运动和第二倾斜运动相应的周围建筑物的外部图像或三维鸟瞰图。根据本发明的示例性实施例，移动通信终端400可将到第一周围建筑物的路径引导改变并显示为与第一倾斜运动和第二倾斜运动相应的进入第二周围建筑物的路径弓I导。
[0117]根据本发明的示例性实施例，移动通信终端400可将周围建筑物的室内图像改变为周围建筑物的外部图像，并且当再次接收到第一倾斜运动和第二倾斜运动时，将建筑物的外部图像改变并显示为三维鸟瞰图。
[0118]图15A至图15C示出根据本发明的示例性实施例的改变屏幕的方法。
[0119]参照图15A，移动通信终端400可将现有屏幕1501显示在触摸屏410上。现有屏幕1501可以是特定搜索结果的屏幕。例如，用户可向移动通信终端400输入搜索用户周围(例如，在用户的预定义或指定的附近之内)的商店(例如，感兴趣的地方)的请求。移动通信终端400将所述请求传送到服务器，并随后从服务器接收搜索相应结果。移动通信终端400随后可渲染搜索结果并显示搜索结果的现有屏幕1501。如图15A所示，与搜索结果相应的现有屏幕1501可被形成为具有按预定顺序(例如，按基于距用户的距离的顺序)布置的搜索结果的表。[0120]参照图15B，用户可倾斜具有与显示的搜索结果相应的现有屏幕1501的移动通信终端400。移动通信终端400随后可按照搜索结果的顺序显示与倾斜运动相应的AR服务屏幕1020。在图15B示出的本发明的示例性实施例中，首先显示建筑物“比萨A”的室内图像，这是因为“比萨A”是现有屏幕1501的搜索结果中第一列出的项。
[0121]参照图15C，如参照图14A和图14B所解释的那样，用户可对移动通信终端进行第一倾斜运动和第二倾斜运动。如图15C所示，根据本发明的示例性实施例，移动通信终端400可显示与按搜索结果顺序的下一项(例如，地方)相应的建筑物“时尚B”的室内图像1410。
[0122]这些室内图像仅作为示例，移动通信终端400可以按搜索结果的顺序改变并显示各种屏幕(诸如路径信息、三维鸟瞰图、周围建筑物的外部图像等)。
[0123]根据本发明的示例性实施例，用户可在选择搜索结果之一(诸如“时尚B”)之后倾斜移动通信终端400。在这种情况下，移动通信终端400可首先显示由用户选择的建筑物“时尚B”的室内图像。之后，如果用户进行第一倾斜运动和第二倾斜运动，则移动通信终端400可将建筑物“时尚B”的室内图像改变并显示为按搜索结果的顺序在“时尚B”之后的位置上的周围建筑物“医药H”的室内图像。
[0124]根据本发明的示例性实施例，可通过控制器来控制移动通信终端，从而控制器可操作地控制预定事件的检测以及改变显示在触摸屏上的屏幕。可通过包括旋转传感器、陀螺仪传感器或线性传感器的传感器单元来执行移动通信终端的倾斜的检测。传感器单元和麦克风可被统称为事件检测器。
[0125]将理解，可以以硬件、软件或硬件和软件的结合的形式来实现本发明的示例性实施例。所述软件可被存储作为可在非暂时性计算机可读介质的处理器上执行的程序指令或计算机可读代码。非瞬时性计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光记录介质(例如，⑶-ROM、DVD)。所述非暂时性计算机可读记录介质还还可分布于联网的计算机系统上，以便所述计算机可读代码以分布方式被存储和执行。该介质可被计算机读取，可存储在存储器中，并且可被处理器执行。可通过计算机或包括控制器和存储器的便携式终端来实现本发明的示例性实施例，并且存储器可以是适合存储具有执行本发明的示例性实施例的指令的程序或多个程序的非暂时性计算机可读记录介质。可通过具有用于实现权利要求所述的设备和方法的代码的程序、存储在机器(或计算机)可读存储介质中的程序来实现本发明的示例性实施例。
[0126]移动通信终端可从有线/无线地连接到移动通信终端的程序提供器来接收程序并存储所述程序。程序提供器可包括存储器、通信单元和控制器，其中，存储器用于存储具有执行本发明的示例性实施例的指令的程序、本发明的示例性实施例所需的信息等，通信单元用于有线/无线地与移动通信终端进行通信，控制器用于根据请求或自动地将程序发送到移动通信终端。
[0127]根据本发明的示例性实施例，提供一种用于更直观地提供增强现实(AR)服务的移动通信终端以及改变到AR服务屏幕的方法。更具体地讲，移动通信终端的简单运动可引起移动通信终端从除了开始屏幕(例如现有屏幕)之外的任意屏幕改变为AR屏幕，从而最大化用户便利性。
[0128]虽然已参照本发明的特定示例性实施例示出和描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在形式和细节上做出各种改变。
【权利要求】
1.一种在包括相机的移动通信终端中改变到增强现实(AR)服务的屏幕的方法，所述方法包括: 显示不同于AR服务屏幕的现有屏幕； 检测将显示从现有屏幕改变到AR服务屏幕的预定事件； 如果已检测到预定事件，则驱动相机； 使用相机捕捉图像； 显示基于通过相机捕捉的图像而渲染的AR服务屏幕。
2.如权利要求1所述的方法，还包括: 在检测到预定事件之后并且在驱动相机之前，根据预定事件提供至少一个改变屏幕。
3.如权利要求2所述的方法，其中，改变屏幕包括周围建筑物的室内图像、周围建筑物的外部图像和三维鸟瞰图中的至少一个。
4.如权利要求3所述的方法，其中，现有屏幕包括与移动通信终端的周围环境相应的二维地图， 其中，所述至少一个改变屏幕包括二维地图的三维鸟瞰图。
5.如权利要求4所述的方法，其中，预定事件与移动通信终端倾斜大于预定角度相应。
6.如权利要求5所述的方法，其中，所述至少一个改变屏幕包括与各个倾斜角度相应的至少一个三维鸟瞰图。
7.如权利要求5所述的方法，其中，根据预定事件显示至少一个改变屏幕的步骤包括: 显示空中的视角随着移动通信终端的倾斜角度的增大而增大的至少一个三维鸟瞰图。
8.如权利要求5所述的方法，还包括: 在显示AR服务屏幕之后， 检测将显示从AR服务屏幕改变回现有屏幕的相反改变事件； 当检测到相反改变事件时显示现有屏幕。
9.如权利要求8所述的方法，还包括: 在显示AR服务屏幕之后， 检测固定AR服务屏幕的显示的屏幕固定事件； 当检测到屏幕固定事件时，即使相反改变事件发生也继续显示AR服务屏幕。
10.如权利要求9所述的方法，其中，屏幕固定事件包括触摸并保持触摸屏上的点的运动。
11.一种用于提供增强现实(AR)服务的移动通信终端，所述移动通信终端包括: 相机； 触摸屏，显示不同于AR服务屏幕的现有屏幕； 事件检测器，用于检测将显示从现有屏幕改变到AR服务屏幕的预定事件； 控制器，如果已检测到预定事件，则用于驱动相机，用于使用相机捕捉图像，并用于控制触摸屏显示基于通过相机捕捉的图像而渲染的AR服务屏幕。
12.如权利要求11所述的移动通信终端，其中，控制器控制触摸屏一起显示AR服务屏幕和现有屏幕。
13.如权利要求11所述的移动通信终端，其中，AR服务屏幕是移动通信终端的周围建筑物的室内图像。
14.如权利要求13所述的移动通信终端，其中，事件检测器检测移动终端大于第一预定角度的第一倾斜，以及移动终端沿与第一倾斜的相反反向的大于第二预定角度的第二倾斜。
15.如权利要求14所述的移动通信终端，其中，控制器在检测到移动通信终端的大于第一预定角度的第一倾斜以及移动通信终端的大于第二预定角度的第二倾斜时，将第一周围建筑物的室内图像改变并显示为 不同于第一建筑物的第二周围建筑物的室内图像。
【文档编号】H04M1/725GK103475773SQ201310223710
【公开日】2013年12月25日 申请日期:2013年6月6日 优先权日:2012年6月6日
【发明者】郑址洪, 李公旭, 白盛焕, 李骏镐, 曹圭星 申请人:三星电子株式会社